114 年 國立臺灣大學農藝研究所生物統計學組《統計理論》

核心觀念

本題考查：

• 無偏估計量的定義：若估計量 $T$ 對參數 $\theta$ 滿足
  $E_\theta(T)=\theta,$
  則稱 $T$ 為 $\theta$ 的無偏估計量。
• 常態分布線性組合的分布。
• 絕對常態變數的期望。
• 均方誤差

$$\operatorname{MSE}(T)=E_\sigma[(T-\sigma)^2] =\operatorname{Var}(T)+\operatorname{Bias}(T)^2.$$

---

(a) $T_1$ 是否為 $\sigma$ 的無偏估計量？並求其 MSE

令

$$D=X_1-X_2.$$

因為 $X_1,X_2$ 相互獨立，且皆服從 $N(0,\sigma^2)$，所以

$$D\sim N(0,\sigma^2+\sigma^2)=N(0,2\sigma^2).$$

因此可表示為

$$D=\sqrt{2}\sigma Z,\qquad Z\sim N(0,1).$$

而

$$T_1=\frac{1}{2}|D| =\frac{\sqrt{2}\sigma}{2}|Z|.$$

對標準常態變數 $Z$，有

$$E(|Z|)=\sqrt{\frac{2}{\pi}}.$$

故

$$E(T_1) =\frac{\sqrt{2}\sigma}{2}\sqrt{\frac{2}{\pi}} =\frac{\sigma}{\sqrt{\pi}}.$$

由於

$$E(T_1)=\frac{\sigma}{\sqrt{\pi}}\neq \sigma,$$

所以 $T_1$ 不是 $\sigma$ 的無偏估計量。其偏誤為

$$\operatorname{Bias}(T_1) =E(T_1)-\sigma =\sigma\left(\frac{1}{\sqrt{\pi}}-1\right).$$

計算 $\operatorname{Var}(T_1)$

先計算二階動差：

$$T_1^2=\frac{1}{4}(X_1-X_2)^2.$$

因此

$$E(T_1^2) =\frac{1}{4}E[(X_1-X_2)^2] =\frac{1}{4}\operatorname{Var}(X_1-X_2) =\frac{1}{4}(2\sigma^2) =\frac{\sigma^2}{2}.$$

所以

$$\operatorname{Var}(T_1) =E(T_1^2)-[E(T_1)]^2 =\frac{\sigma^2}{2}-\frac{\sigma^2}{\pi}.$$

計算 MSE

利用

$$\operatorname{MSE}(T_1) =\operatorname{Var}(T_1)+\operatorname{Bias}(T_1)^2,$$

可得

$$\begin{aligned} \operatorname{MSE}(T_1) &=\left(\frac{\sigma^2}{2}-\frac{\sigma^2}{\pi}\right) +\sigma^2\left(\frac{1}{\sqrt{\pi}}-1\right)^2\\ &=\frac{\sigma^2}{2}-\frac{\sigma^2}{\pi} +\sigma^2\left(\frac{1}{\pi}-\frac{2}{\sqrt{\pi}}+1\right)\\ &=\sigma^2\left(\frac{3}{2}-\frac{2}{\sqrt{\pi}}\right). \end{aligned}$$

此題考查參數估計的兩種基本方法：最大概似估計法 (MLE) 與動差法 (Method of Moments, MOM)，以及樞軸量 (Pivotal Quantity) 的概念與其在建立信賴區間的應用。

核心觀念：

1. 最大概似估計量 (MLE)： 選擇使樣本觀測值出現機率最大的參數值。
2. 動差法估計量 (MOM)： 令樣本動差等於母體動差，然後解出參數。
3. 樞軸量 (Pivotal Quantity)： 一個包含樣本和參數的函數，其機率分佈不依賴於任何未知參數。
4. 信賴區間 (Confidence Interval)： 利用樞軸量建立一個包含未知參數的區間，該區間在多次重複抽樣中，有預定的涵蓋機率。

---

母體機率密度函數 (PDF)：
$f(x|\theta) = \frac{3x^2}{\theta^3}$, for $0 < x \le \theta$, and $f(x|\theta) = 0$ otherwise.
$\theta > 0$.
樣本為 $X_1, X_2, \ldots, X_n$。

---

(a) 求 $\theta$ 的最大概似估計量 (MLE)。

1. 寫出概似函數 (Likelihood Function, L)：
   對於樣本 $X_1, \ldots, X_n$，其聯合機率密度函數為：
   $L(\theta | x_1, \ldots, x_n) = \prod_{i=1}^n f(x_i|\theta) = \prod_{i=1}^n \frac{3x_i^2}{\theta^3}$
   此函數定義在 $0 < x_i \le \theta$ 對所有 $i=1, \ldots, n$。
   這個條件意味著 $\theta$ 必須大於所有樣本觀測值中的最大值。
   令 $X_{(n)} = \max(X_1, \ldots, X_n)$。
   則 $L(\theta) = \left(\frac{3}{\theta^3}\right)^n \prod_{i=1}^n x_i^2$, for $x_i > 0$ and $\theta \ge X_{(n)}$。
   如果 $\theta < X_{(n)}$，則 $L(\theta) = 0$。

2. 寫出對數概似函數 (Log-Likelihood Function, $\ell$)：
   $\ell(\theta) = \ln L(\theta) = \ln \left( \left(\frac{3}{\theta^3}\right)^n \prod_{i=1}^n x_i^2 \right)$
   $\ell(\theta) = n \ln \left(\frac{3}{\theta^3}\right) + \ln \left(\prod_{i=1}^n x_i^2\right)$
   $\ell(\theta) = n ( \ln 3 - 3 \ln \theta ) + \sum_{i=1}^n 2 \ln x_i$
   $\ell(\theta) = n \ln 3 - 3n \ln \theta + 2 \sum_{i=1}^n \ln x_i$

3. 對 $\theta$ 微分並令其等於零，以尋找 MLE $\hat{\theta}_{MLE}$：
   $\frac{d\ell(\theta)}{d\theta} = - \frac{3n}{\theta}$。
   這個導數恆為負值（因為 $\theta > 0$）。這表示對數概似函數 $\ell(\theta)$ 是一個關於 $\theta$ 的遞減函數。
   因此，要最大化 $\ell(\theta)$ (或 $L(\theta)$)，我們需要選擇最小的可行 $\theta$ 值。
   從概似函數的定義域 $\theta \ge X_{(n)}$ 可以看出，最小的可行 $\theta$ 值就是 $X_{(n)}$。
   所以，最大概似估計量是：
   $\hat{\theta}_{MLE} = X_{(n)} = \max(X_1, \ldots, X_n)$。

   驗證：
   對於 $\theta \ge X_{(n)}$，$\ell(\theta)$ 是遞減的。因此，在區間 $[X_{(n)}, \infty)$ 上，$\ell(\theta)$ 的最大值出現在區間的左端點，即 $\theta = X_{(n)}$。
   當 $\theta < X_{(n)}$ 時，$L(\theta) = 0$，顯然不是最大值。

【答案】$\hat{\theta}_{MLE} = \max(X_1, \ldots, X_n)$。

---

(b) 求 $\theta$ 的動差法估計量 (MOM)。

1. 計算母體的一階動差 (期望值)：
   $E[X] = \int_{-\infty}^{\infty} x f(x|\theta) dx = \int_{0}^{\theta} x \cdot \frac{3x^2}{\theta^3} dx$
   $E[X] = \frac{3}{\theta^3} \int_{0}^{\theta} x^3 dx = \frac{3}{\theta^3} \left[ \frac{x^4}{4} \right]_{0}^{\theta} = \frac{3}{\theta^3} \left( \frac{\theta^4}{4} - 0 \right)$
   $E[X] = \frac{3\theta}{4}$。

2. 計算樣本的一階動差：
   樣本均值 $\bar{X} = \frac{1}{n} \sum_{i=1}^n X_i$。

3. 令樣本動差等於母體動差，並解出 $\theta$：
   $\bar{X} = E[X]$
   $\bar{X} = \frac{3\theta}{4}$
   解出 $\theta$:
   $\hat{\theta}_{MOM} = \frac{4\bar{X}}{3}$。

【答案】$\hat{\theta}_{MOM} = \frac{4\bar{X}}{3}$。

---

(c) 取得 $\theta$ 的一個樞軸量 (Pivotal Quantity)。

我們需要找到一個函數 $P(X_1, \ldots, X_n, \theta)$，使其機率分佈不依賴於 $\theta$。

考慮樣本的最大值 $X_{(n)} = \max(X_1, \ldots, X_n)$。
我們需要先找出 $X_{(n)}$ 的累積分佈函數 (CDF)。
令 $F(x|\theta) = P(X \le x|\theta)$ 為母體的 CDF。
$F(x|\theta) = \int_{0}^{x} \frac{3t^2}{\theta^3} dt = \frac{3}{\theta^3} \left[ \frac{t^3}{3} \right]_{0}^{x} = \frac{x^3}{\theta^3}$, for $0 < x \le \theta$.
當 $x \le 0$, $F(x|\theta) = 0$。

核心觀念

本題涉及不偏估計量、Cramér–Rao 不等式的正則條件，以及完全充分統計量與 Lehmann–Scheffé 定理。解題前必須先確認題目給定的函數是否為合法機率密度。

原題將支撐集寫成 $x>0$，但對任何 $\theta>0$，

$$\int_0^\infty \frac{2x}{\theta^2}\,dx=\infty,$$

因此原式不是機率密度。以下明示採用合理修正：

$$f(x\mid\theta)=\frac{2x}{\theta^2}\mathbf 1_{\{0<x<\theta\}}, \qquad \theta>0.$$

即使採用此修正，(a) 所稱「$\bar X$ 是 $\theta$ 的不偏估計量」仍不成立；正確的不偏估計量是 $\frac32\bar X$。

解題方法

(a) 計算 $\bar X$ 的期望值

由修正後的密度，

$$E_\theta(X_i) =\int_0^\theta x\frac{2x}{\theta^2}\,dx =\frac{2}{\theta^2}\left[\frac{x^3}{3}\right]_0^\theta =\frac{2\theta}{3}.$$

故

$$E_\theta(\bar X) =\frac1n\sum_{i=1}^nE_\theta(X_i) =\frac{2\theta}{3}\ne\theta.$$

因此，$\bar X$ 並非 $\theta$ 的不偏估計量，其偏差為

$$\operatorname{Bias}_\theta(\bar X) =E_\theta(\bar X)-\theta =-\frac{\theta}{3}.$$

將 $\bar X$ 乘上 $\frac32$，即可得到不偏估計量：

$$\widehat\theta_1=\frac32\bar X, \qquad E_\theta(\widehat\theta_1)=\theta.$$

(b) 檢查標準 CRLB 是否適用

令 $M=X_{(n)}=\max\{X_1,\ldots,X_n\}$。聯合概似函數為

$$L(\theta;\boldsymbol x) =2^n\left(\prod_{i=1}^n x_i\right)\theta^{-2n} \mathbf 1_{\{0<M<\theta\}}.$$

本題的支撐集隨 $\theta$ 改變，標準 Cramér–Rao 不等式所需的正則條件不成立。

在 $\theta>M$ 的區域內，對數概似與樣本分數函數分別為

$$\ell(\theta) =n\log 2+\sum_{i=1}^n\log x_i-2n\log\theta,$$ $$U_n(\theta)=\frac{\partial\ell(\theta)}{\partial\theta} =-\frac{2n}{\theta}.$$

所以

$$E_\theta[U_n(\theta)] =-\frac{2n}{\theta}\ne0.$$

這已顯示正則模型中的「分數函數期望為零」性質不成立。原因是積分上限依賴 $\theta$，微分時必須保留邊界項。例如單一觀測值滿足

$$0=\frac{d}{d\theta}\int_0^\theta\frac{2x}{\theta^2}\,dx =\int_0^\theta-\frac{4x}{\theta^3}\,dx +\frac{2\theta}{\theta^2} =-\frac2\theta+\frac2\theta.$$

若忽略邊界項，就會錯誤套用正則模型的推導。

樣本分數的平方期望確實為

$$E_\theta[U_n(\theta)^2] =\frac{4n^2}{\theta^2},$$

其倒數為

$$\frac{\theta^2}{4n^2}.$$

但此形式值不能當作有效的標準 CRLB。由於各觀測值的分數期望不為零，平方展開的交叉項不會消失，也不能使用正則模型的資訊量相加公式。

下一小題將得到不偏估計量，其變異數為

$$\frac{\theta^2}{4n(n+1)} < \frac{\theta^2}{4n^2},$$

直接證明 $\theta^2/(4n^2)$ 不是本題不偏估計量變異數的有效下界。

(c) 利用完全充分統計量求 UMVUE

第一步：證明最大次序統計量 $M=X_{(n)}$ 充分。

由前述概似函數的因子分解，

核心觀念

本題考查兩個重點：

1. Neyman–Pearson lemma：在簡單假設對簡單假設的檢定中，固定型一錯誤機率不超過 $\alpha$ 時，以概似比
   $\frac{f(x;\theta_1)}{f(x;\theta_0)}$
   大於某個臨界值時拒絕 $H_0$，可得到最具檢定力的檢定。

2. 常態分布下的概似比檢定：計算 $H_1$ 與 $H_0$ 下的聯合密度比，將拒絕域化為樣本總和或樣本平均數的形式，再利用標準常態分布決定臨界值。

---

(a) Neyman–Pearson lemma

定理敘述

設觀察值為 $X=(X_1,\ldots,X_n)$，在兩個簡單假設下，其聯合機率密度分別為

$$f_0(x)=f(x;\theta_0), \qquad f_1(x)=f(x;\theta_1).$$

考慮檢定

$$H_0:\theta=\theta_0$$

對抗

$$H_1:\theta=\theta_1.$$

若檢定的拒絕域為 $C$，且滿足

$$P_{\theta_0}(X\in C)=\alpha,$$

則存在常數 $k\geq 0$，使得拒絕域具有下列形式：

$$C=\left\{x:\frac{f_1(x)}{f_0(x)}>k\right\},$$

並在必要時於

$$\frac{f_1(x)}{f_0(x)}=k$$

的邊界上作隨機化，以使檢定的型一錯誤機率恰為 $\alpha$。

此拒絕域在所有型一錯誤機率不超過 $\alpha$ 的檢定中，具有最大的檢定力。因此，概似比檢定是最具檢定力檢定（most powerful test）。

---

定理中的重要定義

型一錯誤機率為在 $H_0$ 為真時錯誤拒絕 $H_0$ 的機率：

$$P_{\theta_0}(X\in C)=\alpha.$$

檢定力是當 $H_1$ 為真時拒絕 $H_0$ 的機率：

$$P_{\theta_1}(X\in C).$$

因此，Neyman–Pearson lemma 的目標是：

$$\text{在 }P_{\theta_0}(X\in C)\leq \alpha\text{ 下，使 }P_{\theta_1}(X\in C)\text{ 最大。}$$

---

證明

令 $C^\ast$ 為由概似比所決定的拒絕域：

$$C^\ast=\left\{x:\frac{f_1(x)}{f_0(x)}>k\right\},$$

並在邊界上適當隨機化，使得

$$P_{\theta_0}(X\in C^\ast)=\alpha.$$

令 $C$ 為任意另一個滿足

$$P_{\theta_0}(X\in C)\leq \alpha$$

的拒絕域。

由 $C^\ast$ 的定義可知：

• 當 $x\in C^\ast$ 時，$f_1(x)-kf_0(x)\geq 0$；
• 當 $x\notin C^\ast$ 時，$f_1(x)-kf_0(x)\leq 0$。

因此，在所有樣本點 $x$ 上，

$$\left[I_C(x)-I_{C^\ast}(x)\right] \left[f_1(x)-kf_0(x)\right]\leq 0,$$

其中 $I_C(x)$ 為拒絕域 $C$ 的指示函數。

對上述不等式積分，得到

$$\int \left[I_C(x)-I_{C^\ast}(x)\right] \left[f_1(x)-kf_0(x)\right]\,dx \leq 0.$$

展開可得

$$\int \left[I_C-I_{C^\ast}\right]f_1\,dx - k\int \left[I_C-I_{C^\ast}\right]f_0\,dx \leq 0.$$

第二項滿足

$$\int \left[I_C-I_{C^\ast}\right]f_0\,dx = P_{\theta_0}(C)-P_{\theta_0}(C^\ast) \leq 0.$$

由於 $k\geq 0$，故

$$-k\left[P_{\theta_0}(C)-P_{\theta_0}(C^\ast)\right]\geq 0.$$

整理原不等式，可得

$$P_{\theta_1}(C)-P_{\theta_1}(C^\ast) \leq k\left[P_{\theta_0}(C)-P_{\theta_0}(C^\ast)\right] \leq 0.$$

因此，

$$P_{\theta_1}(C)\leq P_{\theta_1}(C^\ast).$$

這表示在所有型一錯誤機率不超過 $\alpha$ 的檢定中，$C^\ast$ 的檢定力最大，故 $C^\ast$ 為最具檢定力的拒絕域。定理得證。

---

(b) 常態母體下的最佳拒絕域

解題方法

核心觀念

本題考察 Neyman–Pearson 檢定的似然比形式。令

$$L(X)=\frac{f_1(X)}{f_0(X)}$$

則檢定函數 $T_\alpha(X)$ 的意義為：

• $T_\alpha(X)=1$：拒絕 $H_0$；
• $T_\alpha(X)=0$：不拒絕 $H_0$；
• $0<T_\alpha(X)<1$：在邊界上隨機化。

其第一類錯誤機率為

$$E_0[T_\alpha(X)]=\alpha,$$

其中 $E_0$ 表示在 $\xi=\xi_0$ 下取期望；第二類錯誤機率為

$$\beta(\alpha)=E_1[1-T_\alpha(X)] =1-E_1[T_\alpha(X)].$$

因此，證明第二類錯誤機率隨 $\alpha$ 增加而降低，等價於證明檢定力 $E_1[T_\alpha(X)]$ 隨 $\alpha$ 增加而提高。

---

(a) 證明 $c(\alpha_1)\ge c(\alpha_2)$

設 $\alpha_1<\alpha_2$。反設

$$c(\alpha_1)<c(\alpha_2).$$

在 $f_0(X)>0$ 的區域上，若

$$\frac{f_1(X)}{f_0(X)}>c(\alpha_2),$$

則必有

$$\frac{f_1(X)}{f_0(X)}>c(\alpha_1),$$

所以

$$T_{\alpha_1}(X)\ge T_{\alpha_2}(X).$$

在邊界情況亦成立：

• 當 $L(X)=c(\alpha_2)$ 時，$T_{\alpha_1}(X)=1$，而 $T_{\alpha_2}(X)=r(\alpha_2)\le 1$；
• 當 $L(X)=c(\alpha_1)$ 時，$T_{\alpha_1}(X)=r(\alpha_1)\ge 0=T_{\alpha_2}(X)$；
• 當 $c(\alpha_1)<L(X)<c(\alpha_2)$ 時，$T_{\alpha_1}(X)=1$，而 $T_{\alpha_2}(X)=0$。

因此幾乎處處有

$$T_{\alpha_1}(X)\ge T_{\alpha_2}(X).$$

在 $H_0$ 下取期望，得到

$$E_0[T_{\alpha_1}(X)] \ge E_0[T_{\alpha_2}(X)].$$

依題意，

$$\alpha_1=E_0[T_{\alpha_1}(X)] \ge E_0[T_{\alpha_2}(X)] =\alpha_2,$$

這與 $\alpha_1<\alpha_2$ 矛盾。因此反設不成立，必有

$$\boxed{c(\alpha_1)\ge c(\alpha_2)}.$$

---

(b) 第二類錯誤機率的比較

由 (a) 可知

$$c(\alpha_1)\ge c(\alpha_2).$$

因此，使用較小顯著水準 $\alpha_1$ 的檢定，其拒絕門檻較高，拒絕域較小。於是幾乎處處有

$$T_{\alpha_1}(X)\le T_{\alpha_2}(X).$$

又因為

$$\alpha_1<\alpha_2,$$

所以

$$E_0[T_{\alpha_2}(X)-T_{\alpha_1}(X)] =\alpha_2-\alpha_1>0.$$

令

核心觀念

本題考的是常態線性模型中的似然比檢定。比較：

• $H_0:\gamma_1=\gamma_2$：兩組資料具有相同的迴歸係數，但截距 $\gamma_{10},\gamma_{20}$ 可不同。
• $H_1:\gamma_1\neq\gamma_2$：兩組資料的迴歸係數不同。

由於兩組模型共用未知變異數 $\sigma^2$，因此最後的檢定統計量為 $F$ 統計量。

為使參數可識別，假設 $[\mathbf 1_n,Z]$ 滿列秩，且 $n>q+1$。

解題方法

令

$$C=I_n-\frac{1}{n}\mathbf 1_n\mathbf 1_n^\top$$

其中 $C$ 是消除截距的中心化矩陣。定義中心化設計矩陣

$$Z_c=CZ$$

並令 $P_c$ 為投影到 $Z_c$ 欄空間的投影矩陣：

$$P_c=Z_c(Z_c^\top Z_c)^{-1}Z_c^\top.$$

再令兩組反應向量之差為

$$D=Y_1-Y_2.$$

由題設，

$$D\sim N\left((\gamma_{10}-\gamma_{20})\mathbf 1_n+Z(\gamma_1-\gamma_2),\,2\sigma^2I_n\right).$$

中心化後可消除兩個截距之差：

$$CD\sim N\left(Z_c(\gamma_1-\gamma_2),\,2\sigma^2C\right).$$

因此，$H_0$ 等價於中心化後的差異向量，其 $Z_c$ 迴歸係數為零。

1. 不受限制模型下的殘差平方和

在 $H_1$ 下，兩組資料分別以自己的截距與迴歸係數配適。其殘差平方和為

$$S_U = \sum_{i=1}^2 \left\| CY_i-Z_c\widehat{\gamma}_i \right\|^2,$$

其中

$$\widehat{\gamma}_i = (Z_c^\top Z_c)^{-1}Z_c^\top CY_i.$$

所以

$$S_U = \sum_{i=1}^2 Y_i^\top C(I_n-P_c)CY_i.$$

不受限制模型估計的參數個數為 $2(q+1)$，因此其殘差自由度為

$$\nu = 2n-2(q+1) = 2(n-q-1).$$

2. 受限制模型下的殘差平方和

在 $H_0$ 下，兩組資料共用同一個迴歸係數 $\gamma$，但仍允許有不同截距。因此受限制殘差平方和為

$$S_R = \min_{\gamma} \left\{ \|CY_1-Z_c\gamma\|^2+ \|CY_2-Z_c\gamma\|^2 \right\}.$$

受限制模型比不受限制模型少了 $q$ 個參數。兩者殘差平方和的差異為

$$Q=S_R-S_U.$$

將兩組資料的差異 $D=Y_1-Y_2$ 代入，可得

$$Q = \frac{1}{2}D^\top CP_cCD = \frac{1}{2}D^\top P_cD,$$

因為 $P_c$ 的欄空間位於 $\mathbf 1_n^\perp$，故 $CP_c=P_c$。

因此

$$S_R=S_U+Q.$$

$Q$ 衡量的是兩組資料在 $Z$ 所張成之迴歸方向上的差異；若 $H_0$ 成立，$Q$ 應不會太大。

似然比統計量

在常態模型中，對固定的殘差平方和 $S$，最大化後的概似函數與 $S^{-n}$ 成正比，因為總觀測數為 $2n$。因此似然比為