113 年 國立成功大學統計學研究所《數理統計（含機率概論）》

核心觀念

本題考查：

• 已知兩個常態母體變異數時，兩母體平均數差的抽樣分配。
• Neyman–Pearson 方法：在兩個簡單假設下，以樣本平均數差建立最具檢定力的檢定。
• 同時控制型一錯誤機率 $\alpha$ 與型二錯誤機率 $\beta$。
• 樣本數的反推。

設兩母體分別為

$$X_1,\ldots,X_n \overset{\text{i.i.d.}}{\sim} N(\mu_1,\sigma_1^2), \qquad Y_1,\ldots,Y_n \overset{\text{i.i.d.}}{\sim} N(\mu_2,\sigma_2^2),$$

且兩樣本彼此獨立，$\sigma_1^2,\sigma_2^2$ 已知。題目中的兩個假設可寫成

$$H_0:\delta=\mu_1-\mu_2=\delta_0,$$

對抗

$$H_1:\delta=\mu_1-\mu_2=\delta_1.$$

其中 $\delta_0$ 與 $\delta_1$ 分別代表題目中的 $\delta$ 與 $\delta'$，且 $\delta_1\ne\delta_0$。

---

解題方法

1. 建立樣本平均數差的分配

令

$$D=\overline X-\overline Y.$$

由於兩樣本獨立，

$$E(D)=\mu_1-\mu_2=\delta,$$

且

$$\operatorname{Var}(D) = \frac{\sigma_1^2}{n}+\frac{\sigma_2^2}{n} = \frac{\sigma_1^2+\sigma_2^2}{n}.$$

因此

$$D\sim N\left(\delta,\frac{\sigma_1^2+\sigma_2^2}{n}\right).$$

記

$$s_D=\sqrt{\frac{\sigma_1^2+\sigma_2^2}{n}}.$$

---

2. 決定拒絕域方向

若

$$\delta_1>\delta_0,$$

則在 $H_1$ 下，$D$ 的平均數較大，因此應在 $D$ 夠大時拒絕 $H_0$。

令 $z_p$ 表示標準常態分配的第 $p$ 分位數，即

$$P(Z\le z_p)=p,\qquad Z\sim N(0,1).$$

為使型一錯誤機率等於 $\alpha$，拒絕域設為

$$D>c.$$

在 $H_0$ 下，

$$\frac{D-\delta_0}{s_D}\sim N(0,1).$$

故

$$P_{\delta_0}(D>c)=\alpha$$

給出

$$c=\delta_0+z_{1-\alpha}s_D.$$

---

3. 代入型二錯誤機率

在 $H_1:\delta=\delta_1$ 下，型二錯誤是未拒絕 $H_0$：

$$P_{\delta_1}(D\le c)=\beta.$$

由於在 $H_1$ 下

$$\frac{D-\delta_1}{s_D}\sim N(0,1),$$

因此

$$P_{\delta_1}(D\le c) = \Phi\left(\frac{c-\delta_1}{s_D}\right) =\beta.$$

所以

$$\frac{c-\delta_1}{s_D}=z_\beta.$$

將

$$c=\delta_0+z_{1-\alpha}s_D$$

代入：

$$\frac{\delta_0+z_{1-\alpha}s_D-\delta_1}{s_D} =z_\beta.$$

整理得

核心觀念

本題考查數理統計學中**假設檢定（Hypothesis Testing）**的核心理論，涵蓋以下關鍵觀念：

1. 多項式計數與概似函數（Likelihood Function）：由獨立同分配（i.i.d.）之離散型母體建構概似函數，並利用各類別次數之限制式（$N_1 + N_2 + N_3 = n$）進行化簡。
2. 紐曼－皮爾森引理（Neyman-Pearson Lemma）：在簡單虛無假設對簡單對立假設（$H_0: \theta = \theta_0$ vs $H_1: \theta = \theta_1$）下，以概似比（Likelihood Ratio）建構最強檢定（Most Powerful Test, MP Test）之拒絕域。
3. 二項分配的加總性（Reproductive Property of Binomial Distribution）：識別檢定統計量 $T = 2N_1 + N_2$ 之精確抽樣分配為 $\text{Binomial}(2n, \theta)$，並以此決定臨界值（Critical Value）與隨機化機率。
4. 單調概似比（Monotone Likelihood Ratio, MLR）與均勻最強檢定（Uniformly Most Powerful Test, UMP Test）：利用 Karlin-Rubin 定理探討單邊對立假設下的 UMP 檢定性質。

---

解題方法與詳細推導

(a) 推導概似函數 $L(\theta)$

給定隨機變數 $Y$ 之離散機率函數為：

• $P(Y = 1|\theta) = \theta^2$
• $P(Y = 2|\theta) = 2\theta(1-\theta)$
• $P(Y = 3|\theta) = (1-\theta)^2$

設 $N_1, N_2, N_3$ 分別代表樣本中觀測值為 $1, 2, 3$ 的個數，滿足限制條件 $N_1 + N_2 + N_3 = n$。
樣本的聯合機率質量函數（即概似函數）為：

$$L(\theta) = \prod_{j=1}^n p(y_j|\theta) = \left[ \theta^2 \right]^{N_1} \left[ 2\theta(1-\theta) \right]^{N_2} \left[ (1-\theta)^2 \right]^{N_3}$$

將各項指數展開並合併同類項：

$$L(\theta) = 2^{N_2} \cdot \theta^{2N_1 + N_2} \cdot (1-\theta)^{N_2 + 2N_3}$$

利用總樣本數關係式 $N_2 + 2N_3 = 2(N_1 + N_2 + N_3) - (2N_1 + N_2) = 2n - (2N_1 + N_2)$，可將概似函數簡化為僅含統計量 $2N_1 + N_2$ 的形式：

$$L(\theta) = 2^{N_2} \theta^{2N_1 + N_2} (1-\theta)^{2n - (2N_1 + N_2)}$$

---

(b) 尋找檢定 $H_0: \theta = \theta_0$ vs $H_1: \theta = \theta_1$（$\theta_0 < \theta_1$）之最強檢定（MP Test）

根據 Neyman-Pearson Lemma，檢定簡單假設 $H_0: \theta = \theta_0$ 對簡單假設 $H_1: \theta = \theta_1$，顯著水準為 $\alpha$ 的最強檢定（Most Powerful Test）之拒絕域形式為：

$$\frac{L(\theta_1)}{L(\theta_0)} > c$$

代入 (a) 所得之概似函數：

$$\frac{L(\theta_1)}{L(\theta_0)} = \frac{2^{N_2} \theta_1^{2N_1+N_2} (1-\theta_1)^{2n - (2N_1+N_2)}}{2^{N_2} \theta_0^{2N_1+N_2} (1-\theta_0)^{2n - (2N_1+N_2)}} = \left( \frac{1-\theta_1}{1-\theta_0} \right)^{2n} \cdot \left[ \frac{\theta_1(1-\theta_0)}{\theta_0(1-\theta_1)} \right]^{2N_1+N_2}$$

分析底數之正負與大小：
因為 $0 < \theta_0 < \theta_1 < 1$，可得：

• $\frac{\theta_1}{\theta_0} > 1$
• $1 - \theta_0 > 1 - \theta_1 \implies \frac{1-\theta_0}{1-\theta_1} > 1$

因此乘積滿足：

$$\frac{\theta_1(1-\theta_0)}{\theta_0(1-\theta_1)} > 1 \implies \ln \left[ \frac{\theta_1(1-\theta_0)}{\theta_0(1-\theta_1)} \right] > 0$$

對概似比不等式兩邊取自然對數：

$$2n \ln\left( \frac{1-\theta_1}{1-\theta_0} \right) + (2N_1 + N_2) \ln\left[ \frac{\theta_1(1-\theta_0)}{\theta_0(1-\theta_1)} \right] > \ln c$$

由於 $\ln\left[ \frac{\theta_1(1-\theta_0)}{\theta_0(1-\theta_1)} \right] > 0$，移項整理後方向不變：

$$2N_1 + N_2 > \frac{\ln c - 2n \ln\left( \frac{1-\theta_1}{1-\theta_0} \right)}{\ln\left[ \frac{\theta_1(1-\theta_0)}{\theta_0(1-\theta_1)} \right]} \equiv k$$

故最強檢定之拒絕規則為：當 $2N_1 + N_2 > k$ 時，拒絕 $H_0$。

---

(c) 決定臨界值 $k$ 使檢定達到名義顯著水準 $\alpha$

令檢定統計量 $T = 2N_1 + N_2$。

核心觀念

設元件壽命 $Y$ 服從平均數為 $\theta$ 的指數分布：

$$f(y;\theta)=\frac{1}{\theta}e^{-y/\theta},\qquad y>0,\ \theta>0.$$

題目中的 $F(t)=1-F(t)$ 應理解為可靠度函數，即存活函數：

$$R(t)=P(Y>t)=1-F(t)=e^{-t/\theta}.$$

本題考查：

• 最大概似估計法（MLE）
• 充分統計量與完全充分統計量
• Rao–Blackwell 定理與 Lehmann–Scheffé 定理
• 不偏估計量的構造

令

$$T=\sum_{i=1}^nY_i,\qquad \overline Y=\frac{T}{n}.$$

---

a. $F(t)$ 的最大概似估計量

解題方法

先求 $\theta$ 的 MLE，再利用不變性定理，將 $\widehat\theta_{\mathrm{MLE}}$ 代入 $R(t)=e^{-t/\theta}$。

樣本的概似函數為

$$L(\theta) =\prod_{i=1}^n\frac{1}{\theta}e^{-Y_i/\theta} =\theta^{-n}\exp\left(-\frac{1}{\theta}\sum_{i=1}^nY_i\right) =\theta^{-n}e^{-T/\theta}.$$

取對數概似函數：

$$\ell(\theta)=-n\log\theta-\frac{T}{\theta}.$$

微分得

$$\frac{d\ell(\theta)}{d\theta} =-\frac{n}{\theta}+\frac{T}{\theta^2}.$$

令其等於 $0$：

$$-\frac{n}{\theta}+\frac{T}{\theta^2}=0 \quad\Longrightarrow\quad -n\theta+T=0.$$

因此

$$\widehat\theta_{\mathrm{MLE}} =\frac{T}{n} =\overline Y.$$

由最大概似估計的不變性定理，

$$\widehat{R(t)}_{\mathrm{MLE}} =R(t;\widehat\theta_{\mathrm{MLE}}) =\exp\left(-\frac{t}{\overline Y}\right).$$

所以，

$$\boxed{\widehat{F(t)}_{\mathrm{MLE}} =\exp\left(-\frac{t}{\overline Y}\right)}$$

也可寫成

$$\boxed{\widehat{F(t)}_{\mathrm{MLE}} =\exp\left(-\frac{nt}{\sum_{i=1}^nY_i}\right)}.$$

---

b. $F(t)$ 的最小變異數不偏估計量

第一步：找出完全充分統計量

由概似函數

$$L(\theta)=\theta^{-n}e^{-T/\theta},$$

可知根據因子分解定理，$T=\sum_{i=1}^nY_i$ 是 $\theta$ 的充分統計量。

此外，因為

$$T\sim\operatorname{Gamma}(n,\theta),$$

其密度為

$$f_T(s;\theta) =\frac{1}{\Gamma(n)\theta^n}s^{n-1}e^{-s/\theta}, \qquad s>0.$$

這個 Gamma 族在 $\theta$ 的參數空間為 $(0,\infty)$，因此 $T$ 是完全充分統計量。

依 Lehmann–Scheffé 定理，只要找到一個以 $T$ 為函數的不偏估計量，它就是 $R(t)$ 的 UMVU 估計量。

---

第二步：構造不偏估計量

核心觀念

本題考查「Poisson likelihood 與 Gamma prior 的共軛性」，以及利用後驗分布求：

1. 參數 $\theta$ 的後驗平均數；
2. 下一個觀察值 $\tilde{Y}$ 的後驗預測分布。

已知：

$$Y_i\mid \theta \sim \operatorname{Poisson}(\theta),\qquad i=1,\ldots,n$$

且先驗分布採 Gamma 分布，使用「形狀—率」參數化：

$$\theta\sim\Gamma(\alpha,\beta)$$

其密度為

$$\pi(\theta) = \frac{\beta^\alpha}{\Gamma(\alpha)} \theta^{\alpha-1}e^{-\beta\theta}, \qquad \theta>0.$$

在此參數化下，Gamma 分布的平均數為 $\alpha/\beta$。

---

解題方法

令觀察資料為 $y_1,\ldots,y_n$，並記

$$S=\sum_{i=1}^n y_i.$$

1. 建立 likelihood

由於 $Y_1,\ldots,Y_n$ 在給定 $\theta$ 下獨立，

$$\begin{aligned} L(\theta\mid y_1,\ldots,y_n) &= \prod_{i=1}^n \frac{e^{-\theta}\theta^{y_i}}{y_i!}\\ &= \frac{e^{-n\theta}\theta^{\sum_{i=1}^n y_i}} {\prod_{i=1}^n y_i!}\\ &\propto \theta^S e^{-n\theta}. \end{aligned}$$

2. 求後驗分布

根據 Bayes 定理，

$$\pi(\theta\mid y_1,\ldots,y_n) \propto L(\theta\mid y_1,\ldots,y_n)\pi(\theta).$$

代入 likelihood 與 Gamma prior：

$$\begin{aligned} \pi(\theta\mid y_1,\ldots,y_n) &\propto \theta^S e^{-n\theta} \theta^{\alpha-1}e^{-\beta\theta}\\ &= \theta^{\alpha+S-1} e^{-(\beta+n)\theta}. \end{aligned}$$

因此，

$$\theta\mid y_1,\ldots,y_n \sim \Gamma\left(\alpha+S,\ \beta+n\right).$$

也就是

$$\theta\mid y_1,\ldots,y_n \sim \Gamma\left( \alpha+\sum_{i=1}^n y_i,\ \beta+n \right).$$

---

(a) 後驗平均數

若 $X\sim\Gamma(a,b)$，其中 $a$ 為形狀參數、$b$ 為率參數，則

$$E(X)=\frac{a}{b}.$$

因此，

$$\boxed{ E(\theta\mid y_1,\ldots,y_n) = \frac{\alpha+\sum_{i=1}^n y_i}{\beta+n} }$$

這就是 $\theta$ 的後驗平均數。

此結果也可解釋為：$\alpha$ 與 $\beta$ 分別代表先驗資訊中的「虛擬事件數」與「虛擬觀察量」，觀察資料則額外提供 $\sum y_i$ 與 $n$。

---

(b) 後驗預測分布

要求的是下一個觀察值 $\tilde{Y}$ 的分布：

$$p(\tilde{y}\mid y_1,\ldots,y_n).$$

給定 $\theta$ 時，

$$\tilde{Y}\mid\theta\sim\operatorname{Poisson}(\theta),$$

因此後驗預測分布由混合分布公式得到：

$$p(\tilde{y}\mid y_1,\ldots,y_n) = \int_0^\infty p(\tilde{y}\mid\theta) \pi(\theta\mid y_1,\ldots,y_n) \,d\theta.$$

令

$$a=\alpha+\sum_{i=1}^n y_i, \qquad b=\beta+n.$$

則

$$\theta\mid y_1,\ldots,y_n\sim\Gamma(a,b),$$

且

$$p(\tilde{y}\mid\theta) = \frac{e^{-\theta}\theta^{\tilde{y}}}{\tilde{y}!}, \qquad \tilde{y}=0,1,2,\ldots$$

後驗密度為

$$\pi(\theta\mid y_1,\ldots,y_n) = \frac{b^a}{\Gamma(a)} \theta^{a-1}e^{-b\theta}.$$

代入積分：

題意解析

設 $X_1, \dots, X_n \overset{\text{i.i.d.}}{\sim} \text{Poisson}(\lambda)$，其中母數空間通常定義為 $\Theta = (0, \infty)$。

• 小題 (a)：要求出 $g(\lambda) = e^{-\lambda}$ 的最大概似估計量（MLE），並導出該估計量的漸近常態分配（Asymptotic Normal Distribution）。
• 小題 (b-I)：在設限／二元觀測架構下，僅能觀察到每個 $X_i$ 是否為 0。求在此架構下 $\lambda$ 的最大概似估計量。
• 小題 (b-II)：探討在何種觀測結果下，該架構的 MLE 在有限母數空間（$\lambda \in (0, \infty)$）中不存在，並給出數學論證。

---

小題 (a) 詳解

核心觀念

1. 概似函數與不變性性質（Invariance Property of MLE）：
   若 $\hat{\lambda}$ 為 $\lambda$ 的 MLE，且 $g(\cdot)$ 為單射或定義明確的函數，則 $g(\lambda)$ 的 MLE 為 $\widehat{g(\lambda)} = g(\hat{\lambda})$。
2. 中央極限定理（CLT）：
   對獨立同分布且具有有限變異數的隨機變數樣本，其樣本平均數具有漸近常態性。
3. Delta 方法（Delta Method）：
   若 $\sqrt{n}(T_n - \theta) \xrightarrow{d} N(0, \sigma^2)$，且函數 $g$ 在 $\theta$ 處連續可微且 $g'(\theta) \neq 0$，則： $$\sqrt{n}(g(T_n) - g(\theta)) \xrightarrow{d} N\left(0, [g'(\theta)]^2 \sigma^2\right)$$

解題方法與推導

1. 求 $e^{-\lambda}$ 的 MLE
樣本 $X_1, \dots, X_n$ 之概似函數為：

$$L(\lambda) = \prod_{i=1}^n \frac{e^{-\lambda}\lambda^{X_i}}{X_i!} = e^{-n\lambda} \lambda^{\sum_{i=1}^n X_i} \left( \prod_{i=1}^n X_i! \right)^{-1}$$

對數概似函數為：

$$\ln L(\lambda) = -n\lambda + \left(\sum_{i=1}^n X_i\right) \ln \lambda - \sum_{i=1}^n \ln(X_i!)$$

對 $\lambda$ 微分並令其為 0（一階條件）：

$$\frac{d}{d\lambda} \ln L(\lambda) = -n + \frac{\sum_{i=1}^n X_i}{\lambda} = 0 \implies \hat{\lambda} = \bar{X}$$

二階導數為：

$$\frac{d^2}{d\lambda^2} \ln L(\lambda) = -\frac{\sum_{i=1}^n X_i}{\lambda^2} < 0 \quad (\text{當 } \bar{X} > 0)$$

故 $\lambda$ 的 MLE 為 $\hat{\lambda} = \bar{X}$。
由 MLE 的不變性性質（Invariance Property），參數 $g(\lambda) = e^{-\lambda}$ 的 MLE 為：

$$\widehat{e^{-\lambda}} = e^{-\hat{\lambda}} = e^{-\bar{X}}$$

2. 導出漸近常態分配
因為 $X_i \overset{\text{i.i.d.}}{\sim} \text{Poisson}(\lambda)$，其期望值與變異數分別為 $E(X_i) = \lambda$、$Var(X_i) = \lambda$。
由中央極限定理（CLT）：

$$\sqrt{n}(\bar{X} - \lambda) \xrightarrow{d} N(0, \lambda)$$

考慮變換函數 $g(t) = e^{-t}$，其一階導數為 $g'(t) = -e^{-t}$，在 $t = \lambda$ 處為 $g'(\lambda) = -e^{-\lambda} \neq 0$。
利用一階 Delta 方法：

$$\sqrt{n}(e^{-\bar{X}} - e^{-\lambda}) \xrightarrow{d} N\left(0, [g'(\lambda)]^2 \cdot \lambda \right)$$

計算漸近變異數：

$$[g'(\lambda)]^2 \cdot \lambda = (-e^{-\lambda})^2 \lambda = \lambda e^{-2\lambda}$$

因此，當樣本數 $n \to \infty$ 時，$e^{-\bar{X}}$ 的漸近常態分配為：

$$\sqrt{n}(e^{-\bar{X}} - e^{-\lambda}) \xrightarrow{d} N(0, \lambda e^{-2\lambda})$$

或寫為大樣本漸近分配型式：

$$e^{-\bar{X}} \overset{a}{\sim} N\left(e^{-\lambda}, \frac{\lambda e^{-2\lambda}}{n}\right)$$

---

小題 (b-I) 詳解

核心觀念

1. 柏努利轉換（Bernoulli Reduction）：
   在設限或二元觀測下，定義示性隨機變數 $Y_i = I(X_i = 0)$，將卜瓦松過程的零次觀測問題化簡為柏努利隨機變數的估計問題。
2. 重參數化與概似極大化：
   藉由 $P(X_i = 0) = e^{-\lambda}$，將二項概似函數轉換為母數 $\lambda$ 的函數並求解。

解題方法與推導

令二元指示隨機變數為：

$$Y_i = I(X_i = 0) = \begin{cases} 1, & \text{若 } X_i = 0 \\ 0, & \text{若 } X_i > 0 \end{cases}$$

對於 $X_i \sim \text{Poisson}(\lambda)$，成功機率（即觀測到 $0$ 的機率）記為 $p$：

$$p = P(X_i = 0) = \frac{e^{-\lambda}\lambda^0}{0!} = e^{-\lambda}$$

而 $P(X_i > 0) = 1 - P(X_i = 0) = 1 - e^{-\lambda}$。
因此，$Y_1, \dots, Y_n \overset{\text{i.i.d.}}{\sim} \text{Bernoulli}(p = e^{-\lambda})$。
令 $Y = \sum_{i=1}^n Y_i$ 表示觀測到 $X_i = 0$ 的總個數，則 $Y \sim \text{Binomial}(n, p)$。

此新觀測機制下的概似函數為：

$$L(\lambda) = \prod_{i=1}^n (e^{-\lambda})^{Y_i} (1 - e^{-\lambda})^{1 - Y_i} = (e^{-\lambda})^Y (1 - e^{-\lambda})^{n - Y}$$

對數概似函數為：

$$\ln L(\lambda) = -Y\lambda + (n - Y) \ln(1 - e^{-\lambda})$$

對 $\lambda$ 微分求一階條件：

$$\frac{d}{d\lambda} \ln L(\lambda) = -Y + (n - Y) \frac{e^{-\lambda}}{1 - e^{-\lambda}} = 0$$

整理得：