111 年 國立臺灣大學應用數學科學研究所碩士班數理統計組《機率統計》

本題考驗獨立的泊松隨機變數和的分布。

核心觀念：若 $X_1, \ldots, X_p$ 為獨立的泊松隨機變數，且 $X_i \sim \text{Poisson}(\lambda_i)$，則其和 $Y = \sum_{i=1}^{p} X_i$ 也服從泊松分布，其參數為各參數之和，即 $Y \sim \text{Poisson}(\sum_{i=1}^{p} \lambda_i)$。

本題考驗條件分布與邊緣分布的期望值與變異數計算，特別是利用全期望法則 (Law of Total Expectation) 和全變異法則 (Law of Total Variance)。

核心觀念：

1. 全期望法則：$E[U] = E[E[U|T]]$
2. 全變異法則：$Var(U) = E[Var(U|T)] + Var(E[U|T])$

解題過程：
已知條件分布 $U|T=t \sim \text{Uniform}(0, t)$。
已知邊緣分布 $T \sim \text{Exponential}(\lambda)$，其機率密度函數 (PDF) 為 $f_T(t) = \lambda e^{-\lambda t}$，其中 $t > 0$。

計算 $E[U]$：
首先，計算條件期望值 $E[U|T=t]$。
對於 $U|T=t \sim \text{Uniform}(0, t)$，其期望值為 $E[U|T=t] = \frac{0+t}{2} = \frac{t}{2}$。
現在，利用全期望法則計算 $E[U]$：
$E[U] = E[E[U|T]] = E[\frac{T}{2}]$
由於 $T$ 服從指數分布，其期望值為 $E[T] = \frac{1}{\lambda}$。
所以，$E[U] = \frac{1}{2} E[T] = \frac{1}{2} \cdot \frac{1}{\lambda} = \frac{1}{2\lambda}$。

計算 $Var(U)$：
首先，計算條件變異數 $Var(U|T=t)$。
對於 $U|T=t \sim \text{Uniform}(0, t)$，其變異數為 $Var(U|T=t) = \frac{(t-0)^2}{12} = \frac{t^2}{12}$。
現在，利用全變異法則計算 $Var(U)$：
$Var(U) = E[Var(U|T)] + Var(E[U|T])$

本題考驗樣本變異數的期望值與高階矩，以及與母體變異數的關係。

核心觀念：

1. 樣本變異數 $S^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2$ 的定義。
2. $\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$，其中 $\chi^2(\nu)$ 是自由度為 $\nu$ 的卡方分布。
3. 卡方分布的矩：若 $Z \sim \chi^2(\nu)$，則 $E[Z^k] = \frac{2^k \Gamma(\nu/2 + k)}{\Gamma(\nu/2)}$。

解題過程：
題目定義 $S_k^2 = \frac{\sum_{i=1}^n (X_i - \bar{X})^2}{n-1}$。注意題目中的 $S_k^2$ 實際上就是樣本變異數 $S^2$ 的符號，計算的是其 $k$ 階矩。
令 $S^2 = \frac{\sum_{i=1}^n (X_i - \bar{X})^2}{n-1}$。
我們知道，對於來自常態分布 $N(\mu, \sigma^2)$ 的隨機樣本 $X_1, \ldots, X_n$，統計量 $\frac{(n-1)S^2}{\sigma^2}$ 服從自由度為 $n-1$ 的卡方分布，即：
$\frac{(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)$

我們要求的是 $E[(S^2)^k]$。
從上述關係式，我們可以得到 $S^2 = \frac{\sigma^2}{n-1} \chi^2(n-1)$，其中 $\chi^2(n-1)$ 代表一個服從自由度為 $n-1$ 卡方分布的隨機變數。
因此，$(S^2)^k = \left(\frac{\sigma^2}{n-1}\right)^k (\chi^2(n-1))^k$。
對兩邊取期望值：
$E[(S^2)^k] = E\left[\left(\frac{\sigma^2}{n-1}\right)^k (\chi^2(n-1))^k\right]$
$E[(S^2)^k] = \left(\frac{\sigma^2}{n-1}\right)^k E[(\chi^2(n-1))^k]$

現在我們需要計算自由度為 $\nu = n-1$ 的卡方分布的 $k$ 階矩 $E[(\chi^2(\nu))^k]$。
對於一個服從自由度為 $\nu$ 的卡方分布的隨機變數 $Z \sim \chi^2(\nu)$，其 $k$ 階矩為：
$E[Z^k] = \frac{2^k \Gamma(\nu/2 + k)}{\Gamma(\nu/2)}$

核心觀念

本題使用以下觀念：

• Bernoulli 分布的機率質量函數。
• 最大概似估計法（MLE）。
• 不偏估計量的定義：若估計量 $\widehat{\theta}$ 滿足
  $E_\theta[\widehat{\theta}]=\theta,$
  則稱其為 $\theta$ 的不偏估計量。
• Rao–Blackwell 定理與 Lehmann–Scheffé 定理，用來找均勻最小變異不偏估計量（UMVU estimator）。

題目中的 (4a) 敘述與標準 Bernoulli 模型不相容：在 $X_i\sim\operatorname{Bernoulli}(\theta)$ 且 $E[X_i]=\theta$ 的條件下，最大概似估計量其實是不偏的，無法證明其有偏。

---

(4a) 最大概似估計量

因為 $X_i$ 服從 Bernoulli 分布，

$$P_\theta(X_i=x_i) = \theta^{x_i}(1-\theta)^{1-x_i}, \qquad x_i\in\{0,1\}.$$

因此樣本的概似函數為

$$L(\theta) = \prod_{i=1}^n \theta^{x_i}(1-\theta)^{1-x_i}.$$

令

$$T=\sum_{i=1}^n X_i,$$

則

$$L(\theta) = \theta^T(1-\theta)^{n-T}.$$

取對數概似函數：

$$\ell(\theta) = T\log\theta+(n-T)\log(1-\theta).$$

對 $\theta$ 微分：

$$\ell'(\theta) = \frac{T}{\theta} - \frac{n-T}{1-\theta}.$$

令一階導數為零：

$$\frac{T}{\theta} = \frac{n-T}{1-\theta}.$$

交叉相乘得

$$T(1-\theta)=\theta(n-T),$$

因此

$$T=n\theta, \qquad \widehat{\theta}_{\mathrm{MLE}} = \frac{T}{n} = \overline{X}.$$

當 $T=0$ 或 $T=n$ 時，最大值分別位於參數空間的邊界 $\theta=0$ 或 $\theta=1$；此時仍然符合 $\widehat{\theta}_{\mathrm{MLE}}=T/n$。

接著計算其期望值：

$$E_\theta[\widehat{\theta}_{\mathrm{MLE}}] = E_\theta\left[\frac{1}{n}\sum_{i=1}^n X_i\right] = \frac{1}{n}\sum_{i=1}^n E_\theta[X_i].$$

題目已給定 $E_\theta[X_i]=\theta$，所以

$$E_\theta[\widehat{\theta}_{\mathrm{MLE}}] = \frac{1}{n}\cdot n\theta = \theta.$$

故

$$\operatorname{Bias}_\theta(\widehat{\theta}_{\mathrm{MLE}}) = E_\theta[\widehat{\theta}_{\mathrm{MLE}}]-\theta = 0.$$

因此最大概似估計量 $\overline{X}$ 是不偏估計量。

---

(4b) 均勻最小變異不偏估計量

令

$$T=\sum_{i=1}^n X_i.$$

由因子分解定理，聯合機率質量函數可寫成

核心觀念

本題使用以下觀念：

• Bernoulli 分布的機率質量函數。
• 最大概似估計法（MLE）。
• 不偏估計量的定義：若估計量 $\widehat{\theta}$ 滿足
  $E_\theta[\widehat{\theta}]=\theta,$
  則稱其為 $\theta$ 的不偏估計量。
• Rao–Blackwell 定理與 Lehmann–Scheffé 定理，用來找均勻最小變異不偏估計量（UMVU estimator）。

題目中的 (4a) 敘述與標準 Bernoulli 模型不相容：在 $X_i\sim\operatorname{Bernoulli}(\theta)$ 且 $E[X_i]=\theta$ 的條件下，最大概似估計量其實是不偏的，無法證明其有偏。

---

(4a) 最大概似估計量

因為 $X_i$ 服從 Bernoulli 分布，

$$P_\theta(X_i=x_i) = \theta^{x_i}(1-\theta)^{1-x_i}, \qquad x_i\in\{0,1\}.$$

因此樣本的概似函數為

$$L(\theta) = \prod_{i=1}^n \theta^{x_i}(1-\theta)^{1-x_i}.$$

令

$$T=\sum_{i=1}^n X_i,$$

則

$$L(\theta) = \theta^T(1-\theta)^{n-T}.$$

取對數概似函數：

$$\ell(\theta) = T\log\theta+(n-T)\log(1-\theta).$$

對 $\theta$ 微分：

$$\ell'(\theta) = \frac{T}{\theta} - \frac{n-T}{1-\theta}.$$

令一階導數為零：

$$\frac{T}{\theta} = \frac{n-T}{1-\theta}.$$

交叉相乘得

$$T(1-\theta)=\theta(n-T),$$

因此

$$T=n\theta, \qquad \widehat{\theta}_{\mathrm{MLE}} = \frac{T}{n} = \overline{X}.$$

當 $T=0$ 或 $T=n$ 時，最大值分別位於參數空間的邊界 $\theta=0$ 或 $\theta=1$；此時仍然符合 $\widehat{\theta}_{\mathrm{MLE}}=T/n$。

接著計算其期望值：

$$E_\theta[\widehat{\theta}_{\mathrm{MLE}}] = E_\theta\left[\frac{1}{n}\sum_{i=1}^n X_i\right] = \frac{1}{n}\sum_{i=1}^n E_\theta[X_i].$$

題目已給定 $E_\theta[X_i]=\theta$，所以

$$E_\theta[\widehat{\theta}_{\mathrm{MLE}}] = \frac{1}{n}\cdot n\theta = \theta.$$

故

$$\operatorname{Bias}_\theta(\widehat{\theta}_{\mathrm{MLE}}) = E_\theta[\widehat{\theta}_{\mathrm{MLE}}]-\theta = 0.$$

因此最大概似估計量 $\overline{X}$ 是不偏估計量。

---

(4b) 均勻最小變異不偏估計量

令

$$T=\sum_{i=1}^n X_i.$$

由因子分解定理，聯合機率質量函數可寫成

(5a) 建立檢定 $H_0: \mu \leq \mu_0$ 對 $H_A: \mu > \mu_0$ 的均勻最強效 (Uniformly Most Powerful, UMP) 檢定，檢定水準為 $\alpha$。

核心觀念：

1. 單邊檢定：檢定參數 $\mu$ 的方向性。
2. 均勻最強效檢定 (UMP Test)：在所有顯著水準為 $\alpha$ 的檢定中，擁有最高 power (拒絕虛無假說的機率) 的檢定。
3. 最大概似比檢定 (Likelihood Ratio Test, LRT)：常用來建構 UMP 檢定，特別是對於指數族分布。
4. Z-檢定：當母體變異數已知時，用於檢定平均數的檢定。

解題過程：
我們考慮檢定 $H_0: \mu \leq \mu_0$ 對 $H_A: \mu > \mu_0$。
樣本 $X_1, \ldots, X_n$ 來自常態分布 $N(\mu, \sigma^2)$，其中 $\sigma^2$ 是已知的正定常數。

首先，我們利用最大概似比檢定 (LRT) 來尋找檢定規則。
母體為 $N(\mu, \sigma^2)$，故機率密度函數 (PDF) 為：
$f(x|\mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left\{-\frac{(x-\mu)^2}{2\sigma^2}\right\}$。

虛無假說 $H_0$ 涵蓋了 $\mu$ 的一個區間，而對立假說 $H_A$ 涵蓋了 $\mu$ 的另一個區間。
對於 $H_0: \mu \leq \mu_0$ 和 $H_A: \mu > \mu_0$，最嚴格的情況（最難拒絕 $H_0$ 的情況）發生在 $H_0$ 的邊界，即 $\mu = \mu_0$。
因此，UMP 檢定通常是針對 $\mu = \mu_0$ 的單邊檢定。

考慮檢定 $H_0: \mu = \mu_0$ 對 $H_A: \mu > \mu_0$。
樣本的聯合 PDF 為：
$L(\mu) = \prod_{i=1}^n f(x_i|\mu, \sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left\{-\frac{(x_i-\mu)^2}{2\sigma^2}\right\}$
$L(\mu) = \left(\frac{1}{2\pi\sigma^2}\right)^{n/2} \exp\left\{-\frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2\right\}$。

最大概似估計量 (MLE) 為樣本均值 $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$。
當 $\mu = \mu_0$ 時，概似函數為 $L(\mu_0)$。
當 $\mu > \mu_0$ 時，概似函數的 MLE 是 $\bar{X}$。

根據 Neyman-Pearson 引理（適用於單純虛無假說對單純對立假說），UMP 檢定是基於概似比的。
對於複合假說，我們尋找一個檢定統計量，其分布在 $H_0$ 下的邊界情況（在此為 $\mu = \mu_0$）最為不利於 $H_A$。

考慮檢定統計量 $\bar{X}$。
在 $H_0$ 為真的情況下（特別是當 $\mu = \mu_0$ 時），$\bar{X}$ 的分布為：
$\bar{X} \sim N(\mu, \frac{\sigma^2}{n})$。
所以，當 $\mu = \mu_0$ 時，$\bar{X} \sim N(\mu_0, \frac{\sigma^2}{n})$。

為了進行檢定，我們標準化 $\bar{X}$：
$Z = \frac{\bar{X} - \mu_0}{\sigma/\sqrt{n}}$。
當 $H_0: \mu = \mu_0$ 為真時，$Z \sim N(0, 1)$。

由於我們的對立假說是 $H_A: \mu > \mu_0$，我們希望 $\bar{X}$ 越大越好，這意味著 $Z$ 越大越好。
因此，UMP 檢定拒絕 $H_0$ 當 $Z$ 大於某個臨界值 $z_\alpha$，其中 $z_\alpha$ 滿足 $P(Z > z_\alpha) = \alpha$。
$z_\alpha$ 是標準常態分布的 $1-\alpha$ 分位點。

檢定規則如下：
在給定顯著水準 $\alpha$ 下，拒絕 $H_0: \mu \leq \mu_0$ 若且唯若：
$\frac{\bar{X} - \mu_0}{\sigma/\sqrt{n}} > z_\alpha$
其中 $z_\alpha$ 是標準常態分布的 $1-\alpha$ 分位點，即 $P(Z > z_\alpha) = \alpha$。

這個檢定也是 Uniformly Most Powerful (UMP) 的，因為它在所有顯著水準為 $\alpha$ 的檢定中，對於任何 $\mu > \mu_0$ 都有最高的 power。