108 年 國立臺灣大學應用數學科學研究所碩士班數理統計組《機率統計》

核心觀念

設

$$D_i=T_{(i)}-T_{(i-1)},\qquad i=1,\ldots,n,$$

其中 $T_{(0)}=0$，則 $D_i$ 稱為連續次序統計量之間的間距。

對來自指數分布 $\operatorname{Exp}(\lambda_0)$ 的樣本，次序統計量間距具有重要性質：

$$D_i\ \text{相互獨立},\qquad D_i\sim \operatorname{Exp}\bigl((n-i+1)\lambda_0\bigr).$$

題目定義

$$U_i=(n-i+1)D_i.$$

指數分布的尺度轉換性質為：若 $X\sim\operatorname{Exp}(r)$，則 $cX\sim\operatorname{Exp}(r/c)$。因此

$$U_i=(n-i+1)D_i\sim \operatorname{Exp}(\lambda_0).$$

由於各個 $D_i$ 相互獨立，$U_1,\ldots,U_n$ 也相互獨立。

---

解題方法：由次序統計量聯合密度推導

單一觀測值 $T_i$ 的密度為

$$f_T(t)=\lambda_0e^{-\lambda_0t},\qquad t>0.$$

因此，次序統計量 $T_{(1)},\ldots,T_{(n)}$ 的聯合密度為

$$f_{T_{(1)},\ldots,T_{(n)}}(t_1,\ldots,t_n) = n!\lambda_0^n \exp\left(-\lambda_0\sum_{i=1}^nt_i\right),$$

其定義域為

$$0<t_1<t_2<\cdots<t_n.$$

令

$$u_i=(n-i+1)(t_i-t_{i-1}),\qquad t_0=0.$$

反變換為

$$t_i=\sum_{j=1}^i\frac{u_j}{n-j+1}.$$

因為 $t_i$ 只依賴於 $u_1,\ldots,u_i$，其 Jacobian 矩陣為下三角矩陣，對角線元素為

$$\frac{\partial t_i}{\partial u_i}=\frac{1}{n-i+1}.$$

故 Jacobian 的絕對值為

$$\left|\frac{\partial(t_1,\ldots,t_n)} {\partial(u_1,\ldots,u_n)}\right| = \prod_{i=1}^n\frac{1}{n-i+1} = \frac{1}{n!}.$$

此外，

$$\sum_{i=1}^nt_i = \sum_{i=1}^n\sum_{j=1}^i\frac{u_j}{n-j+1}.$$

固定 $u_j$ 後，它在 $t_j,t_{j+1},\ldots,t_n$ 中各出現一次，共出現 $n-j+1$ 次，因此

$$\sum_{i=1}^nt_i = \sum_{j=1}^n \frac{n-j+1}{n-j+1}u_j = \sum_{j=1}^nu_j.$$

利用變數變換公式，

核心觀念

本題考查三個重點：

1. 最大概似估計量的求法。
2. 絕對值和函數的最小化。
3. 樣本中位數的抽樣分布。

母體密度為位置參數型的 Laplace 分布：

$$f(x;\theta_0)=\frac{1}{2}e^{-|x-\theta_0|},\qquad -\infty<x<\infty.$$

由於樣本為獨立同分布，概似函數為各個觀測值密度的乘積。

---

解題方法：求最大概似估計量

令觀察值為 $x_1,\ldots,x_n$，則概似函數為

$$L(\theta_0) =\prod_{i=1}^n \frac{1}{2}e^{-|x_i-\theta_0|} =2^{-n}\exp\left\{-\sum_{i=1}^n|x_i-\theta_0|\right\}.$$

取對數概似函數：

$$\ell(\theta_0) =-n\log 2-\sum_{i=1}^n|x_i-\theta_0|.$$

其中 $-n\log 2$ 與 $\theta_0$ 無關，因此最大化 $\ell(\theta_0)$ 等價於最小化

$$S(\theta_0)=\sum_{i=1}^n|x_i-\theta_0|.$$

絕對偏差和 $\sum_{i=1}^n|x_i-\theta_0|$ 的最小值發生在樣本中位數。因此，最大概似估計量就是樣本中位數。

將順序統計量記為

$$X_{(1)}\leq X_{(2)}\leq\cdots\leq X_{(n)}.$$

$n$ 為奇數

若 $n=2m+1$，則中位數唯一，因此

$$\widehat{\theta}_0=X_{(m+1)}.$$

$n$ 為偶數

若 $n=2m$，則所有滿足

$$X_{(m)}\leq \theta_0\leq X_{(m+1)}$$

的值都會使絕對偏差和達到最小。因此最大概似估計量不是唯一，而是集合

$$\widehat{\theta}_0\in [X_{(m)},X_{(m+1)}].$$

通常將樣本中位數定義為兩個中央順序統計量的平均：

$$\widehat{\theta}_0=\frac{X_{(m)}+X_{(m+1)}}{2}.$$

---

樣本分布：先求母體分布函數

令

$$Y=X-\theta_0.$$

則 $Y$ 的密度為

$$f_Y(y)=\frac12e^{-|y|}.$$

因此 $X$ 的分布函數為

$$F(x;\theta_0)= \begin{cases} \dfrac12e^{x-\theta_0}, & x<\theta_0,\\[6pt] 1-\dfrac12e^{-(x-\theta_0)}, & x\geq \theta_0. \end{cases}$$

---

$n=2m+1$ 時的抽樣分布

此時

$$\widehat{\theta}_0=X_{(m+1)}.$$

累積分布函數

順序統計量的分布給出

$$P\left(X_{(m+1)}\leq x\right) = \sum_{j=m+1}^{2m+1} \binom{2m+1}{j} [F(x;\theta_0)]^j [1-F(x;\theta_0)]^{2m+1-j}.$$

因此

$$P(\widehat{\theta}_0\leq x) = \sum_{j=m+1}^{2m+1} \binom{2m+1}{j} [F(x;\theta_0)]^j [1-F(x;\theta_0)]^{2m+1-j}.$$

機率密度函數

第 $m+1$ 個順序統計量的密度為

$$f_{\widehat{\theta}_0}(x) = \frac{(2m+1)!}{m!\,m!} [F(x;\theta_0)]^m [1-F(x;\theta_0)]^m f(x;\theta_0).$$

其中

$$f(x;\theta_0)=\frac12e^{-|x-\theta_0|}.$$

所以完整的抽樣密度為

$$f_{\widehat{\theta}_0}(x) = \frac{(2m+1)!}{m!\,m!} [F(x;\theta_0)]^m [1-F(x;\theta_0)]^m \frac12e^{-|x-\theta_0|}.$$

這就是最大概似估計量的有限樣本抽樣分布。

---

$n=2m$ 時的抽樣分布

偶數樣本時，最大概似解本身為一個區間：

$$[X_{(m)},X_{(m+1)}].$$

因此若不指定選取規則，嚴格而言不存在唯一的最大概似估計量抽樣分布。

中央兩個順序統計量的聯合分布

令

核心觀念

本題考查三個重點：

1. $T=\sum_{i=1}^{n+1}X_i$ 是 Bernoulli 母體參數 $\pi_0$ 的完整充分統計量。
2. 先找出一個 $h(\pi_0)$ 的不偏估計量，再對 $T$ 做 Rao–Blackwell 化。
3. 由 Lehmann–Scheffé 定理，對完整充分統計量的任何不偏估計量，必為 $h(\pi_0)$ 的 UMVUE。

令事件

$$A=\left\{\sum_{i=1}^n X_i>X_{n+1}\right\}.$$

由題目定義，

$$h(\pi_0)=P_{\pi_0}(A),$$

因此事件指示函數 $I_A$ 本身就是 $h(\pi_0)$ 的不偏估計量。

---

解題方法：對事件指示函數條件化

令

$$T=\sum_{i=1}^{n+1}X_i.$$

由於 $X_1,\ldots,X_{n+1}$ 為 Bernoulli($\pi_0$) 隨機樣本，

$$T\sim \operatorname{Binomial}(n+1,\pi_0).$$

且 $T$ 是 $\pi_0$ 的完整充分統計量。因此考慮

$$\delta(T)=E_{\pi_0}(I_A\mid T).$$

此估計量為 $h(\pi_0)$ 的不偏估計量，並且依 Lehmann–Scheffé 定理即為 UMVUE。

---

計算條件期望

固定 $T=t$。在給定總成功次數為 $t$ 的條件下，所有含有 $t$ 個 $1$ 的排列具有相同機率，因此共有

$$\binom{n+1}{t}$$

種可能排列。

分別討論 $X_{n+1}$ 的值。

情形一：$X_{n+1}=0$

此時事件 $A$ 要成立，必須有

$$\sum_{i=1}^n X_i=t>0.$$

因此當 $1\le t\le n$ 時，符合條件的排列數為

$$\binom{n}{t}.$$

情形二：$X_{n+1}=1$

此時前 $n$ 個變數中有 $t-1$ 個成功，事件 $A$ 要成立需滿足

$$t-1>1,$$

亦即 $t\ge 3$。

因此當 $3\le t\le n+1$ 時，符合條件的排列數為

$$\binom{n}{t-1}.$$

綜合兩種情形，

$$\delta(t) = \frac{ \binom{n}{t}I(1\le t\le n) + \binom{n}{t-1}I(3\le t\le n+1) }{ \binom{n+1}{t} }.$$

利用 Pascal 恆等式

$$\binom{n}{t}+\binom{n}{t-1} = \binom{n+1}{t},$$

可將結果化簡為

核心觀念

題目第 (a)、(b) 兩小題文字相同，皆要求敘述並證明「大數法則的弱形式」（Weak Law of Large Numbers, WLLN）。

設 $X_1,X_2,\ldots$ 為獨立同分布隨機變數，且

$$E(X_i)=\mu,\qquad \operatorname{Var}(X_i)=\sigma^2<\infty.$$

定義樣本平均數

$$\overline X_n=\frac{1}{n}\sum_{i=1}^n X_i.$$

弱大數法則的結論是：

$$\overline X_n\xrightarrow{P}\mu,$$

也就是對任意 $\varepsilon>0$，

$$\lim_{n\to\infty} P\left(\left|\overline X_n-\mu\right|>\varepsilon\right)=0.$$

這表示樣本平均數偏離母體平均數超過固定誤差 $\varepsilon$ 的機率，會隨著樣本數增加而趨近於 $0$。

---

解題方法

本題採用切比雪夫不等式（Chebyshev's inequality）。關鍵在於計算樣本平均數的期望值與變異數。

由線性期望值，

$$E(\overline X_n) = E\left(\frac{1}{n}\sum_{i=1}^n X_i\right) = \frac{1}{n}\sum_{i=1}^n E(X_i) = \frac{1}{n}\cdot n\mu = \mu.$$

由於 $X_1,\ldots,X_n$ 相互獨立，

$$\operatorname{Var}(\overline X_n) = \operatorname{Var}\left(\frac{1}{n}\sum_{i=1}^n X_i\right) = \frac{1}{n^2}\sum_{i=1}^n\operatorname{Var}(X_i) = \frac{1}{n^2}\cdot n\sigma^2 = \frac{\sigma^2}{n}.$$

因此樣本平均數的變異數會隨 $n$ 增加而趨近於 $0$。

---

證明

由切比雪夫不等式，對任意 $\varepsilon>0$，

$$P\left(\left|\overline X_n-E(\overline X_n)\right|>\varepsilon\right) \leq \frac{\operatorname{Var}(\overline X_n)}{\varepsilon^2}.$$

代入 $E(\overline X_n)=\mu$ 及 $\operatorname{Var}(\overline X_n)=\sigma^2/n$，得到

核心觀念

本題考查刪除群組法（delete-group method）的偏差階數分析。關鍵是比較樣本量為 $n$ 與樣本量為 $n-m$ 時估計量的期望值。

題目給定樣本量為 $N$ 時，

$$E[\tilde{\theta}_N] = \theta+\frac{b_1}{N}+\frac{b_2}{N^2}+\cdots.$$

刪除第 $j$ 組後，剩餘樣本數為

$$m(p-1)=n-m.$$

因此，

$$E[\tilde{\theta}_j] = \theta+\frac{b_1}{n-m}+\frac{b_2}{(n-m)^2}+\cdots.$$

由於各組大小相同，每個 $V_j$ 的期望值相同，所以

$$E[\bar{\theta}] = E[V_j].$$

題目所稱的「偏差」是指此差分量相對於 $0$ 的期望值；因為 $\tilde{\theta}-\tilde{\theta}_j$ 中的 $\theta$ 會相消。

---

解題方法與推導

由定義

$$V_j=\tilde{\theta}-\tilde{\theta}_j,$$

可得

$$E[V_j] = E[\tilde{\theta}]-E[\tilde{\theta}_j].$$

代入兩種樣本量下的期望展開式：

$$\begin{aligned} E[V_j] &= \left( \theta+\frac{b_1}{n}+\frac{b_2}{n^2}+\cdots \right) - \left( \theta+\frac{b_1}{n-m}+\frac{b_2}{(n-m)^2}+\cdots \right)\\ &= b_1\left(\frac1n-\frac1{n-m}\right) + b_2\left(\frac1{n^2}-\frac1{(n-m)^2}\right) +\cdots. \end{aligned}$$

第一項為

$$\frac1n-\frac1{n-m} = \frac{n-m-n}{n(n-m)} = -\frac{m}{n(n-m)}.$$

當刪除的群組大小 $m$ 固定，而 $n\to\infty$ 時，

$$-\frac{m}{n(n-m)} = O(n^{-2}).$$

本題考驗 Likelihood Ratio Test (LRT) 的建構以及 p-value 的計算。

核心觀念：

1. Likelihood Ratio Test (LRT)：根據 Neyman-Pearson Lemma，對於簡單假設檢定，LRT 是最優的。對於複合假設，LRT 的形式為 $\frac{\sup_{\theta \in \Theta_0} L(\theta)}{\sup_{\theta \in \Theta} L(\theta)} \le k$，其中 $L(\theta)$ 是似然函數，$k$ 是一個臨界值。
2. Maximum Likelihood Estimator (MLE)：在 LRT 的構建中，我們需要找到在原假設和備擇假設下的最大似然估計量。
3. p-value: 在拒絕域檢定中，p-value 是指觀察到的數據（或更極端數據）在虛無假設為真時發生的最小顯著水準 $\alpha$。它可以用來判斷統計顯著性。

解題步驟：
樣本 $X_1, \dots, X_n$ 來自指數分佈 (Exponential distribution)，其 PDF 為 $f(x;\theta) = \theta e^{-\theta x}$ for $x > 0$，其中 $\theta > 0$。

Part (a): Likelihood Ratio Test (LRT)

1. 似然函數 (Likelihood Function):
   樣本的似然函數為：
   $L(\theta) = \prod_{i=1}^n f(X_i; \theta) = \prod_{i=1}^n \theta e^{-\theta X_i} = \theta^n e^{-\theta \sum_{i=1}^n X_i}$。
   令 $S = \sum_{i=1}^n X_i$。則 $L(\theta) = \theta^n e^{-\theta S}$。

2. 最大化似然函數：

   • 在備擇假設 $\Theta = \{\theta : \theta > 0\}$ 下的最大值：
     我們需要找到 $\theta > 0$ 使得 $L(\theta)$ 最大。
     考慮對數似然函數 $\ln L(\theta) = n \ln \theta - \theta S$。
     對 $\theta$ 求導並令其為零：$\frac{d}{d\theta} \ln L(\theta) = \frac{n}{\theta} - S = 0$。
     解得 $\hat{\theta}_{MLE} = \frac{n}{S} = \frac{1}{\bar{X}}$，其中 $\bar{X} = S/n$ 是樣本均值。
     這個 MLE 是正的，因為 $X_i > 0$。
     所以，$\sup_{\theta \in \Theta} L(\theta) = L(\hat{\theta}_{MLE}) = (\frac{n}{S})^n e^{-(\frac{n}{S})S} = (\frac{n}{S})^n e^{-n} = \frac{n^n}{S^n} e^{-n}$。

   • 在原假設 $H_0: \theta = \theta_0$ 下的最大值：
     原假設是一個簡單假設， $\theta$ 被固定為 $\theta_0$。
     所以，$\sup_{\theta \in \Theta_0} L(\theta) = L(\theta_0) = \theta_0^n e^{-\theta_0 S}$。

3. 構建 LRT 統計量：
   LRT 統計量為：
   $\lambda = \frac{\sup_{\theta \in \Theta_0} L(\theta)}{\sup_{\theta \in \Theta} L(\theta)} = \frac{\theta_0^n e^{-\theta_0 S}}{(\frac{n}{S})^n e^{-n}} = \frac{\theta_0^n S^n e^{-\theta_0 S}}{n^n e^{-n}}$。
   我們需要找到一個基於 $\lambda$ 的拒絕域。
   LRT 的拒絕域形式為 $\lambda \le k$ (對於一些常數 $k$)，或者等價地，根據 $\lambda$ 的形式，我們可以考慮一個單調變換。
   考慮 $\frac{1}{\lambda} = \frac{n^n e^{-n}}{\theta_0^n S^n e^{-\theta_0 S}} = (\frac{n}{\theta_0 S})^n e^{n - \theta_0 S}$。
   令 $T = S = \sum_{i=1}^n X_i$。
   $\frac{1}{\lambda} = (\frac{n}{\theta_0 T})^n e^{n - \theta_0 T}$。
   這似乎不方便直接處理。

   我們知道 $S = \sum X_i$ 是來自 rate $\theta$ 的指數分佈的 $n$ 個隨機變數之和。
   $S$ 服從 Gamma 分佈，Gamma($n, \theta$)，其 PDF 為 $f_S(s;\theta) = \frac{\theta^n s^{n-1} e^{-\theta s}}{\Gamma(n)}$ for $s > 0$。
   對於 $H_0: \theta = \theta_0$， $S$ 的分佈是 Gamma($n, \theta_0$)。
   對於 $H_A: \theta \ne \theta_0$， $S$ 的分佈是 Gamma($n, \theta$)。

   LRT 統計量 $\lambda$ 的形式是：
   $\lambda = \frac{\theta_0^n e^{-\theta_0 S}}{(\frac{n}{S})^n e^{-n}} = \frac{\theta_0^n S^n e^{-\theta_0 S}}{n^n e^{-n}}$。
   我們需要找到一個基於 $\lambda$ 的拒絕域。
   通常，LRT 的拒絕域形式為 $\lambda \le k$ 或 $\lambda \ge k$。
   考慮 $\ln \lambda = n \ln \theta_0 + n \ln S - \theta_0 S - n \ln n + n$。
   這是一個關於 $S$ 的函數。

   根據 Neyman-Pearson Lemma 的推廣，對於複合假設， LRT 統計量的拒絕域通常是基於檢定統計量，該統計量將似然比轉換為一個單調函數。
   考慮 $\frac{L(\theta_0)}{L(\hat{\theta}_{MLE})} = \frac{\theta_0^n e^{-\theta_0 S}}{(\frac{n}{S})^n e^{-n}} = \lambda$。
   我們需要比較 $L(\theta_0)$ 和 $L(\hat{\theta}_{MLE})$。
   如果 $\theta_0$ 遠大於 $\hat{\theta}_{MLE} = n/S$，則 $L(\theta_0)$ 可能較小。
   如果 $\theta_0$ 遠小於 $\hat{\theta}_{MLE} = n/S$，則 $L(\theta_0)$ 也可能較小。
   這意味著拒絕域可能是在 $\hat{\theta}_{MLE}$ 遠離 $\theta_0$ 的區域。
   即，我們拒絕 $H_0$ 如果 $\frac{S}{n}$ 遠離 $\frac{1}{\theta_0}$。
   或者說，拒絕 $H_0$ 如果 $\frac{n}{S}$ 遠離 $\theta_0$。
   即，拒絕 $H_0$ 如果 $\frac{S}{n}$ 遠離 $\frac{1}{\theta_0}$。

   考慮檢定統計量 $T = S = \sum X_i$。
   在 $H_0$ 下，$S \sim \text{Gamma}(n, \theta_0)$。
   在 $H_A$ 下，$S$ 的分佈依賴於真實的 $\theta$。
   我們需要找到一個臨界值 $k$ 使得 $P(S \notin (\theta_0 - \delta, \theta_0 + \delta))$ 是一個小值，但這是一個關於 $\theta_0$ 的 interval，不是關於 $S$ 的 interval。

   LRT 統計量為 $\lambda = \frac{\theta_0^n e^{-\theta_0 S}}{(\frac{n}{S})^n e^{-n}}$。
   考慮 $\frac{S}{n} = \bar{X}$。
   $\lambda = \frac{\theta_0^n (n\bar{X})^n e^{-\theta_0 n\bar{X}}}{n^n e^{-n}} = \theta_0^n \bar{X}^n e^{n - n\theta_0 \bar{X}} = (\theta_0 \bar{X})^n e^{n(1 - \theta_0 \bar{X})}$。
   我們拒絕 $H_0$ 如果 $\lambda$ 小。
   考慮 $\ln \lambda = n \ln(\theta_0 \bar{X}) + n(1 - \theta_0 \bar{X})$。
   我們拒絕 $H_0$ 如果 $\ln \lambda$ 小。

   我們知道 $S \sim \text{Gamma}(n, \theta_0)$ 在 $H_0$ 下。
   其均值是 $E[S] = n/\theta_0$，變異數是 $\text{Var}(S) = n/\theta_0^2$。
   當 $n$ 很大時，根據 CLT，$\bar{X} = S/n$ 的分佈近似於 $N(E[\bar{X}], \text{Var}(\bar{X})) = N(1/\theta_0, 1/(n\theta_0^2))$。
   因此，對於大 $n$，我們可以將 LRT 轉換為基於 $\bar{X}$ 的檢定。
   拒絕 $H_0$ 如果 $\bar{X}$ 遠離 $1/\theta_0$。
   這意味著拒絕域是 $|\bar{X} - 1/\theta_0| > c$ 對於某個 $c$。
   或者，我們可以寫成 $\frac{\bar{X} - 1/\theta_0}{\sqrt{1/(n\theta_0^2)}} = \frac{\theta_0 \bar{X} - 1}{\sqrt{n}/(n\theta_0)} = \frac{n\theta_0 \bar{X} - n}{\sqrt{n}}$.
   令 $Z = \frac{\bar{X} - 1/\theta_0}{\sqrt{1/(n\theta_0^2)}} = \frac{n\theta_0 \bar{X} - n}{\sqrt{n}}$。
   $Z$ 近似服從標準常態分佈 $N(0,1)$。
   所以，拒絕域是 $|Z| > z_{\alpha/2}$，其中 $z_{\alpha/2}$ 是標準常態分佈的 $\alpha/2$ 分位數。
   等價於 $|\bar{X} - 1/\theta_0| > z_{\alpha/2} \sqrt{1/(n\theta_0^2)}$。
   $|\frac{S}{n} - \frac{1}{\theta_0}| > z_{\alpha/2} \frac{1}{\theta_0 \sqrt{n}}$。
   $|S - \frac{n}{\theta_0}| > z_{\alpha/2} \frac{n}{\theta_0 \sqrt{n}} = z_{\alpha/2} \frac{\sqrt{n}}{\theta_0}$。

   LRT 統計量 $\lambda$ 的拒絕域是 $\lambda \le k$。
   我們需要將 $\lambda$ 的形式與 $\bar{X}$ 的偏差聯繫起來。
   $\lambda = (\theta_0 \bar{X})^n e^{n(1 - \theta_0 \bar{X})}$。
   考慮 $\ln \lambda = n \ln(\theta_0 \bar{X}) + n(1 - \theta_0 \bar{X})$。
   令 $u = \theta_0 \bar{X}$。
   $\ln \lambda = n \ln u + n(1-u) = n (\ln u + 1 - u)$。
   我們拒絕 $H_0$ 如果 $\ln \lambda$ 小。
   函數 $f(u) = \ln u + 1 - u$ 在 $u=1$ 時達到最大值 $f(1) = 0$。
   當 $u \ne 1$ 時，$f(u) < 0$。
   所以 $\ln \lambda$ 在 $u = \theta_0 \bar{X} = 1$ (即 $\bar{X} = 1/\theta_0$) 時最大。
   我們拒絕 $H_0$ 如果 $\theta_0 \bar{X}$ 遠離 1。
   這意味著拒絕域是 $\bar{X}$ 遠離 $1/\theta_0$。
   所以，拒絕域是 $|\bar{X} - 1/\theta_0| > c$。