115 年 國立中央大學統計研究所碩士班一般生《數理統計》

本題考驗的是獨立同分配的隨機變數和的條件分配性質，特別是 Poisson 分配的特性。

核心觀念：
若 $Y_1, \dots, Y_n$ 獨立且服從 Poisson($\lambda$) 分配，則其和 $S_n = \sum_{i=1}^n Y_i$ 服從 Poisson($n\lambda$) 分配。
此外，對於 $m < n$，和 $S_m = \sum_{i=1}^m Y_i$ 與殘差和 $R = \sum_{i=m+1}^n Y_i$ 是獨立的。
條件分配：給定 $S_n = k$，則 $S_m$ 的條件分配服從二項分配。

解題步驟：
首先，我們知道 $Y_i \sim \text{Poisson}(\lambda)$ 獨立同分配，對所有 $i=1, \dots, n$。
因此，$\sum_{i=1}^n Y_i \sim \text{Poisson}(n\lambda)$。
令 $S_m = \sum_{i=1}^m Y_i$。
令 $R = \sum_{i=m+1}^n Y_i$。
則 $S_n = S_m + R$。
由於 $Y_i$ 獨立，所以 $S_m$ 和 $R$ 也是獨立的。
$S_m \sim \text{Poisson}(m\lambda)$。
$R \sim \text{Poisson}((n-m)\lambda)$。

我們要找的是 $S_m$ 在 $S_n = k$ 的條件下的分配。
我們考慮條件機率 $P(S_m = j \mid S_n = k)$。
$P(S_m = j \mid S_n = k) = \frac{P(S_m = j, S_n = k)}{P(S_n = k)}$
由於 $S_n = S_m + R$，若 $S_m = j$ 且 $S_n = k$，則 $R = k - j$。
所以，
$P(S_m = j \mid S_n = k) = \frac{P(S_m = j, R = k-j)}{P(S_n = k)}$
由於 $S_m$ 和 $R$ 是獨立的，
$P(S_m = j \mid S_n = k) = \frac{P(S_m = j) P(R = k-j)}{P(S_n = k)}$
其中 $j$ 的可能範圍是 $0 \le j \le k$。
Poisson 分配的機率質量函數為 $P(X=x) = \frac{e^{-\mu}\mu^x}{x!}$。
所以，
$P(S_m = j) = \frac{e^{-m\lambda}(m\lambda)^j}{j!}$
$P(R = k-j) = \frac{e^{-(n-m)\lambda}((n-m)\lambda)^{k-j}}{(k-j)!}$

本題主要考驗對似然函數的理解以及假設檢定在不同情境下的應用。

核心觀念：
似然函數 (Likelihood Function) 是在給定觀測數據的情況下，參數的機率。
假設檢定 (Hypothesis Testing) 是用來判斷樣本數據是否支持虛無假設。

解題步驟：

(a) 兩個實驗的似然函數

題目給出了一個觀察結果：T H H T H H H H H H T。
總共有 12 次拋擲。
其中，H (Heads) 出現了 9 次，T (Tails) 出現了 3 次。
令 $p$ 為出現 H 的機率，則 $1-p$ 為出現 T 的機率。

實驗一：
我們將這個序列視為一個進行了 12 次獨立伯努利試驗的結果。
在這種情況下，觀測到的數據是確定的序列 T H H T H H H H H H T。
則似然函數 $L_1(p)$ 是這個特定序列發生的機率：
$L_1(p) = P(\text{T H H T H H H H H H T} \mid p)$
$L_1(p) = (1-p) \cdot p \cdot p \cdot (1-p) \cdot p \cdot p \cdot p \cdot p \cdot p \cdot p \cdot (1-p)$
$L_1(p) = p^9 (1-p)^3$

實驗二：
題目說「Give two possible experiments of flipping the coin in a series of trials with the following outcomes.」。這句話有點模棱兩可。但是，通常在似然函數的討論中，我們關注的是參數 $p$ 與觀測到的「次數」之間的關係。
如果實驗二的描述是指「進行了 12 次拋擲，結果是出現 9 次 H 和 3 次 T」，那麼這個實驗的似然函數會是如何？
在 12 次試驗中，出現 9 次 H 和 3 次 T 的組合方式有 $\binom{12}{9}$ 種。
每一次特定的組合（例如 HHHHHHHHHTTT）的機率是 $p^9 (1-p)^3$。
因此，觀測到 9 次 H 和 3 次 T 的總機率（似然函數）是：
$L_2(p) = \binom{12}{9} p^9 (1-p)^3$

比較似然函數：
$L_1(p) = p^9 (1-p)^3$
$L_2(p) = \binom{12}{9} p^9 (1-p)^3$

這兩個似然函數的結構是不同的，因為 $L_2(p)$ 包含了一個常數 $\binom{12}{9}$。
然而，在尋找最大似然估計量 (MLE) 時，我們通常最大化對數似然函數 $\ln L(p)$。
$\ln L_1(p) = 9 \ln p + 3 \ln(1-p)$
$\ln L_2(p) = \ln \binom{12}{9} + 9 \ln p + 3 \ln(1-p)$
最大化 $\ln L_1(p)$ 和 $\ln L_2(p)$ 會得到相同的 $p$ 值，因為 $\ln \binom{12}{9}$ 是一個常數，不影響對 $p$ 的微分。

但是，題目問的是「Do both experiments give the same likelihood function?」
嚴格來說，這兩個函數是不同的，因為它們的值不同（$L_2(p) = \binom{12}{9} L_1(p)$）。
然而，在統計推斷中，特別是 MLE 的概念，它們提供了相同的「資訊」來估計 $p$。
如果題目是問「最大化似然函數的參數值是否相同」，答案是肯定的。
如果題目是問「似然函數本身是否相同」，答案是否定的。
根據問題的措辭，通常在統計學中，當我們討論由給定數據生成的似然函數時，如果數據的「次數」相同，我們就說它們對參數的推斷是相同的，即使考慮了排列組合的係數。
讓我們以更嚴謹的角度回答。

更精確的解釋：
實驗一：給定一個特定的觀測序列。
實驗二：給定觀測到的 H 和 T 的總數。

似然函數是根據「給定的觀測數據」來定義參數的機率。
對於實驗一，觀測數據是 特定的序列 T H H T H H H H H H T。
其似然函數為 $L_1(p) = p^9 (1-p)^3$。

對於實驗二，如果我們理解為「觀測到 9 次 H 和 3 次 T」，那麼這個「觀測數據」是 次數的總和，而不考慮順序。
在這種情況下，我們通常會使用二項分配的機率質量函數來表示似然函數，即 $L_2(p) = \binom{12}{9} p^9 (1-p)^3$。

因為 $L_1(p) \neq L_2(p)$ (除非 $\binom{12}{9}=1$)，所以這兩個似然函數 不相同。
但是，它們的對數似然函數 $\ln L_1(p)$ 和 $\ln L_2(p)$ 僅相差一個常數 $\ln \binom{12}{9}$。
因此，它們會產生相同的最大似然估計量。
如果題目是指「是否能得到相同的 MLE」，則答案是「是」。
如果題目是指「函數本身是否相同」，則答案是「否」。
通常，在這種上下文中，我們更關注推斷的結果。但問題直接問「似然函數」，我們應該回答函數本身。

結論 (a):
不，這兩個實驗給出的似然函數不同。
實驗一的似然函數為 $L_1(p) = p^9 (1-p)^3$。
實驗二的似然函數為 $L_2(p) = \binom{12}{9} p^9 (1-p)^3$。

(b) 假設檢定

我們要檢定 $H_0: p = 0.5$ 對 $H_a: p > 0.5$ 在 5% 的顯著水準下。

檢定統計量：
通常，對於這種二項分佈的參數檢定，我們可以使用樣本比例 $\hat{p}$ 作為檢定統計量。
$\hat{p} = \frac{\text{總 H 次數}}{\text{總試驗次數}}$。

實驗一的檢定：
根據實驗一，我們有特定的序列 T H H T H H H H H H T。
我們觀察到 9 次 H 和 3 次 T。
總試驗次數 $n_1 = 12$。
總 H 次數 $k_1 = 9$。
樣本比例 $\hat{p}_1 = \frac{9}{12} = \frac{3}{4} = 0.75$。

在 $H_0$ 下，若 $n$ 夠大，$\hat{p}$ 近似服從常態分配。
$H_0$ 假設 $p=0.5$。
則 $\hat{p} \sim N(p, \frac{p(1-p)}{n})$。
在 $H_0$ 下，$\hat{p} \sim N(0.5, \frac{0.5(0.5)}{12}) = N(0.5, \frac{0.25}{12}) = N(0.5, \frac{1}{48})$。

核心觀念

本題為典型的階層常態模型（Hierarchical Normal Model）與點估計理論題，涵蓋三個核心觀念：

1. 邊際分佈（Marginal Distribution）：利用全期望值法則與全變異數法則（雙重期望值定理），或利用條件常態的階層架構 $X_i = Y_i + \epsilon_i$ 推導邊際分佈。
2. 最大概似估計（MLE）：在邊際常態母體 $N(\mu, \sigma^2 + \tau^2)$ 下，針對參數空間限制 $\tau^2 > 0$（即變異數大於已知常數 $\sigma^2$）推導限制型概似估計量（Constrained MLE）。
3. 均勻最小變異不偏估計量（UMVUE）：利用 Lehmann-Scheffé 定理，尋找充分完備統計量（Complete Sufficient Statistic），透過逆伽瑪／卡方分佈（Inverse-Gamma / Chi-square）的動差性質構造無偏估計量。

解題方法與詳細推導

(a) 求 $X_i$ 的邊際分佈（Marginal Distribution）

方法一：利用階層隨機變數結構表示法
已知條件分配為：

且先驗分配為：

此模型可等價寫成加法模型：

其中 $Y_i \sim N(\mu, \tau^2)$，$\epsilon_i \sim N(0, \sigma^2)$，且 $Y_i$ 與 $\epsilon_i$ 互相獨立。
由於相互獨立的常態隨機變數之線性組合仍服從常態分佈，因此：

• 期望值：

• 變異數：

故 $X_i$ 的邊際分佈為：

方法二：利用條件期望值與條件變異數公式

• 期望值：

• 變異數：

結合常態積分可知其邊際分佈仍為常態，故 $X_i \sim N(\mu, \sigma^2 + \tau^2)$。

(b) 求 $\mu$ 與 $\tau^2$ 的最大概似估計量（MLE）

由於 $Y_i$ 為潛在未觀測變數（latent variables），觀測資料僅有 $X_1, \dots, X_n$。
由 (a) 可知，$X_1, \dots, X_n \overset{iid}{\sim} N(\mu, \theta)$，其中令總變異數為：

因為題目給定 $\tau^2 > 0$ 且 $\sigma^2$ 已知，參數空間受到限制：$\theta \in (\sigma^2, \infty)$。

樣本平均數與未調整的樣本變異數分別定義為：

觀測資料的對數概似函數（Log-likelihood Function）為：

分解平方和：

對任意固定的 $\theta > 0$，當 $\mu = \bar{X}$ 時，對數概似函數達到極大值。因此 $\mu$ 的 MLE 為：

將 $\hat{\mu} = \bar{X}$ 代入輪廓對數概似函數（Profile Log-likelihood）：

對 $\theta$ 微分：

• 若無邊界限制，極值點發生在 $\theta = S_n^2$。
• 考慮參數空間約束 $\theta = \sigma^2 + \tau^2 > \sigma^2$（即 $\tau^2 > 0$）：

本題是一個典型的配對樣本 t 檢定 (paired t-test) 問題，用於檢測兩天平均訂單數是否有顯著差異。

核心觀念：
配對樣本 t 檢定：當我們有兩個相關樣本（例如同一地點在不同時間的測量值）時，我們通常計算兩組數據的差值，然後對這些差值進行單樣本 t 檢定。
假設檢定步驟：

1. 設立虛無假設 ($H_0$) 和對立假設 ($H_a$)。
2. 計算檢定統計量。
3. 確定臨界值或計算 p-value。
4. 做出決策（拒絕或不拒絕 $H_0$）。

解題步驟：

1. 設立假設：
   我們想檢測兩天（Thursday 和 Friday）的平均訂單數是否有差異。
   令 $\mu_{\text{Thu}}$ 為星期四的平均訂單數，$\mu_{\text{Fri}}$ 為星期五的平均訂單數。
   虛無假設 ($H_0$)：兩天的平均訂單數沒有差異。
   $H_0: \mu_{\text{Thu}} = \mu_{\text{Fri}}$，或等價地，$H_0: \mu_d = 0$，其中 $d_i = \text{Thursday}_i - \text{Friday}_i$ 是第 $i$ 個地點的訂單數差值。
   對立假設 ($H_a$)：兩天的平均訂單數有差異。
   $H_a: \mu_{\text{Thu}} \neq \mu_{\text{Fri}}$，或等價地，$H_a: \mu_d \neq 0$。
   這是一個雙尾檢定。

2. 計算差值 ($d_i$)：
   我們計算每個地點星期四的訂單數減去星期五的訂單數。
   $d_1 = 67 - 68 = -1$
   $d_2 = 65 - 70 = -5$
   $d_3 = 68 - 69 = -1$
   $d_4 = 68 - 71 = -3$
   $d_5 = 68 - 72 = -4$
   $d_6 = 70 - 69 = 1$
   $d_7 = 69 - 70 = -1$
   $d_8 = 70 - 70 = 0$

3. 計算差值的平均值 ($\bar{d}$) 和標準差 ($s_d$)：
   樣本大小 $n = 8$ (8 個地點)。
   差值列表：-1, -5, -1, -3, -4, 1, -1, 0。
   差值的平均值：
   $\bar{d} = \frac{(-1) + (-5) + (-1) + (-3) + (-4) + 1 + (-1) + 0}{8} = \frac{-14}{8} = -1.75$。

   差值的樣本變異數：
   首先計算平方差：
   $(-1 - (-1.75))^2 = (0.75)^2 = 0.5625$
   $(-5 - (-1.75))^2 = (-3.25)^2 = 10.5625$

核心觀念

本題考查：

• 均勻分布的機率密度函數；
• 廣義概似比檢定（Generalized Likelihood Ratio Test, GLRT）；
• 顯著水準為 $10\%$ 時的拒絕域建立；
• 由觀察值計算概似比並作出檢定決策。

由於題目只給顯著水準，未指定檢定方法，以下採用此類問題最標準的廣義概似比檢定。

解題方法

若 $Y\sim \operatorname{Uniform}(0,\theta)$，其機率密度函數為

其中 $I(\cdot)$ 為指示函數。

虛無假設為

對立假設為

第一步：求虛無假設下的概似函數

在 $H_0$ 下，

第二步：求整個參數空間下的最大概似值

固定觀察值 $y$：

• 若 $\theta>y$，則 $f(y;\theta)=1/\theta$；
• $1/\theta$ 隨 $\theta$ 增加而減少，因此最大值發生在 $\theta$ 越接近 $y$ 時。

所以

廣義概似比為

因此

廣義概似比越小，代表資料越不支持 $H_0$，因此應在 $\Lambda(y)$ 很小時拒絕 $H_0$。

第三步：建立 $10\%$ 顯著水準的拒絕域

在 $H_0$ 成立時，

對 $0<c<1$，

核心觀念

本題的核心概念為不放回簡單隨機抽樣（Simple Random Sampling Without Replacement, SRSWOR）的對稱性（Symmetry）與可交換性（Exchangeability），以及**邊際機率分佈（Marginal Probability Distribution）**的推導。

1. 隨機排列模型（Permutation Model）：
   自集合 $\{1, 2, \dots, N\}$ 進行不放回隨機抽取 $N$ 次，相當於將元素 $1, 2, \dots, N$ 進行隨機排列。所有可能的抽樣排列結果共有 $N!$ 種，且每一種排列發生的機率皆相等，均為 $\frac{1}{N!}$。
2. 邊際分佈（Marginal Distribution）：
   要求第 $i$ 次抽取的結果 $X_i$ 之邊際分佈，即計算事件 $\{X_i = k\}$ 的機率，其中 $k \in \{1, 2, \dots, N\}$。

解題方法

本題有兩種標準切入途徑，考試時寫出任一種（或相輔相成）皆能獲得滿分：

方法一：計數原理與樣本空間排列法（最直觀）

由題意，$X_i$ 代表第 $i$ 次抽取的結果，其所有可能的取值為 $k \in \{1, 2, \dots, N\}$。

1. 全排列數（樣本空間總數）：
   將 $N$ 個不同的數字 $\{1, 2, \dots, N\}$ 依序取出排列，所有可能的抽取順序總數為： $$|\Omega| = N!$$
2. 事件 $\{X_i = k\}$ 的有利結果數：
   給定第 $i$ 次抽出的號碼固定為 $k$：
   • 第 $i$ 個位置只有 $1$ 種選擇（即數字 $k$）。
   • 其餘 $N-1$ 個位置由剩下的 $N-1$ 個數字任意全排列，共有 $(N-1)!$ 種方法。
3. 計算邊際機率：
   對任意給定的 $i \in \{1, 2, \dots, N\}$ 與任意 $k \in \{1, 2, \dots, N\}$： $$P(X_i = k) = \frac{(N-1)!}{N!} = \frac{1}{N}$$

方法二：條件機率與全機率公式（依抽樣順序遞推）

核心觀念

本題考查位置—尺度族（location-scale family）的分位數轉換。

若隨機變數 $X$ 的累積分布函數為 $F_X(x)$，且

則 $Y$ 的 $p$-quantile 為

本題的標準化密度為

注意此處的 $\phi(x)$ 並非標準常態密度。

解題方法

令

先求 $X$ 的累積分布函數。由密度定義，

令

因為 $e^t\,dt=du$，且當 $t\to-\infty$ 時 $u\to0$，所以

因此 $Y$ 的累積分布函數為

$p$-quantile $q_p$ 滿足

代入累積分布函數：

此表格提供了 Student's t-Distribution 的臨界值，用於在假設檢定中確定拒絕域。