108 年 國立高雄大學統計學研究所碩士班《統計學》

本題主要在考驗對統計學基本名詞的定義與理解，包含充分統計量、最大概似估計量以及假設檢定中的兩種誤差。

(a) 充分統計量 (Sufficient Statistic)：
一個統計量 $T(X_1, \ldots, X_n)$ 被稱為母體參數 $\theta$ 的充分統計量，如果它包含了樣本 $X_1, \ldots, X_n$ 中所有關於參數 $\theta$ 的資訊。換句話說，在已知統計量 $T$ 的值之後，樣本 $X_1, \ldots, X_n$ 中任何關於 $\theta$ 的額外資訊都無法被獲取。
嚴格來說，根據費雪定理 (Fisher-Neyman factorization theorem)，對於一個具有參數 $\theta$ 的分佈，其聯合機率密度函數為 $f(x_1, \ldots, x_n; \theta)$。統計量 $T(X_1, \ldots, X_n)$ 是 $\theta$ 的充分統計量，若且唯若對於所有可能的樣本值 $(x_1, \ldots, x_n)$ 和所有可能的參數值 $\theta$，聯合機率密度函數可以分解為：
$f(x_1, \ldots, x_n; \theta) = g(T(x_1, \ldots, x_n); \theta) h(x_1, \ldots, x_n)$
其中 $g$ 是依賴於 $T$ 和 $\theta$ 的函數，而 $h$ 是一個不依賴於 $\theta$ 的函數（只依賴於樣本值）。

(b) 最大概似函數估計量 (Maximum Likelihood Estimator, MLE)：
對於一個給定的樣本 $X_1, \ldots, X_n$，其聯合機率密度函數（或機率質量函數）為 $f(x_1, \ldots, x_n; \theta)$，其中 $\theta$ 是一個或多個未知參數。最大概似函數 (Likelihood Function) $L(\theta; x_1, \ldots, x_n)$ 被定義為：

核心觀念

本題考查二變量連續型隨機變數的聯合機率密度函數，以及利用二重積分計算事件機率。

若事件 $A$ 對應的區域為 $D_A$，則

$$P\bigl((X,Y)\in D_A\bigr) = \iint_{D_A} f_{XY}(x,y)\,dx\,dy.$$

題目給定的支持區域為

$$0<x<y<\infty.$$

先確認其確為聯合機率密度函數：

$$\int_0^\infty\int_0^y e^{-y}\,dx\,dy = \int_0^\infty y e^{-y}\,dy =1.$$

解題方法

要求

$$P(X+Y\ge 1).$$

直接積分時，需依照 $y$ 的範圍分段。由於 $0<x<y$：

• 當 $0<y<\frac12$ 時，最大可能的 $x+y$ 小於 $1$，事件不可能發生。
• 當 $\frac12\le y<1$ 時，需有 $x\ge 1-y$。
• 當 $y\ge 1$ 時，因為 $x>0$，必有 $x+y\ge1$。

因此事件區域可表示為

$$\frac12\le y<1,\qquad 1-y\le x<y,$$

以及

$$y\ge1,\qquad 0<x<y.$$

故

核心觀念

本題考查二維隨機變數的變數變換法。已知 $X$、$Y$ 相互獨立且皆服從標準常態分佈，因此其聯合密度為

$$f_{X,Y}(x,y) =f_X(x)f_Y(y) =\frac{1}{2\pi}\exp\left[-\frac{x^2+y^2}{2}\right], \qquad x,y\in\mathbb{R}.$$

定義新變數

$$U=\frac{X}{Y},\qquad V=|Y|.$$

由於 $V=|Y|$ 無法直接唯一決定 $Y$ 的正負，因此必須分別考慮 $Y=V$ 與 $Y=-V$ 兩種情況。

解題方法與變數反變換

因為 $V=|Y|$，所以 $v>0$ 時有兩個分支：

分支一：$Y=v$

此時

$$x=uv,\qquad y=v.$$

其雅可比矩陣為

$$\frac{\partial(x,y)}{\partial(u,v)} = \begin{pmatrix} v & u\\ 0 & 1 \end{pmatrix},$$

故雅可比行列式的絕對值為

$$\left|\frac{\partial(x,y)}{\partial(u,v)}\right|=v.$$

因此此分支對聯合密度的貢獻為

$$f_{X,Y}(uv,v)\cdot v = \frac{v}{2\pi} \exp\left[-\frac{u^2v^2+v^2}{2}\right].$$

分支二：$Y=-v$

此時

$$x=-uv,\qquad y=-v.$$

雅可比矩陣為

$$\frac{\partial(x,y)}{\partial(u,v)} = \begin{pmatrix} -v & -u\\ 0 & -1 \end{pmatrix},$$

其雅可比行列式絕對值同樣為

$$\left|\frac{\partial(x,y)}{\partial(u,v)}\right|=v.$$

此分支的貢獻為

本題主要考驗對 Jensen 不等式的理解與應用。Jensen 不等式指出，對於凸函數 $g$ 和隨機變數 $X$，有 $E(g(X)) \ge g(E(X))$。我們需要利用此性質來證明兩個具體的不等式。

(a) 證明 $E(X^2) \ge \{E(X)\}^2$
我們需要找到一個凸函數 $g(x)$ 和一個隨機變數 $X$，使得 $g(X) = X^2$ 並且 $E(g(X))$ 和 $g(E(X))$ 可以被計算。
考慮函數 $g(x) = x^2$。
我們需要判斷 $g(x) = x^2$ 是否為凸函數。
計算二階導數：$g'(x) = 2x$, $g''(x) = 2$。
由於 $g''(x) = 2 > 0$ 對於所有實數 $x$ 都成立，所以 $g(x) = x^2$ 是一個凸函數。
同時，題目假設 $E(X)$ 和 $E(g(X))$ 皆存在。對於 $g(x)=x^2$，我們需要 $E(X^2)$ 存在。如果 $E(X^2)$ 存在，則 $E(X)$ 必然存在（因為 $|X| \le X^2+1$ 或考慮其他方法）。
根據 Jensen 不等式，對於凸函數 $g(x)=x^2$，我們有：
$E(g(X)) \ge g(E(X))$
代入 $g(x) = x^2$：
$E(X^2) \ge (E(X))^2$
這就是我們需要證明的結果。

核心觀念

本題考查：

1. 由獨立樣本將單一觀測值的密度函數相乘，建立概似函數。
2. 利用概似函數求最大概似估計量。
3. 建立概似比統計量

$$\Lambda(\mathbf{x})= \frac{\displaystyle\sup_{\theta\in\Theta_0}L(\theta)} {\displaystyle\sup_{\theta\in\Theta}L(\theta)}.$$

4. 利用最小次序統計量 $X_{(1)}=\min(X_1,\ldots,X_n)$ 的分布決定顯著水準為 $\alpha$ 的拒絕域。

由於本題的密度函數具有條件 $x\ge \theta$，樣本資訊主要集中在最小觀測值 $X_{(1)}$。

---

(a) 參數 $\theta$ 的概似函數

單一觀測值的密度函數可寫成

$$f(x_i\mid\theta) = e^{-(x_i-\theta)}I(x_i\ge\theta),$$

其中 $I(\cdot)$ 為指示函數。

因為 $X_1,\ldots,X_n$ 相互獨立，故聯合密度函數即為概似函數：

$$L(\theta;\mathbf{x}) = \prod_{i=1}^n f(x_i\mid\theta).$$

因此

$$L(\theta;\mathbf{x}) = \prod_{i=1}^n e^{-(x_i-\theta)}I(x_i\ge\theta).$$

整理指數項：

$$L(\theta;\mathbf{x}) = e^{-\sum_{i=1}^n x_i+n\theta} \prod_{i=1}^n I(x_i\ge\theta).$$

所有指示函數同時為 $1$ 的條件是

$$\theta\le \min(x_1,\ldots,x_n)=x_{(1)}.$$

所以概似函數可寫成

$$L(\theta;\mathbf{x}) = e^{-\sum_{i=1}^n x_i+n\theta} I(\theta\le x_{(1)}).$$

亦即

$$L(\theta;\mathbf{x}) = \begin{cases} e^{-\sum_{i=1}^n x_i+n\theta}, & \theta\le x_{(1)},\\[4pt] 0, & \theta>x_{(1)}. \end{cases}$$

最大概似估計量

在允許範圍 $\theta\le x_{(1)}$ 內，

$$L(\theta;\mathbf{x}) = e^{-\sum x_i+n\theta}$$

會隨著 $\theta$ 單調遞增。因此概似函數在 $\theta=x_{(1)}$ 時達到最大值，故

$$\widehat{\theta}=X_{(1)}.$$

全參數空間下的最大概似值為

$$\sup_{\theta\in\mathbb{R}}L(\theta) = e^{-\sum_{i=1}^n x_i+n x_{(1)}}.$$

---

(b) 概似比檢定之拒絕域

考慮

$$H_0:\theta\le\theta_0, \qquad H_a:\theta>\theta_0.$$

第一步：求虛無假設下的最大概似值

在 $H_0$ 下，必須同時滿足

$$\theta\le\theta_0 \quad\text{及}\quad \theta\le x_{(1)}.$$

因此 $H_0$ 下可行的最大 $\theta$ 為

$$\min(\theta_0,x_{(1)}).$$

所以

$$\sup_{\theta\le\theta_0}L(\theta) = e^{-\sum_{i=1}^n x_i+n\min(\theta_0,x_{(1)})}.$$

第二步：建立概似比統計量

概似比統計量為

$$\Lambda(\mathbf{x}) = \frac{\sup_{\theta\le\theta_0}L(\theta)} {\sup_{\theta\in\mathbb{R}}L(\theta)}.$$

代入前述結果：

本題延續上一小題，要求解釋概似比檢定在 $H_0: \theta \le \theta_0$ vs $H_a: \theta > \theta_0$ 的情況下，如何根據樣本資訊做出決策。

我們在上小題中推導出概似比檢定的拒絕域為 $\min(X_1, \ldots, X_n) > c'$，其中 $c'$ 是由顯著水準 $\alpha$ 和 $\theta_0$ 決定的常數，具體為 $c' = \theta_0 - \frac{\ln \alpha}{n}$。

解釋概似比檢定決策過程：

1. 檢定統計量與決策規則：
   概似比檢定的核心思想是比較在虛無假設 $\Theta_0$ 下參數空間中的最大似然估計量 (MLE) 所對應的概似函數值，與在整個參數空間 $\Theta$ 下的 MLE 所對應的概似函數值。如果虛無假設下的 MLE 所對應的概似值遠小於整個參數空間下的 MLE 所對應的概似值，則我們傾向於拒絕虛無假設。
   對於本題的檢定統計量 $\lambda = \exp\left(n (\min(\theta_0, \min(x_i)) - \min(x_i))\right)$，我們拒絕 $H_0$ 當 $\lambda$ 小於某個臨界值 $c$。
   經過推導，這個拒絕域等價於 $\min(x_1, \ldots, x_n) > c'$，其中 $c' = \theta_0 - \frac{\ln \alpha}{n}$。

2. 樣本資訊的解讀：

   • 隨機變數 $X_i$ 的分佈： $X_i$ 的密度函數為 $f(x|\theta) = e^{-(x-\theta)}, x \ge \theta$。這表示 $X_i$ 是服從指數分佈（參數為 1）並加上偏移量 $\theta$。這個分佈的特性是，所有觀測值 $X_i$ 都必須大於或等於參數 $\theta$。因此，樣本的最小值 $\min(X_1, \ldots, X_n)$ 提供了一個關於 $\theta$ 的上限資訊。
   • 參數 $\theta$ 的估計： 從概似函數最大化的角度來看，$\hat{\theta}_{MLE} = \min(X_1, \ldots, X_n)$ 是參數 $\theta$ 的最大似然估計量。這意味著樣本的最小值是 $\theta$ 最有可能的值。
   • 虛無假設 $H_0: \theta \le \theta_0$： 虛無假設認為真實的參數 $\theta$ 不超過 $\theta_0$。
   • 對立假設 $H_a: \theta > \theta_0$： 對立假設認為真實的參數 $\theta$ 大於 $\theta_0$。

本題考驗貝氏統計中的後驗分佈計算、貝氏估計量推導以及對貝氏估計量性質的理解。

(a) 求 $p$ 之之事後分佈 (posterior distribution)
根據貝氏定理，後驗分佈 $f(p | X_1, \ldots, X_n)$ 與概似函數 $L(p | X_1, \ldots, X_n)$ 和事前分佈 $f(p)$ 的乘積成正比。
$f(p | X_1, \ldots, X_n) \propto L(X_1, \ldots, X_n | p) f(p)$
樣本 $X_i \sim \text{Ber}(p)$，其機率質量函數為 $P(X_i=x_i|p) = p^{x_i}(1-p)^{1-x_i}$，其中 $x_i \in \{0, 1\}$。
設樣本中有 $k$ 個成功 (即 $X_i=1$)，則 $n-k$ 個失敗 (即 $X_i=0$)。
概似函數為：
$L(X_1, \ldots, X_n | p) = \prod_{i=1}^n p^{x_i}(1-p)^{1-x_i} = p^{\sum x_i} (1-p)^{\sum (1-x_i)} = p^k (1-p)^{n-k}$
事前分佈為 $\text{Beta}(\alpha, \beta)$：
$f(p) = C p^{\alpha-1}(1-p)^{\beta-1}$
其中 $C = \frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}$ 是歸一化常數。

因此，後驗分佈與以下乘積成正比：
$f(p | X_1, \ldots, X_n) \propto p^k (1-p)^{n-k} \cdot p^{\alpha-1}(1-p)^{\beta-1}$
$f(p | X_1, \ldots, X_n) \propto p^{k+\alpha-1} (1-p)^{n-k+\beta-1}$
這正是 $\text{Beta}$ 分佈的形式。
後驗分佈為 $\text{Beta}(k+\alpha, n-k+\beta)$。
其中 $k = \sum_{i=1}^n X_i$ 是樣本中的成功次數。

(b) 驗證貝氏估計量是事前分佈期望值與最大概似估計量之線性組合
在貝氏統計中，通常使用後驗期望值作為點估計量（貝氏估計量），特別是當損失函數為平方損失函數 (squared error loss) 時。
後驗分佈為 $\text{Beta}(k+\alpha, n-k+\beta)$。
$\text{Beta}(a, b)$ 分佈的期望值為 $\frac{a}{a+b}$。
所以，後驗期望值（貝氏估計量）為：
$\hat{p}_{Bayes} = E[p | X_1, \ldots, X_n] = \frac{k+\alpha}{(k+\alpha) + (n-k+\beta)} = \frac{k+\alpha}{n+\alpha+\beta}$

現在我們看最大概似估計量 (MLE)。
對於伯努利分佈，樣本均值是 $p$ 的 MLE。
$\hat{p}_{MLE} = \bar{X} = \frac{1}{n} \sum_{i=1}^n X_i = \frac{k}{n}$

我們要驗證 $\hat{p}_{Bayes}$ 是否是 $\frac{\alpha}{\alpha+\beta}$ 與 $\hat{p}_{MLE}$ 的線性組合。
令 $\mu_0 = \frac{\alpha}{\alpha+\beta}$ 是事前分佈的期望值 $E[p]$。
我們將 $\hat{p}_{Bayes}$ 改寫成：
$\hat{p}_{Bayes} = \frac{k+\alpha}{n+\alpha+\beta} = \frac{k}{n+\alpha+\beta} + \frac{\alpha}{n+\alpha+\beta}$
這看起來不像我們期望的形式。讓我們試著用 $\hat{p}_{MLE}$ 來表示。
$\hat{p}_{Bayes} = \frac{k+\alpha}{n+\alpha+\beta} = \frac{n \cdot \frac{k}{n} + \alpha}{n+\alpha+\beta} = \frac{n \hat{p}_{MLE} + \alpha}{n+\alpha+\beta}$
我們可以將其寫成加權平均的形式：
$\hat{p}_{Bayes} = \frac{n}{n+\alpha+\beta} \hat{p}_{MLE} + \frac{\alpha}{n+\alpha+\beta}$
這個形式是 $\hat{p}_{MLE}$ 和 $\alpha$ 的線性組合。
我們需要驗證它是否是 $\mu_0 = \frac{\alpha}{\alpha+\beta}$ 和 $\hat{p}_{MLE}$ 的線性組合。

讓我們將 $\hat{p}_{Bayes}$ 改寫成：
$\hat{p}_{Bayes} = \frac{k+\alpha}{n+\alpha+\beta}$
我們知道 $\alpha = (\alpha+\beta) \mu_0$ 且 $n = n$。
$\hat{p}_{Bayes} = \frac{k + (\alpha+\beta)\mu_0}{n+\alpha+\beta}$
我們也知道 $k = n \hat{p}_{MLE}$。
$\hat{p}_{Bayes} = \frac{n \hat{p}_{MLE} + (\alpha+\beta)\mu_0}{n+\alpha+\beta}$
$\hat{p}_{Bayes} = \frac{n}{n+\alpha+\beta} \hat{p}_{MLE} + \frac{\alpha+\beta}{n+\alpha+\beta} \mu_0$
這是一個加權平均的形式，其中權重是 $w_1 = \frac{n}{n+\alpha+\beta}$ 和 $w_2 = \frac{\alpha+\beta}{n+\alpha+\beta}$。
並且 $w_1 + w_2 = \frac{n+\alpha+\beta}{n+\alpha+\beta} = 1$。
所以， $\hat{p}_{Bayes}$ 確實是 $\hat{p}_{MLE}$ 和 $\mu_0 = E[p]$ 的線性組合。

本題考驗對統計學中幾個重要概念的理解：輔助統計量、充分統計量、獨立性、一致最小變異不偏估計量 (UMVUE)。

(a) 輔助統計量 (ancillary statistic) 之分佈與樣本母體參數 $\theta$ 無關，故與充分統計量獨立；

• 輔助統計量 (Ancillary Statistic)： 一個統計量 $S$ 被稱為輔助統計量，如果其機率分佈不依賴於母體參數 $\theta$。
• 充分統計量 (Sufficient Statistic)： 一個統計量 $T$ 被稱為母體參數 $\theta$ 的充分統計量，如果它包含了樣本中關於 $\theta$ 的所有資訊。
• 獨立性： 兩個統計量 $A$ 和 $B$ 是獨立的，如果 $P(A=a, B=b) = P(A=a)P(B=b)$ 對於所有 $a, b$ 成立。

分析：
題目中說「輔助統計量之分佈與樣本母體參數 $\theta$ 無關」，這是輔助統計量的定義，所以這部分是正確的。
然而，後半句「故與充分統計量獨立」則不一定正確。

反例或解釋：
雖然輔助統計量的分佈不依賴於 $\theta$，而充分統計量的分佈依賴於 $\theta$（通常），但這並不自動意味著它們是獨立的。

• 充分統計量 $T$： 它的分佈 $f_T(t|\theta)$ 依賴於 $\theta$。
• 輔助統計量 $S$： 它的分佈 $f_S(s)$ 不依賴於 $\theta$。

考慮聯合分佈 $f_{T,S}(t,s|\theta) = f_S(s|T=t, \theta) f_T(t|\theta)$。
如果 $S$ 和 $T$ 是獨立的，則 $f_S(s|T=t, \theta) = f_S(s)$。
所以， $f_{T,S}(t,s|\theta) = f_S(s) f_T(t|\theta)$。
這意味著聯合分佈是邊際分佈的乘積，並且對於所有 $\theta$ 都成立。

然而，在很多情況下，輔助統計量與充分統計量是相關的。
一個經典的例子是，當我們考慮一個參數模型，並且我們將樣本空間分解為充分統計量 $T$ 和輔助統計量 $S$ 的函數。
例如，考慮二維隨機向量 $(X,Y)$，其聯合密度函數為 $f(x,y|\theta)$。
假設 $T(X,Y)$ 是 $\theta$ 的充分統計量，而 $S(X,Y)$ 是輔助統計量。
如果 $S$ 和 $T$ 獨立，則 $f(x,y|\theta) = f_T(t|\theta) f_S(s)$。
這意味著，對於任何給定的 $t$， $f(x,y|\theta)$ 在 $t$ 的固定值上，相對於 $s$ 的分佈是獨立於 $\theta$ 的。

更直接的說法：
輔助統計量 $S$ 的分佈不依賴於 $\theta$。充分統計量 $T$ 的分佈依賴於 $\theta$。
如果 $S$ 和 $T$ 是獨立的，那麼 $f(t,s|\theta) = f_T(t|\theta) f_S(s)$。
這並沒有矛盾。但是，很多時候 $S$ 和 $T$ 並不總是獨立的。