113 年 國立中央大學統計研究所碩士班在職生《數理統計》

本題主要考驗聯合機率密度函數的性質、邊緣機率密度函數的計算、條件機率密度函數的計算與變異數的求解。

(a) 求解常數 $c$

由於 $f(x, y)$ 是一個聯合機率密度函數，其在整個定義域上的積分必須等於 1。
定義域為 $0 < x < y < \infty$。我們需要計算積分：
$\int_{0}^{\infty} \int_{x}^{\infty} ce^{-y} \, dy \, dx = 1$
首先計算內層積分：
$\int_{x}^{\infty} ce^{-y} \, dy = c [-e^{-y}]_{x}^{\infty} = c (0 - (-e^{-x})) = ce^{-x}$
接著計算外層積分：
$\int_{0}^{\infty} ce^{-x} \, dx = c [-e^{-x}]_{0}^{\infty} = c (0 - (-1)) = c$
因此，我們得到 $c = 1$。

【答案】$c = 1$

(b) 計算 $P(X + Y > 1)$

首先，我們需要求出 $X$ 和 $Y$ 的邊緣機率密度函數。
由 (a) 的計算可知，聯合 pdf 為 $f(x, y) = e^{-y}$，定義域為 $0 < x < y < \infty$。

$X$ 的邊緣 pdf $f_X(x)$:
$f_X(x) = \int_{x}^{\infty} e^{-y} \, dy = [-e^{-y}]_{x}^{\infty} = e^{-x}, \quad 0 < x < \infty$

$Y$ 的邊緣 pdf $f_Y(y)$:
$f_Y(y) = \int_{0}^{y} e^{-y} \, dx = e^{-y} [x]_{0}^{y} = ye^{-y}, \quad 0 < y < \infty$

現在我們需要計算 $P(X + Y > 1)$。這需要對聯合 pdf 在區域 $0 < x < y < \infty$ 且 $x + y > 1$ 上進行積分。
積分區域為：$y > x$, $y > 0$, $x > 0$, 且 $y > 1-x$。
這是一個在 $xy$-平面上的區域，我們需要畫出這個區域來確定積分上下限。
區域是三角形 $0 < x < y$ 在 $y=1-x$ 這條直線的上方。
考慮兩種情況：
情況 1: $0 < x < 1/2$。此時 $1-x > 1/2$。
對於一個給定的 $x$， $y$ 的範圍是 $\max(x, 1-x) < y < \infty$。
如果 $x < 1-x$ (即 $x < 1/2$)，則 $y$ 的範圍是 $1-x < y < \infty$。
如果 $x > 1-x$ (即 $x > 1/2$)，則 $y$ 的範圍是 $x < y < \infty$。

更直接的方法是考慮補集事件 $P(X+Y \le 1)$。
積分區域為 $0 < x < y < \infty$ 且 $x+y \le 1$。
這個區域是個三角形，頂點為 $(0,0)$, $(0,1)$, $(1/2, 1/2)$。
$P(X+Y \le 1) = \int_{0}^{1/2} \int_{x}^{1-x} e^{-y} \, dy \, dx$
內層積分：
$\int_{x}^{1-x} e^{-y} \, dy = [-e^{-y}]_{x}^{1-x} = -e^{-(1-x)} - (-e^{-x}) = e^{-x} - e^{-1+x}$
外層積分：
$P(X+Y \le 1) = \int_{0}^{1/2} (e^{-x} - e^{-1+x}) \, dx = [-e^{-x} - e^{-1+x}]_{0}^{1/2}$
$= (-e^{-1/2} - e^{-1/2}) - (-e^{0} - e^{-1}) = -2e^{-1/2} - (-1 - e^{-1})$
$= 1 + e^{-1} - 2e^{-1/2}$
因此，
$P(X+Y > 1) = 1 - P(X+Y \le 1) = 1 - (1 + e^{-1} - 2e^{-1/2}) = 2e^{-1/2} - e^{-1}$

【答案】$P(X + Y > 1) = 2e^{-1/2} - e^{-1}$

(c) 計算條件變異數 $\text{Var}(Y|X = x)$ 並與 $\text{Var}(Y)$ 比較，解釋結果。

首先，我們需要求出條件機率密度函數 $f_{Y|X}(y|x)$。
$f_{Y|X}(y|x) = \frac{f(x, y)}{f_X(x)}$
其中 $f(x, y) = e^{-y}$ (對於 $0 < x < y < \infty$) 且 $f_X(x) = e^{-x}$ (對於 $0 < x < \infty$)。
所以，
$f_{Y|X}(y|x) = \frac{e^{-y}}{e^{-x}} = e^{-(y-x)}$
此時的定義域是 $y > x$。
我們可以將其看作一個指數分佈，但參數有所不同。
令 $Z = Y-X$。則 $Y = X+Z$。
在條件 $X=x$ 下，$Y = x+Z$。
$f_{Y|X}(y|x) = e^{-(y-x)}$ 對於 $y > x$。

核心觀念

本題考查：

• Neyman–Fisher 因子分解定理：判斷充分統計量。
• 最小充分統計量的似然比判定法。
• 完備性的定義：若對所有 $\theta$ 都有
  $E_\theta[g(T)]=0,$
  則必須推出 $g(T)=0$ 幾乎處處。
• 指數分布的最小值與期望值。

---

(a) 求 $\theta$ 的最小充分統計量

令觀察值為 $\boldsymbol{x}=(x_1,\dots,x_n)$。由獨立同分布，聯合機率密度為

$$L(\theta;\boldsymbol{x}) =\prod_{i=1}^n \frac{1}{\theta} e^{-(x_i-\theta)/\theta} I(x_i>\theta).$$

整理得

$$L(\theta;\boldsymbol{x}) =\theta^{-n} \exp\left\{-\frac{\sum_{i=1}^n x_i-n\theta}{\theta}\right\} I(0<\theta<x_{(1)}),$$

其中 $x_{(1)}=\min_i x_i$。由於

$$\exp\left\{-\frac{\sum_{i=1}^n x_i-n\theta}{\theta}\right\} = e^n\exp\left\{-\frac{\sum_{i=1}^n x_i}{\theta}\right\},$$

故

$$L(\theta;\boldsymbol{x}) = \theta^{-n}e^n \exp\left\{-\frac{\sum_{i=1}^n x_i}{\theta}\right\} I(0<\theta<x_{(1)}).$$

似然函數對樣本的依賴只透過

$$\left(x_{(1)},\sum_{i=1}^n x_i\right),$$

因此由因子分解定理，

$$T(\boldsymbol{X}) = \left(X_{(1)},\sum_{i=1}^n X_i\right)$$

是充分統計量。

證明其為最小充分統計量

對兩組樣本 $\boldsymbol{x},\boldsymbol{y}$，考慮似然比

$$\frac{L(\theta;\boldsymbol{x})}{L(\theta;\boldsymbol{y})}.$$

若

$$x_{(1)}=y_{(1)},\qquad \sum_{i=1}^n x_i=\sum_{i=1}^n y_i,$$

則兩組樣本的似然比與 $\theta$ 無關。

反之：

• 若 $x_{(1)}\ne y_{(1)}$，則指示函數 $$I(0<\theta<x_{(1)}) \quad\text{與}\quad I(0<\theta<y_{(1)})$$ 的支撐範圍不同，似然比會依賴 $\theta$。
• 若 $x_{(1)}=y_{(1)}$，但 $$\sum x_i\ne \sum y_i,$$ 則似然比包含 $$\exp\left\{-\frac{\sum x_i-\sum y_i}{\theta}\right\},$$ 也會依賴 $\theta$。

因此，似然比與 $\theta$ 無關當且僅當

$$x_{(1)}=y_{(1)} \quad\text{且}\quad \sum x_i=\sum y_i.$$

所以最小充分統計量可取為

$$\boxed{ T(\boldsymbol{X}) = \left(X_{(1)},\sum_{i=1}^n X_i\right) }.$$

---

(b) 判斷最小充分統計量是否完備

分布轉換

令

$$Y_i=X_i-\theta.$$

則 $Y_i>0$，且

核心觀念

本題考查：

1. 充分完備統計量
2. Lehmann–Scheffé 定理
3. 利用常態分配動差生成函數構造不偏估計量
4. Cramér–Rao lower bound（CRLB）
5. 比較 UMVUE 的實際變異數與 CRLB

由於 $\sigma^2$ 已知，樣本聯合密度可寫為

$$f(\boldsymbol{x};\mu) \propto \exp\left\{ -\frac{1}{2\sigma^2}\sum_{i=1}^n x_i^2 +\frac{\mu}{\sigma^2}\sum_{i=1}^n x_i -\frac{n\mu^2}{2\sigma^2} \right\}.$$

因此

$$T=\sum_{i=1}^n X_i$$

是 $\mu$ 的充分統計量。由於這是自然參數空間為開集合的完整一參數指數族，$T$ 同時為完全統計量。

根據 Lehmann–Scheffé 定理，只要找到一個以 $T$ 為函數的不偏估計量，即為 UMVUE。

---

解題方法

令

$$\bar X=\frac{1}{n}\sum_{i=1}^n X_i.$$

因為

$$\bar X\sim N\left(\mu,\frac{\sigma^2}{n}\right),$$

而常態分配的動差生成函數為

$$E_\mu(e^{s\bar X}) = \exp\left( s\mu+\frac{s^2\sigma^2}{2n} \right).$$

取 $s=t$，得到

$$E_\mu(e^{t\bar X}) = \exp\left( t\mu+\frac{t^2\sigma^2}{2n} \right).$$

因此乘上校正因子 $\exp\left(-\frac{t^2\sigma^2}{2n}\right)$，定義

$$\widehat{\theta} = \exp\left( t\bar X-\frac{t^2\sigma^2}{2n} \right).$$

其期望值為

$$\begin{aligned} E_\mu(\widehat{\theta}) &= \exp\left(-\frac{t^2\sigma^2}{2n}\right) E_\mu(e^{t\bar X})\\ &= \exp\left(-\frac{t^2\sigma^2}{2n}\right) \exp\left(t\mu+\frac{t^2\sigma^2}{2n}\right)\\ &= e^{t\mu}. \end{aligned}$$

所以 $\widehat{\theta}$ 是 $e^{t\mu}$ 的不偏估計量，而且它是完全充分統計量 $T$ 的函數。依 Lehmann–Scheffé 定理，它就是 UMVUE。

---

(a) UMVUE

因此

$$\boxed{ \widehat{\theta}_{\mathrm{UMVUE}} = \exp\left( t\bar X-\frac{t^2\sigma^2}{2n} \right) }$$

也可寫成

$$\boxed{ \widehat{\theta}_{\mathrm{UMVUE}} = \exp\left( \frac{t}{n}\sum_{i=1}^n X_i -\frac{t^2\sigma^2}{2n} \right) }.$$

---

(b) 與 Cramér–Rao lower bound 比較

1. 計算 UMVUE 的變異數

先計算二次動差：

$$\widehat{\theta}_{\mathrm{UMVUE}}^2 = \exp\left( 2t\bar X-\frac{t^2\sigma^2}{n} \right).$$

因此

$$\begin{aligned} E_\mu(\widehat{\theta}_{\mathrm{UMVUE}}^2) &= \exp\left(-\frac{t^2\sigma^2}{n}\right) E_\mu(e^{2t\bar X})\\ &= \exp\left(-\frac{t^2\sigma^2}{n}\right) \exp\left( 2t\mu+\frac{(2t)^2\sigma^2}{2n} \right)\\ &= \exp\left( 2t\mu+\frac{t^2\sigma^2}{n} \right). \end{aligned}$$

由於

$$E_\mu(\widehat{\theta}_{\mathrm{UMVUE}}) = e^{t\mu},$$

所以

核心觀念

1. 混合模型／離散指標參數的概似函數極大化（Maximum Likelihood Estimation over Discrete Index）：
   母體分配由未知尺度參數 $\theta > 0$ 與模型指標 $j \in \{1, 2\}$ 共同決定。其中：
   • $j = 1$ 代表常態分配族（注意題幹中標準化常數為 $(\sqrt{2\pi\theta})^{-1}$，指數項為 $\exp\{-x^2/(2\theta^2)\}$）。
   • $j = 2$ 代表雙指數分配（拉普拉斯分配，Laplace distribution）族。
     求解 $(\theta, j)$ 的 MLE 時，採取剖面概似法（Profile Likelihood Method）：
   • 先分別固定 $j = 1$ 與 $j = 2$，求出在給定模型下的條件 MLE $\hat{\theta}_j$；
   • 將 $\hat{\theta}_j$ 代回各自的對數概似函數，得到最大化的概似值 $\ell_j(\hat{\theta}_j)$；
   • 比較兩者大小，以較大概似值所對應的 $j$ 作為 $\hat{j}_{\text{MLE}}$，對應的估計值即為 $\hat{\theta}_{\text{MLE}} = \hat{\theta}_{\hat{j}}$。
2. 估計量的一致性（Consistency of Estimators）：
   • 估計量 $\hat{\theta}_n$ 稱為一致估計量，若 $\hat{\theta}_n \xrightarrow{P} \theta$（當 $n \to \infty$）。
   • 對於離散指標 $j \in \{1, 2\}$，$\hat{j}_n \xrightarrow{P} j$ 等價於：在真實參數為 $j$ 時，$\lim_{n \to \infty} P(\hat{j}_n = j) = 1$。
   • 此處利用強大數法則（Khinchin's SLLN）與詹森不等式（Jensen's inequality）／Kullback-Leibler 散度（K-L Information）嚴格正性，探討概似比檢定統計量的漸近極限性質。

---

解題方法

(a) 求解 $(\theta, j)$ 的 MLE

設樣本為 $X_1, \dots, X_n$。對數概似函數記為 $\ell(\theta, j) = \sum_{i=1}^n \ln f_{\theta,j}(X_i)$。

1. 當 $j = 1$ 時（常態型分配）：

pdf 為 $f_{\theta,1}(x) = (2\pi\theta)^{-1/2} \exp\left(-\frac{x^2}{2\theta^2}\right)$。
對數概似函數為：

$$\ell_1(\theta) = -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln \theta - \frac{1}{2\theta^2}\sum_{i=1}^n X_i^2$$

對 $\theta$ 微分並令其為 0：

$$\frac{d\ell_1(\theta)}{d\theta} = -\frac{n}{2\theta} + \frac{1}{\theta^3}\sum_{i=1}^n X_i^2 = 0 \implies \theta^2 = \frac{2}{n}\sum_{i=1}^n X_i^2$$

由於二階導數在極值點小於 0，得在 $j = 1$ 下 $\theta$ 的 MLE 為：

$$\hat{\theta}_1 = \sqrt{\frac{2}{n}\sum_{i=1}^n X_i^2}$$

將 $\hat{\theta}_1$ 代回 $\ell_1(\theta)$，得剖面對數概似值：

$$\begin{aligned} \ell_1(\hat{\theta}_1) &= -\frac{n}{2}\ln(2\pi) - \frac{n}{2}\ln \hat{\theta}_1 - \frac{\sum_{i=1}^n X_i^2}{2\hat{\theta}_1^2} \\ &= -\frac{n}{2}\ln(2\pi) - \frac{n}{4}\ln\left(\frac{2}{n}\sum_{i=1}^n X_i^2\right) - \frac{n}{4} \end{aligned}$$

2. 當 $j = 2$ 時（拉普拉斯分配）：

pdf 為 $f_{\theta,2}(x) = (2\theta)^{-1} \exp\left(-\frac{|x|}{\theta}\right)$。
對數概似函數為：

$$\ell_2(\theta) = -n\ln 2 - n\ln \theta - \frac{1}{\theta}\sum_{i=1}^n |X_i|$$

對 $\theta$ 微分並令其為 0：

$$\frac{d\ell_2(\theta)}{d\theta} = -\frac{n}{\theta} + \frac{1}{\theta^2}\sum_{i=1}^n |X_i| = 0 \implies \hat{\theta}_2 = \frac{1}{n}\sum_{i=1}^n |X_i|$$

將 $\hat{\theta}_2$ 代回 $\ell_2(\theta)$，得剖面對數概似值：

$$\begin{aligned} \ell_2(\hat{\theta}_2) &= -n\ln 2 - n\ln \hat{\theta}_2 - \frac{\sum_{i=1}^n |X_i|}{\hat{\theta}_2} \\ &= -n\ln 2 - n\ln\left(\frac{1}{n}\sum_{i=1}^n |X_i|\right) - n \end{aligned}$$

3. 比較 $\ell_1(\hat{\theta}_1)$ 與 $\ell_2(\hat{\theta}_2)$：

令概似比對數差為 $\Delta_n = \ell_1(\hat{\theta}_1) - \ell_2(\hat{\theta}_2)$：

$$\frac{1}{n}\Delta_n = -\frac{1}{2}\ln(2\pi) - \frac{1}{4}\ln\left(\frac{2}{n}\sum_{i=1}^n X_i^2\right) - \frac{1}{4} + \ln 2 + \ln\left(\frac{1}{n}\sum_{i=1}^n |X_i|\right) + 1$$

整理常數項：

$$-\frac{1}{2}\ln(2\pi) - \frac{1}{4}\ln 2 - \frac{1}{4} + \ln 2 + 1 = \frac{3}{4}\ln 2 - \frac{1}{2}\ln(2\pi) + \frac{3}{4} = \frac{3}{4} - \frac{1}{2}\ln\pi + \frac{1}{4}\ln 2$$

故判別準則為：

$$\hat{j} = \begin{cases} 1, & \text{若 } \ell_1(\hat{\theta}_1) \ge \ell_2(\hat{\theta}_2) \\ 2, & \text{若 } \ell_1(\hat{\theta}_1) < \ell_2(\hat{\theta}_2) \end{cases}$$

聯合估計量即為 $(\hat{\theta}, \hat{j}) = (\hat{\theta}_{\hat{j}}, \hat{j})$。

---

(b) 證明 $\hat{j}$ 的一致性（Consistency）

要證明 $\hat{j}$ 是 $j$ 的一致估計量，需證明：

• 當真實模型為 $j = 1$ 時，$\lim_{n \to \infty} P_{1,\theta}(\hat{j} = 1) = 1$。
• 當真實模型為 $j = 2$ 時，$\lim_{n \to \infty} P_{2,\theta}(\hat{j} = 2) = 1$。

情況 1：真實模型為 $j = 1$（設真實參數為 $\theta_0 > 0$）

根據強大數法則（SLLN）：

核心觀念

本題考查常態母體平均數在變異數未知時的：

• 似然比檢定（Likelihood Ratio Test, LRT）
• 常態樣本的最大概似估計
• 樣本平均數與樣本變異數的分布關係
• $t$ 檢定與信賴區間的對偶關係

令

$$\bar X=\frac{1}{n}\sum_{i=1}^n X_i, \qquad S^2=\frac{1}{n-1}\sum_{i=1}^n (X_i-\bar X)^2.$$

在 $H_0:\theta=\theta_0$ 下，有

$$\frac{\sqrt n(\bar X-\theta_0)}{S}\sim t_{n-1}.$$

題目中的 $t_{n-1,\alpha/2}$ 採用上尾臨界值的慣例，即

$$P\left(t_{n-1}>t_{n-1,\alpha/2}\right)=\frac{\alpha}{2}.$$

因此 $t_{n-1,\alpha/2}$ 也可寫成 $t_{n-1}^{-1}(1-\alpha/2)$。

---

解題方法

先計算虛無假設與完整參數空間下的最大概似值，再建立似然比統計量。由於似然比會隨

$$\frac{|\bar X-\theta_0|}{S/\sqrt n}$$

單調遞減，因此 LRT 會等價於雙尾 $t$ 檢定。

---

（a）證明其為大小為 $\alpha$ 的 LRT

1. 寫出概似函數

樣本來自 $N(\theta,\sigma^2)$，因此概似函數為

$$L(\theta,\sigma^2) = (2\pi\sigma^2)^{-n/2} \exp\left\{ -\frac{1}{2\sigma^2} \sum_{i=1}^n (x_i-\theta)^2 \right\}.$$

使用恆等式

$$\sum_{i=1}^n (x_i-\theta)^2 = \sum_{i=1}^n (x_i-\bar x)^2+n(\bar x-\theta)^2$$

可將平方和分解為

$$\sum_{i=1}^n (x_i-\theta)^2 = (n-1)s^2+n(\bar x-\theta)^2.$$

---

2. 完整參數空間下的最大概似估計

在完整參數空間

$$\Theta=\{(\theta,\sigma^2):\theta\in\mathbb R,\ \sigma^2>0\}$$

下，最大概似估計為

$$\hat\theta=\bar x, \qquad \hat\sigma^2=\frac{1}{n}\sum_{i=1}^n(x_i-\bar x)^2 =\frac{n-1}{n}s^2.$$

代回概似函數，得到

$$\sup_{\theta,\sigma^2}L(\theta,\sigma^2) = (2\pi\hat\sigma^2)^{-n/2}e^{-n/2}.$$

---

3. $H_0$ 下的最大概似估計

在虛無假設 $H_0:\theta=\theta_0$ 下，$\theta$ 已固定為 $\theta_0$，只需對 $\sigma^2$ 最大化。

此時

$$\sum_{i=1}^n(x_i-\theta_0)^2 = (n-1)s^2+n(\bar x-\theta_0)^2.$$

因此

$$\hat\sigma_0^2 = \frac{1}{n}\sum_{i=1}^n(x_i-\theta_0)^2 = \frac{(n-1)s^2+n(\bar x-\theta_0)^2}{n}.$$

故

$$\sup_{\sigma^2}L(\theta_0,\sigma^2) = (2\pi\hat\sigma_0^2)^{-n/2}e^{-n/2}.$$

---

4. 建立似然比統計量

似然比統計量定義為

$$\Lambda(x) = \frac{\sup_{\sigma^2}L(\theta_0,\sigma^2)} {\sup_{\theta,\sigma^2}L(\theta,\sigma^2)}.$$

代入上述最大概似值：

$$\Lambda(x) = \left( \frac{\hat\sigma^2}{\hat\sigma_0^2} \right)^{n/2}.$$

進一步整理：

$$\Lambda(x) = \left[ \frac{(n-1)s^2} {(n-1)s^2+n(\bar x-\theta_0)^2} \right]^{n/2}.$$

定義

$$T = \frac{\sqrt n\,|\bar X-\theta_0|}{S} = \frac{|\bar X-\theta_0|}{\sqrt{S^2/n}}.$$

則

$$\Lambda(x) = \left(\frac{n-1}{n-1+T^2}\right)^{n/2}.$$