112 年 國立中央大學統計研究所碩士班一般生《數理統計》

此題主要在考驗變數轉換、邊緣機率密度函數的求解，以及條件期望值的計算。

核心觀念：

• 變數轉換 (Transformation of Variables): 當我們對隨機變數進行線性或非線性轉換時，如何求得新隨機變數的機率分佈。
• 聯合機率密度函數 (Joint PDF): 兩個隨機變數共同出現的機率密度。
• 邊緣機率密度函數 (Marginal PDF): 從聯合機率密度函數積分掉其中一個變數，得到另一個變數的機率密度。
• 條件機率密度函數 (Conditional PDF): 在已知其中一個變數的條件下，另一個變數的機率密度。
• 條件期望值 (Conditional Expectation): 在已知其中一個變數的條件下，另一個變數的期望值。

解題過程：

首先，我們知道 $X_1, X_2$ 為獨立的指數分佈隨機變數，其平均值為 $1/\lambda$。指數分佈的機率密度函數 (pdf) 為：
$f_{X_1}(x_1) = \lambda e^{-\lambda x_1}$, for $x_1 > 0$, and $f_{X_2}(x_2) = \lambda e^{-\lambda x_2}$, for $x_2 > 0$.
由於 $X_1, X_2$ 獨立，其聯合 pdf 為 $f_{X_1, X_2}(x_1, x_2) = f_{X_1}(x_1) f_{X_2}(x_2) = \lambda^2 e^{-\lambda(x_1+x_2)}$, for $x_1 > 0, x_2 > 0$.

我們進行變數轉換：
$U = X_1 - X_2$
$V = X_2$

反向轉換為：
$X_1 = U + V$
$X_2 = V$

Jacobian of the transformation:
$J = \det \begin{pmatrix} \frac{\partial x_1}{\partial u} & \frac{\partial x_1}{\partial v} \\ \frac{\partial x_2}{\partial u} & \frac{\partial x_2}{\partial v} \end{pmatrix} = \det \begin{pmatrix} 1 & 1 \\ 0 & 1 \end{pmatrix} = 1 \times 1 - 1 \times 0 = 1$.

聯合 pdf 的絕對值 $|J|$ 為 $|1|=1$.

原始變數的定義域為 $x_1 > 0$ 且 $x_2 > 0$.
轉換後的定義域為：
$u + v > 0$
$v > 0$

這是 $(u, v)$ 平面上的一個區域。

(a) Find the joint probability density function (pdf) of $U$ and $V$.

新的聯合 pdf $f_{U,V}(u,v)$ 可以由以下公式計算：
$f_{U,V}(u,v) = f_{X_1, X_2}(x_1(u,v), x_2(u,v)) |J|$
$f_{U,V}(u,v) = \lambda^2 e^{-\lambda((u+v)+v)} \times 1$
$f_{U,V}(u,v) = \lambda^2 e^{-\lambda(u+2v)}$

此 pdf 在定義域 $v > 0$ 且 $u+v > 0$ (即 $u > -v$) 上成立，否則為 0。

(b) Find the pdf of $U$.

為了找到 $U$ 的邊緣 pdf $f_U(u)$，我們需要對聯合 pdf $f_{U,V}(u,v)$ 積分掉 $v$。
$f_U(u) = \int_{-\infty}^{\infty} f_{U,V}(u,v) dv$

積分範圍需要根據定義域來確定。
定義域是 $v > 0$ 且 $u+v > 0 \implies v > -u$.
因此，積分範圍是 $v > \max(0, -u)$.

情況一：當 $u \ge 0$ 時，$-u \le 0$. 所以 $\max(0, -u) = 0$. 積分範圍是 $v > 0$.
$f_U(u) = \int_{0}^{\infty} \lambda^2 e^{-\lambda(u+2v)} dv = \lambda^2 e^{-\lambda u} \int_{0}^{\infty} e^{-2\lambda v} dv$
$f_U(u) = \lambda^2 e^{-\lambda u} \left[ -\frac{1}{2\lambda} e^{-2\lambda v} \right]_{0}^{\infty}$
$f_U(u) = \lambda^2 e^{-\lambda u} \left( 0 - (-\frac{1}{2\lambda} e^0) \right) = \lambda^2 e^{-\lambda u} \left( \frac{1}{2\lambda} \right) = \frac{\lambda}{2} e^{-\lambda u}$.

情況二：當 $u < 0$ 時，$-u > 0$. 所以 $\max(0, -u) = -u$. 積分範圍是 $v > -u$.
$f_U(u) = \int_{-u}^{\infty} \lambda^2 e^{-\lambda(u+2v)} dv = \lambda^2 e^{-\lambda u} \int_{-u}^{\infty} e^{-2\lambda v} dv$
$f_U(u) = \lambda^2 e^{-\lambda u} \left[ -\frac{1}{2\lambda} e^{-2\lambda v} \right]_{-u}^{\infty}$
$f_U(u) = \lambda^2 e^{-\lambda u} \left( 0 - (-\frac{1}{2\lambda} e^{-2\lambda (-u)}) \right) = \lambda^2 e^{-\lambda u} \left( \frac{1}{2\lambda} e^{2\lambda u} \right)$
$f_U(u) = \frac{\lambda}{2} e^{\lambda u}$.

綜合以上兩種情況，U 的 pdf 為：
$f_U(u) = \begin{cases} \frac{\lambda}{2} e^{-\lambda u} & u \ge 0 \\ \frac{\lambda}{2} e^{\lambda u} & u < 0 \end{cases}$
這是一個拉普拉斯分佈 (Laplace distribution) 的形式，參數為 $\frac{\lambda}{2}$。

核心觀念

本題為數理統計中**幾何分配（Geometric Distribution）及其在設限資料（Censored Data）**下的推論經典考題。評量重點包括：

1. 機率質量函數（pmf）之建模：辨析幾何分配之定義（試驗次數 vs. 失敗次數）。題目設定 $X_i$ 為「直到康復（成功）為止的覆診次數（number of return visits until recovery）」，康復機率為 $\theta$。每次覆診即代表一次試驗，若第 $x$ 次覆診時康復，則前 $x-1$ 次覆診皆未康復，故 $X_i \sim \text{Geometric}(\theta)$，支撐集為 $x = 1, 2, 3, \dots$。
2. 最大概似估計量（MLE）：透過對數概似函數（log-likelihood function）之一階微分求極值，並確認二階微分小於零。
3. 不偏性（Unbiasedness）檢驗：利用 Jensen's 不等式或直接計算期望值，檢驗非線性轉換估計量之不偏性。
4. 右設限隨機變數之分佈：混合連續/離散截斷概念，求右設限（right-censored）變數之機率分佈。
5. 設限資料之概似分析：將樣本拆解為未設限（uncensored）與設限（censored）兩部分，建立設限概似函數並求解 MLE。

---

解題方法與詳細推導

(a) 求 $X_i$ 的機率質量函數（pmf）

每次覆診可視為一次獨立的白努力試驗（Bernoulli trial），成功（康復）之機率為 $\theta \in (0, 1)$，未康復之機率為 $1-\theta$。
患者在第 $x$ 次覆診康復，代表前 $x-1$ 次覆診皆未康復，且第 $x$ 次覆診時康復。因此 $X_i$ 服從幾何分配：

$$P(X_i = x) = (1-\theta)^{x-1}\theta, \quad x = 1, 2, 3, \dots$$

以指示函數（indicator function）表示即為：

$$f_{X_i}(x; \theta) = \theta(1-\theta)^{x-1} I_{\{1, 2, 3, \dots\}}(x)$$

---

(b) 基於 $X_1, \dots, X_n$ 求 $\theta$ 的最大概似估計量（MLE）$\hat{\theta}$

設 $X_1, \dots, X_n$ 為來自上述幾何分配的獨立同分配（i.i.d.）樣本。概似函數為：

$$L(\theta) = \prod_{i=1}^n \theta (1-\theta)^{X_i - 1} = \theta^n (1-\theta)^{\sum_{i=1}^n X_i - n}$$

取對數概似函數 $\ell(\theta) = \ln L(\theta)$：

$$\ell(\theta) = n \ln\theta + \left( \sum_{i=1}^n X_i - n \right) \ln(1-\theta)$$

對 $\theta$ 進行一階微分並令其為 0：

$$\frac{d\ell(\theta)}{d\theta} = \frac{n}{\theta} - \frac{\sum_{i=1}^n X_i - n}{1-\theta} = 0$$

整理得：

$$n(1-\theta) = \theta \left( \sum_{i=1}^n X_i - n \right)$$ $$n - n\theta = \theta \sum_{i=1}^n X_i - n\theta \implies \theta \sum_{i=1}^n X_i = n$$

解得：

$$\hat{\theta} = \frac{n}{\sum_{i=1}^n X_i} = \frac{1}{\bar{X}}$$

驗證二階微分：

$$\frac{d^2\ell(\theta)}{d\theta^2} = -\frac{n}{\theta^2} - \frac{\sum_{i=1}^n X_i - n}{(1-\theta)^2} < 0 \quad (\text{因 } X_i \ge 1, \sum X_i \ge n)$$

二階導數恆為負，確認 $\hat{\theta} = \frac{1}{\bar{X}}$ 為使概似函數達到全域最大之 MLE。

---

(c) 判斷 $\hat{\theta}$ 是否為 $\theta$ 的不偏估計量

要檢驗 $\hat{\theta}$ 是否為 $\theta$ 的不偏估計量，需計算 $E[\hat{\theta}] = E\left[ \frac{1}{\bar{X}} \right]$ 是否等於 $\theta$。

方法一：利用 Jensen's 不等式判斷
定義函數 $g(t) = \frac{1}{t}$，對 $t > 0$ 其二階導數為 $g''(t) = \frac{2}{t^3} > 0$，故 $g(t)$ 為嚴格凸函數（strictly convex function）。
又隨機變數 $\bar{X}$ 為非退化隨機變數（non-degenerate random variable），由 Jensen's 不等式可知：

$$E[\hat{\theta}] = E[g(\bar{X})] > g(E[\bar{X}])$$

已知 $X_i \sim \text{Geometric}(\theta)$，其期望值為 $E[X_i] = \frac{1}{\theta}$，因此：

$$E[\bar{X}] = \frac{1}{n}\sum_{i=1}^n E[X_i] = \frac{1}{\theta}$$

代入得：

$$E[\hat{\theta}] > \frac{1}{E[\bar{X}]} = \frac{1}{1/\theta} = \theta$$

由於 $E[\hat{\theta}] > \theta$，故 $\hat{\theta}$ 不是 $\theta$ 的不偏估計量（具有正偏誤，即 $E[\hat{\theta}] \neq \theta$）。

方法二：嚴格期望值推導（補充）
令 $T = \sum_{i=1}^n X_i$，則 $T \sim \text{NegativeBinomial}(n, \theta)$，支撐集為 $t = n, n+1, \dots$：

$$P(T = t) = \binom{t-1}{n-1}\theta^n(1-\theta)^{t-n}$$

計算 $E[\hat{\theta}] = E\left[ \frac{n}{T} \right]$：

$$E\left[ \frac{n}{T} \right] = \sum_{t=n}^\infty \frac{n}{t} \binom{t-1}{n-1} \theta^n (1-\theta)^{t-n} = \sum_{t=n}^\infty \frac{n}{n-1} \binom{t-2}{n-2} \frac{n-1}{t} \theta^n (1-\theta)^{t-n}$$

經化簡可知當 $n > 1$ 時，$E\left[\frac{n-1}{T-1}\right] = \theta$，因此：

$$E[\hat{\theta}] = E\left[ \frac{n}{T} \right] > E\left[ \frac{n-1}{T-1} \right] = \theta$$

結論同上，$\hat{\theta}$ 顯非不偏。

---

(d) 求設限變數 $Y_i$ 的機率質量函數（pmf）

核心觀念

令

$$M=X_{(n)}=\max\{X_1,\dots,X_n\}.$$

本題主要考查：

1. 離散型均勻分配的概似函數與最大概似估計量。
2. 最大值統計量的分配：

$$P_\theta(M\le m)=\left(\frac{m}{\theta}\right)^n, \qquad m=1,\dots,\theta.$$

3. 利用最大值判斷母體大小：$\theta$ 越大，觀察到較大樣本最大值的機率越高。

---

(a) 最大概似估計量

樣本的聯合概似函數為

$$L(\theta;x_1,\dots,x_n) =\prod_{i=1}^n g(x_i;\theta).$$

由於每個 $x_i$ 必須滿足 $1\le x_i\le \theta$，因此

$$L(\theta) = \begin{cases} \theta^{-n}, & \theta\ge \max\{x_1,\dots,x_n\},\\ 0, & \theta<\max\{x_1,\dots,x_n\}. \end{cases}$$

令

$$m=\max\{x_1,\dots,x_n\}.$$

當 $\theta\ge m$ 時，$L(\theta)=\theta^{-n}$。因為 $\theta^{-n}$ 隨 $\theta$ 增加而遞減，所以概似函數在允許範圍內於最小的 $\theta=m$ 達到最大值。

因此，

$$\boxed{\hat{\theta}=X_{(n)}=\max\{X_1,\dots,X_n\}}.$$

---

(b) 檢定 $H_0:\theta=\theta_0$ 對抗 $H_1:\theta=\theta_1$，其中 $\theta_1>\theta_0$

解題方法

由於 $\theta_1>\theta_0$，在對立假設下較容易觀察到較大的樣本值，因此應採用右尾檢定：

$$\text{當 }M\text{ 很大時拒絕 }H_0.$$

特別地，若

$$M>\theta_0,$$

則此樣本值在 $H_0$ 下完全不可能發生，因為在 $H_0$ 下所有觀察值都不會超過 $\theta_0$。

非隨機化檢定

可定義拒絕域為

$$R=\{M>\theta_0\}.$$

在 $H_0$ 下，

$$P_{\theta_0}(M>\theta_0)=0.$$

因此此檢定的型一誤差為 $0$，屬於任何 $\alpha>0$ 的 level-$\alpha$ 檢定。

在 $\theta=\theta_1$ 下，

$$P_{\theta_1}(M>\theta_0) =1-P_{\theta_1}(M\le \theta_0).$$

又因為

$$P_{\theta_1}(M\le \theta_0) = \left(\frac{\theta_0}{\theta_1}\right)^n,$$

所以檢定力為

$$\boxed{ \pi(\theta_1) = 1-\left(\frac{\theta_0}{\theta_1}\right)^n }.$$

精確達到顯著水準 $\alpha$ 的隨機化檢定

若要求型一誤差恰為 $\alpha$，可採用：

• 當 $M>\theta_0$ 時，必定拒絕 $H_0$；
• 當 $M\le\theta_0$ 時，以機率 $\alpha$ 拒絕 $H_0$。

在 $H_0$ 下，必定有 $M\le\theta_0$，因此

$$P_{\theta_0}(\text{拒絕 }H_0)=\alpha.$$

此時在 $\theta=\theta_1$ 下的檢定力為

$$\begin{aligned} \pi(\theta_1) &=P_{\theta_1}(M>\theta_0) +\alpha P_{\theta_1}(M\le\theta_0)\\ &=1-\left(\frac{\theta_0}{\theta_1}\right)^n +\alpha\left(\frac{\theta_0}{\theta_1}\right)^n\\ &=\boxed{ 1-(1-\alpha)\left(\frac{\theta_0}{\theta_1}\right)^n }. \end{aligned}$$

這是簡單假設對簡單假設下，由概似比所得到的最有力檢定。因為 $M>\theta_0$ 的樣本在 $H_0$ 下不可能發生，應優先列入拒絕域。

---

(c) 當 $\theta_1=\theta_0+\Delta$ 時，使檢定力達到 $1-\beta$ 所需的樣本數

採用上小題的精確 level-$\alpha$ 隨機化檢定，其檢定力為

$$\pi(\theta_1) = 1-(1-\alpha) \left(\frac{\theta_0}{\theta_1}\right)^n.$$

令 $\theta_1=\theta_0+\Delta$，並要求

$$\pi(\theta_0+\Delta)\ge 1-\beta.$$

因此

$$1-(1-\alpha) \left(\frac{\theta_0}{\theta_0+\Delta}\right)^n \ge 1-\beta.$$

整理得

$$(1-\alpha) \left(\frac{\theta_0}{\theta_0+\Delta}\right)^n \le \beta,$$

即

核心觀念

1. 最大概似估計量（MLE）的不變性原理（Invariance Property of MLE）：
   若 $\hat{\theta}_{\text{MLE}}$ 為參數 $\theta$ 的最大概似估計量，且 $g(\cdot)$ 為任一函數，則 $g(\theta)$ 的最大概似估計量為： $$\widehat{g(\theta)}_{\text{MLE}} = g(\hat{\theta}_{\text{MLE}})$$
2. 漸近常態性與中央極限定理（CLT）：
   設 $X_1, \dots, X_n \overset{iid}{\sim} \text{Bernoulli}(p)$，樣本平均數 $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$ 滿足： $$\sqrt{n}(\bar{X} - p) \xrightarrow{d} N(0, p(1-p))$$
3. Delta 方法（Delta Method）：
   若 $\sqrt{n}(T_n - \theta) \xrightarrow{d} N(0, \sigma^2)$，且函數 $g(t)$ 在 $t = \theta$ 處連續可微且 $g'(\theta) \neq 0$，則： $$\sqrt{n}(g(T_n) - g(\theta)) \xrightarrow{d} N\left(0, [g'(\theta)]^2 \sigma^2\right)$$
4. 漸近信賴區間（Asymptotic Confidence Interval）：
   利用樞紐量（Pivotal Quantity）的大樣本常態近似，以一致估計量（Consistent Estimator）代入標準誤中的未知參數（Slutsky's Theorem），即可構建大樣本之 $1-\alpha$ 信賴區間；或直接由 $p$ 的信賴區間透過單調遞增變換轉換得到。

---

解題方法

(a) 求 $p^2$ 的最大概似估計量（MLE）

1. 求 $p$ 的概似函數與 log-likelihood：
   樣本 $X_1, \dots, X_n \overset{iid}{\sim} \text{Bernoulli}(p)$，其聯合機率質量函數（概似函數）為： $$L(p) = \prod_{i=1}^n p^{x_i}(1-p)^{1-x_i} = p^{\sum_{i=1}^n x_i} (1-p)^{n - \sum_{i=1}^n x_i}$$ 取對數概似函數（log-likelihood）： $$\ln L(p) = \left(\sum_{i=1}^n x_i\right) \ln p + \left(n - \sum_{i=1}^n x_i\right) \ln (1-p)$$
2. 求解分數方程式（Score Equation）：
   對 $p$ 微分並令其為 0： $$\frac{d}{dp}\ln L(p) = \frac{\sum_{i=1}^n x_i}{p} - \frac{n - \sum_{i=1}^n x_i}{1-p} = 0$$ 通分整理得： $$(1-p)\sum_{i=1}^n x_i - p\left(n - \sum_{i=1}^n x_i\right) = 0 \implies \sum_{i=1}^n x_i - np = 0 \implies \hat{p}_{\text{MLE}} = \frac{1}{n}\sum_{i=1}^n X_i = \bar{X}$$ 二階導數： $$\frac{d^2}{dp^2}\ln L(p) = -\frac{\sum_{i=1}^n x_i}{p^2} - \frac{n - \sum_{i=1}^n x_i}{(1-p)^2} < 0 \quad (\forall p \in (0,1))$$ 確認 $\hat{p} = \bar{X}$ 確實使概似函數達到全域最大值。
3. 利用 MLE 的不變性（Invariance Property）：
   令 $g(p) = p^2$，由 Zehna（1966）提出的 MLE 不變性定理： $$\widehat{p^2}_{\text{MLE}} = g(\hat{p}_{\text{MLE}}) = (\bar{X})^2$$

---

(b) 建構 $p^2$ 的水準 $(1-\alpha)$ 信賴區間

在數理統計中，求解非線性參數的大樣本信賴區間主要有兩種標準切入途徑：

方法一：Delta 方法（Delta Method）與 Wald 型漸近信賴區間（考場最標準做法）

1. 套用中央極限定理（CLT）： $$\sqrt{n}(\bar{X} - p) \xrightarrow{d} N(0, p(1-p))$$
2. 利用一階泰勒展開（Delta Method）求漸近分佈：
   取函數 $g(p) = p^2$，其導函數為 $g'(p) = 2p$。
   當 $p \in (0, 1)$ 時，$g'(p) = 2p \neq 0$。根據 Delta 方法： $$\sqrt{n}(g(\bar{X}) - g(p)) \xrightarrow{d} N\left(0, [g'(p)]^2 \cdot \text{Var}(X_1)\right)$$ 將 $g'(\theta) = 2p$ 與 $\sigma^2 = p(1-p)$ 代入，漸近變異數為： $$\sigma_{g}^2 = (2p)^2 p(1-p) = 4p^3(1-p)$$ 因此： $$\sqrt{n}\left(\bar{X}^2 - p^2\right) \xrightarrow{d} N\left(0, 4p^3(1-p)\right)$$
3. 代入一致估計量並應用 Slutsky 定理：