114 年 國立中央大學統計研究所碩士班在職生《數理統計》

核心觀念

1. 聯合機率密度函數與邊際／條件分佈：
   • 邊際機率密度函數（Marginal PDF）： $$f_Y(y) = \int_{-\infty}^{\infty} f(x, y) \, dx$$
   • 條件機率密度函數（Conditional PDF）： $$f(y|x) = \frac{f(x, y)}{f_X(x)} \quad \text{其中 } f_X(x) = \int_{-\infty}^{\infty} f(x, y) \, dy$$
2. 條件變異數的平移不變性與指數分佈之無記憶性：
   • 若隨機變數經平移變換 $W = Y - x$，則 $\operatorname{Var}(Y|X=x) = \operatorname{Var}(Y - x | X=x)$。
3. 全變異數公式（Law of Total Variance）與資訊量直觀：
   • 全變異數公式： $$\operatorname{Var}(Y) = \operatorname{E}[\operatorname{Var}(Y|X)] + \operatorname{Var}(\operatorname{E}[Y|X])$$
   • 條件給定 $X=x$ 代表額外資訊的揭露，觀察特定 $x$ 後對 $Y$ 的不確定性（變異數）與非條件下的總變異數之關係。

---

解題方法

(a) 求邊際機率密度函數 $f(y)$ 與條件機率密度函數 $f(y|x)$

聯合支援集（Support）為 $S = \{(x, y) \mid 0 < x < y < \infty\}$。

1. 求 $Y$ 的邊際密度函數 $f_Y(y)$：
   對於固定的 $y > 0$，$x$ 的積分範圍為 $0 < x < y$：

   $$f(y) = \int_0^y e^{-y} \, dx = e^{-y} [x]_0^y = y e^{-y}, \quad y > 0$$

   此為 Gamma 分佈 $\operatorname{Gamma}(\alpha = 2, \lambda = 1)$。

2. 求 $X$ 的邊際密度函數 $f_X(x)$：
   對於固定的 $x > 0$，$y$ 的積分範圍為 $x < y < \infty$：

   $$f_X(x) = \int_x^{\infty} e^{-y} \, dy = \left[ -e^{-y} \right]_x^{\infty} = e^{-x}, \quad x > 0$$

   此為參數為 $1$ 的指數分佈 $\operatorname{Exp}(1)$。

3. 求條件密度函數 $f(y|x)$：
   由條件機率定義，當 $0 < x < y < \infty$ 時：

   $$f(y|x) = \frac{f(x, y)}{f_X(x)} = \frac{e^{-y}}{e^{-x}} = e^{-(y - x)}, \quad y > x$$

   其他區域 $f(y|x) = 0$。

---

(b) 證明 $\operatorname{Var}(Y|X = x) \leq \operatorname{Var}(Y)$ 並提供直觀解釋

1. 計算 $\operatorname{Var}(Y)$：
   由 (a) 可知 $Y \sim \operatorname{Gamma}(2, 1)$（形狀參數 $\alpha=2$，尺度參數 $\beta=1$ 或率參數 $\lambda=1$）： $$\operatorname{Var}(Y) = \frac{\alpha}{\lambda^2} = \frac{2}{1^2} = 2$$

核心觀念

本題考查「條件分配與邊際分配」及「全期望公式」：

1. 已知條件分配
   $X\mid Y=y\sim\operatorname{Poisson}(y),$
   因此
   $P(X=x\mid Y=y)=e^{-y}\frac{y^x}{x!},\qquad x=0,1,2,\ldots$

2. 採用指數分配的「率參數」慣例：
   $Y\sim\operatorname{Exponential}(\theta),\qquad f_Y(y)=\theta e^{-\theta y},\quad y\ge 0.$

3. 邊際機率質量函數可由條件機率對 $Y$ 積分求得：
   $P(X=x)=\int_0^\infty P(X=x\mid Y=y)f_Y(y)\,dy.$

4. 期望值使用全期望公式：
   $E(X)=E\bigl[E(X\mid Y)\bigr].$

---

解題方法

（a）求 $X$ 的邊際機率質量函數

由條件分配，

$$P(X=x\mid Y=y)=e^{-y}\frac{y^x}{x!}, \qquad x=0,1,2,\ldots$$

而 $Y$ 的密度為

$$f_Y(y)=\theta e^{-\theta y},\qquad y\ge 0.$$

因此，利用條件機率的邊際化公式，

$$\begin{aligned} P(X=x) &=\int_0^\infty P(X=x\mid Y=y)f_Y(y)\,dy\\ &=\int_0^\infty \left(e^{-y}\frac{y^x}{x!}\right) \left(\theta e^{-\theta y}\right)\,dy\\ &=\frac{\theta}{x!}\int_0^\infty y^x e^{-(\theta+1)y}\,dy. \end{aligned}$$

利用 Gamma 積分公式

$$\int_0^\infty y^x e^{-cy}\,dy =\frac{\Gamma(x+1)}{c^{x+1}} =\frac{x!}{c^{x+1}}, \qquad c>0,$$

取 $c=\theta+1$，可得

$$\begin{aligned} P(X=x) &=\frac{\theta}{x!}\cdot \frac{x!}{(\theta+1)^{x+1}}\\ &=\frac{\theta}{(\theta+1)^{x+1}}. \end{aligned}$$

將其改寫為幾何分配的形式：

$$P(X=x) =\frac{\theta}{\theta+1} \left(\frac{1}{\theta+1}\right)^x, \qquad x=0,1,2,\ldots$$

因此，$X$ 服從以 $0,1,2,\ldots$ 為支撐集的幾何分配：

$$X\sim\operatorname{Geometric} \left(p=\frac{\theta}{\theta+1}\right).$$

---

（b）求 $X$ 的期望值

因為

核心觀念

本題考查三個重點：

1. 最大次序統計量的分布：$Y_n=X_{(n)}=\max(X_1,\ldots,X_n)$。
2. 最大概似估計法：先求 $\theta$ 的最大概似估計量，再利用不變性求 $E(Y_n)$ 的最大概似估計量。
3. 一致性：證明對任意 $\varepsilon>0$，

$$P_\theta\left(\left|Y_n-\theta\right|>\varepsilon\right)\to 0.$$

---

(a) 求 $Y_n$ 的機率密度函數

由於 $Y_n$ 是樣本最大值，先求其累積分布函數。

對 $0<y<\theta$，

$$\begin{aligned} F_{Y_n}(y) &=P(Y_n\le y)\\ &=P(X_1\le y,\ldots,X_n\le y)\\ &=\prod_{i=1}^nP(X_i\le y). \end{aligned}$$

因為 $X_i\sim U(0,\theta)$，所以

$$P(X_i\le y)=\frac{y}{\theta},\qquad 0<y<\theta.$$

因此

$$F_{Y_n}(y)=\left(\frac{y}{\theta}\right)^n,\qquad 0<y<\theta.$$

對 $y$ 微分即可得到密度：

$$f_{Y_n}(y) =\frac{d}{dy}F_{Y_n}(y) =\frac{n y^{n-1}}{\theta^n}, \qquad 0<y<\theta.$$

完整寫法為

$$f_{Y_n}(y)= \begin{cases} \dfrac{n y^{n-1}}{\theta^n}, & 0<y<\theta,\\[6pt] 0, & \text{其他情況}. \end{cases}$$

---

(b) 求 $E(Y_n)$ 的最大概似估計量

第一步：求 $E(Y_n)$

利用 (a) 的密度，

$$\begin{aligned} E(Y_n) &=\int_0^\theta y f_{Y_n}(y)\,dy\\ &=\int_0^\theta y\frac{n y^{n-1}}{\theta^n}\,dy\\ &=\frac{n}{\theta^n}\int_0^\theta y^n\,dy\\ &=\frac{n}{\theta^n}\cdot\frac{\theta^{n+1}}{n+1}\\ &=\frac{n}{n+1}\theta. \end{aligned}$$

因此欲估計的參數函數為

$$g(\theta)=E(Y_n)=\frac{n}{n+1}\theta.$$

第二步：求 $\theta$ 的最大概似估計量

給定觀察值 $x_1,\ldots,x_n$，其概似函數為

$$L(\theta;x_1,\ldots,x_n) =\prod_{i=1}^n\frac{1}{\theta} I(0<x_i<\theta).$$

令

$$x_{(n)}=\max(x_1,\ldots,x_n),$$

則概似函數可寫為

$$L(\theta) =\theta^{-n}I(\theta\ge x_{(n)}).$$

在允許範圍 $\theta\ge x_{(n)}$ 內，$\theta^{-n}$ 隨 $\theta$ 增加而遞減，因此概似函數在最小允許值 $\theta=x_{(n)}$ 時達到最大值。

所以

$$\widehat{\theta}_{\mathrm{MLE}}=X_{(n)}=Y_n.$$

第三步：利用最大概似估計量的不變性

最大概似估計量具有不變性，因此

$$\widehat{g(\theta)} =g\left(\widehat{\theta}_{\mathrm{MLE}}\right).$$

核心觀念

本題涵蓋點估計理論的兩大支柱——古典頻率學派的最優不偏估計與貝氏決策理論：

1. 充分統計量與完備性（Sufficiency & Completeness）：利用指數族（Exponential Family）定理，判斷單參數正規指數族的自然充分統計量（Natural Sufficient Statistic）具完備充分性（Complete Sufficient Statistic, CSS）。
2. Lehmann-Scheffé 定理與 UMVUE：若 $T$ 為參數 $\theta$ 的完備充分統計量，且 $g(T)$ 是 $\tau(\theta)$ 的不偏估計量，則 $g(T)$ 必為 $\tau(\theta)$ 唯一的均勻最小變異不偏估計量（Uniformly Minimum Variance Unbiased Estimator, UMVUE）。
3. 平方誤差損失下的貝氏估計（Bayes Estimator under Squared Error Loss）：在平方誤差損失函數（Squared Error Loss Function, SELF）$L(\theta, \delta) = (\delta - \theta)^2$ 下，貝氏估計量為欲估計函數在後驗分配（Posterior Distribution）下的期望值，即 $\delta^*(x) = E[\tau(\theta) \mid X = x]$。
4. Beta-Binomial 共軛先驗架構：Bernoulli 概似函數與 Beta 先驗分配構成共軛先驗（Conjugate Prior），後驗分配仍為 Beta 分配，可直接利用 Beta 分配的動差公式求解。

---

解題方法與詳細推導

(a) 求 $p$ 的完備充分統計量（Complete Sufficient Statistic）

設 $X_1, \ldots, X_n \overset{\text{i.i.d.}}{\sim} \operatorname{Ber}(p)$，其中 $p \in (0,1)$。

聯合機率質量函數（Joint PMF）可寫為：

$$f(x_1, \ldots, x_n; p) = \prod_{i=1}^n p^{x_i}(1-p)^{1-x_i} = p^{\sum_{i=1}^n x_i} (1-p)^{n - \sum_{i=1}^n x_i}$$

將其改寫為標準指數族形式：

$$f(x_1, \ldots, x_n; p) = (1-p)^n \exp\left\{ \left( \ln\frac{p}{1-p} \right) \sum_{i=1}^n x_i \right\}$$

定義統計量 $T = \sum_{i=1}^n X_i$。此分配為單參數指數族，其中：

• 自然參數（Natural Parameter）：$\eta(p) = \ln\left(\frac{p}{1-p}\right)$。
• 充分統計量：$T(\mathbf{X}) = \sum_{i=1}^n X_i$。

由於參數空間 $p \in (0,1)$，自然參數空間為：

$$\Omega = \left\{ \ln\left(\frac{p}{1-p}\right) : p \in (0,1) \right\} = (-\infty, \infty) = \mathbb{R}$$

此自然參數空間包含實數線上的開區間（非退化點集）。根據指數族的性質定理，自然充分統計量 $T = \sum_{i=1}^n X_i$ 為 $p$ 的完備充分統計量（Complete Sufficient Statistic）。

---

(b) 證明 $p(1-p)$ 的 UMVUE 為 $\frac{n\bar{X}(1-\bar{X})}{n-1}$

令待估參數為 $\tau(p) = p(1-p) = \operatorname{Var}(X_i)$。

步驟一：尋找 $T$ 的函數且為 $\tau(p)$ 的不偏估計量
由 (a) 小題知 $T = \sum_{i=1}^n X_i$ 為完備充分統計量，且 $T \sim \operatorname{Bin}(n, p)$。
其期望值與二階動差分別為：

$$E[T] = np, \quad \operatorname{Var}(T) = np(1-p)$$

因此：

$$E[T^2] = \operatorname{Var}(T) + (E[T])^2 = np(1-p) + n^2 p^2$$

考慮 $T(n-T)$ 的期望值：

$$E[T(n-T)] = nE[T] - E[T^2] = n(np) - [np(1-p) + n^2 p^2]$$

整理括號項：

$$E[T(n-T)] = n^2 p - n^2 p^2 - np(1-p) = n^2 p(1-p) - np(1-p) = n(n-1)p(1-p)$$

兩邊同除以 $n(n-1)$（其中 $n \ge 2$）：

$$E\left[ \frac{T(n-T)}{n(n-1)} \right] = p(1-p)$$

步驟二：改寫為樣本平均數 $\bar{X}$ 的形式
因為 $\bar{X} = \frac{T}{n}$，即 $T = n\bar{X}$，代入上述估計量：

$$\frac{T(n-T)}{n(n-1)} = \frac{n\bar{X}(n - n\bar{X})}{n(n-1)} = \frac{n^2 \bar{X}(1-\bar{X})}{n(n-1)} = \frac{n\bar{X}(1-\bar{X})}{n-1}$$

定義 $W(\bar{X}) = \frac{n\bar{X}(1-\bar{X})}{n-1}$。

1. $W(\bar{X})$ 是完備充分統計量 $T$ 的函數。
2. $E[W(\bar{X})] = p(1-p)$，即 $W(\bar{X})$ 為 $p(1-p)$ 的不偏估計量。

根據 Lehmann-Scheffé 定理，完備充分統計量的不偏函數必為唯一之 UMVUE。故 $p(1-p)$ 的 UMVUE 為：

$$\frac{n\bar{X}(1-\bar{X})}{n-1}$$

---

(c) 求在平方誤差損失下 $p(1-p)$ 的貝氏估計量

步驟一：求後驗分配（Posterior Distribution）
給定先驗分配 $p \sim \operatorname{Beta}(\alpha, \beta)$，其先驗機率密度函數為：

$$\pi(p) = \frac{1}{B(\alpha, \beta)} p^{\alpha - 1} (1-p)^{\beta - 1}, \quad p \in (0,1)$$

給定樣本觀察值 $\mathbf{x} = (x_1, \ldots, x_n)$，令 $t = \sum_{i=1}^n x_i$。後驗分配滿足：

核心觀念

本題考查三個重要觀念：

1. 充分統計量：利用 Neyman–Fisher 因子分解定理，找出樣本中與參數 $\theta$ 有關的部分。
2. 最大概似估計：建立概似函數，並考慮參數限制 $0<x_i<\theta$。
3. 樞紐量與信賴區間：利用樣本最大值 $X_{(n)}$ 的分布，建立與 $\theta$ 無關的樞紐量。

令

$$X_{(n)}=\max\{X_1,\ldots,X_n\}.$$

---

解題方法

(a) 求 $\theta$ 的充分統計量

由於 $X_1,\ldots,X_n$ 為隨機樣本，其聯合密度為

$$f(x_1,\ldots,x_n;\theta) =\prod_{i=1}^n \frac{2x_i}{\theta^2} I(0<x_i<\theta).$$

整理得

$$f(x_1,\ldots,x_n;\theta) = \frac{2^n\prod_{i=1}^n x_i}{\theta^{2n}} I\left(0<x_{(1)},\ x_{(n)}<\theta\right).$$

其中

$$I\left(0<x_{(1)},\ x_{(n)}<\theta\right) = I(0<x_{(1)})I(\theta>x_{(n)}).$$

因此可寫成

$$f(x_1,\ldots,x_n;\theta) = \underbrace{I(0<x_{(1)})2^n\prod_{i=1}^n x_i}_{不含\theta} \cdot \underbrace{\theta^{-2n}I(\theta>x_{(n)})}_{只透過\ x_{(n)}\ 與\theta\ 有關}.$$

根據 Neyman–Fisher 因子分解定理，樣本最大值 $X_{(n)}$ 是 $\theta$ 的充分統計量。

---

(b) 求最大概似估計量

概似函數為

$$L(\theta) = \frac{2^n\prod_{i=1}^n x_i}{\theta^{2n}} I(\theta>x_{(n)}).$$

對於固定樣本值，當 $\theta>x_{(n)}$ 時，

$$L(\theta)\propto \theta^{-2n}.$$

因為 $\theta^{-2n}$ 隨著 $\theta$ 增加而嚴格遞減，所以概似函數希望取最小的可行 $\theta$。

題目給定的支持集為嚴格不等式 $x_i<\theta$，因此可行範圍是

$$\theta>x_{(n)}.$$

故概似函數在 $\theta\downarrow x_{(n)}$ 時達到上確界。依研究所考試及統計教材的通常慣例，將邊界值視為最大概似估計量，得到

$$\widehat{\theta}_{\mathrm{MLE}}=X_{(n)}.$$

嚴格而言，若完全按照開放支持集 $\theta>X_{(n)}$，概似函數在參數空間內沒有真正取到最大值；此時 $X_{(n)}$ 是概似函數的邊界最大值，也稱為廣義最大概似估計量。若將支持集寫成 $0<x\leq\theta$，則 $X_{(n)}$ 即為正式的最大概似估計量。

---

(c) 建立 $1-\alpha$ 信賴區間

先求單一觀察值的累積分布函數。對於 $0<x<\theta$，

$$F_X(x) = \int_0^x \frac{2t}{\theta^2}\,dt = \frac{x^2}{\theta^2}.$$

因此