109 年 國立臺北大學統計學系碩士班《數理統計（含機率概論）》

此題為一單參數指數分佈的隨機樣本，考察機率分佈的基本性質、次序統計量、機率收斂、分佈收斂的概念，以及統計量收斂對估計量的啟示。

首先，題目給定的機率密度函數 (pdf) 為
$f(x; \mu, \alpha) = \frac{1}{\alpha} \exp\left[-\left(\frac{x-\mu}{\alpha}\right)\right], \quad x \ge \mu, \alpha > 0.$
這是一個位移參數為 $\mu$、尺度參數為 $\alpha$ 的指數分佈。

(a) 求 $X_1$ 的期望值。
根據期望值的定義，對於連續隨機變數 $X$，其期望值為 $E[X] = \int_{-\infty}^{\infty} x f(x) dx$。
在此題中，
$E[X_1] = \int_{\mu}^{\infty} x \frac{1}{\alpha} \exp\left[-\left(\frac{x-\mu}{\alpha}\right)\right] dx$
令 $u = \frac{x-\mu}{\alpha}$，則 $x = \mu + \alpha u$，$dx = \alpha du$。當 $x=\mu$ 時，$u=0$；當 $x \to \infty$ 時，$u \to \infty$。
$E[X_1] = \int_{0}^{\infty} (\mu + \alpha u) \frac{1}{\alpha} e^{-u} (\alpha du) = \int_{0}^{\infty} (\mu + \alpha u) e^{-u} du$
$E[X_1] = \mu \int_{0}^{\infty} e^{-u} du + \alpha \int_{0}^{\infty} u e^{-u} du$
我們知道 $\int_{0}^{\infty} e^{-u} du = [-e^{-u}]_{0}^{\infty} = 0 - (-1) = 1$。
而 $\int_{0}^{\infty} u e^{-u} du$ 是 Gamma 函數 $\Gamma(2)$ 的值，即 $\Gamma(2) = 1! = 1$。
因此，
$E[X_1] = \mu(1) + \alpha(1) = \mu + \alpha$
【答案】$E[X_1] = \mu + \alpha$。

(b) 推導 $Y_n = \min(X_1, X_2, \dots, X_n)$ 的累積分佈函數 (CDF)。
首先，我們需要找到 $Y_n$ 的 CDF，記為 $F_{Y_n}(y) = P(Y_n \le y)$。
考慮其補集事件 $P(Y_n > y) = P(\min(X_1, \dots, X_n) > y)$。
若最小值大於 $y$，則所有樣本值都必須大於 $y$。
$P(Y_n > y) = P(X_1 > y, X_2 > y, \dots, X_n > y)$
由於 $X_i$ 是隨機樣本，它們是獨立同分佈的，所以
$P(Y_n > y) = P(X_1 > y) P(X_2 > y) \dots P(X_n > y) = [P(X_1 > y)]^n$
我們需要計算 $P(X_1 > y)$。
$P(X_1 > y) = \int_{y}^{\infty} f(x) dx = \int_{y}^{\infty} \frac{1}{\alpha} \exp\left[-\left(\frac{x-\mu}{\alpha}\right)\right] dx$
若 $y < \mu$，則積分範圍從 $y$ 開始，但 pdf 在 $x < \mu$ 時為 0。所以，若 $y < \mu$，則 $P(X_1 > y) = 1$。
若 $y \ge \mu$，則
$P(X_1 > y) = \int_{y}^{\infty} \frac{1}{\alpha} \exp\left[-\left(\frac{x-\mu}{\alpha}\right)\right] dx$
令 $u = \frac{x-\mu}{\alpha}$，則 $du = \frac{1}{\alpha} dx$。當 $x=y$ 時，$u = \frac{y-\mu}{\alpha}$；當 $x \to \infty$ 時，$u \to \infty$。
$P(X_1 > y) = \int_{(y-\mu)/\alpha}^{\infty} e^{-u} du = [-e^{-u}]_{(y-\mu)/\alpha}^{\infty} = 0 - \left(-e^{-(y-\mu)/\alpha}\right) = e^{-(y-\mu)/\alpha}$
所以，對於 $y \ge \mu$，
$P(Y_n > y) = [e^{-(y-\mu)/\alpha}]^n = e^{-n(y-\mu)/\alpha}$
現在我們可以計算 $F_{Y_n}(y) = P(Y_n \le y) = 1 - P(Y_n > y)$。
若 $y < \mu$，則 $P(Y_n > y) = [P(X_1 > y)]^n = 1^n = 1$。所以 $F_{Y_n}(y) = 1 - 1 = 0$。
若 $y \ge \mu$，則
$F_{Y_n}(y) = 1 - e^{-n(y-\mu)/\alpha}$
綜合以上，
$F_{Y_n}(y) = \begin{cases} 0, & y < \mu \\ 1 - e^{-n(y-\mu)/\alpha}, & y \ge \mu \end{cases}$
這是一個尺度參數為 $\alpha/n$、位移參數為 $\mu$ 的指數分佈的 CDF。
【答案】$F_{Y_n}(y) = \begin{cases} 0, & y < \mu \\ 1 - e^{-n(y-\mu)/\alpha}, & y \ge \mu \end{cases}$。

(c) $Y_n$ 是否機率收斂？若收斂，收斂於哪個隨機變數？證明之。
我們來考慮 $Y_n$ 的極限行為。當 $n \to \infty$ 時，$e^{-n(y-\mu)/\alpha}$ 當 $y > \mu$ 時，指數的係數 $-n/\alpha$ 趨於 $-\infty$，所以 $e^{-n(y-\mu)/\alpha} \to 0$。
$\lim_{n \to \infty} F_{Y_n}(y) = \begin{cases} 0, & y < \mu \\ 1 - 0, & y > \mu \end{cases} = \begin{cases} 0, & y < \mu \\ 1, & y > \mu \end{cases}$
這是一個階躍函數，在 $y=\mu$ 處從 0 跳到 1。這個函數是常數隨機變數 $\mu$ 的 CDF。
一個隨機變數 $Y_n$ 機率收斂到一個常數 $c$ ($Y_n \xrightarrow{P} c$) 的充要條件是對於任意 $\epsilon > 0$，
$\lim_{n \to \infty} P(|Y_n - c| < \epsilon) = 1$
也就是 $\lim_{n \to \infty} P(c - \epsilon < Y_n < c + \epsilon) = 1$。
在我們的例子中，常數是 $\mu$。我們需要證明 $\lim_{n \to \infty} P(\mu - \epsilon < Y_n < \mu + \epsilon) = 1$ 對於任意 $\epsilon > 0$。
對於 $\epsilon > 0$，區間 $(\mu - \epsilon, \mu + \epsilon)$。
考慮 $P(Y_n < \mu + \epsilon)$。

核心觀念

本題考查常態分布中未知平均數與未知變異數的：

• 最大概似估計法（MLE）
• Fisher 資訊量與 Rao–Cramér 下界
• 多參數估計量的漸近常態性
• Delta method
• 含 nuisance parameter $\mu$ 的概似比檢定

題目中的參數 $\theta$ 即為變異數，因為常態密度可寫成

$$X_i\sim N(\mu,\theta).$$

令

$$\bar X=\frac{1}{n}\sum_{i=1}^n X_i, \qquad S=\sum_{i=1}^n (X_i-\bar X)^2.$$

---

(a) 最大概似估計量

樣本的概似函數為

$$L(\mu,\theta) =(2\pi\theta)^{-n/2} \exp\left\{-\frac{1}{2\theta}\sum_{i=1}^n(x_i-\mu)^2\right\}.$$

取對數概似函數：

$$\ell(\mu,\theta) =-\frac n2\log(2\pi\theta) -\frac{1}{2\theta}\sum_{i=1}^n(x_i-\mu)^2.$$

對 $\mu$ 微分：

$$\frac{\partial\ell}{\partial\mu} =\frac{1}{\theta}\sum_{i=1}^n(x_i-\mu).$$

令其等於 $0$：

$$\sum_{i=1}^n(x_i-\mu)=0 \quad\Longrightarrow\quad \hat\mu=\bar X.$$

對 $\theta$ 微分：

$$\frac{\partial\ell}{\partial\theta} =-\frac{n}{2\theta} +\frac{1}{2\theta^2}\sum_{i=1}^n(x_i-\mu)^2.$$

代入 $\hat\mu=\bar X$，並令其等於 $0$：

$$-\frac{n}{2\theta} +\frac{1}{2\theta^2}\sum_{i=1}^n(x_i-\bar X)^2=0.$$

因此

$$\hat\theta =\frac{1}{n}\sum_{i=1}^n(X_i-\bar X)^2 =\frac{S}{n}.$$

所以最大概似估計量為

$$\boxed{\hat\mu=\bar X,\qquad \hat\theta=\frac{1}{n}\sum_{i=1}^n(X_i-\bar X)^2.}$$

注意 $\hat\theta$ 的分母是 $n$，不是不偏樣本變異數所使用的 $n-1$。

---

(b) Rao–Cramér 下界

Fisher 資訊量

單一觀測值的對數概似函數為

$$\ell_1(\mu,\theta) =-\frac12\log(2\pi\theta) -\frac{(X-\mu)^2}{2\theta}.$$

其二階偏導數為

$$\frac{\partial^2\ell_1}{\partial\mu^2} =-\frac1\theta,$$ $$\frac{\partial^2\ell_1}{\partial\mu\,\partial\theta} =-\frac{X-\mu}{\theta^2},$$ $$\frac{\partial^2\ell_1}{\partial\theta^2} =\frac1{2\theta^2} -\frac{(X-\mu)^2}{\theta^3}.$$

由於 $E(X-\mu)=0$ 且 $E[(X-\mu)^2]=\theta$，單一觀測值的 Fisher 資訊矩陣為

$$I_1(\mu,\theta) = -\mathbb E \begin{pmatrix} \dfrac{\partial^2\ell_1}{\partial\mu^2} & \dfrac{\partial^2\ell_1}{\partial\mu\,\partial\theta} \\[6pt] \dfrac{\partial^2\ell_1}{\partial\theta\,\partial\mu} & \dfrac{\partial^2\ell_1}{\partial\theta^2} \end{pmatrix} = \begin{pmatrix} \dfrac1\theta & 0 \\[6pt] 0 & \dfrac1{2\theta^2} \end{pmatrix}.$$

$n$ 個獨立觀測值的 Fisher 資訊量為

$$I_n(\mu,\theta) = nI_1(\mu,\theta) = \begin{pmatrix} \dfrac n\theta & 0 \\[6pt] 0 & \dfrac n{2\theta^2} \end{pmatrix}.$$

因此

$$I_n^{-1}(\mu,\theta) = \begin{pmatrix} \dfrac\theta n & 0 \\[6pt] 0 & \dfrac{2\theta^2}{n} \end{pmatrix}.$$

Rao–Cramér 下界

對任何同時估計 $(\mu,\theta)$ 的不偏估計量，其共變異數矩陣至少為 $I_n^{-1}$，故：

$$\boxed{\operatorname{Var}(\tilde\mu)\ge \frac{\theta}{n}}$$

以及

$$\boxed{\operatorname{Var}(\tilde\theta)\ge \frac{2\theta^2}{n}}.$$

其中 $\tilde\mu,\tilde\theta$ 必須是不偏估計量。

本題的 $\hat\mu=\bar X$ 是不偏的，且

$$\operatorname{Var}(\hat\mu)=\frac{\theta}{n},$$

因此 $\hat\mu$ 達到 Rao–Cramér 下界。

另一方面，

$$E(\hat\theta) =E\left(\frac{S}{n}\right) =\frac{n-1}{n}\theta,$$

所以 $\hat\theta$ 有偏，Rao–Cramér 下界不能直接套用在 $\hat\theta$ 本身。若改用不偏估計量

$$\tilde\theta=\frac{S}{n-1},$$

則

$$\operatorname{Var}(\tilde\theta)=\frac{2\theta^2}{n-1},$$

其有限樣本變異數不會達到上述一般下界，但在大樣本下與下界漸近一致。

---

(c) $\hat\mu,\hat\theta$ 的漸近分布

多參數最大概似估計量具有下列漸近分布：

$$\sqrt n \begin{pmatrix} \hat\mu-\mu \\ \hat\theta-\theta \end{pmatrix} \xrightarrow{d} N_2 \left[ \begin{pmatrix} 0\\ 0 \end{pmatrix}, I_1^{-1}(\mu,\theta) \right].$$

由

$$I_1^{-1}(\mu,\theta) = \begin{pmatrix} \theta & 0 \\ 0 & 2\theta^2 \end{pmatrix},$$

得到

$$\boxed{ \sqrt n \begin{pmatrix} \hat\mu-\mu \\ \hat\theta-\theta \end{pmatrix} \xrightarrow{d} N_2 \left[ \begin{pmatrix} 0\\ 0 \end{pmatrix}, \begin{pmatrix} \theta & 0 \\ 0 & 2\theta^2 \end{pmatrix} \right]. }$$

等價地，

$$\sqrt n(\hat\mu-\mu) \xrightarrow{d}N(0,\theta),$$ $$\sqrt n(\hat\theta-\theta) \xrightarrow{d}N(0,2\theta^2),$$

且兩者漸近獨立。

事實上，本題還有精確分布：

$$\hat\mu\sim N\left(\mu,\frac{\theta}{n}\right),$$ $$\frac{n\hat\theta}{\theta} =\frac{S}{\theta} \sim\chi^2_{n-1},$$

而 $\hat\mu$ 與 $\hat\theta$ 相互獨立。由卡方分布的中央極限定理，也可得到 $\hat\theta$ 的上述漸近分布。

---

(d) $\Phi(x;\hat\mu,\hat\theta)$ 的漸近分布

固定 $x$，定義

$$g(\mu,\theta)=\Phi(x;\mu,\theta).$$

令

$$z=\frac{x-\mu}{\sqrt\theta},$$

則

$$g(\mu,\theta)=\Phi_0(z),$$