109 年 國立政治大學統計學系碩士班《數理統計學》

核心觀念

令樣本的最小值與最大值分別為

$$X_{(1)}=\min(X_1,\ldots,X_n),\qquad X_{(n)}=\max(X_1,\ldots,X_n),$$

則樣本極差（range）為

$$R=X_{(n)}-X_{(1)}.$$

本題使用「最小值與最大值的聯合密度」。對於 $0<u<v<1$，

$$f_{X_{(1)},X_{(n)}}(u,v) =n(n-1)(v-u)^{n-2}.$$

原因如下：

• $n$ 個樣本中指定一個落在最小值附近 $u$；
• 再指定另一個落在最大值附近 $v$；
• 其餘 $n-2$ 個樣本必須落在 $(u,v)$ 中；
• 由於 $X_i\sim U(0,1)$，每個樣本落在 $(u,v)$ 的機率為 $v-u$。

因此得到上述聯合密度。

---

解題方法

令

$$U=X_{(1)},\qquad V=X_{(n)},\qquad R=V-U.$$

採用變數轉換

$$r=v-u,\qquad u=u,$$

因此

$$v=u+r.$$

此變數轉換的 Jacobian 絕對值為

$$\left|\frac{\partial(u,v)}{\partial(u,r)}\right| = \begin{vmatrix} 1&0\\ 1&1 \end{vmatrix} =1.$$

由於 $0<u<v<1$，代入 $v=u+r$ 後，條件變為

$$0<u<u+r<1.$$

因此

$$0<u<1-r,\qquad 0<r<1.$$

所以極差 $R$ 的密度為

本題包含兩部分：

1. 證明 $F(X_1)$ 服從 $(0,1)$ 上的均勻分布。
2. 利用此結果，求 $F(Y_n) - F(Y_1)$ 的機率密度函數，其中 $Y_1$ 和 $Y_n$ 分別是樣本最小值和最大值。

第一部分：證明 $F(X_1)$ 服從 $(0,1)$ 上的均勻分布

設 $X_1, X_2, \dots, X_n$ 為獨立同分布 (i.i.d.) 的隨機變數，其累積分布函數 (CDF) 為 $F(x)$。$F(x)$ 是絕對連續且單調遞增的。
令 $U = F(X_1)$。我們需要證明 $U \sim U(0, 1)$。

首先，考慮 $U$ 的 CDF。對於任意 $u \in (0, 1)$：
$F_U(u) = P(U \le u) = P(F(X_1) \le u)$

因為 $F$ 是單調遞增且絕對連續的，所以存在其反函數 $F^{-1}$。
$P(F(X_1) \le u) = P(X_1 \le F^{-1}(u))$

由於 $X_1$ 的 CDF 是 $F(x)$，我們有：
$P(X_1 \le F^{-1}(u)) = F(F^{-1}(u))$

根據反函數的定義，$F(F^{-1}(u)) = u$。
因此，$F_U(u) = u$ 對於 $u \in (0, 1)$。

這正是 $(0,1)$ 上均勻分布的 CDF。
所以，$U = F(X_1)$ 服從 $(0,1)$ 上的均勻分布。

這個結果是機率論中的一個重要性質：如果 $X$ 是一個連續隨機變數，其 CDF 為 $F_X$，那麼 $F_X(X)$ 服從 $(0,1)$ 上的均勻分布。

第二部分：求 $F(Y_n) - F(Y_1)$ 的機率密度函數

設 $Y_1, Y_2, \dots, Y_n$ 是 $X_1, X_2, \dots, X_n$ 的次序統計量 (ordered statistics)，其中 $Y_1 = \min(X_i)$ 且 $Y_n = \max(X_i)$。
我們要求的是隨機變數 $D = F(Y_n) - F(Y_1)$ 的機率密度函數。

根據第一部分的證明，我們知道對於任何 i.i.d. 的隨機變數 $X_i$ 及其 CDF $F$，變數 $F(X_i)$ 服從 $(0,1)$ 上的均勻分布。
特別地，對於 $X_1, \dots, X_n$ 這一組 i.i.d. 隨機變數，我們有：
$F(X_1), F(X_2), \dots, F(X_n)$ 是 $n$ 個獨立的、服從 $(0,1)$ 均勻分布的隨機變數。

令 $Z_i = F(X_i)$。則 $Z_1, \dots, Z_n$ 是 i.i.d. $U(0,1)$ 的隨機變數。
由於 $F$ 是單調遞增的，次序統計量之間的順序關係會被保持：
$X_{(1)} \le X_{(2)} \le \dots \le X_{(n)}$

此題組探討一個具有指數分布相關形式的機率密度函數的隨機變數。題目涵蓋了估計量 (estimator) 的性質（不偏性）、聯合分布、條件分布、UMVUE (Uniformly Minimum Variance Unbiased Estimator)、Cramer-Rao Lower Bound 以及隨機變數的獨立性與期望值。

首先，我們需要辨識此機率密度函數的分布。
$f(x) = \frac{1}{6} \theta^4 x^3 e^{-\theta x}$, $x \ge 0, \theta > 0$.
這是一個 Gamma 分布的形式。一般的 Gamma 分布 PDF 為：
$f(x; k, \lambda) = \frac{\lambda^k}{\Gamma(k)} x^{k-1} e^{-\lambda x}$, $x \ge 0$.
在本題中，我們有 $k-1 = 3 \implies k = 4$。

核心觀念

判斷估計量 $\widehat{\theta}$ 是否為 $\theta$ 的不偏估計量，使用定義：

$$E_\theta(\widehat{\theta})=\theta.$$

本題單獨提供的資訊未包含 $X_1$ 的分配。以下依本題標準設定，假設

$$X_1\sim \operatorname{Gamma}(4,\theta),$$

其中 $\theta$ 為 rate parameter，其機率密度函數為

$$f_{X_1}(x;\theta) =\frac{\theta^4}{\Gamma(4)}x^{4-1}e^{-\theta x} =\frac{\theta^4}{6}x^3e^{-\theta x}, \qquad x>0.$$

解題方法

令

$$\widehat{\theta}=\frac{3}{X_1}.$$

計算其期望值：

$$\begin{aligned} E_\theta\left(\frac{3}{X_1}\right) &=3\int_0^\infty \frac{1}{x} \frac{\theta^4}{6}x^3e^{-\theta x}\,dx\\ &=\frac{\theta^4}{2} \int_0^\infty x^2e^{-\theta x}\,dx. \end{aligned}$$

利用 Gamma 積分公式

$$\int_0^\infty x^{r-1}e^{-\theta x}\,dx =\frac{\Gamma(r)}{\theta^r},$$

取 $r=3$，得

前提

題目片段未列出 $X_i$ 的分布。以下依本題的標準前提，設

$$X_1,\ldots,X_n \overset{\text{i.i.d.}}{\sim} \operatorname{Exp}(\lambda),\qquad \lambda>0.$$

若原題設定 $\lambda=1$，將下式中的 $\lambda$ 直接代為 $1$ 即可。

核心觀念

本題使用三個觀念：

1. 獨立隨機變數的聯合密度可拆成邊際密度乘積。
2. 指數分布的和服從 Gamma 分布： $$\sum_{i=2}^n X_i\sim \operatorname{Gamma}(n-1,\lambda).$$
3. 條件密度公式： $$f_{X_1\mid S}(x\mid s) = \frac{f_{X_1,S}(x,s)}{f_S(s)},$$ 其中 $$S=\sum_{i=1}^n X_i.$$

解題方法：先拆出其餘變數之和

令

$$T=\sum_{i=2}^n X_i, \qquad S=X_1+T.$$

因為 $X_1$ 與 $X_2,\ldots,X_n$ 相互獨立，所以 $X_1$ 與 $T$ 也獨立。

其中

$$f_{X_1}(x)=\lambda e^{-\lambda x},\qquad x>0.$$

而 $T$ 是 $n-1$ 個獨立指數分布的和，因此

$$T\sim \operatorname{Gamma}(n-1,\lambda),$$

其密度為

$$f_T(t) = \frac{\lambda^{n-1}}{(n-2)!} t^{n-2}e^{-\lambda t}, \qquad t>0.$$

考慮變數轉換

$$(x,t)\longmapsto (x,s), \qquad s=x+t.$$

反變換為

$$x=x,\qquad t=s-x.$$

其 Jacobian 絕對值為

$$\left| \frac{\partial(x,t)}{\partial(x,s)} \right| = 1.$$

因此，當 $0<x<s$ 時，

$$\begin{aligned} f_{X_1,S}(x,s) &= f_{X_1,T}(x,s-x)\\ &= f_{X_1}(x)f_T(s-x)\\ &= \lambda e^{-\lambda x} \frac{\lambda^{n-1}}{(n-2)!} (s-x)^{n-2}e^{-\lambda(s-x)}\\ &= \frac{\lambda^n}{(n-2)!} (s-x)^{n-2}e^{-\lambda s}. \end{aligned}$$

所以 $(X_1,S)$ 的聯合密度為

題面資訊不足的必要說明

題目未提供 $X_1,\ldots,X_n$ 的分布，以及 $S_n$ 的定義。依「計算條件期望」及式中 $3|X_1|$ 的標準解讀，以下採用：

$$S_n=\sum_{i=1}^n |X_i|,$$

且 $S_n$ 是關於 $\theta$ 的完全充分統計量，並已知

$$E_\theta(3|X_1|)=\theta.$$

核心觀念

本題使用兩個定理：

1. Rao–Blackwell 定理：若 $U$ 是 $\theta$ 的不偏估計量，且 $S_n$ 為充分統計量，則

   $$E_\theta(U\mid S_n)$$

   仍是不偏估計量，且變異數不大於 $U$。

2. Lehmann–Scheffé 定理：若 $S_n$ 是完全充分統計量，則任何由 $S_n$ 所構成的不偏估計量，都是 $\theta$ 的唯一 UMVUE。

令

$$U=3|X_1|.$$

由題設，

$$E_\theta(U)=E_\theta(3|X_1|)=\theta,$$

所以 $U$ 是 $\theta$ 的不偏估計量。

因此，依 Rao–Blackwell 定理，$\theta$ 的 UMVUE 應為

$$E_\theta(3|X_1|\mid S_n).$$

條件期望的計算

由於 $|X_1|,\ldots,|X_n|$ 在聯合分布下具有交換性，在給定

$$S_n=\sum_{i=1}^n |X_i|$$

之後，各個 $|X_i|$ 的條件期望相同。因此存在某個函數 $g(S_n)$，使得

$$E_\theta(|X_i|\mid S_n)=g(S_n), \qquad i=1,\ldots,n.$$

將所有 $i$ 加總：

$$\begin{aligned} E_\theta(S_n\mid S_n) &=E_\theta\left(\sum_{i=1}^n |X_i|\middle|S_n\right)\\ &=\sum_{i=1}^n E_\theta(|X_i|\mid S_n)\\ &=ng(S_n). \end{aligned}$$

左側因為 $S_n$ 已被給定，所以

$$E_\theta(S_n\mid S_n)=S_n.$$

故

核心觀念

本題考查兩個概念：

1. Cramér–Rao lower bound（CRLB）：所有無偏估計量變異數的下界。
2. UMVUE 是否有效率：比較 UMVUE 的變異數與 CRLB 是否相等。

但題目僅提供第 2.(d) 題，未提供前文的樣本分配、樣本數 $n$ 與參數 $\theta$ 的定義。因此無法得到特定數值形式；以下以正則模型下的隨機樣本 $X_1,\dots,X_n$ 說明。

---

解題方法

設 $X_1,\dots,X_n$ 為來自機率密度（或機率質量函數）$f(x;\theta)$ 的隨機樣本，且估計量 $\widehat{\theta}$ 對 $\theta$ 無偏。

單一觀測值的 Fisher information 為

$$I_1(\theta) = E_\theta\left[ \left\{ \frac{\partial}{\partial\theta} \log f(X;\theta) \right\}^2 \right].$$

若樣本相互獨立，則 $n$ 個觀測值的 Fisher information 為

$$I_n(\theta)=nI_1(\theta).$$

在可微性、支持集與 $\theta$ 無關，且可將微分與積分交換等正則條件成立時，Cramér–Rao 不等式給出

$$\operatorname{Var}_\theta(\widehat{\theta}) \geq \frac{1}{I_n(\theta)}.$$

因此，本題所求的 CRLB 為

$$\boxed{ \operatorname{CRLB}(\theta) = \frac{1}{I_n(\theta)} = \frac{1}{nI_1(\theta)} }.$$

若以 log-likelihood

$$\ell(\theta;x_1,\dots,x_n) = \sum_{i=1}^n \log f(x_i;\theta)$$

表示，亦可使用等價公式

$$I_n(\theta) = -E_\theta\left[ \frac{\partial^2}{\partial\theta^2} \ell(\theta;X_1,\dots,X_n) \right],$$

故

$$\boxed{ \operatorname{CRLB}(\theta) = \left[ -E_\theta\left\{ \frac{\partial^2}{\partial\theta^2} \ell(\theta;X_1,\dots,X_n) \right\} \right]^{-1} }.$$

---

UMVUE 是否達到 CRLB

設 $\widehat{\theta}_{U}$ 為 $\theta$ 的 UMVUE。由 Lehmann–Scheffé 定理，$\widehat{\theta}_{U}$ 是所有無偏估計量中變異數最小者，但這項性質本身不保證它一定達到 Cramér–Rao 下界。

必須直接比較：

核心觀念

本題考查 Beta–Gamma 獨立性：

若 $X_1,\ldots,X_n$ 為相互獨立且具有相同尺度參數的 Gamma 隨機變數，則比例

$$\frac{X_1}{\sum_{i=1}^n X_i}$$

與總和

$$\sum_{i=1}^n X_i$$

彼此獨立。

題目摘錄未列出 $X_i$ 的分布；以下依本題標準背景，假設 $X_1,\ldots,X_n$ 為相互獨立且同分布的 Gamma$(\alpha,\theta)$ 隨機變數。獨立指數分布是其中 $\alpha=1$ 的特例。

---

解題方法

令

$$S=\sum_{i=1}^n X_i, \qquad Y=\sum_{i=2}^n X_i.$$

由於 $X_i$ 相互獨立，且 Gamma 分布具有可加性，因此

$$X_1\sim \operatorname{Gamma}(\alpha,\theta),$$

以及

$$Y\sim \operatorname{Gamma}((n-1)\alpha,\theta),$$

且 $X_1$ 與 $Y$ 相互獨立。

定義

$$U=\frac{X_1}{X_1+Y} =\frac{X_1}{S}, \qquad V=X_1+Y=S.$$

只要證明 $U$ 與 $V$ 的聯合密度可以分解成只含 $U$ 的函數與只含 $V$ 的函數之乘積，即可證明兩者獨立。

---

聯合密度與變數變換

由 Gamma 分布密度函數，

$$f_{X_1}(x) = \frac{1}{\Gamma(\alpha)\theta^\alpha} x^{\alpha-1}e^{-x/\theta}, \qquad x>0,$$ $$f_Y(y) = \frac{1}{\Gamma((n-1)\alpha)\theta^{(n-1)\alpha}} y^{(n-1)\alpha-1}e^{-y/\theta}, \qquad y>0.$$

因為 $X_1$ 與 $Y$ 獨立，

$$f_{X_1,Y}(x,y) = \frac{x^{\alpha-1}y^{(n-1)\alpha-1} e^{-(x+y)/\theta}} {\Gamma(\alpha)\Gamma((n-1)\alpha)\theta^{n\alpha}}.$$

由

$$U=\frac{X_1}{X_1+Y}, \qquad V=X_1+Y,$$

可得反變換：

$$X_1=UV, \qquad Y=(1-U)V.$$

其中 $0<u<1$、$v>0$。Jacobian 絕對值為

$$\left| \frac{\partial(x,y)}{\partial(u,v)} \right| = \begin{vmatrix} v & u\\ -v & 1-u \end{vmatrix} =v.$$

因此，