108 年 國立臺北大學統計學系碩士班《數理統計（含機率概論）》

核心觀念

本題考查：

• 次序統計量 $U=\min(X,Y)$、$V=\max(X,Y)$ 的聯合機率密度函數。
• 變數轉換法。
• 由於 $X$ 與 $Y$ 的分布不同，不能直接套用相同分布次序統計量的公式，必須將兩種排列情形相加。

已知

$$f_X(x)=2x,\qquad 0<x<1,$$ $$f_Y(y)=3y^2,\qquad 0<y<1.$$

且 $X,Y$ 相互獨立，因此聯合密度為

$$f_{X,Y}(x,y)=f_X(x)f_Y(y)=6xy^2, \qquad 0<x<1,\ 0<y<1.$$

解題方法

因為

$$U=\min(X,Y),\qquad V=\max(X,Y),$$

必定滿足

$$0<U<V<1.$$

對固定的 $0<u<v<1$，$(U,V)=(u,v)$ 有兩種來源：

1. $X=u,\ Y=v$；
2. $X=v,\ Y=u$。

情形一：$X<U?$

當 $X<Y$ 時，

$$U=X,\qquad V=Y.$$

此時變數轉換為

$$x=u,\qquad y=v.$$

其雅可比絕對值為 $1$，所以此情形的密度貢獻為

$$f_X(u)f_Y(v) =(2u)(3v^2) =6uv^2.$$

情形二：$Y<X$

當 $Y<X$ 時，

$$U=Y,\qquad V=X.$$

此時

$$x=v,\qquad y=u.$$

核心觀念

本題主要考查：

1. 最大概似估計法。
2. 指數分布與 Gamma 分布的轉換。
3. 最大概似估計量的漸近常態性。
4. 機率積分轉換：若 $U_i=F(X_i;\theta)$，則 $U_i\sim \operatorname{Uniform}(0,1)$。
5. 次序統計量與樣本分位數。
6. 分位數函數與最大概似估計量的不變性。

由

$$f(x;\theta)=\theta x^{\theta-1},\qquad 0<x<1,\quad \theta>0$$

可得分布函數

$$F(x;\theta)=\int_0^x \theta t^{\theta-1}\,dt=x^\theta,\qquad 0<x<1.$$

---

(a) 最大概似估計量與其分布

解題方法

給定樣本 $X_1,\ldots,X_n$，其概似函數為

$$L(\theta) =\prod_{i=1}^n \theta x_i^{\theta-1} =\theta^n\prod_{i=1}^n x_i^{\theta-1}.$$

取對數得

$$\ell(\theta) =n\ln\theta+(\theta-1)\sum_{i=1}^n\ln x_i.$$

微分：

$$\frac{d\ell(\theta)}{d\theta} =\frac{n}{\theta}+\sum_{i=1}^n\ln x_i.$$

令一階導數為 $0$：

$$\frac{n}{\hat\theta}+\sum_{i=1}^n\ln x_i=0.$$

因此

$$\boxed{ \hat\theta =-\frac{n}{\displaystyle\sum_{i=1}^n\ln X_i} }.$$

由於 $0<X_i<1$，所以 $\ln X_i<0$，故 $\hat\theta>0$。

再由

$$\frac{d^2\ell(\theta)}{d\theta^2} =-\frac{n}{\theta^2}<0,$$

可知此估計量確實使概似函數達到最大值。

$\hat\theta$ 的分布

令

$$Y_i=-\ln X_i.$$

對 $y>0$，

$$P(Y_i\le y) =P(-\ln X_i\le y) =P(X_i\ge e^{-y}).$$

因為 $F(x;\theta)=x^\theta$，所以

$$P(Y_i\le y) =1-P(X_i<e^{-y}) =1-e^{-\theta y}.$$

因此

$$Y_i\sim \operatorname{Exponential}(\theta),$$

其中 $\theta$ 為 rate parameter。故

$$S=\sum_{i=1}^nY_i =-\sum_{i=1}^n\ln X_i \sim \operatorname{Gamma}(n,\theta),$$

其中第二個參數採 rate 表示法。

而

$$\hat\theta=\frac{n}{S}.$$

因此 $\hat\theta$ 為 Gamma 隨機變數倒數的尺度轉換，其機率密度函數為

$$f_{\hat\theta}(t) = \frac{(n\theta)^n}{\Gamma(n)} t^{-(n+1)} \exp\left(-\frac{n\theta}{t}\right), \qquad t>0.$$

等價地，

$$\boxed{ \frac{2n\theta}{\hat\theta}\sim\chi^2_{2n} }.$$

---

(b) $\xi_p$ 與其最大概似估計量

由分位數定義，

$$F(\xi_p;\theta)=p.$$

因為 $F(x;\theta)=x^\theta$，所以

$$\xi_p^\theta=p.$$

因此

$$\boxed{ \xi_p=p^{1/\theta} }.$$

最大概似估計量具有不變性。將 $\hat\theta$ 代入 $\xi_p=p^{1/\theta}$，得到

$$\hat\xi_p =p^{1/\hat\theta}.$$

由

$$\frac{1}{\hat\theta} =-\frac{1}{n}\sum_{i=1}^n\ln X_i,$$

亦可寫成

$$\boxed{ \hat\xi_p =p^{1/\hat\theta} = \exp\left( -\frac{\ln p}{n}\sum_{i=1}^n\ln X_i \right) }.$$

由於 $0<p<1$ 且 $\hat\theta>0$，必有 $0<\hat\xi_p<1$。

---

(c) $\hat\theta$ 的漸近分布

解題方法一：使用最大概似估計量定理

單一觀測值的對數概似函數為

$$\ell_1(\theta)=\ln\theta+(\theta-1)\ln X.$$

其二階導數為

$$\frac{d^2\ell_1(\theta)}{d\theta^2} =-\frac{1}{\theta^2}.$$

因此 Fisher information 為

$$I_1(\theta) =-E\left[ \frac{d^2\ell_1(\theta)}{d\theta^2} \right] =\frac{1}{\theta^2}.$$

對 $n$ 個獨立樣本，

$$I_n(\theta)=\frac{n}{\theta^2}.$$

由最大概似估計量的漸近常態性，

$$\sqrt n(\hat\theta-\theta) \xrightarrow{d} N\left(0,\frac{1}{I_1(\theta)}\right).$$

因此

本題考驗均勻分布的參數的最大概似估計量 (MLE)。

給定一個隨機樣本 $X_1, X_2, ..., X_n$ 來自均勻分布 UNIF[0, $\theta$]。
其機率密度函數 (PDF) 為：
$f(x; \theta) = \begin{cases} \frac{1}{\theta}, & 0 \le x \le \theta \\ 0, & \text{otherwise} \end{cases}$
其中 $\theta > 0$。

我們需要推導參數 $\theta$ 的最大概似估計量 (MLE)。

首先，寫出樣本的聯合機率密度函數（概似函數）：
$L(\theta) = \prod_{i=1}^n f(x_i; \theta)$

為了使 $f(x_i; \theta)$ 非零，所有 $x_i$ 都必須滿足 $0 \le x_i \le \theta$。
這意味著 $\theta$ 必須大於或等於所有的 $x_i$。
也就是說，$\theta \ge \max(X_1, X_2, ..., X_n)$。
令 $X_{(n)} = \max(X_1, X_2, ..., X_n)$。
所以，概似函數可以寫成：

本題要求判斷上一題求得的最大概似估計量 (MLE) 是否為無偏估計量。

在上一題中，我們求得參數 $\theta$ 的 MLE 為 $\hat{\theta} = X_{(n)} = \max(X_1, X_2, ..., X_n)$。
一個估計量 $\hat{\theta}$ 被稱為 $\theta$ 的無偏估計量，如果它的期望值等於 $\theta$，即 $E[\hat{\theta}] = \theta$。

我們需要計算 $\hat{\theta}$ 的期望值。
首先，我們需要知道 $X_{(n)}$ 的累積分布函數 (CDF)。
$F_{X_{(n)}}(x) = P(X_{(n)} \le x)$
$P(X_{(n)} \le x) = P(\max(X_1, ..., X_n) \le x)$
$P(\max(X_1, ..., X_n) \le x) = P(X_1 \le x, X_2 \le x, ..., X_n \le x)$
由於 $X_i$ 之間是獨立的，
$P(X_1 \le x, ..., X_n \le x) = P(X_1 \le x) \cdots P(X_n \le x) = [F_X(x)]^n$。

對於 UNIF[0, $\theta$]，其 CDF 為 $F_X(x) = x/\theta$，對於 $0 \le x \le \theta$。
所以，$F_{X_{(n)}}(x) = \left(\frac{x}{\theta}\right)^n$, 對於 $0 \le x \le \theta$。

接著，我們計算 $X_{(n)}$ 的機率密度函數 (PDF)。
$f_{X_{(n)}}(x) = \frac{d}{dx} F_{X_{(n)}}(x) = \frac{d}{dx} \left(\frac{x}{\theta}\right)^n = n \left(\frac{x}{\theta}\right)^{n-1} \frac{1}{\theta} = \frac{n x^{n-1}}{\theta^n}$, 對於 $0 \le x \le \theta$。

核心觀念

本題考查三個重點：

1. Uniform 分布上限參數 $\theta$ 的最大概似估計量。
2. 樣本最大值 $X_{(n)}=\max(X_1,\ldots,X_n)$ 的分布與變異數。
3. Cramér–Rao Lower Bound（CRLB）的適用條件，以及非正則模型中的陷阱。

---

解題方法：先求 MLE

由於 $X_1,\ldots,X_n$ 來自 $\operatorname{UNIF}[0,\theta]$，其聯合概似函數為

$$L(\theta) =\prod_{i=1}^n \frac{1}{\theta}I(0\leq X_i\leq\theta) =\theta^{-n}I(\theta\geq X_{(n)}).$$

當 $\theta\geq X_{(n)}$ 時，$L(\theta)=\theta^{-n}$ 隨 $\theta$ 遞減，因此使概似函數最大的 $\theta$ 是最小的可行值：

$$\widehat{\theta}_{\mathrm{MLE}}=X_{(n)}.$$

---

計算 MLE 的變異數

令

$$Y=\frac{X_{(n)}}{\theta}.$$

則 $Y\in[0,1]$，且其累積分布函數為

$$F_Y(y)=P(Y\leq y) =P\left(X_{(n)}\leq \theta y\right) =y^n,\qquad 0\leq y\leq 1.$$

因此其機率密度函數為

$$f_Y(y)=ny^{n-1},\qquad 0\leq y\leq 1.$$

先計算期望值：

$$E(Y)=\int_0^1 y\cdot ny^{n-1}\,dy =n\int_0^1 y^n\,dy =\frac{n}{n+1}.$$

再計算二階動差：

$$E(Y^2)=\int_0^1 y^2\cdot ny^{n-1}\,dy =n\int_0^1 y^{n+1}\,dy =\frac{n}{n+2}.$$

所以

$$\operatorname{Var}(Y) =E(Y^2)-[E(Y)]^2 =\frac{n}{n+2}-\left(\frac{n}{n+1}\right)^2.$$

整理得

$$\operatorname{Var}(Y) =\frac{n}{(n+1)^2(n+2)}.$$

因為 $\widehat{\theta}_{\mathrm{MLE}}=\theta Y$，所以

$$\boxed{ \operatorname{Var}(\widehat{\theta}_{\mathrm{MLE}}) =\frac{n\theta^2}{(n+1)^2(n+2)} }.$$

另外，

$$E(\widehat{\theta}_{\mathrm{MLE}}) =\frac{n\theta}{n+1},$$

因此 MLE 有偏，偏誤為

$$\operatorname{Bias}(\widehat{\theta}_{\mathrm{MLE}}) =-\frac{\theta}{n+1}.$$

---

與 Cramér–Rao Lower Bound 比較

若形式上忽略 Uniform 分布的支持集會隨 $\theta$ 改變，單一觀察值的 Fisher information 常被寫成

$$I_1(\theta)=\frac{1}{\theta^2},$$

$n$ 個獨立樣本的 Fisher information 為

$$I_n(\theta)=\frac{n}{\theta^2}.$$

因此對估計 $\theta$ 的傳統 CRLB 為

本題要求證明或證偽參數 $\theta$ 的最大概似估計量 (MLE) 的一致性。

在前面的題目中，我們已經確定了參數 $\theta$ 的 MLE 為 $\hat{\theta} = X_{(n)} = \max(X_1, X_2, ..., X_n)$。
一個估計量 $\hat{\theta}_n$ 被稱為 $\theta$ 的一致估計量，如果當樣本量 $n \to \infty$ 時，$\hat{\theta}_n$ 在機率上收斂於 $\theta$。
數學表示為：$\lim_{n \to \infty} P(|\hat{\theta}_n - \theta| < \epsilon) = 1$ 對於任意 $\epsilon > 0$。
這等價於 $\lim_{n \to \infty} P(|\hat{\theta}_n - \theta| \ge \epsilon) = 0$。

我們需要證明 $\lim_{n \to \infty} P(|\hat{\theta} - \theta| \ge \epsilon) = 0$。
這可以通過證明 $\lim_{n \to \infty} P(\hat{\theta} - \theta \ge \epsilon) = 0$ 和 $\lim_{n \to \infty} P(\theta - \hat{\theta} \ge \epsilon) = 0$ 來實現。

考慮 $\lim_{n \to \infty} P(\hat{\theta} - \theta \ge \epsilon)$。
$\hat{\theta} = X_{(n)}$。
$P(X_{(n)} - \theta \ge \epsilon) = P(X_{(n)} \ge \theta + \epsilon)$。
由於 $X_{(n)}$ 是樣本中的最大值，且所有 $X_i$ 都來自 UNIF[0, $\theta$]，所以 $X_{(n)}$ 的最大可能值是 $\theta$。
因此，$X_{(n)} \le \theta$。
所以，$P(X_{(n)} \ge \theta + \epsilon) = 0$，因為 $\epsilon > 0$。
這部分極限為 0。

現在考慮 $\lim_{n \to \infty} P(\theta - \hat{\theta} \ge \epsilon)$。
$P(\theta - X_{(n)} \ge \epsilon) = P(X_{(n)} \le \theta - \epsilon)$。

我們知道 $X_{(n)}$ 的 CDF 為 $F_{X_{(n)}}(x) = \left(\frac{x}{\theta}\right)^n$, 對於 $0 \le x \le \theta$。
所以，$P(X_{(n)} \le \theta - \epsilon) = F_{X_{(n)}}(\theta - \epsilon)$。
假設 $\epsilon < \theta$，這樣 $\theta - \epsilon > 0$。
$P(X_{(n)} \le \theta - \epsilon) = \left(\frac{\theta - \epsilon}{\theta}\right)^n = \left(1 - \frac{\epsilon}{\theta}\right)^n$。

本題要求利用最大概似估計量 (MLE) 來進行假設檢定，並找出拒絕域。

我們已經知道 MLE 為 $\hat{\theta} = X_{(n)} = \max(X_1, ..., X_n)$。
假設檢定問題為：
$H_0: \theta = \theta_0 = 2$
$H_1: \theta > \theta_0 = 2$
檢定的大小 (size) 為 $\alpha = 0.05$。

檢定的大小是指在虛無假設為真時，拒絕虛無假設的機率。
$\alpha = P(\text{Reject } H_0 | H_0 \text{ is true}) = P(\hat{\theta} \in \text{Rejection Region} | \theta = 2) = 0.05$。

我們需要找到拒絕域。
拒絕域應該是 $\hat{\theta}$ 的值域，使得當 $\theta$ 較大時，這些值發生的機率較高。
由於 $H_1: \theta > 2$，我們預期 $\theta$ 的真實值會大於 2。
如果 $\hat{\theta}$ 的值很大，這將支持 $H_1$ 而不是 $H_0$。
因此，拒絕域應該是 $\hat{\theta}$ 的上尾部分。
拒絕域的形式為 $\{\hat{\theta} > c\}$，其中 $c$ 是一個常數。