111 年 國立中山大學應用數學系碩士班甲組《機率與統計》

本題考驗對機率密度函數轉換（Transformation of Random Variables）的理解，特別是利用對數轉換和指數轉換來求取隨機變數函數的機率密度函數。

核心觀念：
當我們有一個隨機變數 $X$ 及其機率密度函數 $f_X(x)$，若我們想要求一個由 $X$ 轉換而來的隨機變數 $Y = g(X)$ 的機率密度函數 $f_Y(y)$，我們可以使用轉換公式。如果 $g$ 是單調的，則 $f_Y(y) = f_X(g^{-1}(y)) \left| \frac{d}{dy} g^{-1}(y) \right|$。若 $Y$ 是多個隨機變數的函數，我們可能需要利用其累積分布函數（CDF）來求解。

解題步驟：

1. 理解隨機變數的分布：$X_i$ 是獨立同分布於 Uniform(0,1) 的隨機變數，其機率密度函數為 $f_{X_i}(x) = 1$ 對於 $0 \le x \le 1$，否則為 0。
2. 定義目標隨機變數：我們關心的是 $T = \sum_{i=1}^n \ln(X_i)$ 的機率密度函數。
3. 考慮對數轉換：令 $Y_i = \ln(X_i)$。由於 $X_i \in [0,1]$，所以 $Y_i \in (-\infty, 0]$。
   • $X_i = e^{Y_i}$。
   • $\frac{dX_i}{dY_i} = e^{Y_i} = X_i$。
   • $X_i$ 的 pdf 是 $f_{X_i}(x) = 1$ for $x \in [0,1]$。
   • $Y_i$ 的 pdf 可以由轉換公式求得：$f_{Y_i}(y) = f_{X_i}(e^y) \left| \frac{d}{dy} e^y \right| = 1 \cdot e^y = e^y$。
   • 此 pdf 對於 $y \in (-\infty, 0]$。
4. 考慮和的分布：$T = \sum_{i=1}^n Y_i$。由於 $Y_i$ 是獨立的，且它們的 pdf 是 $e^y$ 對於 $y \le 0$，這個分布是 Exponential distribution 的一個變形。
   • 實際上，$Y_i = \ln(X_i)$ 的 pdf 是 $e^y$ for $y \le 0$。這與標準指數分布 $f(x) = e^{-x}$ for $x \ge 0$ 有關。
   • 令 $Z_i = -\ln(X_i)$。因為 $X_i \sim \text{Unif}(0,1)$，其 CDF 為 $F_{X_i}(x) = x$ for $x \in [0,1]$。
   • $Z_i$ 的 CDF 為 $F_{Z_i}(z) = P(Z_i \le z) = P(-\ln(X_i) \le z) = P(\ln(X_i) \ge -z) = P(X_i \ge e^{-z}) = 1 - F_{X_i}(e^{-z}) = 1 - e^{-z}$ for $z \ge 0$。
   • 因此，$Z_i$ 的 pdf 為 $f_{Z_i}(z) = \frac{d}{dz}(1 - e^{-z}) = e^{-z}$ for $z \ge 0$。
   • 這表示 $Z_i$ 服從標準指數分布 (Exponential(1))。

本題考驗對大數定律（Law of Large Numbers）和中央極限定理（Central Limit Theorem）的應用，特別是針對由獨立同分布隨機變數構建的估計量。

核心觀念：

1. 估計量的期望值和變異數：對於由 i.i.d. 隨機變數構成的樣本平均量，我們通常可以計算其期望值和變異數。
2. 中心極限定理：如果我們有一個樣本平均量，其期望值為 $\mu$ 且變異數為 $\sigma^2$，那麼在大樣本下，$\sqrt{n}(\bar{X}_n - \mu)$ 會趨近於一個期望值為 0、變異數為 $\sigma^2$ 的常態分布。
3. 信賴區間的建構：利用漸近常態性，可以建構點估計量的信賴區間。

解題步驟：

(a) 導出 $\sqrt{n}(\hat{U}-U)$ 的漸近分布

1. 定義輔助隨機變數：令 $Y_i = I(s < X_i \le t)$。則 $\hat{U} = \frac{1}{n} \sum_{i=1}^n Y_i$。

2. 計算 $Y_i$ 的期望值：
   $E[Y_i] = E[I(s < X_i \le t)] = P(s < X_i \le t) = F(t) - F(s) = U$。
   因此，$\hat{U}$ 是 $U$ 的一個無偏估計量。

3. 計算 $Y_i$ 的變異數：
   $Var(Y_i) = E[Y_i^2] - (E[Y_i])^2$。
   由於 $Y_i$ 是一個指示函數，其值只能是 0 或 1。所以 $Y_i^2 = Y_i$。
   $E[Y_i^2] = E[Y_i] = U$。
   $Var(Y_i) = U - U^2 = U(1-U)$。

4. 應用中央極限定理：
   $\hat{U}$ 是 $Y_i$ 的樣本平均量。根據中央極限定理，當 $n \to \infty$，
   $\sqrt{n}(\hat{U} - E[\hat{U}]) \xrightarrow{d} N(0, Var(\hat{U}))$。
   由於 $E[\hat{U}] = E[\frac{1}{n} \sum Y_i] = \frac{1}{n} \sum E[Y_i] = \frac{1}{n} \sum U = U$。
   $Var(\hat{U}) = Var(\frac{1}{n} \sum Y_i) = \frac{1}{n^2} \sum Var(Y_i)$ (由於 $Y_i$ 獨立同分布)
   $Var(\hat{U}) = \frac{1}{n^2} \sum U(1-U) = \frac{1}{n^2} n U(1-U) = \frac{U(1-U)}{n}$。
   因此，
   $\sqrt{n}(\hat{U} - U) \xrightarrow{d} N(0, U(1-U))$。
   這表示 $\sqrt{n}(\hat{U} - U)$ 的漸近分布是一個期望值為 0，變異數為 $U(1-U)$ 的常態分布。

   【答案】
   $\sqrt{n}(\hat{U}-U)$ 的漸近分布為 $N(0, U(1-U))$。

(b) 推導 $U$ 的 $1-\alpha$ 漸近信賴區間

1. 利用漸近常態性：從 (a) 的結果，我們知道 $\sqrt{n}(\hat{U} - U)$ 的漸近分布是 $N(0, U(1-U))$。
   這可以寫成：
   $\frac{\sqrt{n}(\hat{U} - U)}{\sqrt{U(1-U)}} \xrightarrow{d} N(0, 1)$。
2. 標準化：令 $Z = \frac{\sqrt{n}(\hat{U} - U)}{\sqrt{U(1-U)}}$。 $Z$ 漸近服從標準常態分布 $N(0,1)$。
3. 建構信賴區間：對於標準常態分布，我們知道 $P(-z_{\alpha/2} \le Z \le z_{\alpha/2}) \approx 1-\alpha$。
   將 $Z$ 代入：

本題考驗對條件機率、邊緣機率以及隨機變數的疊代期望（Law of Iterated Expectations）的理解，特別是處理兩個隨機變數的聯合分布，其中一個變數的分布依賴於另一個變數。

核心觀念：

1. 條件分布：給定一個隨機變數 $N$ 的值，另一個隨機變數 $X$ 的分布是已知的。
2. 邊緣分布：我們需要找到 $X$ 的獨立的（無條件的）分布。
3. 疊代期望/全機率法則：若要計算 $P(X=x)$，我們可以對所有可能的 $N$ 的值進行求和（或積分），即 $P(X=x) = \sum_n P(X=x|N=n) P(N=n)$。

解題步驟：

1. 識別隨機變數及其分布：
   • $N \sim \text{Poisson}(\lambda)$。其機率質量函數 (PMF) 為 $P(N=n) = \frac{e^{-\lambda} \lambda^n}{n!}$，對於 $n = 0, 1, 2, \dots$。
   • 條件於 $N=n$， $X$ 服從二項分布，參數為 $n$ 和 $p$。其條件 PMF 為 $P(X=x|N=n) = \binom{n}{x} p^x (1-p)^{n-x}$，對於 $x = 0, 1, \dots, n$。
2. 計算 $X$ 的邊緣 PMF $P(X=x)$：
   我們使用全機率法則：$P(X=x) = \sum_{n=0}^{\infty} P(X=x|N=n) P(N=n)$。
   注意，當 $N=n$ 時，$X$ 的值只能到 $n$，所以 $P(X=x|N=n) = 0$ 如果 $x > n$。因此，求和的下限實際上是 $n=x$。
   $P(X=x) = \sum_{n=x}^{\infty} \binom{n}{x} p^x (1-p)^{n-x} \frac{e^{-\lambda} \lambda^n}{n!}$。
3. 展開和簡化：
   $P(X=x) = \sum_{n=x}^{\infty} \frac{n!}{x!(n-x)!} p^x (1-p)^{n-x} \frac{e^{-\lambda} \lambda^n}{n!}$
   $P(X=x) = \sum_{n=x}^{\infty} \frac{1}{x!(n-x)!} p^x (1-p)^{n-x} e^{-\lambda} \lambda^n$

本題考驗對概似比檢定（Likelihood Ratio Test）以及檢定力的計算。

核心觀念：

1. 概似比檢定：對於簡單假設檢定，概似比檢定是最優的檢定方法之一。其檢定統計量為概似比。
2. 檢定力 (Power)：檢定力是指在備擇假設為真時，正確拒絕虛無假設的機率。Power = $P(\text{Reject } H_0 | H_1 \text{ is true})$。
3. 假設檢定與臨界區域：對於一個檢定統計量 $T$，我們定義一個臨界值 $c$。如果 $T > c$，則拒絕 $H_0$。顯著水準 $\alpha$ 是在 $H_0$ 為真時，錯誤地拒絕 $H_0$ 的機率，即 $\alpha = P(T > c | H_0 \text{ is true})$。

解題步驟：

1. 定義虛無假設 ($H_0$) 和備擇假設 ($H_1$)：

   • $H_0$: $X$ 的 CDF 是 $F_0(x) = x^3$ for $x \in [0,1]$。
   • $H_1$: $X$ 的 CDF 是 $F_1(x) = x^2$ for $x \in [0,1]$。
     （這裡假設 $X$ 是一個單一的隨機變數，而不是一個樣本。如果有多個樣本，則需要考慮樣本的聯合概似函數。題目敘述比較簡略，我們假設這裡是以單一觀察值 $X$ 為基礎進行檢定。）

2. 求取機率密度函數 (pdf)：

   • 在 $H_0$ 下，pdf 為 $f_0(x) = \frac{d}{dx} F_0(x) = \frac{d}{dx} x^3 = 3x^2$ for $x \in [0,1]$。
   • 在 $H_1$ 下，pdf 為 $f_1(x) = \frac{d}{dx} F_1(x) = \frac{d}{dx} x^2 = 2x$ for $x \in [0,1]$。

3. 建立概似比統計量：
   對於單一觀察值 $X$，概似比為：
   $L(x) = \frac{f_1(x)}{f_0(x)} = \frac{2x}{3x^2} = \frac{2}{3x}$ for $x \in (0,1]$。（注意 $x=0$ 時 $f_0(0)=0$）。
   概似比檢定通常是拒絕 $H_0$ 當 $L(x)$ 小於某個臨界值 $k$。
   $\frac{f_1(x)}{f_0(x)} < k \iff \frac{2}{3x} < k \iff x > \frac{2}{3k}$。

核心觀念

本題考察最大概似估計法（Maximum Likelihood Estimation, MLE）與參數空間限制。

假設觀察到 $X=x$，且 $\sigma^2$ 已知，則

$$X\sim N(\theta,\sigma^2),\qquad \theta>0.$$

最大概似估計量的定義為

$$\hat{\theta}_{\text{MLE}} =\arg\max_{\theta>0}L(\theta\mid x),$$

其中 $L(\theta\mid x)$ 是以 $\theta$ 為參數、以觀察值 $x$ 為條件的概似函數。

解題方法

1. 寫出概似函數

由常態分布的機率密度函數，

$$f(x\mid\theta) =\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left\{-\frac{(x-\theta)^2}{2\sigma^2}\right\}.$$

因此概似函數為

$$L(\theta\mid x) =\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left\{-\frac{(x-\theta)^2}{2\sigma^2}\right\}, \qquad \theta>0.$$

取對數概似函數：

$$\ell(\theta) =\log L(\theta\mid x) =-\frac{1}{2}\log(2\pi\sigma^2) -\frac{(x-\theta)^2}{2\sigma^2}.$$

其中第一項與 $\theta$ 無關，因此最大化 $\ell(\theta)$ 等價於最小化

$$(x-\theta)^2.$$

2. 先求不受限制的最大概似估計量

對 $\ell(\theta)$ 微分：

$$\frac{d\ell(\theta)}{d\theta} =\frac{x-\theta}{\sigma^2}.$$

令一階導數等於 $0$：

$$\frac{x-\theta}{\sigma^2}=0 \quad\Longrightarrow\quad \theta=x.$$

又因為

$$\frac{d^2\ell(\theta)}{d\theta^2} =-\frac{1}{\sigma^2}<0,$$

所以在沒有參數限制時，最大概似估計量為

$$\hat{\theta}_{\text{unconstrained}}=x.$$

3. 納入 $\theta>0$ 的限制

參數空間為

$$\Theta=(0,\infty).$$

核心觀念

本題考查：

• 最大次序統計量 $T=X_{(n)}=\max\{X_1,\dots,X_n\}$ 的分布。
• 估計量的均方誤差（Mean Square Error, MSE）：
  $\operatorname{MSE}(CT)=E[(CT-\theta)^2].$
• 以微分求使均方誤差最小的常數 $C$。

先由母體密度得到累積分布函數。當 $0<x<\theta$ 時，

$$F(x)=\int_0^x \frac{2u}{\theta^2}\,du =\frac{x^2}{\theta^2}.$$

因此，

$$F_T(t)=P(T\le t) =P(X_1\le t,\dots,X_n\le t) =[F(t)]^n =\frac{t^{2n}}{\theta^{2n}}, \qquad 0<t<\theta.$$

對其微分可得 $T$ 的機率密度函數：

$$f_T(t)=\frac{d}{dt}F_T(t) =\frac{2n\,t^{2n-1}}{\theta^{2n}}, \qquad 0<t<\theta.$$

---

解題方法：建立 $CT$ 的均方誤差

均方誤差為

$$\operatorname{MSE}(CT) =E[(CT-\theta)^2].$$

展開後：

$$\operatorname{MSE}(CT) =C^2E(T^2)-2C\theta E(T)+\theta^2.$$

所以需要先計算 $E(T)$ 與 $E(T^2)$。

一般地，對 $r>0$，

$$E(T^r) =\int_0^\theta t^r f_T(t)\,dt =\int_0^\theta t^r \frac{2n\,t^{2n-1}}{\theta^{2n}}\,dt.$$

因此，

$$E(T^r) =\frac{2n}{\theta^{2n}} \int_0^\theta t^{2n+r-1}\,dt =\frac{2n}{\theta^{2n}} \cdot\frac{\theta^{2n+r}}{2n+r} =\frac{2n}{2n+r}\theta^r.$$

分別取 $r=1,2$：

$$E(T)=\frac{2n}{2n+1}\theta,$$

以及

本題考驗對隨機變數方差的計算，特別是當參數本身也是一個隨機變數時。這需要用到全期望法則（Law of Total Expectation）和全變異法則（Law of Total Variance）。

核心觀念：

1. 全期望法則：$E[Y] = E[E[Y|\Lambda]]$。
2. 全變異法則：$Var(Y) = E[Var(Y|\Lambda)] + Var(E[Y|\Lambda])$。

解題步驟：

1. 識別隨機變數及其分布：

   • $Y$ 服從 Poisson 分布，參數為 $\Lambda$。所以，給定 $\Lambda = \lambda$， $Y \sim \text{Poisson}(\lambda)$。
   • $Y$ 的條件期望值和條件變異數是：
     $E[Y|\Lambda = \lambda] = \lambda$
     $Var(Y|\Lambda = \lambda) = \lambda$
   • $\Lambda$ 的 pdf 為 $f(\lambda) = e^{-\lambda}$ for $\lambda > 0$，否則為 0。這是一個 Exponential(1) 分布。

2. 計算 $E[Y]$：
   使用全期望法則：$E[Y] = E[E[Y|\Lambda]]$。
   $E[Y|\Lambda]$ 是關於 $\Lambda$ 的函數，其值為 $\Lambda$。
   所以，$E[Y] = E[\Lambda]$。
   現在我們需要計算 $\Lambda$ 的期望值。由於 $\Lambda \sim \text{Exponential}(1)$，其 pdf 為 $f(\lambda) = e^{-\lambda}$ for $\lambda > 0$。
   $E[\Lambda] = \int_0^\infty \lambda f(\lambda) d\lambda = \int_0^\infty \lambda e^{-\lambda} d\lambda$。
   這是一個 Gamma(1,1) 分布的期望值，或者可以直接計算積分（例如使用分部積分法）：
   令 $u = \lambda$, $dv = e^{-\lambda} d\lambda$。則 $du = d\lambda$, $v = -e^{-\lambda}$。
   $E[\Lambda] = [-\lambda e^{-\lambda}]_0^\infty - \int_0^\infty (-e^{-\lambda}) d\lambda$