109 年 國立臺灣大學應用數學科學研究所碩士班數理統計組《機率統計》

本題考查 Gamma 分佈的性質以及變數變換。
已知 $X \sim \text{Gamma}(\alpha, \beta)$，其機率密度函數 (PDF) 為：
$f_X(x) = \frac{1}{\Gamma(\alpha)\beta^\alpha} x^{\alpha-1} e^{-x/\beta}, \quad x > 0$
其中 $\Gamma(\alpha)$ 是 Gamma 函數。
我們要求 $Y = 1/X$ 的期望值與變異數。
首先，我們需要找到 $Y$ 的機率密度函數。令 $y = 1/x$，則 $x = 1/y$。
$dx/dy = -1/y^2$。
$Y$ 的取值範圍是 $(0, \infty)$。
$Y$ 的機率密度函數 $f_Y(y)$ 為：
$f_Y(y) = f_X(x(y)) \left| \frac{dx}{dy} \right|$
$f_Y(y) = \frac{1}{\Gamma(\alpha)\beta^\alpha} \left(\frac{1}{y}\right)^{\alpha-1} e^{-(1/y)/\beta} \left| -\frac{1}{y^2} \right|$
$f_Y(y) = \frac{1}{\Gamma(\alpha)\beta^\alpha} y^{-\alpha+1} e^{-1/(y\beta)} y^{-2}$
$f_Y(y) = \frac{1}{\Gamma(\alpha)\beta^\alpha} y^{-\alpha-1} e^{-1/(y\beta)}, \quad y > 0$
為了使 $f_Y(y)$ 能夠被積分（即為一個有效的機率密度函數），我們可以嘗試將其轉換成另一種已知的機率分佈形式。
考慮一個新的參數 $\gamma = 1/\beta$。
$f_Y(y) = \frac{1}{\Gamma(\alpha)\beta^\alpha} y^{-\alpha-1} e^{-\gamma/y}$
這個形式看起來像逆 Gamma 分佈 (Inverse Gamma distribution)。
逆 Gamma 分佈的 PDF 定義為：

本題考查條件機率、聯合機率密度函數以及邊緣機率密度函數的計算，屬於聯合分佈與邊緣分佈的範疇。
已知：

1. $U | T=t \sim \text{Uniform}(0, t)$
2. $T \sim \text{Exponential}(\lambda)$

我們需要推導 $U$ 的機率密度函數 (PDF)。

首先，寫出條件機率密度函數 $f_{U|T}(u|t)$ 和 $T$ 的機率密度函數 $f_T(t)$。
$f_{U|T}(u|t) = \begin{cases} \frac{1}{t}, & 0 \le u \le t \\ 0, & \text{otherwise} \end{cases}$
$f_T(t) = \begin{cases} \lambda e^{-\lambda t}, & t > 0 \\ 0, & \text{otherwise} \end{cases}$

聯合機率密度函數 $f_{U,T}(u, t)$ 可以由 $f_{U,T}(u, t) = f_{U|T}(u|t) f_T(t)$ 計算得到。
$f_{U,T}(u, t) = \frac{1}{t} \cdot \lambda e^{-\lambda t}$
這個聯合密度函數的定義域需要同時滿足 $0 \le u \le t$ 和 $t > 0$。
因此，聯合機率密度函數為：
$f_{U,T}(u, t) = \begin{cases} \frac{\lambda e^{-\lambda t}}{t}, & 0 \le u \le t, t > 0 \\ 0, & \text{otherwise} \end{cases}$

接下來，我們需要找到 $U$ 的邊緣機率密度函數 $f_U(u)$。這可以通過對聯合密度函數在 $t$ 上積分得到：
$f_U(u) = \int_{-\infty}^{\infty} f_{U,T}(u, t) dt$
積分範圍需要根據 $f_{U,T}(u, t)$ 的定義域來確定。
對於一個固定的 $u$ 值，我們需要考慮 $t$ 的範圍，使得 $0 \le u \le t$ 和 $t > 0$ 同時成立。

核心觀念

令

由機率積分轉換定理，若 $F$ 為連續分布函數，則

又因為 $F$ 單調不減，幾乎必然有

因此，本題等價於求兩個均勻分布次序統計量 $U_{(i)}$ 與 $U_{(j)}$ 的聯合分布。

解題方法與推導

設

其中 $1\le i<j\le n$。

由次序統計量的排列結構，當

且 $y,z$ 分別落在極小區間 $dy,dz$ 中時，必須發生以下情形：

• 有 $i-1$ 個樣本小於 $y$；
• 有 $1$ 個樣本落在 $(y,y+dy)$；
• 有 $j-i-1$ 個樣本落在 $(y,z)$；
• 有 $1$ 個樣本落在 $(z,z+dz)$；
• 有 $n-j$ 個樣本大於 $z$。

由於 $U_r$ 為 $\operatorname{Uniform}(0,1)$，上述五個區間的機率近似為

將樣本分配至這五個區間的方法數為

因此，聯合密度為

其定義域為

在其他區域，聯合密度為 $0$。故

其中 $0<y<z<1$。

聯合分布函數

若需要以聯合累積分布函數表示，則

核心觀念

本題考查兩種估計量：

1. 動差法估計量（method of moments estimator）：令樣本動差等於母體動差，解出參數。
2. 最大概似估計量（maximum likelihood estimator, MLE）：最大化樣本的概似函數。

此外，還要運用：

• 均勻分布的母體平均數；
• 聯合密度與順序統計量最大值的分布；
• $n$ 個獨立均勻分布和的 Irwin–Hall 分布。

一、動差法估計量及其分布

1. 求動差法估計量

若 $X\sim \operatorname{Uniform}(0,\theta)$，則

動差法以樣本平均數 $\bar X$ 估計母體平均數，因此令

解得動差法估計量

令

則

2. 將問題化為均勻分布和

令

因為 $X_i\sim\operatorname{Uniform}(0,\theta)$，所以

且 $U_1,\ldots,U_n$ 相互獨立。

因此

設

則 $T$ 服從 $n$ 個 $\operatorname{Uniform}(0,1)$ 隨機變數和的 Irwin–Hall 分布，且

3. 動差法估計量的分布

定義 $(a)_+=\max(a,0)$。Irwin–Hall 分布的累積分布函數為

由於

所以動差法估計量的累積分布函數為

其支撐集為

對 $n\geq 2$，其機率密度函數為

其中 $0<y<2\theta$；在其他位置密度為 $0$。

因此，動差法估計量的分布可簡潔表示為

二、最大概似估計量及其分布

1. 建立概似函數

單一觀測值的機率密度函數為

由於樣本獨立，聯合密度為

其中

當 $\theta\geq x_{(n)}$ 時，

核心觀念

本題評量貝氏估計（Bayesian Estimation）在不同損失函數下的求法，核心概念包括：

1. 共軛事前分配（Conjugate Prior）：
   卜瓦松母體（Poisson distribution）之參數 $\lambda$ 的共軛事前分配為伽瑪分配（Gamma distribution），其後驗分配（Posterior distribution）亦為伽瑪分配。
2. 絕對誤差損失函數（Absolute Error Loss）下的貝氏估計量：
   當損失函數為絕對誤差損失 $L(\theta, \delta) = |\delta - \theta|$ 時，使後驗期望損失（Posterior Expected Loss / Bayes Risk）達到極小的貝氏估計量 $\delta^*(\mathbf{X})$ 為參數在給定樣本下後驗分配的中位數（Posterior Median）。
3. 伽瑪分配的參數表示法：
   本題中 Gamma 分配通常有兩種參數化慣例（尺度參數 $\beta$ 或速率／反尺度參數 $\beta$）。解析中完整交代兩種定義下的形式，以確保作答嚴謹完整。

解題方法

步驟一：求後驗分配 $f(\lambda \mid \mathbf{x})$

設 $X_1, \ldots, X_n \overset{\text{i.i.d.}}{\sim} \text{Poisson}(\lambda)$，樣本值為 $\mathbf{x} = (x_1, \ldots, x_n)$，定義充份統計量 $y = \sum_{i=1}^n x_i$。

樣本的概似函數（Likelihood Function）為：

針對事前分配 $\lambda \sim \text{Gamma}(\alpha, \beta)$，以下分別按兩種常見的參數定義推導：

• 表示法 A（形狀參數 $\alpha$，速率參數 $\beta$ / Rate parameterization，即 $\mathbb{E}[\lambda] = \frac{\alpha}{\beta}$）：
  事前機率密度函數（pdf）為：

  $$\pi(\lambda) = \frac{\beta^\alpha}{\Gamma(\alpha)} \lambda^{\alpha - 1} e^{-\beta \lambda} \propto \lambda^{\alpha - 1} e^{-\beta \lambda}, \quad \lambda > 0$$

  由貝氏定理，後驗機率密度函數為：

  $$\pi(\lambda \mid \mathbf{x}) \propto L(\lambda \mid \mathbf{x}) \pi(\lambda) \propto \left(e^{-n\lambda} \lambda^y\right) \left(\lambda^{\alpha - 1} e^{-\beta \lambda}\right) = \lambda^{(\alpha + y) - 1} e^{-(\beta + n)\lambda}$$

  此為形狀參數為 $\alpha^* = \alpha + \sum_{i=1}^n X_i$、速率參數為 $\beta^* = \beta + n$ 的伽瑪分配：

  $$\lambda \mid \mathbf{X} \sim \text{Gamma}(\alpha + \sum_{i=1}^n X_i, \, \beta + n)$$

• 表示法 B（形狀參數 $\alpha$，尺度參數 $\beta$ / Scale parameterization，即 $\mathbb{E}[\lambda] = \alpha\beta$）：
  事前機率密度函數為：

  $$\pi(\lambda) = \frac{1}{\Gamma(\alpha)\beta^\alpha} \lambda^{\alpha - 1} e^{-\lambda / \beta} \propto \lambda^{\alpha - 1} e^{-\lambda / \beta}, \quad \lambda > 0$$

  後驗機率密度函數為：

  $$\pi(\lambda \mid \mathbf{x}) \propto \lambda^{(\alpha + y) - 1} e^{-\left(n + \frac{1}{\beta}\right)\lambda}$$

  此時後驗分配為：

  $$\lambda \mid \mathbf{X} \sim \text{Gamma}\left(\alpha + \sum_{i=1}^n X_i, \, \left(\frac{1}{\beta} + n\right)^{-1}\right)$$

步驟二：決定損失函數對應之貝氏估計量

目標為尋找估計量 $\delta = \delta(\mathbf{X})$ 使得後驗期望損失最小化：

對後驗期望損失關於 $\delta$ 微分並令其為零：

核心觀念

本題使用以下三個觀念：

1. Rao–Blackwell 定理：先找一個不偏估計量，再對完全充分統計量取條件期望。
2. Lehmann–Scheffé 定理：完全充分統計量的函數若為不偏估計量，即為 UMVUE。
3. 二項分配的條件對稱性：給定總成功次數 $T=\sum_{i=1}^{n+1}X_i=t$ 後，所有含有 $t$ 個 $1$ 的排列等可能。

令

由於 $X_i$ 為 Bernoulli$(\pi)$ 的隨機樣本，

且 $T$ 是 $\pi$ 的完全充分統計量。

原始不偏估計量可取為事件指示函數

因為

因此，UMVUE 為

解題方法：計算條件期望

給定 $T=t$，樣本中共有 $t$ 個 $1$。

事件

分成兩種情況：

• 若 $X_{n+1}=0$，則前 $n$ 個變數中有 $t$ 個 $1$，事件成立需 $t>0$；
• 若 $X_{n+1}=1$，則前 $n$ 個變數中有 $t-1$ 個 $1$，事件成立需 $t-1>1$，亦即 $t\geq 3$。

給定 $T=t$ 時，所有配置共有

種。

情況一：$t=0$

此時所有 $X_i=0$，故事件不成立：

情況二：$t=1$

事件成立的配置必須是 $X_{n+1}=0$，且前 $n$ 個變數中有一個 $1$，共有 $\binom n1$ 種。因此

情況三：$t=2$

只有 $X_{n+1}=0$ 的情況會使事件成立，共有 $\binom n2$ 種配置。因此

情況四：$t\geq 3$

此時無論 $X_{n+1}=0$ 或 $X_{n+1}=1$，事件皆成立。故

所以 UMVUE 為

由於它是完全充分統計量 $T$ 的不偏函數，依 Lehmann–Scheffé 定理，這確實是 $h(\pi)$ 的 UMVUE。

先求 $h(\pi)$ 的形式

事件不成立的情況為：

• $X_{n+1}=0$ 且前 $n$ 個變數全為 $0$；
• $X_{n+1}=1$ 且前 $n$ 個變數至多有一個 $1$。