111 年 國立臺灣大學統計與數據科學碩士班《數學》

本題為基本觀念題，旨在測試考生對機率統計學中幾個核心術語的理解與定義能力。

(a) 隨機變數 (Random Variable)：
隨機變數是一個變數，其值是隨機現象的結果。更嚴謹地說，它是一個從樣本空間到實數集合的函數。
【答案】隨機變數是一個將隨機實驗的結果映射到實數的函數。

(b) 機率函數 (Probability Function)：
對於離散隨機變數，機率函數（或稱機率質量函數，Probability Mass Function, PMF）給出每一個可能取值的機率。對於連續隨機變數，對應的概念是機率密度函數（Probability Density Function, PDF）。題目中未指明離散或連續，一般情況下「機率函數」可能指 PMF。
【答案】對於離散隨機變數 $X$，其機率函數 $P(X=x)$ 是指 $X$ 取特定值 $x$ 的機率。

本題考驗對有限母體變異數的估計，以及樣本與母體的關係。

題意是給定一個有限母體 $\{w_1, \dots, w_N\}$，其母體平均數為 $\mu = \frac{1}{N} \sum_{i=1}^N w_i$，母體變異數為 $\sigma^2 = \frac{1}{N} \sum_{i=1}^N (w_i - \mu)^2$。我們從這個母體中抽取一個隨機樣本 $X_1, \dots, X_N$。注意這裡的樣本大小 $N$ 與母體大小 $N$ 相同，這意味著我們抽取的樣本是母體本身，或者說是一個有放回的抽樣，且抽樣次數與母體大小相同。如果題目是「從有限母體中抽取一個隨機樣本 $X_1, \dots, X_n$ (其中 $n < N$)」，則問題會不同。但根據題目敘述「$X_1, \dots, X_N$ 是從有限母體 $\{w_1, \dots, w_N\}$ 抽樣」，且沒有特別說明 $n < N$，通常會假設 $n$ 是樣本大小。然而，從上下文看，如果 $X_1, \dots, X_N$ 是樣本，而母體是 $\{w_1, \dots, w_N\}$，這暗示了樣本就是母體本身，或者說我們對母體中的每個元素都進行了觀察。

若題目是要求給出母體變異數 $\sigma^2$ 的無偏估計量，而我們擁有的是樣本 $X_1, \dots, X_N$，並且這個樣本實際上就是母體的所有元素，那麼我們可以直接計算母體變異數。

讓我們假設題目意圖是：從一個大小為 $M$ 的有限母體 $\{w_1, \dots, w_M\}$ 中，抽取一個大小為 $n$ 的隨機樣本 $X_1, \dots, X_n$。
母體平均數 $\mu = \frac{1}{M} \sum_{i=1}^M w_i$。
母體變異數 $\sigma^2 = \frac{1}{M} \sum_{i=1}^M (w_i - \mu)^2$。

如果我們抽取的是一個有放回的隨機樣本 $X_1, \dots, X_n$，其中 $n$ 是樣本大小。
那麼，樣本平均數 $\bar{X} = \frac{1}{n} \sum_{i=1}^n X_i$ 是母體平均數 $\mu$ 的無偏估計量。
樣本變異數的常見定義有兩種：

1. 母體變異數的估計量：$S_n^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X})^2$。此量期望值為 $\frac{n-1}{n} \sigma^2$。
2. 母體變異數的無偏估計量：$S_{n-1}^2 = \frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2$。此量期望值為 $\sigma^2$。

然而，題目特別指明「Let $X_1, \dots, X_N$ be a random sample drawn from a finite population $\{w_1, \dots, w_N\}$」。這裡的 $N$ 同時出現在樣本大小和母體大小。這通常意味著：
情況一：我們抽取了一個大小為 $N$ 的樣本，且這個樣本就是母體中的所有元素（例如，我們觀察了母體中的每一個元素）。
情況二：這是一個有放回的抽樣，樣本大小為 $N$，母體大小也為 $N$。

如果情況一成立，即我們實際上觀察了母體中的所有元素 $w_1, \dots, w_N$，那麼 $X_1, \dots, X_N$ 就是 $w_1, \dots, w_N$ 的一個隨機排列。
此時，樣本平均數 $\bar{X} = \frac{1}{N} \sum_{i=1}^N X_i$ 會等於母體平均數 $\mu = \frac{1}{N} \sum_{i=1}^N w_i$。
同樣地，樣本變異數 $\frac{1}{N} \sum_{i=1}^N (X_i - \bar{X})^2$ 會等於母體變異數 $\sigma^2 = \frac{1}{N} \sum_{i=1}^N (w_i - \mu)^2$。
因此，在這種情況下，$\frac{1}{N} \sum_{i=1}^N (X_i - \bar{X})^2$ 就是母體變異數 $\sigma^2$。這個量是「有偏」的，因為它不是對一個隨機變數的估計，而是對母體參數的直接計算。題目要求「unbiased estimator」，暗示我們應該從樣本來估計母體參數。

如果情況二成立，即我們進行了 $N$ 次有放回抽樣，樣本大小為 $N$，母體大小也為 $N$。
那麼，我們需要找到 $\sigma^2 = \frac{1}{N} \sum_{i=1}^N (w_i - \mu)^2$ 的無偏估計量。
我們知道，對於一個從母體中抽取的大小為 $n$ 的有放回隨機樣本 $X_1, \dots, X_n$，
$\frac{1}{n-1} \sum_{i=1}^n (X_i - \bar{X})^2$ 是 $\sigma^2$ 的無偏估計量。
在這裡，我們的樣本大小是 $N$。所以，如果我們將 $N$ 視為樣本大小，那麼 $\frac{1}{N-1} \sum_{i=1}^N (X_i - \bar{X})^2$ 就是 $\sigma^2$ 的無偏估計量。

但是，題目中的「finite population $\{w_1, \dots, w_N\}$」和「random sample $X_1, \dots, X_N$」的寫法，在統計學中，尤其是在討論有限母體抽樣時，常常意味著我們抽樣的總體大小是 $N$，而我們從中抽取了 $n$ 個樣本。如果這裡的 $N$ 是指樣本大小，而母體大小是 $M$（可能 $M \ge N$），則問題會不同。
但題目明確寫了「finite population $\{w_1, \dots, w_N\}$」，表示母體中的元素有 $N$ 個。然後又說「random sample $X_1, \dots, X_N$」，這表示樣本大小也是 $N$。

這就回到情況一：我們觀察了母體中的所有元素。
在這種情況下，$\mu = \frac{1}{N} \sum_{i=1}^N w_i$ 是母體平均數，$\sigma^2 = \frac{1}{N} \sum_{i=1}^N (w_i - \mu)^2$ 是母體變異數。
若 $X_1, \dots, X_N$ 是從 $\{w_1, \dots, w_N\}$ 中抽取的一個樣本，且樣本大小為 $N$，

1. 若為無放回抽樣，且樣本大小為 $N$，則樣本就是母體本身，即 $\{X_1, \dots, X_N\} = \{w_1, \dots, w_N\}$ 作為一個集合。此時，$\bar{X} = \mu$ 且 $\frac{1}{N} \sum (X_i - \bar{X})^2 = \sigma^2$。
2. 若為有放回抽樣，樣本大小為 $N$。

本題考驗對次序統計量 (Order Statistics) 及其轉換的分布性質的理解。

首先，我們知道對於一個連續隨機變數 $X$ 及其累積分布函數 (CDF) $F(x)$，轉換 $U = F(X)$ 會得到一個服從標準均勻分布 $U(0,1)$ 的隨機變數。
因此，對於樣本 $X_1, \dots, X_n$，令 $U_i = F(X_i)$，則 $U_i \sim U(0,1)$ 且 $U_1, \dots, U_n$ 相互獨立。
次序統計量 $X_{(1)}, \dots, X_{(n)}$ 是將樣本 $X_1, \dots, X_n$ 排序後得到的。
令 $U_{(1)}, \dots, U_{(n)}$ 是 $U_1, \dots, U_n$ 的次序統計量，即 $U_{(1)} \le U_{(2)} \le \dots \le U_{(n)}$。
由於 $F(x)$ 是嚴格遞增的 (因為 $X$ 是連續隨機變數)，所以 $X_{(i)}$ 和 $U_{(i)}$ 之間存在一一對應的關係：
$U_{(i)} = F(X_{(i)})$。
因此，我們要求給出的聯合分布，實際上就是 $U_{(i)}, U_{(j)}, U_{(k)}$ 的聯合分布，其中 $1 \le i < j < k \le n$。

標準均匀分布的次序統計量的聯合機率密度函數 (joint PDF) 是：
$f_{U_{(1)}, \dots, U_{(n)}}(u_1, \dots, u_n) = n! \quad \text{for } 0 \le u_1 < u_2 < \dots < u_n \le 1$
$f_{U_{(1)}, \dots, U_{(n)}}(u_1, \dots, u_n) = 0 \quad \text{otherwise}$

我們感興趣的是 $U_{(i)}, U_{(j)}, U_{(k)}$ 的聯合分布，其中 $i < j < k$。
這是一個邊緣分布 (marginal distribution) 的問題。
我們可以利用次序統計量的聯合機率密度函數來計算邊緣密度。
但是，更直接的方法是利用次序統計量的性質。

對於 $m$ 個獨立的 $U(0,1)$ 隨機變數，其次序統計量 $U_{(1)}, \dots, U_{(m)}$ 的聯合 pdf 是 $m!$ 在 $0 \le u_1 < \dots < u_m \le 1$ 的區域。
我們感興趣的是 $U_{(i)}, U_{(j)}, U_{(k)}$。可以想像一下，我們從 $n$ 個標準均勻隨機變數中，選擇了 $i, j, k$ 這三個位置的次序統計量。
這相當於將 $n$ 個 $U(0,1)$ 隨機變數分成三段：

1. $U_{(1)}, \dots, U_{(i-1)}$
2. $U_{(i)}, \dots, U_{(j-1)}$
3. $U_{(j)}, \dots, U_{(k-1)}$
4. $U_{(k)}, \dots, U_{(n)}$

考慮 $n$ 個標準均勻隨機變數 $U_1, \dots, U_n$。
令 $U_{(1)} < U_{(2)} < \dots < U_{(n)}$ 為其次序統計量。
則 $U_{(i)}, U_{(j)}, U_{(k)}$ 的聯合分布。

根據次序統計量的性質，對於 $1 \le i_1 < i_2 < \dots < i_m \le n$，
$U_{(i_1)}, \dots, U_{(i_m)}$ 的聯合 pdf 可以被推導出來。
一個常見的結果是，對於 $n$ 個 $U(0,1)$ 隨機變數的次序統計量 $U_{(1)} < \dots < U_{(n)}$，
$U_{(i)}, U_{(j)}$ 的聯合 pdf 為：
$f_{U_{(i)}, U_{(j)}}(u, v) = \frac{n!}{(i-1)!(j-i-1)!(n-j)!} u^{i-1} (v-u)^{j-i-1} (1-v)^{n-j}$
其中 $0 \le u < v \le 1$。

我們可以將這個結果推廣到三個次序統計量 $U_{(i)}, U_{(j)}, U_{(k)}$，其中 $1 \le i < j < k \le n$。
這相當於從 $n$ 個 $U(0,1)$ 隨機變數中，我們關心第 $i, j, k$ 個最小的。
這可以看作是將單位區間 $(0,1)$ 分割成四個部分：
$(0, U_{(i)})$, $(U_{(i)}, U_{(j)})$, $(U_{(j)}, U_{(k)})$, $(U_{(k)}, 1)$。
這四段的長度，可以看作是某種 Gamma 分布或 Beta 分布。

更直接地，我們考慮 $n$ 個獨立同分布的 $U(0,1)$ 變數 $U_1, \dots, U_n$。
令 $U_{(1)} < \dots < U_{(n)}$ 為其次序統計量。
我們要求 $U_{(i)}, U_{(j)}, U_{(k)}$ 的聯合分布。
這相當於，我們從 $n$ 個 $U(0,1)$ 隨機變數中，挑選出第 $i, j, k$ 小的。

考慮以下變數：
$Y_1 = U_{(i)}$
$Y_2 = U_{(j)} - U_{(i)}$
$Y_3 = U_{(k)} - U_{(j)}$
$Y_4 = 1 - U_{(k)}$
其中 $U_{(i)}, U_{(j)}, U_{(k)}$ 是 $n$ 個 $U(0,1)$ 隨機變數的次序統計量，且 $i < j < k$。
這些變數的和是 $Y_1 + Y_2 + Y_3 + Y_4 = U_{(i)} + (U_{(j)} - U_{(i)}) + (U_{(k)} - U_{(j)}) + (1 - U_{(k)}) = 1$。

核心觀念

本題考查：

1. 找出 $\mu^2$ 的不偏估計量。
2. 利用充分完備統計量與 Lehmann–Scheffé 定理，判定 UMVU estimator。

由於

$$X_i\sim N(\mu,1),$$

且變異數已知，樣本平均數 $\bar X$ 是 $\mu$ 的充分統計量。又因常態分配形成的一參數滿秩指數族，其充分統計量具有完備性，因此可使用 Lehmann–Scheffé 定理。

解題方法

第一步：考慮樣本平均數的平方

因為

$$\bar X=\frac{1}{n}\sum_{i=1}^n X_i,$$

所以

$$\bar X\sim N\left(\mu,\frac{1}{n}\right).$$

因此

$$E(\bar X^2) =\operatorname{Var}(\bar X)+[E(\bar X)]^2 =\frac{1}{n}+\mu^2.$$

故

$$E\left(\bar X^2-\frac{1}{n}\right)=\mu^2.$$

所以

$$U=\bar X^2-\frac{1}{n}$$

是 $\mu^2$ 的不偏估計量。

第二步：確認其為 UMVU estimator

樣本的聯合密度為

$$f(\boldsymbol{x};\mu) =(2\pi)^{-n/2} \exp\left\{-\frac12\sum_{i=1}^n(x_i-\mu)^2\right\}.$$

整理得

本題考驗貝氏統計學中的後驗分布計算與貝氏估計量的求解。

首先，我們需要釐清題目給定的幾何分布定義。題目寫的是 $P(X = x) = \theta(1-\theta)^{x-1}$ for $x \in \{1, 2, \dots\}$。這是一個以 $\theta$ 為成功機率的幾何分布，但通常表示為 $P(X=k) = (1-p)^{k-1}p$，其中 $p$ 是成功機率。如果這裡的 $\theta$ 是成功機率，那麼 $P(X=x) = \theta(1-\theta)^{x-1}$。然而，這與常用的定義 $P(X=x) = (1-p)^{x-1}p$ 略有不同，這裡的 $\theta$ 似乎是失敗機率，而 $1-\theta$ 是成功機率。
另一種常見的幾何分布定義是指「失敗的次數」，即 $P(Y=y) = (1-p)^y p$ for $y \in \{0, 1, 2, \dots\}$。
如果題目定義是 $P(X=x) = \theta(1-\theta)^{x-1}$，這裡的 $\theta$ 是參數，且 $x \in \{1, 2, \dots\}$。
這個分布的期望值是 $E[X] = \frac{1}{\theta}$。
為了驗證這個分布是否是有效的機率分布：
$\sum_{x=1}^{\infty} \theta(1-\theta)^{x-1} = \theta \sum_{x=1}^{\infty} (1-\theta)^{x-1} = \theta \sum_{j=0}^{\infty} (1-\theta)^{j}$ (令 $j=x-1$)
$= \theta \frac{1}{1-(1-\theta)} = \theta \frac{1}{\theta} = 1$。
所以，這個分布是有效的。參數 $\theta$ 的取值範圍是 $(0, 1)$，因為如果 $\theta=0$ 或 $\theta=1$，則無法構成一個有效的機率分布。

先驗分布 (Prior Distribution)
參數 $\theta$ 服從 $(0, 1)$ 上的均勻分布，即 $\theta \sim U(0, 1)$。
其機率密度函數 (PDF) 為 $f(\theta) = 1$ for $0 < \theta < 1$，否則為 0。

樣本 (Sample)
$X_1, \dots, X_n$ 是來自上述幾何分布的隨機樣本。
每個 $X_i$ 的 PDF 為 $f(x_i|\theta) = \theta(1-\theta)^{x_i-1}$，其中 $x_i \in \{1, 2, \dots\}$。

似然函數 (Likelihood Function)
樣本的聯合 PDF 為：
$L(\theta; x_1, \dots, x_n) = \prod_{i=1}^n f(x_i|\theta) = \prod_{i=1}^n \theta(1-\theta)^{x_i-1}$
$L(\theta; x_1, \dots, x_n) = \theta^n (1-\theta)^{\sum_{i=1}^n (x_i-1)} = \theta^n (1-\theta)^{\sum x_i - n}$
令 $S = \sum_{i=1}^n x_i$。則似然函數為 $L(\theta; S) = \theta^n (1-\theta)^{S-n}$。

(a) 後驗分布 (Posterior Distribution)
後驗分布的 PDF 由貝氏定理給出：
$f(\theta | x_1, \dots, x_n) = \frac{L(\theta; x_1, \dots, x_n) f(\theta)}{m(x_1, \dots, x_n)}$
其中 $m(x_1, \dots, x_n) = \int_0^1 L(\theta; x_1, \dots, x_n) f(\theta) d\theta$ 是邊際似然 (marginal likelihood)，作為關於 $\theta$ 的常數。

將似然函數和先驗 PDF 代入：
$f(\theta | S) \propto L(\theta; S) f(\theta) = \theta^n (1-\theta)^{S-n} \cdot 1$ for $0 < \theta < 1$.
$f(\theta | S) \propto \theta^n (1-\theta)^{S-n}$
這是一個 Beta 分布的形式。
Beta 分布 $Beta(\alpha, \beta)$ 的 PDF 為 $\frac{1}{B(\alpha, \beta)} x^{\alpha-1} (1-x)^{\beta-1}$。
比較後驗密度與 Beta 分布的 PDF，我們有：
$\alpha - 1 = n \implies \alpha = n+1$
$\beta - 1 = S-n \implies \beta = S-n+1$