115 年 國立臺灣大學統計與數據科學碩士班《數理統計》

此題主要在考察機率論中事件的獨立性與互斥性、包含關係的定義與應用。

(a) 事件 A 和 B 互斥（disjoint）的意思是 A $\cap$ B = $\emptyset$，即兩事件不可能同時發生。
事件 A 和 B 獨立的意思是 P(A $\cap$ B) = P(A)P(B)。

若 A 和 B 互斥，則 P(A $\cap$ B) = 0。
若 A 和 B 同時獨立，則 P(A)P(B) = 0。
這意味著，若 A 和 B 互斥且獨立，則必須滿足 P(A)P(B) = 0。
此條件成立的充要條件是 P(A) = 0 或 P(B) = 0 (或兩者皆為 0)。

因此，如果 A 和 B 是互斥事件，它們「可能」是獨立的，但前提是其中至少有一個事件發生的機率為 0。
例如，設樣本空間為 $\Omega = \{1, 2, 3, 4\}$，且每個點的機率皆為 1/4。
令 A = {1}，則 P(A) = 1/4。
令 B = {2}，則 P(B) = 1/4。
此時 A $\cap$ B = $\emptyset$，所以 A 和 B 是互斥事件。
然而，P(A $\cap$ B) = 0，而 P(A)P(B) = (1/4)(1/4) = 1/16。
因為 P(A $\cap$ B) $\neq$ P(A)P(B)，所以 A 和 B 不是獨立事件。

再考慮另一種情況：
令 A = $\emptyset$ (空集合)，則 P(A) = 0。
令 B 為樣本空間中的任何事件，則 P(B) $\ge$ 0。
此時 A $\cap$ B = $\emptyset$，所以 A 和 B 是互斥事件。
同時，P(A $\cap$ B) = 0。
而 P(A)P(B) = 0 * P(B) = 0。
因為 P(A $\cap$ B) = P(A)P(B)，所以 A 和 B 是獨立事件。

結論：若 A 和 B 是互斥事件，則它們僅在 P(A)=0 或 P(B)=0 時才是獨立事件。一般情況下，互斥事件（除非其中一個機率為零）通常不是獨立事件。

(b) 事件 A $\subseteq$ B 的意思是，如果事件 A 發生，則事件 B 一定會發生。
事件 A 和 B 獨立的意思是 P(A $\cap$ B) = P(A)P(B)。

如果 A $\subseteq$ B，則 A $\cap$ B = A。
因此，獨立性的條件變為 P(A) = P(A)P(B)。
此方程式可以改寫為 P(A) - P(A)P(B) = 0，即 P(A)(1 - P(B)) = 0。
此條件成立的充要條件是 P(A) = 0 或 P(B) = 1。

此題在考察機率獨立事件的組合計算，以及如何應用期望值或機率來判斷策略的優劣。

設 $p$ 為隊伍 A 贏得一場比賽的機率，已知 $p = 0.4$。
設 $q = 1-p$ 為隊伍 A 輸掉一場比賽的機率，則 $q = 1 - 0.4 = 0.6$。
比賽結果獨立。

情況一：只打一場比賽
隊伍 A 贏得一場比賽的機率為 $p = 0.4$。

情況二：最好的兩場比賽 out of three (Best of 3)
在 Best of 3 的賽制中，先贏得兩場比賽的隊伍獲勝。比賽最多進行三場。
隊伍 A 獲勝的情況有以下幾種：

1. A 贏，A 贏 (AA)：機率為 $p \times p = p^2 = (0.4)^2 = 0.16$。
2. A 贏，B 贏，A 贏 (ABA)：機率為 $p \times q \times p = p^2q = (0.4)^2(0.6) = 0.16 \times 0.6 = 0.096$。
3. B 贏，A 贏，A 贏 (BAA)：機率為 $q \times p \times p = p^2q = (0.4)^2(0.6) = 0.16 \times 0.6 = 0.096$。

隊伍 A 獲勝的總機率為上述三種情況的總和：
P(A wins Best of 3) = $p^2 + p^2q + p^2q = p^2 + 2p^2q$
= $(0.4)^2 + 2(0.4)^2(0.6)$
= $0.16 + 2(0.16)(0.6)$
= $0.16 + 0.192$
= $0.352$

比較兩種賽制

• 只打一場：A 獲勝機率 = 0.4
• Best of 3：A 獲勝機率 = 0.352

比較結果顯示，隊伍 A 贏得一場比賽的機率 (0.4) 高於在 Best of 3 賽制中獲勝的機率 (0.352)。
因此，對隊伍 A 而言，只打一場比賽更有利。

解釋為何較長或較短的賽程會影響隊伍 A 的優勢
隊伍 A 的贏局機率 $p=0.4$ 小於 0.5，這意味著隊伍 A 是較弱的隊伍。

• 較短的賽程（例如只打一場）：
  在較短的賽程中，比賽的結果更多地取決於單場比賽的隨機性。由於 A 的贏率為 0.4，雖然低於 0.5，但仍然有相當大的機會贏得單場比賽。這種賽制讓 A 有較高的機率憑藉單場的好運獲勝。

• 較長的賽程（例如 Best of 3）：
  在較長的賽程中，比賽結果更傾向於由較強的隊伍（或機率較高的隊伍）決定。由於 A 的贏率是 0.4，在多次比賽中，B 的贏率 (0.6) 累積起來會更有優勢。B 有更多機會「穩定地」贏得比賽，而 A 則需要連續有好運才能獲勝（例如，贏得兩場比賽）。
  我們可以從數學上理解：
  在 Best of 3 中，A 獲勝的機率是 $p^2 + 2p^2q = p^2(1+2q) = (0.4)^2(1 + 2 \times 0.6) = 0.16(1 + 1.2) = 0.16 \times 2.2 = 0.352$。

此題考驗對指數分佈的機率密度函數、累積分佈函數的理解，以及如何處理觀測值中帶有「大於」訊息的資料來建構概似函數並求解最大概似估計量 (MLE)。

給定指數分佈的機率密度函數 (pdf) 為 $f(x; \lambda) = \lambda e^{-\lambda x}$，對於 $x \ge 0$ 且 $\lambda > 0$。
累積分佈函數 (cdf) 為 $F(x) = \Pr(X \le x) = 1 - e^{-\lambda x}$。

有三個觀測值：$x_1 = 5$, $x_2 = 3$, 且 $x_3 > 10$。
儀器的最大測量值為 10。

(a) 概似函數 (Likelihood Function)

概似函數是基於觀測到的數據，來表達參數 $\lambda$ 的可能性。
對於獨立的觀測值 $x_1, x_2, \dots, x_n$，其概似函數 $L(\lambda | x_1, \dots, x_n)$ 是各別機率密度函數或機率的乘積。

對於 $x_1 = 5$ 和 $x_2 = 3$，它們是具體數值，因此對概似函數的貢獻是其 pdf 值：
$f(x_1; \lambda) = \lambda e^{-5\lambda}$
$f(x_2; \lambda) = \lambda e^{-3\lambda}$

對於 $x_3 > 10$，這是一個區間訊息，不是一個具體的數值。
對於連續型隨機變數，$\Pr(X > a) = 1 - \Pr(X \le a) = 1 - F(a)$。
所以，$\Pr(X > 10) = 1 - F(10) = 1 - (1 - e^{-10\lambda}) = e^{-10\lambda}$。

將這三部分的貢獻相乘，得到概似函數 $L(\lambda)$：
$L(\lambda) = f(x_1; \lambda) \times f(x_2; \lambda) \times \Pr(X_3 > 10)$
$L(\lambda) = (\lambda e^{-5\lambda}) \times (\lambda e^{-3\lambda}) \times (e^{-10\lambda})$
$L(\lambda) = \lambda^2 e^{-5\lambda} e^{-3\lambda} e^{-10\lambda}$
$L(\lambda) = \lambda^2 e^{-(5+3+10)\lambda}$

核心觀念

本題考查中央極限定理的 MGF 證明。使用的關鍵公式為：

• 若 $X$ 的 MGF 為 $M_X(t)$，則獨立隨機變數和的 MGF 為各 MGF 的乘積。
• MGF 在 $0$ 附近可作 Taylor 展開。
• 若一列隨機變數的 MGF 收斂至某個分布的 MGF，則由 MGF 唯一性定理，可得分布收斂。

題目給定

$$E(X_i)=0,\qquad \operatorname{Var}(X_i)=\sigma^2.$$

因此

$$E(X_i^2)=\sigma^2.$$

解題方法

考察標準化和

$$Y_n=\frac{S_n}{\sqrt n} =\frac{X_1+\cdots+X_n}{\sqrt n}.$$

先求其 MGF：

$$M_{Y_n}(t) =E\left[\exp\left(t\frac{S_n}{\sqrt n}\right)\right].$$

由於 $X_1,\dots,X_n$ 相互獨立，

$$\begin{aligned} M_{Y_n}(t) &=\prod_{i=1}^n E\left[\exp\left(\frac{tX_i}{\sqrt n}\right)\right]\\ &=\left[M\left(\frac{t}{\sqrt n}\right)\right]^n. \end{aligned}$$

Taylor 展開

由 MGF 的定義與已知矩：

$$M(0)=1,$$ $$M'(0)=E(X_i)=0,$$ $$M''(0)=E(X_i^2)=\sigma^2.$$

因此在 $u=0$ 附近，

$$M(u) =1+M'(0)u+\frac{M''(0)}{2}u^2+o(u^2).$$

代入 $M'(0)=0$ 與 $M''(0)=\sigma^2$，得到

$$M(u)=1+\frac{\sigma^2u^2}{2}+o(u^2).$$

令 $u=t/\sqrt n$，則

$$M\left(\frac{t}{\sqrt n}\right) =1+\frac{\sigma^2t^2}{2n}+o\left(\frac1n\right).$$

所以

$$M_{Y_n}(t) =\left[1+\frac{\sigma^2t^2}{2n}+o\left(\frac1n\right)\right]^n.$$

利用極限公式

$$\left(1+\frac{a_n}{n}\right)^n\longrightarrow e^a \quad\text{若 }a_n\to a,$$

可得

$$\lim_{n\to\infty}M_{Y_n}(t) =\exp\left(\frac{\sigma^2t^2}{2}\right).$$

核心觀念

本題考查：

1. 充分統計量
2. 完全統計量
3. Rao–Blackwell 定理
4. Lehmann–Scheffé 定理
5. Poisson 分布的階乘動差：
   $E[T]=\mu,\qquad E[T(T-1)]=\mu^2,\quad T\sim\operatorname{Poisson}(\mu)$

令

$$T=\sum_{i=1}^n X_i.$$

因為獨立 Poisson 隨機變數之和仍為 Poisson 分布，所以

$$T\sim\operatorname{Poisson}(n\lambda).$$

樣本聯合機率質量函數為

$$f(\boldsymbol{x};\lambda) =\prod_{i=1}^n\frac{\lambda^{x_i}e^{-\lambda}}{x_i!} =\frac{\lambda^{\sum x_i}e^{-n\lambda}}{\prod_{i=1}^n x_i!}.$$

由因子分解定理，$T=\sum X_i$ 是 $\lambda$ 的充分統計量。

此外，$T$ 屬於 Poisson 一參數指數族，且參數空間 $\lambda>0$ 包含開區間，因此 $T$ 為完全統計量。也可直接驗證：若對所有 $\lambda>0$，

$$E_\lambda[g(T)]=0,$$

則

$$\sum_{t=0}^{\infty}g(t)e^{-n\lambda}\frac{(n\lambda)^t}{t!}=0.$$

乘上 $e^{n\lambda}$ 後，

$$\sum_{t=0}^{\infty}g(t)\frac{(n\lambda)^t}{t!}=0.$$

這是關於 $\lambda$ 的冪級數，對所有 $\lambda>0$ 皆為零，因此所有係數皆為零，即 $g(t)=0$。故 $T$ 完全。

因此，只要找到以 $T$ 表示且對目標參數不偏的估計量，即可由 Lehmann–Scheffé 定理得到 UMVUE。

解題方法

（a）$\lambda$ 的 UMVUE

由

$$T\sim\operatorname{Poisson}(n\lambda),$$

可得

$$E[T]=n\lambda.$$

因此，

$$E\left[\frac{T}{n}\right] =\frac{1}{n}E[T] =\lambda.$$

所以 $\dfrac{T}{n}$ 是 $\lambda$ 的不偏估計量，而且它是充分統計量 $T$ 的函數。

由 Lehmann–Scheffé 定理，

$$\widehat{\lambda}_{\mathrm{UMVUE}} =\frac{T}{n} =\frac{1}{n}\sum_{i=1}^n X_i =\overline{X}.$$

（b）$\lambda^2$ 的 UMVUE

直接使用 $T^2$ 會產生額外項，因為

$$E[T^2]=\operatorname{Var}(T)+\{E[T]\}^2 =n\lambda+n^2\lambda^2.$$

核心觀念

本題考查：

• Neyman–Pearson 引理與單調似然比（Monotone Likelihood Ratio, MLR）。
• 複合假設下的 UMP 檢定。
• 指數分布樣本和 Gamma 分布的關係。
• 卡方分布與 Gamma 分布的轉換。

由於 $\theta$ 越大時，$X_i$ 越集中在 $1$ 附近，因此合理的拒絕方向是「$X_i$ 整體偏大」。

---

解題方法：找出充分統計量

聯合機率密度函數為

$$L(\theta;\boldsymbol{x}) =\prod_{i=1}^n \theta x_i^{\theta-1} =\theta^n\left(\prod_{i=1}^n x_i\right)^{\theta-1}, \qquad 0<x_i<1.$$

令

$$T=\sum_{i=1}^n(-\ln X_i) =-\ln\left(\prod_{i=1}^n X_i\right).$$

因為

$$\left(\prod_{i=1}^n x_i\right)^{\theta-1} =\exp\left\{-(\theta-1)T\right\},$$

所以似然函數可寫成

$$L(\theta;\boldsymbol{x}) =\theta^n\exp\left\{-(\theta-1)T\right\}.$$

對 $\theta_1>\theta_0$，似然比為

$$\frac{L(\theta_1;\boldsymbol{x})}{L(\theta_0;\boldsymbol{x})} = \left(\frac{\theta_1}{\theta_0}\right)^n \exp\left\{-(\theta_1-\theta_0)T\right\}.$$

由於 $\theta_1-\theta_0>0$，上述似然比是 $T$ 的嚴格遞減函數。因此依單調似然比定理，對於檢定

$$H_0:\theta\le \theta_0 \quad\text{對抗}\quad H_1:\theta>\theta_0,$$

UMP 檢定應在 $T$ 很小時拒絕 $H_0$。

也就是說，當

$$\sum_{i=1}^n(-\ln X_i)$$

很小，等價於

$$\prod_{i=1}^n X_i$$

很大時，支持 $\theta>\theta_0$ 的證據較強。

---

統計量的分布

令

$$Y_i=-\ln X_i.$$

對 $y>0$，

$$P(Y_i\le y) =P(-\ln X_i\le y) =P(X_i\ge e^{-y}).$$

由於 $X_i$ 的分布函數為

$$F_X(x)=x^\theta,\qquad 0<x<1,$$

因此

$$P(Y_i\le y) =1-P(X_i<e^{-y}) =1-e^{-\theta y}.$$

所以

$$Y_i\sim \operatorname{Exponential}(\theta),$$

其中 $\theta$ 為 rate parameter。

因此

$$T=\sum_{i=1}^nY_i \sim \operatorname{Gamma}(n,\text{ rate } \theta).$$

特別在 $\theta=\theta_0$ 時，

$$T\sim \operatorname{Gamma}(n,\text{ rate }\theta_0),$$

且利用 Gamma 與卡方分布的關係，

核心觀念

本題考查兩個重點：

1. 指數分布的次序統計量聯合密度。
2. 指數分布的無記憶性：指數樣本的最小值仍為指數分布，且最小值與剩餘等待時間彼此獨立。

以下採用參數 $\lambda$ 表示「速率」，即

$$f_X(x)=\lambda e^{-\lambda x},\qquad x>0.$$

由於指數分布為連續分布，樣本相等的機率為 $0$，因此幾乎必然有

$$X_{(1)}<X_{(2)}<X_{(3)}.$$

---

解題方法：由次序統計量聯合密度作變數變換

三個 i.i.d. 樣本的次序統計量聯合密度為

$$f_{X_{(1)},X_{(2)},X_{(3)}}(x_1,x_2,x_3) = 3!\prod_{i=1}^3 \lambda e^{-\lambda x_i}, \qquad 0<x_1<x_2<x_3.$$

因此

$$f_{X_{(1)},X_{(2)},X_{(3)}}(x_1,x_2,x_3) = 6\lambda^3 e^{-\lambda(x_1+x_2+x_3)}.$$

題目定義

$$W_1=X_{(1)},\qquad W_2=X_{(2)}-X_{(1)},\qquad W_3=X_{(3)}-X_{(2)}.$$

反解得

$$X_{(1)}=W_1,$$ $$X_{(2)}=W_1+W_2,$$ $$X_{(3)}=W_1+W_2+W_3.$$

其定義域為

$$w_1>0,\qquad w_2>0,\qquad w_3>0.$$

變數變換的 Jacobian 為

$$\left| \frac{\partial(x_1,x_2,x_3)} {\partial(w_1,w_2,w_3)} \right| = \left| \begin{matrix} 1&0&0\\ 1&1&0\\ 1&1&1 \end{matrix} \right| =1.$$

又有

$$x_1+x_2+x_3 = w_1+(w_1+w_2)+(w_1+w_2+w_3) = 3w_1+2w_2+w_3.$$

所以 $W_1,W_2,W_3$ 的聯合密度為

$$\begin{aligned} f_{W_1,W_2,W_3}(w_1,w_2,w_3) &= 6\lambda^3 e^{-\lambda(3w_1+2w_2+w_3)}\\ &= (3\lambda e^{-3\lambda w_1}) (2\lambda e^{-2\lambda w_2}) (\lambda e^{-\lambda w_3}), \end{aligned}$$

其中 $w_1,w_2,w_3>0$。

右側已分解為三個只分別含有單一變數的機率密度函數：

$$f_{W_1}(w_1)=3\lambda e^{-3\lambda w_1},$$ $$f_{W_2}(w_2)=2\lambda e^{-2\lambda w_2},$$ $$f_{W_3}(w_3)=\lambda e^{-\lambda w_3}.$$

因此三個樣本間距彼此獨立。

---

分布辨認

採用速率參數化的指數分布，得到

$$\boxed{W_1\sim \operatorname{Exp}(3\lambda)}$$ $$\boxed{W_2\sim \operatorname{Exp}(2\lambda)}$$