113 年 國立臺灣大學統計與數據科學碩士班《數理統計》

核心觀念

累積分布函數的定義為

$$F_X(t)=P(X\le t).$$

本題關鍵是利用 $V$ 非負所帶來的逐點大小關係：幾乎必然有 $U+V\ge U$。因此，$U+V$ 不會比 $U$ 更容易落在 $t$ 的左側。

解題方法

由 $V\ge 0$ 幾乎必然成立，若某次結果滿足 $U+V\le t$，則必有

$$U\le U+V\le t.$$

所以事件包含關係為

$$\{U+V\le t\}\subseteq \{U\le t\} \quad\text{（幾乎必然）}.$$

核心觀念

本題涉及：

1. 最大概似估計法（MLE）。
2. 參數出現在密度函數的冪次與指數項中。
3. 參數 $\nu$ 同時決定支持集 $x\ge \nu$，因此必須納入樣本可行域：
   $0<\nu\le X_{(1)},\qquad X_{(1)}=\min_i X_i.$

不過，題目所給函數嚴格而言不是機率密度函數，必須先指出此問題。

---

密度函數的正規化問題

題目給定

$$f(x\mid\theta,\nu) =\frac{\theta^\nu}{x^{\nu+1}}e^{-\theta/x}, \qquad x\ge \nu>0.$$

對 $x$ 積分，令 $t=\theta/x$，則

$$\int_\nu^\infty \frac{\theta^\nu}{x^{\nu+1}}e^{-\theta/x}\,dx = \int_0^{\theta/\nu}t^{\nu-1}e^{-t}\,dt = \gamma\left(\nu,\frac{\theta}{\nu}\right),$$

其中 $\gamma(\cdot,\cdot)$ 是下不完全伽瑪函數。此積分一般不等於 $1$，所以題目中的 $f$ 缺少參數相依的正規化常數。

因此，依照題目原文，嚴格而言它不是合法的 pdf，無法定義嚴格意義下的 MLE。

以下依考試常見處理方式，將題目所給式子視為概似函數的核，推導其形式。

---

解題方法：先求 $\theta$，再處理 $\nu$

給定樣本 $x_1,\dots,x_n$，其概似函數為

$$L(\theta,\nu) = \prod_{i=1}^n \frac{\theta^\nu}{x_i^{\nu+1}}e^{-\theta/x_i} \cdot I(0<\nu\le x_{(1)}).$$

令

$$S_1=\sum_{i=1}^n\frac1{x_i}, \qquad S_{\log}=\sum_{i=1}^n\log x_i.$$

則對數概似函數為

$$\ell(\theta,\nu) = n\nu\log\theta -(\nu+1)S_{\log} -\theta S_1,$$

其中 $0<\nu\le x_{(1)}$。

對 $\theta$ 微分：

$$\frac{\partial\ell}{\partial\theta} = \frac{n\nu}{\theta}-S_1.$$

令其等於 $0$：

$$\frac{n\nu}{\theta}=S_1,$$

得到給定 $\nu$ 下的條件極大概似估計量：

$$\widehat\theta(\nu) = \frac{n\nu}{S_1} = \frac{n\nu}{\displaystyle\sum_{i=1}^n1/x_i}.$$

又因為

$$\frac{\partial^2\ell}{\partial\theta^2} = -\frac{n\nu}{\theta^2}<0,$$

所以這確實是固定 $\nu$ 時的最大值。

---

剖面概似函數與 $\nu$ 的估計

將 $\widehat\theta(\nu)=n\nu/S_1$ 代回對數概似函數：

$$\ell_p(\nu) = n\nu\log\left(\frac{n\nu}{S_1}\right) -n\nu -(\nu+1)S_{\log}, \qquad 0<\nu\le x_{(1)}.$$

其一階導數為

核心觀念

本題考查：

1. $2\times 2$ 列聯表的邊際總數。
2. 在固定邊際總數下，獨立性假設所導出的超幾何分布。
3. 小樣本列聯表的 Fisher 精確檢定。

令

• $n_{1.}=B=0$ 的樣本數；
• $n_{.1}=A=0$ 的樣本數；
• $X$ 為同時滿足 $A=0,B=0$ 的樣本數。

固定 $n_{1.}$、$n_{.1}$ 與 $n$ 後，整張表只由 $X$ 決定。

---

（i）$X$ 的條件分布

解題方法

在 $A$ 與 $B$ 獨立下，給定 $B=0$ 的樣本共有 $n_{1.}$ 個，以及整體 $A=0$ 的樣本共有 $n_{.1}$ 個。

因此，可以把 $n_{.1}$ 個 $A=0$ 樣本視為從 $n$ 個樣本中抽出的成功項，而 $X$ 表示其中有多少個落在 $B=0$ 的 $n_{1.}$ 個樣本內。故 $X$ 服從超幾何分布。

其可能值為

$$\max(0,n_{1.}+n_{.1}-n) \le X\le \min(n_{1.},n_{.1}).$$

選出 $X=x$ 的方式數為

$$\binom{n_{1.}}{x} \binom{n-n_{1.}}{n_{.1}-x}.$$

分母為從全部 $n$ 個樣本中選出 $n_{.1}$ 個作為 $A=0$ 的總方式數：

$$\binom{n}{n_{.1}}.$$

所以

$$\boxed{ P(X=x\mid n_{1.},n_{.1},n) = \frac{ \binom{n_{1.}}{x} \binom{n-n_{1.}}{n_{.1}-x} }{ \binom{n}{n_{.1}} } }$$

其中

$$x=\max(0,n_{1.}+n_{.1}-n), \ldots, \min(n_{1.},n_{.1}).$$

這就是超幾何分布：

$$X\mid(n_{1.},n_{.1},n) \sim \operatorname{Hypergeometric} \left(n,\ n_{1.},\ n_{.1}\right).$$

---

（ii）Fisher 精確檢定

解題方法

由於樣本數僅為 $n=5$，列聯表的期望次數偏小，不適合直接使用大樣本卡方近似。因此在固定邊際總數下，採用 Fisher 精確檢定。

觀察值為

$$n=5,\qquad n_{.1}=3,\qquad n_{1.}=2,\qquad X=0.$$

由（i），$X$ 的可能值為

$$\max(0,2+3-5)=0 \le X\le \min(2,3)=2.$$

因此 $X=0,1,2$。

各種可能值的機率如下：

核心觀念

本題考的是常態樣本的樣本平均數與中心化殘差獨立。對常態母體而言，樣本平均數與樣本中各觀測值減去樣本平均數後的殘差向量互相獨立。

四分位距具有平移不變性：所有資料同時加上或減去同一常數，$Q_3-Q_1$ 不變。因此，$IQR$ 可以寫成中心化殘差的函數。

解題方法

令

$$R_i=X_i-\bar X,\qquad i=1,\ldots,n.$$

先計算樣本平均數與任一殘差的共變異數：

$$\operatorname{Cov}(\bar X,R_i) =\operatorname{Cov}(\bar X,X_i-\bar X) =\operatorname{Cov}(\bar X,X_i)-\operatorname{Var}(\bar X).$$

由於 $X_1,\ldots,X_n$ 為 i.i.d. $N(\mu,1)$，

$$\operatorname{Cov}(\bar X,X_i)=\frac{1}{n}, \qquad \operatorname{Var}(\bar X)=\frac{1}{n}.$$

所以

$$\operatorname{Cov}(\bar X,R_i)=0.$$

核心觀念

本題考查三個重點：

1. 無偏估計量：估計量 $\widehat{\theta}$ 滿足

   $$E_\theta(\widehat{\theta})=\theta$$

   即稱為 $\theta$ 的無偏估計量。

2. 線性期望與變異數：

   $$E\left(\sum_{i=1}^n X_i\right)=\sum_{i=1}^n E(X_i)$$

   若 $X_1,\dots,X_n$ 相互獨立，則

   $$\operatorname{Var}\left(\sum_{i=1}^n X_i\right) =\sum_{i=1}^n\operatorname{Var}(X_i).$$

3. 最大次序統計量的分布：令

   $$X_{(n)}=\max_{1\le i\le n}X_i,$$

   可由其累積分布函數求得期望與變異數，再進行無偏化。

由於兩個估計量皆無偏，因此比較好壞時可直接比較變異數；變異數較小者較有效率。

---

解題方法一：根據 $\sum_{i=1}^n X_i$ 建立估計量

1. 求單一樣本的期望與變異數

因為 $X_i\sim\operatorname{Uniform}(0,\theta)$，所以

$$E_\theta(X_i)=\frac{\theta}{2},$$

且

$$\operatorname{Var}_\theta(X_i)=\frac{\theta^2}{12}.$$

因此

$$E_\theta\left(\sum_{i=1}^n X_i\right) =n\frac{\theta}{2} =\frac{n\theta}{2}.$$

設估計量為

$$\widehat{\theta}_1 =c\sum_{i=1}^n X_i.$$

要求其無偏：

$$E_\theta(\widehat{\theta}_1) =c\frac{n\theta}{2} =\theta.$$

故

$$c=\frac{2}{n}.$$

所以根據樣本總和所構造的無偏估計量為

$$\boxed{ \widehat{\theta}_1=\frac{2}{n}\sum_{i=1}^n X_i }.$$

2. 驗證其變異數

由獨立性，

$$\operatorname{Var}_\theta\left(\sum_{i=1}^n X_i\right) =n\frac{\theta^2}{12}.$$

因此

$$\operatorname{Var}_\theta(\widehat{\theta}_1) = \frac{4}{n^2} \operatorname{Var}_\theta\left(\sum_{i=1}^n X_i\right)$$ $$= \frac{4}{n^2}\cdot\frac{n\theta^2}{12} = \boxed{\frac{\theta^2}{3n}}.$$

---

解題方法二：根據 $\max_{1\le i\le n}X_i$ 建立估計量

令

$$M=X_{(n)}=\max_{1\le i\le n}X_i.$$

1. 求最大值的累積分布函數

對於 $0\le x\le\theta$，

$$P(M\le x) = P(X_1\le x,\dots,X_n\le x).$$

由於樣本獨立，

$$P(M\le x) = \prod_{i=1}^nP(X_i\le x) = \left(\frac{x}{\theta}\right)^n.$$

因此 $M$ 的累積分布函數為

$$F_M(x)= \begin{cases} 0, & x<0,\\[4pt] \left(\dfrac{x}{\theta}\right)^n, & 0\le x\le\theta,\\[6pt] 1, & x\ge\theta. \end{cases}$$

微分可得其機率密度函數：

$$f_M(x)=\frac{n x^{n-1}}{\theta^n}, \qquad 0<x<\theta.$$

2. 求最大值的期望

$$E_\theta(M) = \int_0^\theta x f_M(x)\,dx$$ $$= \int_0^\theta x\frac{n x^{n-1}}{\theta^n}\,dx = \frac{n}{\theta^n}\int_0^\theta x^n\,dx$$ $$= \frac{n}{\theta^n}\cdot\frac{\theta^{n+1}}{n+1} = \frac{n}{n+1}\theta.$$

可見 $M$ 本身具有向下偏誤：

$$E_\theta(M)=\frac{n}{n+1}\theta\ne\theta.$$

設估計量為

$$\widehat{\theta}_2=cM.$$

要求無偏：

$$E_\theta(\widehat{\theta}_2) = c\frac{n}{n+1}\theta = \theta.$$

因此

核心觀念

此題考的是 Beta–Binomial 混合分布：

• 先令 $P\sim\operatorname{Beta}(\alpha,\beta)$；
• 給定 $P=p$ 時，$X\mid P=p\sim\operatorname{Binomial}(n,p)$。

因此可利用全期望公式與全變異數公式：

$$E(X)=E\bigl[E(X\mid P)\bigr],$$ $$\operatorname{Var}(X) =E\bigl[\operatorname{Var}(X\mid P)\bigr] +\operatorname{Var}\bigl(E(X\mid P)\bigr).$$

題目所列的機率質量函數少了二項式係數 $\binom{n}{x}$。嚴格而言，應為

$$f(x;\alpha,\beta) =\binom{n}{x}\int_0^1 \frac{1}{B(\alpha,\beta)} p^{\alpha+x-1}(1-p)^{\beta+n-x-1}\,dp.$$

以下依題意所指的 Beta–Binomial 分布求解。

解題方法

令

$$P\sim\operatorname{Beta}(\alpha,\beta),$$

則其密度為

$$f_P(p)=\frac{1}{B(\alpha,\beta)} p^{\alpha-1}(1-p)^{\beta-1},\qquad 0<p<1.$$

在給定 $P=p$ 下，

$$X\mid P=p\sim\operatorname{Binomial}(n,p).$$

所以

$$E(X\mid P)=np,$$

以及

$$\operatorname{Var}(X\mid P)=np(1-p).$$

期望值

由全期望公式，

$$E(X)=E\bigl[E(X\mid P)\bigr] =E(nP) =nE(P).$$

若 $P\sim\operatorname{Beta}(\alpha,\beta)$，則

$$E(P)=\frac{\alpha}{\alpha+\beta}.$$

因此

$$\boxed{ E(X)=\frac{n\alpha}{\alpha+\beta} }.$$

變異數

由全變異數公式，

$$\operatorname{Var}(X) =E\bigl[\operatorname{Var}(X\mid P)\bigr] +\operatorname{Var}\bigl(E(X\mid P)\bigr).$$

第一項為

$$E\bigl[\operatorname{Var}(X\mid P)\bigr] =E[nP(1-P)] =nE[P(1-P)].$$

第二項為

本題考查二項分佈的 Poisson 近似以及 Poisson 分佈的漸近分佈。

核心觀念：Poisson 近似、中央極限定理、常態分佈。

(i) 二項分佈的 Poisson 近似條件

二項分佈 $Binomial(n, p)$ 可以用 Poisson 分佈 $Poisson(\lambda)$ 來近似的條件是：

1. $n$ 很大 (試驗次數很多)。
2. $p$ 很小 (單次試驗成功的概率很小)。
3. $np = \lambda$ 是一個有限的常數。

證明與解釋：
二項分佈的 PMF 為 $P(X=k) = \binom{n}{k} p^k (1-p)^{n-k}$。
Poisson 分佈的 PMF 為 $P(Y=k) = \frac{e^{-\lambda} \lambda^k}{k!}$。

當 $n \to \infty$ 且 $p \to 0$ 時，我們考慮 $np = \lambda$ (常數)。
則 $p = \lambda/n$。
我們來看二項分佈的 PMF 在這些條件下的極限。
$P(X=k) = \binom{n}{k} p^k (1-p)^{n-k}$
$P(X=k) = \frac{n!}{k!(n-k)!} \left(\frac{\lambda}{n}\right)^k \left(1-\frac{\lambda}{n}\right)^{n-k}$
$P(X=k) = \frac{n(n-1)\dots(n-k+1)}{k!} \frac{\lambda^k}{n^k} \left(1-\frac{\lambda}{n}\right)^{n-k}$
$P(X=k) = \frac{n(n-1)\dots(n-k+1)}{n^k} \frac{\lambda^k}{k!} \left(1-\frac{\lambda}{n}\right)^{n-k}$

當 $n \to \infty$ 時：
$\frac{n(n-1)\dots(n-k+1)}{n^k} = \frac{n}{n} \frac{n-1}{n} \dots \frac{n-k+1}{n} \to 1 \times 1 \times \dots \times 1 = 1$ (對於固定的 $k$)。
$\left(1-\frac{\lambda}{n}\right)^{n-k} = \left(1-\frac{\lambda}{n}\right)^n \left(1-\frac{\lambda}{n}\right)^{-k}$。
我們知道 $\lim_{n \to \infty} \left(1-\frac{\lambda}{n}\right)^n = e^{-\lambda}$。
同時，$\lim_{n \to \infty} \left(1-\frac{\lambda}{n}\right)^{-k} = (1-0)^{-k} = 1$ (對於固定的 $k$)。
所以，$\lim_{n \to \infty} \left(1-\frac{\lambda}{n}\right)^{n-k} = e^{-\lambda}$。

將這些極限結果代入：
$\lim_{n \to \infty, p \to 0, np=\lambda} P(X=k) = 1 \times \frac{\lambda^k}{k!} \times e^{-\lambda} = \frac{e^{-\lambda} \lambda^k}{k!}$。
這正是 Poisson($\lambda$) 的 PMF。

因此，當 $n$ 足夠大，$p$ 足夠小，且 $np$ 趨近於一個有限值 $\lambda$ 時，二項分佈可以用 Poisson($\lambda$) 分佈來近似。

(ii) $X \sim Poisson(\lambda)$ 的漸近分佈

我們需要找到 $Z_\lambda = \frac{X - E[X]}{\sqrt{Var(X)}}$ 當 $\lambda \to \infty$ 時的漸近分佈。
對於 Poisson($\lambda$) 分佈：
期望值 $E[X] = \lambda$。
變異數 $Var(X) = \lambda$。

所以，$Z_\lambda = \frac{X - \lambda}{\sqrt{\lambda}}$。
我們需要找到 $Z_\lambda$ 當 $\lambda \to \infty$ 時的極限分佈。
這實際上是應用中央極限定理 (Central Limit Theorem, CLT) 的一個特例。
雖然 Poisson 分佈不是二項分佈，但 Poisson 分佈可以看作是二項分佈在 $n \to \infty, p \to 0, np = \lambda$ 時的極限。
而二項分佈本身，在 $n$ 很大時，可以由常態分佈近似。

更直接地，我們可以考慮 Poisson 分佈的矩母函數 (Moment Generating Function, MGF) 或特徵函數 (Characteristic Function, CF)，但對於 CLT 的證明，通常是通過 MGF 或 CF 的極限來實現。

另一種常見的方法是利用 Poisson 分佈可以看作是 $n$ 個參數為 $\lambda/n$ 的 Bernoulli 分佈之和（這與二項分佈的 CLT 證明類似）。
設 $X = Y_1 + Y_2 + \dots + Y_n$，其中 $Y_i \sim Bernoulli(p)$ 且 $np = \lambda$。
當 $n \to \infty$ 時，$p = \lambda/n \to 0$。
根據 De Moivre-Laplace 定理（二項分佈的 CLT），對於 $Y_i \sim Bernoulli(p)$，當 $n \to \infty$ 時，
$\frac{\sum Y_i - n p}{\sqrt{n p (1-p)}} \xrightarrow{d} N(0, 1)$。
在這裡，$X = \sum Y_i$ (如果 $X$ 是 $n$ 個 Bernoulli 試驗的和)。
$E[X] = np = \lambda$。
$Var(X) = np(1-p) = \lambda(1-\lambda/n)$。
當 $n \to \infty$，$\lambda/n \to 0$，所以 $Var(X) \to \lambda$。

核心觀念

聯合密度若能寫成指數族的標準形式

$$f_{\boldsymbol\eta}(\mathbf y) = h(\mathbf y) \exp\left\{ \sum_{j=1}^{k}\eta_j T_j(\mathbf y)-A(\boldsymbol\eta) \right\},$$

其中 $\eta_j$ 是自然參數，$T_j(\mathbf y)$ 是對應的自然充分統計量。題目中的共變數 $i$ 為固定值，因此對聯合密度而言，$\sum i$ 與 $\sum i^2$ 都是已知常數。

解題方法

由獨立性，聯合密度為

$$f_{\beta_1,\beta_2,\sigma^2}(\mathbf y) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left[ -\frac{(y_i-\beta_1-\beta_2 i)^2}{2\sigma^2} \right].$$

將平方項展開：

$$\begin{aligned} \sum_{i=1}^{n}(y_i-\beta_1-\beta_2 i)^2 ={}& \sum_{i=1}^{n}y_i^2 -2\beta_1\sum_{i=1}^{n}y_i -2\beta_2\sum_{i=1}^{n}i y_i\\ &+n\beta_1^2 +2\beta_1\beta_2\sum_{i=1}^{n}i +\beta_2^2\sum_{i=1}^{n}i^2. \end{aligned}$$

因此聯合密度可寫為

$$\begin{aligned} f_{\beta_1,\beta_2,\sigma^2}(\mathbf y) ={}& \exp\Bigg\{ \frac{\beta_1}{\sigma^2}\sum_{i=1}^{n}y_i +\frac{\beta_2}{\sigma^2}\sum_{i=1}^{n}i y_i -\frac{1}{2\sigma^2}\sum_{i=1}^{n}y_i^2\\ &-\frac{ n\beta_1^2 +2\beta_1\beta_2\sum_{i=1}^{n}i +\beta_2^2\sum_{i=1}^{n}i^2 }{2\sigma^2} -\frac n2\log(2\pi\sigma^2) \Bigg\}. \end{aligned}$$

令

$$T_1(\mathbf Y)=\sum_{i=1}^{n}Y_i,\qquad T_2(\mathbf Y)=\sum_{i=1}^{n}iY_i,\qquad T_3(\mathbf Y)=\sum_{i=1}^{n}Y_i^2.$$

相對應的自然參數為

$$\eta_1=\frac{\beta_1}{\sigma^2},\qquad \eta_2=\frac{\beta_2}{\sigma^2},\qquad \eta_3=-\frac{1}{2\sigma^2}.$$

自然參數空間滿足 $\eta_1,\eta_2\in\mathbb R$、$\eta_3<0$；因此此模型可寫成指數族形式。三個自然充分統計量為