114 年 國立成功大學統計學研究所《數理統計（含機率概論）》

本題主要在考驗對離散隨機變數聯合機率分佈的理解、期望值的線性性質以及聯合期望值的計算。

首先，我們要列出兩個公正骰子投擲結果的所有可能組合，共 $6 \times 6 = 36$ 種。
令第一個骰子的點數為 $D_1$，第二個骰子的點數為 $D_2$。
$X = D_1 + D_2$
$Y = |D_1 - D_2|$

(a) 計算 $P((X, Y) \in A)$
事件 $A$ 表示 $X=7$ 且 $Y \leq 4$。
當 $X=7$ 時，可能的點數組合 $(D_1, D_2)$ 有：
$(1, 6), (2, 5), (3, 4), (4, 3), (5, 2), (6, 1)$。共有 6 種組合。
對於這些組合，我們計算對應的 $Y = |D_1 - D_2|$ 值：

• $(1, 6) \implies Y = |1-6| = 5$
• $(2, 5) \implies Y = |2-5| = 3$
• $(3, 4) \implies Y = |3-4| = 1$
• $(4, 3) \implies Y = |4-3| = 1$
• $(5, 2) \implies Y = |5-2| = 3$
• $(6, 1) \implies Y = |6-1| = 5$

事件 $A$ 要求 $X=7$ 且 $Y \leq 4$。
在 $X=7$ 的 6 種組合中，計算得到的 $Y$ 值為 5, 3, 1, 1, 3, 5。
其中，滿足 $Y \leq 4$ 的組合是：
$(2, 5) \implies Y = 3 \leq 4$
$(3, 4) \implies Y = 1 \leq 4$
$(4, 3) \implies Y = 1 \leq 4$
$(5, 2) \implies Y = 3 \leq 4$
共有 4 種組合。
因此，事件 $A$ 包含的點數組合是 $\{(2, 5), (3, 4), (4, 3), (5, 2)\}$。
由於每個組合發生的機率均為 $\frac{1}{36}$，所以
$P((X, Y) \in A) = \frac{4}{36} = \frac{1}{9}$。

【答案】$\frac{1}{9}$

(b) 計算 $E(3X + 2Y)$
根據期望值的線性性質，對於任意常數 $a, b$ 和隨機變數 $X, Y$，有 $E(aX + bY) = aE(X) + bE(Y)$。
因此，$E(3X + 2Y) = 3E(X) + 2E(Y)$。
我們需要分別計算 $E(X)$ 和 $E(Y)$。

計算 $E(X) = E(D_1 + D_2)$:
$E(D_1) = E(D_2) = \frac{1+2+3+4+5+6}{6} = \frac{21}{6} = 3.5$。
$E(X) = E(D_1) + E(D_2) = 3.5 + 3.5 = 7$。

計算 $E(Y) = E(|D_1 - D_2|)$:
我們需要列出所有 36 種 $(D_1, D_2)$ 組合及其對應的 $Y = |D_1 - D_2|$ 值。
$Y$ 的可能值有 0, 1, 2, 3, 4, 5。

• $Y=0$: $(1,1), (2,2), (3,3), (4,4), (5,5), (6,6)$ - 6 種。機率 $P(Y=0) = \frac{6}{36}$。
• $Y=1$: $|D_1-D_2|=1$。$(1,2), (2,1), (2,3), (3,2), (3,4), (4,3), (4,5), (5,4), (5,6), (6,5)$ - 10 種。機率 $P(Y=1) = \frac{10}{36}$。
• $Y=2$: $|D_1-D_2|=2$。$(1,3), (3,1), (2,4), (4,2), (3,5), (5,3), (4,6), (6,4)$ - 8 種。機率 $P(Y=2) = \frac{8}{36}$。
• $Y=3$: $|D_1-D_2|=3$。$(1,4), (4,1), (2,5), (5,2), (3,6), (6,3)$ - 6 種。機率 $P(Y=3) = \frac{6}{36}$。
• $Y=4$: $|D_1-D_2|=4$。$(1,5), (5,1), (2,6), (6,2)$ - 4 種。機率 $P(Y=4) = \frac{4}{36}$。
• $Y=5$: $|D_1-D_2|=5$。$(1,6), (6,1)$ - 2 種。機率 $P(Y=5) = \frac{2}{36}$。
  驗證總機率：$\frac{6+10+8+6+4+2}{36} = \frac{36}{36} = 1$。

$E(Y) = \sum y P(Y=y) = 0 \cdot \frac{6}{36} + 1 \cdot \frac{10}{36} + 2 \cdot \frac{8}{36} + 3 \cdot \frac{6}{36} + 4 \cdot \frac{4}{36} + 5 \cdot \frac{2}{36}$
$E(Y) = \frac{1}{36} (0 + 10 + 16 + 18 + 16 + 10) = \frac{70}{36} = \frac{35}{18}$。

現在計算 $E(3X + 2Y)$:
$E(3X + 2Y) = 3E(X) + 2E(Y) = 3(7) + 2\left(\frac{35}{18}\right) = 21 + \frac{35}{9} = \frac{189 + 35}{9} = \frac{224}{9}$。

【答案】$\frac{224}{9}$

核心觀念

本題結合兩個重點：

1. 利用概似比統計量建立 Poisson 母體參數的雙尾 LRT。
2. 利用 Gamma–Poisson 共軛性求後驗分布，再由後驗分位數建立可信集合。

令

$$S=\sum_{i=1}^n X_i.$$

由於 $X_i$ iid 且 $X_i\sim\operatorname{Poisson}(\lambda)$，因此

$$S\sim\operatorname{Poisson}(n\lambda).$$

---

（a）Level $\alpha$ 的概似比檢定

1. 寫出概似函數

樣本的概似函數為

$$L(\lambda;\boldsymbol{x}) =\prod_{i=1}^n\frac{e^{-\lambda}\lambda^{x_i}}{x_i!} =\frac{e^{-n\lambda}\lambda^S}{\prod_{i=1}^n x_i!}.$$

其對數概似函數為

$$\ell(\lambda) =-n\lambda+S\log\lambda-\sum_{i=1}^n\log(x_i!).$$

微分得

$$\frac{d\ell(\lambda)}{d\lambda} =-n+\frac{S}{\lambda}.$$

令其等於 $0$，得到無限制最大概似估計量

$$\widehat{\lambda}=\frac{S}{n}=\overline{X}.$$

---

2. 建立概似比統計量

概似比統計量定義為

$$\Lambda(\boldsymbol{x}) = \frac{\sup_{\lambda\in H_0}L(\lambda;\boldsymbol{x})} {\sup_{\lambda>0}L(\lambda;\boldsymbol{x})}.$$

在虛無假設 $H_0:\lambda=\lambda_0$ 下，分子為 $L(\lambda_0;\boldsymbol{x})$；分母在 $\widehat{\lambda}=S/n$ 處達到最大值。因此

$$\Lambda(\boldsymbol{x}) = \frac{e^{-n\lambda_0}\lambda_0^S} {e^{-S}(S/n)^S}.$$

整理得

$$\boxed{ \Lambda(S) = \exp(S-n\lambda_0) \left(\frac{n\lambda_0}{S}\right)^S }$$

其中 $S=0$ 時採用極限值

$$\Lambda(0)=e^{-n\lambda_0}.$$

也可寫成

$$-2\log\Lambda(S) = 2\left[ S\log\left(\frac{S}{n\lambda_0}\right)-S+n\lambda_0 \right],$$

其中 $S=0$ 時令 $S\log(S/(n\lambda_0))=0$。

---

3. 決定拒絕域

LRT 的原則是當 $\Lambda(S)$ 足夠小時拒絕 $H_0$：

$$\mathcal{R} = \{s:\Lambda(s)\le c\}.$$

由

$$\log\Lambda(s) =s-n\lambda_0+s\log\left(\frac{n\lambda_0}{s}\right)$$

可知，$\Lambda(s)$ 在 $s$ 接近 $n\lambda_0$ 時較大，當 $s$ 過小或過大時較小。因此此檢定是以 $S$ 為統計量的雙尾檢定，但因 Poisson 分布為離散分布，兩尾臨界點不一定能簡單寫成對稱形式。

在 $H_0$ 下，

$$S\sim\operatorname{Poisson}(n\lambda_0).$$

因此可選定臨界常數 $c$，使得

$$P_{\lambda_0}\{\Lambda(S)\le c\}\le\alpha.$$

若要求檢定大小恰為 $\alpha$，可在臨界邊界上進行隨機化。設拒絕域為

$$\mathcal{R}_c=\{s:\Lambda(s)<c\},$$

並對滿足 $\Lambda(s)=c$ 的邊界值以機率 $\gamma$ 拒絕，其中

$$P_{\lambda_0}(\mathcal{R}_c) +\gamma P_{\lambda_0}\{\Lambda(S)=c\} =\alpha.$$

所以，非隨機化 LRT 可表示為：

$$\boxed{ \text{當 }\Lambda(S)\le c\text{ 時拒絕 }H_0 }$$

其中 $c$ 由

$$S\sim\operatorname{Poisson}(n\lambda_0)$$

下的檢定大小決定。

---

4. 大樣本近似形式

由 Wilks 定理，在 $n$ 夠大時，

$$-2\log\Lambda(S) \overset{\text{approx.}}{\sim}\chi_1^2 \qquad (H_0\text{ 成立時}).$$

因此近似拒絕域為

$$-2\log\Lambda(S)>\chi^2_{1,1-\alpha},$$

亦即

本題考驗對線性迴歸模型中最大概似估計量 (MLE) 的求解、估計量分佈的推導，以及當解釋變數本身也是隨機變數時 MLE 的擴展。

模型為 $Y_i = \beta X_i + \epsilon_i$，其中 $\epsilon_i \sim \text{iid } N(0, \sigma^2)$。
由於 $\epsilon_i$ 是隨機的，且 $X_i$ 在 (a) 和 (b) 中被視為常數，所以 $Y_i$ 的條件分佈為 $Y_i | X_i \sim N(\beta X_i, \sigma^2)$。
$Y_i$ 的條件機率密度函數 (PDF) 為：
$f(y_i | x_i; \beta, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(y_i - \beta x_i)^2}{2\sigma^2}\right)$。

(a) 假設 $X_1, \dots, X_n$ 是固定的常數，求 $\beta$ 和 $\sigma^2$ 的 MLE。
樣本的聯合條件機率密度函數（概似函數）為：
$L(\beta, \sigma^2 | x_1, \dots, x_n, y_1, \dots, y_n) = \prod_{i=1}^n f(y_i | x_i; \beta, \sigma^2)$
$L(\beta, \sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(y_i - \beta x_i)^2}{2\sigma^2}\right)$
$L(\beta, \sigma^2) = (2\pi\sigma^2)^{-n/2} \exp\left(-\frac{1}{2\sigma^2} \sum_{i=1}^n (y_i - \beta x_i)^2\right)$。

對數概似函數為：
$\ell(\beta, \sigma^2) = -\frac{n}{2} \log(2\pi) - \frac{n}{2} \log(\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^n (y_i - \beta x_i)^2$。
我們需要最大化 $\ell$ 對 $\beta$ 和 $\sigma^2$。
首先，我們固定 $\sigma^2$ 並對 $\beta$ 微分，以找到 $\beta$ 的 MLE。
$\frac{\partial \ell}{\partial \beta} = -\frac{1}{2\sigma^2} \sum_{i=1}^n 2(y_i - \beta x_i)(-x_i) = \frac{1}{\sigma^2} \sum_{i=1}^n (y_i - \beta x_i)x_i$
$= \frac{1}{\sigma^2} \sum_{i=1}^n (x_i y_i - \beta x_i^2)$。
令其為零：
$\sum_{i=1}^n (x_i y_i - \beta x_i^2) = 0$
$\sum x_i y_i - \beta \sum x_i^2 = 0$
$\hat{\beta}_{MLE} = \frac{\sum_{i=1}^n x_i y_i}{\sum_{i=1}^n x_i^2}$。
這與普通最小平方法 (OLS) 對 $\beta$ 的估計量相同。

接下來，我們將 $\hat{\beta}_{MLE}$ 代入對數概似函數，然後對 $\sigma^2$ 微分。
$\sum_{i=1}^n (y_i - \hat{\beta}_{MLE} x_i)^2$ 是殘差平方和 (RSS)。
令 $S(\beta) = \sum_{i=1}^n (y_i - \beta x_i)^2$。
$\frac{\partial \ell}{\partial \sigma^2} = -\frac{n}{2\sigma^2} - \frac{1}{2} (-1) (\sigma^2)^{-2} \sum_{i=1}^n (y_i - \beta x_i)^2$
$= -\frac{n}{2\sigma^2} + \frac{1}{2(\sigma^2)^2} \sum_{i=1}^n (y_i - \beta x_i)^2$。
令其為零：
$\frac{n}{2\sigma^2} = \frac{1}{2(\sigma^2)^2} \sum_{i=1}^n (y_i - \hat{\beta}_{MLE} x_i)^2$
$n \sigma^2 = \sum_{i=1}^n (y_i - \hat{\beta}_{MLE} x_i)^2$
$\hat{\sigma}^2_{MLE} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{\beta}_{MLE} x_i)^2$。
這就是 MLE 對 $\sigma^2$ 的估計量，它使用 $n$ 作為分母，而不是 OLS 中常用的 $n-k$（這裡 $k=1$）。

【答案】
$\hat{\beta}_{MLE} = \frac{\sum_{i=1}^n x_i y_i}{\sum_{i=1}^n x_i^2}$
$\hat{\sigma}^2_{MLE} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{\beta}_{MLE} x_i)^2$

(b) 求 $\hat{\beta}_{MLE}$ 的分佈。
我們有 $Y_i = \beta X_i + \epsilon_i$，其中 $\epsilon_i \sim N(0, \sigma^2)$。
$\hat{\beta}_{MLE} = \frac{\sum x_i Y_i}{\sum x_i^2}$。
將 $Y_i$ 代入：
$\hat{\beta}_{MLE} = \frac{\sum x_i (\beta X_i + \epsilon_i)}{\sum x_i^2} = \frac{\beta \sum x_i^2 + \sum x_i \epsilon_i}{\sum x_i^2}$
$\hat{\beta}_{MLE} = \beta + \frac{\sum x_i \epsilon_i}{\sum x_i^2}$。

由於 $\epsilon_i$ 是獨立的 $N(0, \sigma^2)$ 隨機變數，所以 $\sum x_i \epsilon_i$ 是一個線性組合。
$E(\sum x_i \epsilon_i) = \sum x_i E(\epsilon_i) = \sum x_i \cdot 0 = 0$。
$\text{Var}(\sum x_i \epsilon_i) = \sum x_i^2 \text{Var}(\epsilon_i) = \sum x_i^2 \sigma^2 = \sigma^2 \sum x_i^2$。
由於 $\epsilon_i$ 是獨立的，$\sum x_i \epsilon_i$ 服從正態分佈。
所以，$\sum x_i \epsilon_i \sim N\left(0, \sigma^2 \sum x_i^2\right)$。

現在考慮 $\hat{\beta}_{MLE} = \beta + \frac{\sum x_i \epsilon_i}{\sum x_i^2}$。
$E(\hat{\beta}_{MLE}) = E(\beta) + E\left(\frac{\sum x_i \epsilon_i}{\sum x_i^2}\right) = \beta + \frac{1}{\sum x_i^2} E(\sum x_i \epsilon_i) = \beta + 0 = \beta$。
$\text{Var}(\hat{\beta}_{MLE}) = \text{Var}\left(\beta + \frac{\sum x_i \epsilon_i}{\sum x_i^2}\right) = \text{Var}\left(\frac{\sum x_i \epsilon_i}{\sum x_i^2}\right)$
$= \left(\frac{1}{\sum x_i^2}\right)^2 \text{Var}(\sum x_i \epsilon_i) = \frac{1}{(\sum x_i^2)^2} (\sigma^2 \sum x_i^2) = \frac{\sigma^2}{\sum x_i^2}$。

由於 $\hat{\beta}_{MLE}$ 是正態隨機變數的線性組合（因為 $Y_i$ 是正態的，所以 $\sum x_i Y_i$ 是正態的），它本身也服從正態分佈。

核心觀念

本題主要考查：

1. 常態分配向量的線性組合仍為聯合常態分配。
2. 聯合常態分配下，兩個隨機變數獨立的充分必要條件是共變異數為 $0$。
3. 線性轉換後的平均數與共變異數計算。
4. 透過變數轉換將 $XY$ 表示成 $V^2$ 與 $W^2$ 的函數。
5. 卡方分配與條件分配。

以下假設 $\sigma^2>0$。

---

（a）$L_1$ 與 $L_2$ 獨立的條件

定義

$$L_1=a_1X+a_2Y,\qquad L_2=a_3X+a_4Y.$$

因為 $X,Y$ 相互獨立且皆為常態分配，所以 $(X,Y)$ 為二維聯合常態分配。因此，$(L_1,L_2)$ 也是聯合常態分配。

對聯合常態分配而言，

$$L_1\perp L_2 \quad\Longleftrightarrow\quad \operatorname{Cov}(L_1,L_2)=0.$$

由於 $\operatorname{Cov}(X,Y)=0$、$\operatorname{Var}(X)=\operatorname{Var}(Y)=\sigma^2$，因此

$$\begin{aligned} \operatorname{Cov}(L_1,L_2) &=\operatorname{Cov}(a_1X+a_2Y,\ a_3X+a_4Y)\\ &=a_1a_3\operatorname{Var}(X) +a_2a_4\operatorname{Var}(Y)\\ &\quad +(a_1a_4+a_2a_3)\operatorname{Cov}(X,Y)\\ &=\sigma^2(a_1a_3+a_2a_4). \end{aligned}$$

因為 $\sigma^2>0$，故獨立的必要充分條件為

$$\boxed{a_1a_3+a_2a_4=0}.$$

幾何上，這表示係數向量

$$(a_1,a_2),\qquad (a_3,a_4)$$

必須互相垂直。

若要具體刻畫：

• 當 $(a_1,a_2)\neq(0,0)$ 時，存在某個實數 $c$，使得 $$(a_3,a_4)=c(-a_2,a_1).$$
• 當 $(a_1,a_2)=(0,0)$ 時，$L_1$ 為常數，自然與任意 $L_2$ 獨立。

---

（b）判斷 $V$ 與 $W$ 是否獨立

給定

$$V=\frac{X+Y}{\sqrt{2}\sigma}, \qquad W=\frac{X-Y}{\sqrt{2}\sigma}.$$

兩者皆為 $X,Y$ 的線性組合，因此 $(V,W)$ 為聯合常態分配。

計算共變異數：

$$\begin{aligned} \operatorname{Cov}(V,W) &=\frac{1}{2\sigma^2} \operatorname{Cov}(X+Y,\ X-Y)\\ &=\frac{1}{2\sigma^2} \left\{\operatorname{Var}(X)-\operatorname{Var}(Y)\right\}\\ &=\frac{1}{2\sigma^2}(\sigma^2-\sigma^2)\\ &=0. \end{aligned}$$

由於 $V,W$ 為聯合常態分配且共變異數為 $0$，所以

$$\boxed{V\text{ 與 }W\text{ 相互獨立。}}$$

這個結論不需要 $\mu_1=\mu_2$，只要 $X,Y$ 的變異數相同即可。

---

（c）$\mu_1=\mu_2$ 時 $V$ 與 $W$ 的邊際分配

令

$$\mu_1=\mu_2=\mu.$$

首先計算 $V$ 的平均數與變異數：

$$E(V) =\frac{E(X)+E(Y)}{\sqrt{2}\sigma} =\frac{2\mu}{\sqrt{2}\sigma} =\frac{\sqrt{2}\mu}{\sigma},$$

且

$$\operatorname{Var}(V) =\frac{\operatorname{Var}(X)+\operatorname{Var}(Y)} {2\sigma^2} =\frac{2\sigma^2}{2\sigma^2} =1.$$

因此

$$\boxed{ V\sim N\left(\frac{\sqrt{2}\mu}{\sigma},\,1\right) }.$$

同理，

$$E(W) =\frac{E(X)-E(Y)}{\sqrt{2}\sigma} =0,$$

以及

$$\operatorname{Var}(W) =\frac{\operatorname{Var}(X)+\operatorname{Var}(Y)} {2\sigma^2} =1.$$

所以

$$\boxed{W\sim N(0,1)}.$$