115 年 國立中山大學應用數學系碩士班甲組《統計與機率》

本題主要在考察隨機變數的獨立性判斷，以及機率的計算。

核心觀念：

1. 獨立性定義：兩個隨機變數 $A$ 和 $B$ 獨立，若且唯若對於任意的 $a, b$，有 $P(A \le a, B \le b) = P(A \le a)P(B \le b)$。對於離散隨機變數，這等價於 $P(A=a, B=b) = P(A=a)P(B=b)$ 對於所有可能的 $a, b$ 都成立。
2. 聯合機率計算：利用條件機率或直接列舉所有可能組合計算聯合機率。
3. 邊際機率計算：由聯合機率分配求得。

解題步驟：
首先，定義隨機變數 Y 和 Z 的機率分配。
$P(Y=1) = 0.5$, $P(Y=-1) = 0.5$
$P(Z=1) = 0.5$, $P(Z=-1) = 0.5$
Y 和 Z 是獨立的。

接著，定義隨機變數 X。
$X = YZ$

我們來計算 X 的所有可能值及其機率。

• 若 $Y=1, Z=1$, 則 $X = 1 \times 1 = 1$. 機率為 $P(Y=1, Z=1) = P(Y=1)P(Z=1) = 0.5 \times 0.5 = 0.25$.
• 若 $Y=1, Z=-1$, 則 $X = 1 \times (-1) = -1$. 機率為 $P(Y=1, Z=-1) = P(Y=1)P(Z=-1) = 0.5 \times 0.5 = 0.25$.
• 若 $Y=-1, Z=1$, 則 $X = (-1) \times 1 = -1$. 機率為 $P(Y=-1, Z=1) = P(Y=-1)P(Z=1) = 0.5 \times 0.5 = 0.25$.
• 若 $Y=-1, Z=-1$, 則 $X = (-1) \times (-1) = 1$. 機率為 $P(Y=-1, Z=-1) = P(Y=-1)P(Z=-1) = 0.5 \times 0.5 = 0.25$.

所以，X 的機率分配為：
$P(X=1) = P(Y=1, Z=1) + P(Y=-1, Z=-1) = 0.25 + 0.25 = 0.5$.
$P(X=-1) = P(Y=1, Z=-1) + P(Y=-1, Z=1) = 0.25 + 0.25 = 0.5$.

第一部分：證明 X 與 Y 獨立
根據獨立性的定義，我們需要檢查 $P(X=x, Y=y) = P(X=x)P(Y=y)$ 是否成立，對於所有可能的 x 和 y 值。
X 的可能值是 {1, -1}，Y 的可能值是 {1, -1}。

考慮以下四種組合：

1. $x=1, y=1$:
   $P(X=1, Y=1) = P(YZ=1, Y=1)$. 這發生在 $Y=1$ 且 $Z=1$ 的情況。
   $P(X=1, Y=1) = P(Y=1, Z=1) = P(Y=1)P(Z=1) = 0.5 \times 0.5 = 0.25$.
   $P(X=1)P(Y=1) = 0.5 \times 0.5 = 0.25$.
   所以，$P(X=1, Y=1) = P(X=1)P(Y=1)$.

2. $x=1, y=-1$:
   $P(X=1, Y=-1) = P(YZ=1, Y=-1)$. 這發生在 $Y=-1$ 且 $Z=-1$ 的情況。
   $P(X=1, Y=-1) = P(Y=-1, Z=-1) = P(Y=-1)P(Z=-1) = 0.5 \times 0.5 = 0.25$.
   $P(X=1)P(Y=-1) = 0.5 \times 0.5 = 0.25$.
   所以，$P(X=1, Y=-1) = P(X=1)P(Y=-1)$.

3. $x=-1, y=1$:
   $P(X=-1, Y=1) = P(YZ=-1, Y=1)$. 這發生在 $Y=1$ 且 $Z=-1$ 的情況。
   $P(X=-1, Y=1) = P(Y=1, Z=-1) = P(Y=1)P(Z=-1) = 0.5 \times 0.5 = 0.25$.
   $P(X=-1)P(Y=1) = 0.5 \times 0.5 = 0.25$.
   所以，$P(X=-1, Y=1) = P(X=-1)P(Y=1)$.

本題主要考查樣本變異數的漸近常態性，結合了中央極限定理 (CLT) 和 Slutsky 定理。

核心觀念：

1. 樣本變異數的定義：$S_n^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X}_n)^2$。

2. 變異數的性質：對於 $X_i$，其期望值為 $E[X_i] = \mu$，變異數為 $Var(X_i) = E[(X_i - \mu)^2] = \sigma^2$。

3. 中央極限定理 (CLT)：若 $X_1, \dots, X_n$ 是 i.i.d. 隨機變數，期望值為 $\mu$ 且變異數為 $\sigma^2$（有限），則 $\sqrt{n} \frac{\bar{X}_n - \mu}{\sigma} \xrightarrow{d} N(0,1)$。

4. Slutsky 定理：若 $X_n \xrightarrow{d} X$ 且 $Y_n \xrightarrow{p} c$（常數），則 $X_n + Y_n \xrightarrow{d} X+c$。若 $X_n \xrightarrow{d} X$ 且 $Y_n \xrightarrow{p} c$（非零常數），則 $X_n / Y_n \xrightarrow{d} X/c$。

5. 大數法則 (WLLN)：樣本均值 $\bar{X}_n$ 依機率收斂於母體期望值 $\mu$，即 $\bar{X}_n \xrightarrow{p} \mu$。

6. 變異數的期望值：雖然 $S_n^2$ 是樣本變異數，但我們需要知道 $E[S_n^2]$ 和 $Var(S_n^2)$ 的形式。一個重要的結果是 $E[S_n^2] = \sigma^2$。
   更一般地，對於 $Y_i = (X_i - \mu)^2 - \sigma^2$，則 $E[Y_i] = E[(X_i - \mu)^2] - \sigma^2 = \sigma^2 - \sigma^2 = 0$。
   $Var(Y_i) = E[Y_i^2] - (E[Y_i])^2 = E[((X_i - \mu)^2 - \sigma^2)^2] = E[(X_i - \mu)^4 - 2\sigma^2(X_i - \mu)^2 + \sigma^4] = \mu_4 - 2\sigma^2(\sigma^2) + \sigma^4 = \mu_4 - \sigma^4$.
   而 $S_n^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X}_n)^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \mu + \mu - \bar{X}_n)^2 = \frac{1}{n} \sum_{i=1}^n [(X_i - \mu) - (\bar{X}_n - \mu)]^2$
   $S_n^2 = \frac{1}{n} \sum_{i=1}^n [(X_i - \mu)^2 - 2(X_i - \mu)(\bar{X}_n - \mu) + (\bar{X}_n - \mu)^2]$
   $S_n^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \mu)^2 - 2(\bar{X}_n - \mu) \frac{1}{n} \sum_{i=1}^n (X_i - \mu) + \frac{1}{n} \sum_{i=1}^n (\bar{X}_n - \mu)^2$
   $S_n^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \mu)^2 - 2(\bar{X}_n - \mu)^2 + (\bar{X}_n - \mu)^2$
   $S_n^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \mu)^2 - (\bar{X}_n - \mu)^2$.
   令 $V_i = (X_i - \mu)^2$. $E[V_i] = \sigma^2$, $Var(V_i) = \mu_4 - \sigma^4$.
   $\frac{1}{n} \sum_{i=1}^n V_i \xrightarrow{p} E[V_i] = \sigma^2$ by WLLN.
   $S_n^2 = \frac{1}{n} \sum_{i=1}^n V_i - (\bar{X}_n - \mu)^2$.
   因為 $\bar{X}_n - \mu \xrightarrow{p} 0$ (由 WLLN 知 $\bar{X}_n \xrightarrow{p} \mu$)，所以 $(\bar{X}_n - \mu)^2 \xrightarrow{p} 0$.
   因此， $S_n^2 \xrightarrow{p} \sigma^2$.

   為了應用 CLT，我們需要考慮 $n Var(S_n^2)$。
   $Var(S_n^2) = Var\left(\frac{1}{n} \sum_{i=1}^n (X_i - \mu)^2 - (\bar{X}_n - \mu)^2\right)$
   這會比較複雜。一個更直接的方法是考慮 $U_i = (X_i - \mu)^2$. 則 $S_n^2 = \frac{1}{n}\sum_{i=1}^n U_i - (\bar{X}_n - \mu)^2$.
   然而，題目給的條件 $\mu_4 > \sigma^4$ 暗示了 $Var(U_i) = \mu_4 - \sigma^4$ 是有限且非零的。
   我們需要證明 $\sqrt{n}(S_n^2 - \sigma^2)$ 的分佈。

   考慮隨機變數 $Y_i = (X_i - \mu)^2$. 則 $E[Y_i] = \sigma^2$ 且 $Var(Y_i) = E[(X_i - \mu)^4] - (E[(X_i - \mu)^2])^2 = \mu_4 - (\sigma^2)^2 = \mu_4 - \sigma^4$.
   令 $\bar{Y}_n = \frac{1}{n} \sum_{i=1}^n Y_i = \frac{1}{n} \sum_{i=1}^n (X_i - \mu)^2$.
   根據 CLT，對於 $Y_i$ 序列（它們是 i.i.d.，期望值為 $\sigma^2$，變異數為 $\mu_4 - \sigma^4$），我們有：
   $\sqrt{n} \frac{\bar{Y}_n - \sigma^2}{\sqrt{\mu_4 - \sigma^4}} \xrightarrow{d} N(0,1)$
   $\sqrt{n} \frac{\frac{1}{n} \sum_{i=1}^n (X_i - \mu)^2 - \sigma^2}{\sqrt{\mu_4 - \sigma^4}} \xrightarrow{d} N(0,1)$

   現在，我們需要將 $S_n^2$ 與 $\bar{Y}_n$ 聯繫起來。
   $S_n^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \bar{X}_n)^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \mu + \mu - \bar{X}_n)^2$
   $S_n^2 = \frac{1}{n} \sum_{i=1}^n [(X_i - \mu) - (\bar{X}_n - \mu)]^2$
   $S_n^2 = \frac{1}{n} \sum_{i=1}^n (X_i - \mu)^2 - \frac{2}{n} \sum_{i=1}^n (X_i - \mu)(\bar{X}_n - \mu) + \frac{1}{n} \sum_{i=1}^n (\bar{X}_n - \mu)^2$

核心觀念

本題涉及三個重點：

1. 若 $Z\sim N_k(0,I_k)$，且 $Y=CZ$，則
   $Y\sim N_k(0,CC^\mathsf{T}).$
2. 多變量常態分配中，兩個隨機向量若共變異數為零，則彼此獨立。
3. 常態樣本的樣本平均與樣本變異數彼此獨立。

需注意：題目所給的矩陣 $C$ 並非正交矩陣，因此題目第 (a) 小題的敘述不成立。

---

(a) 題目所給矩陣的檢查

由題目定義，

$$Y_1=Z_1,$$ $$Y_2=\frac{Z_1+Z_2}{\sqrt{2}}.$$

兩者皆服從 $N(0,1)$，因為

$$\operatorname{Var}(Y_1)=1,$$

以及

$$\operatorname{Var}(Y_2) =\frac{1}{2}\operatorname{Var}(Z_1+Z_2) =\frac{1}{2}(1+1)=1.$$

但是，

$$\operatorname{Cov}(Y_1,Y_2) =\operatorname{Cov}\left(Z_1,\frac{Z_1+Z_2}{\sqrt{2}}\right) =\frac{1}{\sqrt{2}}\neq 0.$$

由於 $(Y_1,Y_2)$ 為聯合常態分配，非零共變異數表示兩者不獨立。因此 $Y_1,\dots,Y_k$ 並非獨立同分配。

矩陣觀點也可得到相同結論。因為

$$\operatorname{Cov}(Y)=CC^\mathsf{T},$$

而

$$(CC^\mathsf{T})_{12} =\sum_{j=1}^k C_{1j}C_{2j} =1\cdot\frac{1}{\sqrt{2}} =\frac{1}{\sqrt{2}}\neq 0.$$

所以 $CC^\mathsf{T}\neq I_k$，矩陣 $C$ 不是正交矩陣。

題目若要使第 (a) 小題成立，$C$ 必須是正交矩陣，即滿足

$$CC^\mathsf{T}=I_k.$$

---

(b) 樣本平均與樣本變異數的獨立性

雖然題目第 (a) 小題的矩陣有誤，但第 (b) 小題的結論仍然成立。以下直接利用正規向量的正交分解證明。

令

$$Z= \begin{pmatrix} Z_1\\ \vdots\\ Z_k \end{pmatrix}, \qquad \mathbf{1}= \begin{pmatrix} 1\\ \vdots\\ 1 \end{pmatrix}.$$

因為 $Z_i$ i.i.d. $N(0,1)$，所以

$$Z\sim N_k(0,I_k).$$

樣本平均可寫成

$$\bar Z=\frac{1}{k}\mathbf{1}^{\mathsf T}Z.$$

定義投影矩陣

$$P=\frac{1}{k}\mathbf{1}\mathbf{1}^{\mathsf T},$$

以及殘差投影矩陣

$$M=I_k-P.$$

則

$$M\mathbf{1} = \left(I_k-\frac{1}{k}\mathbf{1}\mathbf{1}^{\mathsf T}\right)\mathbf{1} = \mathbf{1}-\frac{k}{k}\mathbf{1} =0.$$

樣本殘差向量為

$$R=MZ.$$

`

其第 $i$ 個分量為

$$R_i=Z_i-\bar Z.$$

因此，

核心觀念

本題考查：

• Neyman–Fisher factorization theorem 判斷充分統計量。
• Uniform location family 的概似函數與 MLE。
• 次序統計量 $U_{(1)},U_{(n)}$ 的期望、變異數與共變異數。
• 以

$$\operatorname{MSE}(\hat\theta) =\operatorname{Var}(\hat\theta)+\{\operatorname{Bias}(\hat\theta)\}^2$$

比較估計量。

---

（a）充分統計量

樣本聯合機率密度函數為

$$L(\theta;\boldsymbol{x}) =\prod_{i=1}^n \frac12 I_{(\theta-1,\theta+1)}(x_i).$$

所有觀察值皆落在 $(\theta-1,\theta+1)$ 內，等價於

$$\theta-1<X_{(1)},\qquad X_{(n)}<\theta+1.$$

整理得

$$X_{(n)}-1<\theta<X_{(1)}+1.$$

因此，

$$L(\theta;\boldsymbol{x}) =2^{-n} I_{(X_{(n)}-1,\;X_{(1)}+1)}(\theta).$$

聯合密度只透過 $X_{(1)}$ 與 $X_{(n)}$ 依賴樣本，因此由因子分解定理，

$$T(X_1,\ldots,X_n) =\bigl(X_{(1)},X_{(n)}\bigr)$$

是 $\theta$ 的充分統計量。

答案：

$$\boxed{T=\bigl(X_{(1)},X_{(n)}\bigr)}$$

---

（b）MLE 判斷

由上式可知，當

$$X_{(n)}-1<\theta<X_{(1)}+1$$

時，

$$L(\theta;\boldsymbol{x})=2^{-n};$$

在此區間外，概似函數為 $0$。

因此所有滿足

$$\boxed{X_{(n)}-1<\theta<X_{(1)}+1}$$

的 $\theta$ 都會使概似函數達到最大值。MLE 不是唯一值，而是一整個區間：

$$\widehat{\Theta}_{\mathrm{MLE}} =\left(X_{(n)}-1,\;X_{(1)}+1\right).$$

題目給定的兩個估計量為

$$\hat{\theta}=\frac{X_{(1)}+X_{(n)}}{n}, \qquad \tilde{\theta}=\frac1n\sum_{i=1}^nX_i.$$

兩者均不一定落在 MLE 區間內，因此在一般情況下，兩者皆不能視為 $\theta$ 的 MLE。

例如取 $n=4$、$\theta=1$，樣本為

$$0.1,\;0.1,\;0.1,\;1.9.$$

此時

$$X_{(1)}=0.1,\qquad X_{(n)}=1.9,$$

MLE 區間為

$$(1.9-1,\;0.1+1)=(0.9,1.1).$$

但

$$\hat{\theta} =\frac{0.1+1.9}{4}=0.5,$$

且

$$\tilde{\theta} =\frac{0.1+0.1+0.1+1.9}{4}=0.55,$$

兩者皆不在 $(0.9,1.1)$ 內。

因此，嚴格依照題目所寫的估計量，答案是：

$$\boxed{\text{一般情況下，}\hat{\theta}\text{ 與 }\tilde{\theta}\text{ 皆不是必然的 MLE。}}$$

若某次觀察值恰好使其中一個估計量落在 MLE 區間內，該次觀察下它可以是其中一個 MLE，但並非普遍成立。

---

（c）MSE 比較

1. $\tilde{\theta}$ 的 MSE

因為

$$X_i\sim \operatorname{Uniform}(\theta-1,\theta+1),$$

所以

$$E(X_i)=\theta, \qquad \operatorname{Var}(X_i) =\frac{(2)^2}{12} =\frac13.$$

因此

$$\tilde{\theta} =\frac1n\sum_{i=1}^nX_i$$

為不偏估計量，且

$$\operatorname{Var}(\tilde{\theta}) =\frac1{n^2}\cdot n\cdot\frac13 =\frac1{3n}.$$

故

$$\boxed{\operatorname{MSE}(\tilde{\theta})=\frac1{3n}}.$$

---

2. $\hat{\theta}$ 的期望與偏誤

令

$$U_i=\frac{X_i-(\theta-1)}2,$$

則 $U_i\sim\operatorname{Uniform}(0,1)$，且

$$X_{(1)}=\theta-1+2U_{(1)}, \qquad X_{(n)}=\theta-1+2U_{(n)}.$$

對 Uniform$(0,1)$ 的次序統計量，

核心觀念

本題考查均勻分布樣本的順序統計量：

• $U_{(k)}$ 的分布為 Beta 分布：
  $U_{(k)}\sim \operatorname{Beta}(k,n-k+1)。$
• 均勻分布順序統計量的間距服從 Dirichlet 分布，可用來計算共變異數。
• Beta 分布的 $p$ 次動差公式為
  $E(X^p)=\frac{(\alpha)_p}{(\alpha+\beta)_p},$
  其中 $(a)_p=a(a+1)\cdots(a+p-1)$ 表示 rising factorial。

---

(a) 求 $E(U_{(k)}^p)$

解題方法

先求第 $k$ 個順序統計量的機率密度函數。由於 $U_i\sim \operatorname{Uniform}(0,1)$，故

$$f_{U_{(k)}}(u) = \frac{n!}{(k-1)!(n-k)!} u^{k-1}(1-u)^{n-k}, \qquad 0<u<1.$$

這正是 Beta$(k,n-k+1)$ 的密度函數。因此

$$E(U_{(k)}^p) = \int_0^1 u^p f_{U_{(k)}}(u)\,du.$$

代入密度函數：

$$E(U_{(k)}^p) = \frac{n!}{(k-1)!(n-k)!} \int_0^1 u^{k+p-1}(1-u)^{n-k}\,du.$$

利用 Beta 積分

$$\int_0^1 u^{a-1}(1-u)^{b-1}\,du = \frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)},$$

得到

$$E(U_{(k)}^p) = \frac{n!}{(k-1)!(n-k)!} \frac{\Gamma(k+p)\Gamma(n-k+1)} {\Gamma(n+p+1)}.$$

因為 $k,p$ 為正整數，

$$\Gamma(k+p)=(k+p-1)!, \qquad \Gamma(n-k+1)=(n-k)!,$$

所以

$$E(U_{(k)}^p) = \frac{n!(k+p-1)!} {(k-1)!(n+p)!}.$$

整理成乘積形式：

$$\boxed{ E(U_{(k)}^p) = \frac{k(k+1)\cdots(k+p-1)} {(n+1)(n+2)\cdots(n+p)} }$$

亦可寫成 rising factorial：

$$\boxed{ E(U_{(k)}^p)=\frac{(k)_p}{(n+1)_p} }.$$

快速驗算

當 $p=1$ 時，

$$E(U_{(k)}) = \frac{k}{n+1},$$

這正是均勻分布順序統計量的標準結果。

當 $k=n$ 時，

$$E(U_{(n)}^p) = \frac{n(n+1)\cdots(n+p-1)} {(n+1)(n+2)\cdots(n+p)} = \frac{n}{n+p},$$

也符合最大值 $U_{(n)}$ 的分布。

---

(b) 求 $Cov(U_{(r)},U_{(s)})$

解題方法

使用均勻樣本的間距：

$$D_0=U_{(1)},$$ $$D_i=U_{(i+1)}-U_{(i)},\qquad i=1,\dots,n-1,$$