108 年 國立臺灣大學經濟學系碩士班《統計學（A）》

此題主要在考驗對鞅差分序列 (martingale difference sequence) 和獨立同分佈 (i.i.d.) 序列的定義與判斷。

核心觀念：

1. 鞅差分序列 (Martingale Difference Sequence)：一個隨機變數序列 $\{X_n\}_{n \ge 1}$ 相對於一個濾子 (filtration) $\{\mathcal{F}_n\}_{n \ge 1}$ 被稱為鞅差分序列，若滿足以下條件：

   • $E[|X_n|] < \infty$ 對所有 $n \ge 1$。
   • $E[X_n | \mathcal{F}_{n-1}] = 0$ 對所有 $n \ge 2$。
   • $X_n$ 相對於 $\mathcal{F}_n$ 是可測的 (measurable)，即 $X_n$ 的值由 $\mathcal{F}_n$ 中的資訊決定。
     通常，我們關心的是 $E[X_n | \mathcal{F}_{n-1}] = 0$ 這個條件，其中 $\mathcal{F}_{n-1}$ 是到 $n-1$ 時刻為止的所有資訊。

2. 獨立同分佈 (i.i.d.) 序列：一個隨機變數序列 $\{X_n\}_{n \ge 1}$ 被稱為獨立同分佈，若滿足以下條件：

   • 獨立性 (Independence)：對於任意不同的 $i_1, i_2, \dots, i_k$，$X_{i_1}, X_{i_2}, \dots, X_{i_k}$ 是相互獨立的。
   • 同分佈性 (Identical Distribution)：所有 $X_i$ 都服從相同的機率分佈。

解題過程：

已知 $\varepsilon_i$ 是 i.i.d. $N(0,1)$，且 $e_i = \varepsilon_i \varepsilon_{i-1}$ 對 $i \ge 1$。
這裡我們定義 $\varepsilon_0 = 0$ 以便 $e_1 = \varepsilon_1 \varepsilon_0 = 0$。
濾子 $\mathcal{F}_i = \{\varepsilon_1, \dots, \varepsilon_i\}$。

(a) 判斷 $e_i$ 是否為鞅差分序列。
我們要檢查 $E[e_i | \mathcal{F}_{i-1}] = 0$ 是否成立。

首先，我們需要確認 $E[|e_i|] < \infty$。
$E[|e_i|] = E[|\varepsilon_i \varepsilon_{i-1}|] = E[|\varepsilon_i| |\varepsilon_{i-1}|]$。
由於 $\varepsilon_i$ 和 $\varepsilon_{i-1}$ 是獨立的，所以 $E[|e_i|] = E[|\varepsilon_i|] E[|\varepsilon_{i-1}|]$。
對於標準常態分佈 $N(0,1)$，其期望值為 $E[\varepsilon_i] = 0$，變異數為 $Var(\varepsilon_i) = E[\varepsilon_i^2] = 1$。
$E[|\varepsilon_i|]$ 是標準常態分佈的絕對值的期望值。我們知道 $E[|\varepsilon_i|] = \sqrt{2/\pi}$。
所以，$E[|e_i|] = (\sqrt{2/\pi})^2 = 2/\pi < \infty$。
因此，$e_i$ 的絕對值期望是有限的。

接下來，我們檢查條件 $E[e_i | \mathcal{F}_{i-1}] = 0$。
$E[e_i | \mathcal{F}_{i-1}] = E[\varepsilon_i \varepsilon_{i-1} | \mathcal{F}_{i-1}]$。
由於 $\varepsilon_{i-1}$ 是 $\mathcal{F}_{i-1}$ 的一個組成部分，它是已知資訊，可以從條件期望中提出來：
$E[\varepsilon_i \varepsilon_{i-1} | \mathcal{F}_{i-1}] = \varepsilon_{i-1} E[\varepsilon_i | \mathcal{F}_{i-1}]$。
因為 $\varepsilon_i$ 是 i.i.d. $N(0,1)$，它與 $\varepsilon_1, \dots, \varepsilon_{i-1}$ 是獨立的。
因此，$\varepsilon_i$ 相對於 $\mathcal{F}_{i-1}$ 的條件期望是其無條件期望：
$E[\varepsilon_i | \mathcal{F}_{i-1}] = E[\varepsilon_i] = 0$。
所以，$E[e_i | \mathcal{F}_{i-1}] = \varepsilon_{i-1} \cdot 0 = 0$。

這個條件對於 $i \ge 2$ 成立。
對於 $i=1$，我們定義 $\varepsilon_0 = 0$。
$e_1 = \varepsilon_1 \varepsilon_0 = \varepsilon_1 \cdot 0 = 0$。
$\mathcal{F}_0$ 通常被定義為一個包含所有常數的 $\sigma$-代數，例如 $\{\emptyset, \Omega\}$。
$E[e_1 | \mathcal{F}_0] = E[0 | \mathcal{F}_0] = 0$。
因此，$e_i$ 相對於 $\mathcal{F}_i$ 是一個鞅差分序列。

結論： 是。

(b) 判斷 $e_i$ 是否為 i.i.d. 序列。
i.i.d. 序列需要滿足獨立性和同分佈性。

同分佈性 (Identical Distribution)：
我們需要檢查 $e_i$ 的分佈是否對所有 $i$ 都相同。
$e_i = \varepsilon_i \varepsilon_{i-1}$。
$E[e_i] = E[\varepsilon_i \varepsilon_{i-1}] = E[\varepsilon_i] E[\varepsilon_{i-1}] = 0 \cdot 0 = 0$ (因為 $\varepsilon_i, \varepsilon_{i-1}$ 獨立)。
$Var(e_i) = E[e_i^2] - (E[e_i])^2 = E[(\varepsilon_i \varepsilon_{i-1})^2] - 0^2 = E[\varepsilon_i^2 \varepsilon_{i-1}^2]$。
由於 $\varepsilon_i$ 和 $\varepsilon_{i-1}$ 是獨立的，且 $E[\varepsilon_i^2] = 1$：
$Var(e_i) = E[\varepsilon_i^2] E[\varepsilon_{i-1}^2] = 1 \cdot 1 = 1$。
所以，$e_i$ 的期望值是 0，變異數是 1。

此題涵蓋了點估計、區間估計、bootstrap 方法以及假設檢定，是統計學中非常基礎且重要的觀念。

核心觀念：

1. 伯努利分佈 (Bernoulli Distribution)：單次試驗成功機率為 $p$，失敗機率為 $1-p$。
2. 賠率 (Odds Ratio)：$\theta = \frac{p}{1-p}$。
3. 最大概似估計 (Maximum Likelihood Estimation, MLE)：找到使樣本觀測值出現機率最大的參數值。
4. 信賴區間 (Confidence Interval)：估計一個未知參數的範圍，該範圍在多次重複抽樣中包含真實參數值的比例達到一定的信心水準。
5. Bootstrap 方法：一種重抽樣技術，用於估計統計量的抽樣分佈，特別適用於難以推導出解析解的情況。
6. 假設檢定 (Hypothesis Testing)：根據樣本資料判斷關於總體參數的假設是否成立。

解題過程：

設樣本為 $\{X_i\}_{i=1}^n$，其中 $X_i \sim \text{Bernoulli}(p)$ 且獨立同分佈。
$P(X_i=1) = p$, $P(X_i=0) = 1-p$.
賠率 $\theta = \frac{p}{1-p}$。

我們知道 $\theta = \frac{p}{1-p} \implies \theta(1-p) = p \implies \theta - \theta p = p \implies \theta = p(1+\theta) \implies p = \frac{\theta}{1+\theta}$。
反之，若 $p = \frac{\theta}{1+\theta}$，則 $1-p = 1 - \frac{\theta}{1+\theta} = \frac{1+\theta-\theta}{1+\theta} = \frac{1}{1+\theta}$。
所以 $\frac{p}{1-p} = \frac{\theta/(1+\theta)}{1/(1+\theta)} = \theta$。

(a) 求 $\theta$ 的最大概似估計量 (MLE)。
首先，我們需要找到 $p$ 的 MLE。
概似函數 $L(p) = \prod_{i=1}^n P(X_i=x_i; p) = \prod_{i=1}^n p^{x_i} (1-p)^{1-x_i}$。
其中 $x_i \in \{0,1\}$。
對數概似函數 $\ln L(p) = \sum_{i=1}^n [x_i \ln p + (1-x_i) \ln(1-p)]$。
令 $S = \sum_{i=1}^n x_i$ 為成功的次數 (樣本均值 $\bar{x} = S/n$)。
$\ln L(p) = S \ln p + (n-S) \ln(1-p)$。
對 $\ln L(p)$ 對 $p$ 微分並令其為 0：
$\frac{d \ln L(p)}{dp} = \frac{S}{p} - \frac{n-S}{1-p} = 0$
$\frac{S}{p} = \frac{n-S}{1-p}$
$S(1-p) = p(n-S)$
$S - Sp = np - Sp$
$S = np \implies \hat{p}_{MLE} = \frac{S}{n} = \bar{x}$。
所以，$p$ 的 MLE 是樣本均值 $\bar{x}$。

現在我們求 $\theta$ 的 MLE。由於 $\theta$ 是 $p$ 的單調遞增函數，$\theta(\cdot)$，所以 $\theta$ 的 MLE 是 $\hat{\theta}_{MLE} = \theta(\hat{p}_{MLE}) = \theta(\bar{x})$。
$\hat{\theta}_{MLE} = \frac{\bar{x}}{1-\bar{x}}$。
由於 $\bar{x} = \frac{S}{n}$，所以 $\hat{\theta}_{MLE} = \frac{S/n}{1-S/n} = \frac{S}{n-S}$。
其中 $S$ 是成功的總次數， $n-S$ 是失敗的總次數。

【答案】$\hat{\theta}_{MLE} = \frac{\bar{X}}{1-\bar{X}} = \frac{S}{n-S}$。

(b) 建構 $\theta$ 的 95% 信賴區間。
通常，我們利用概似比檢定統計量或 Wald 檢定來建構信賴區間。
由於 $\theta = \frac{p}{1-p}$，我們可以考慮 $\ln \theta = \ln p - \ln(1-p)$。
$\ln \theta$ 的 MLE 是 $\ln \hat{\theta}_{MLE} = \ln \bar{x} - \ln(1-\bar{x})$。
我們知道 $\sqrt{n}(\bar{x} - p) \xrightarrow{d} N(0, p(1-p))$。
利用 Delta 方法，我們可以得到 $\ln \bar{x} - \ln(1-\bar{x})$ 的漸近分佈。
令 $g(p) = \ln \frac{p}{1-p}$。
$g'(p) = \frac{1}{p} - \frac{1}{1-p}(-1) = \frac{1}{p} + \frac{1}{1-p} = \frac{1-p+p}{p(1-p)} = \frac{1}{p(1-p)}$。
$g''(p) = -p^{-2} - (1-p)^{-2}(-1) = -\frac{1}{p^2} - \frac{1}{(1-p)^2}$。
$g'(\bar{x})$ 的期望值近似為 $g'(p) = \frac{1}{p(1-p)}$。
$\sqrt{n} \left( \ln \frac{\bar{x}}{1-\bar{x}} - \ln \frac{p}{1-p} \right) \xrightarrow{d} N \left( 0, \left( g'(p) \right)^2 p(1-p) \right)$
$= N \left( 0, \left( \frac{1}{p(1-p)} \right)^2 p(1-p) \right) = N \left( 0, \frac{1}{p(1-p)} \right)$。

所以，$\sqrt{n} (\ln \hat{\theta}_{MLE} - \ln \theta) \xrightarrow{d} N \left( 0, \frac{1}{p(1-p)} \right)$。
我們需要用 $\bar{x}$ 來估計 $p(1-p)$。
$Var(\ln \hat{\theta}_{MLE}) \approx \frac{1}{n p(1-p)}$。
估計的變異數是 $\frac{1}{n \bar{x}(1-\bar{x})}$。
因此，$\sqrt{n} (\ln \hat{\theta}_{MLE} - \ln \theta) / \sqrt{\frac{1}{n \bar{x}(1-\bar{x})}} \approx \sqrt{n} (\ln \hat{\theta}_{MLE} - \ln \theta) \sqrt{n \bar{x}(1-\bar{x})} \approx \sqrt{n} (\ln \hat{\theta}_{MLE} - \ln \theta) \frac{1}{\sqrt{\bar{x}(1-\bar{x})}}$
更常見的用法是，$\sqrt{n \bar{x}(1-\bar{x})} (\ln \hat{\theta}_{MLE} - \ln \theta) \xrightarrow{d} N(0,1)$。
所以，$\ln \hat{\theta}_{MLE} \pm z_{\alpha/2} \sqrt{\frac{1}{n \bar{x}(1-\bar{x})}}$ 是 $\ln \theta$ 的信賴區間。
$\ln \theta \in \left[ \ln \hat{\theta}_{MLE} - z_{\alpha/2} \sqrt{\frac{1}{n \bar{x}(1-\bar{x})}}, \ln \hat{\theta}_{MLE} + z_{\alpha/2} \sqrt{\frac{1}{n \bar{x}(1-\bar{x})}} \right]$。
其中 $z_{\alpha/2}$ 是標準常態分佈的 $1-\alpha/2$ 分位數。對於 95% 信賴區間，$\alpha=0.05$， $z_{0.025} \approx 1.96$。

對上式取指數，我們得到 $\theta$ 的信賴區間：
$\theta \in \left[ \exp\left(\ln \hat{\theta}_{MLE} - z_{\alpha/2} \sqrt{\frac{1}{n \bar{x}(1-\bar{x})}}\right), \exp\left(\ln \hat{\theta}_{MLE} + z_{\alpha/2} \sqrt{\frac{1}{n \bar{x}(1-\bar{x})}}\right) \right]$
$\theta \in \left[ \hat{\theta}_{MLE} \exp\left(- \frac{z_{\alpha/2}}{\sqrt{n \bar{x}(1-\bar{x})}}\right), \hat{\theta}_{MLE} \exp\left( \frac{z_{\alpha/2}}{\sqrt{n \bar{x}(1-\bar{x})}}\right) \right]$。

這個區間是基於 $\ln \theta$ 的正態近似。

核心觀念

本題考查：

• 常態分配的線性組合；
• 獨立常態變數線性組合仍為常態分配；
• 條件分配的使用；
• 以條件分配確認無條件分配。

因為 $X,Y,Z$ 為獨立同分配的 $N(0,1)$，固定 $Z=z$ 後，分子可寫成 $X+zY$，這是兩個獨立常態變數的線性組合。

解題方法

固定 $Z=z$。由於 $X$ 與 $Y$ 獨立，且

$$X\sim N(0,1),\qquad zY\sim N(0,z^2),$$

因此

$$X+zY\mid Z=z\sim N(0,1+z^2).$$

所以經過標準化後，

$$W\mid Z=z = \frac{X+zY}{\sqrt{1+z^2}} \sim N(0,1).$$

關鍵在於此條件分配與 $z$ 無關。對任意 $w\in\mathbb{R}$，

$$P(W\le w\mid Z=z)=\Phi(w),$$

其中 $\Phi$ 為標準常態分配的累積分配函數。因此取無條件機率得

核心觀念

本題考查「平方損失下的最佳預測值」與「條件期望」：

若以均方誤差為預測誤差，給定資訊 $W$ 時，$Y$ 的最佳預測值為

$$\widehat{Y}(W)=E(Y\mid W).$$

線性模型為

$$Y=\alpha+\beta X+\varepsilon.$$

若要直接使用 $\alpha+\beta X$ 預測 $Y$，必須滿足

$$E(\varepsilon\mid X)=0.$$

而 $Cov(X,\varepsilon)\neq 0$ 表示誤差項與解釋變數存在相關，通常稱為內生性問題。

---

解題方法與推導

(a) $\alpha+\beta X$ 是否為給定 $X$ 下的最佳預測值？

給定 $X$ 時，$Y$ 的最佳預測值為條件期望：

$$E(Y\mid X) =E(\alpha+\beta X+\varepsilon\mid X).$$

由條件期望的線性性質，

$$E(Y\mid X) =\alpha+\beta X+E(\varepsilon\mid X).$$

因此，只有在

$$E(\varepsilon\mid X)=0$$

時，才有

$$E(Y\mid X)=\alpha+\beta X.$$

題目已知

$$Cov(X,\varepsilon)\neq 0.$$

若 $E(\varepsilon\mid X)=0$，則

$$Cov(X,\varepsilon) =E\left[X\varepsilon\right]-E(X)E(\varepsilon) =E\left[XE(\varepsilon\mid X)\right]-E(X)E(\varepsilon) =0,$$

與題設矛盾。因此 $E(\varepsilon\mid X)$ 不可能恒等於零。

所以真正的最佳預測值為

$$\boxed{E(Y\mid X)=\alpha+\beta X+E(\varepsilon\mid X)}$$

而不是單純的 $\alpha+\beta X$。

---

(b) 給定 $Z$ 時，$Y$ 的最佳預測值為何？

平方損失下，給定 $Z$ 時的最佳預測值必定是

$$E(Y\mid Z).$$

代入模型：

$$E(Y\mid Z) =E(\alpha+\beta X+\varepsilon\mid Z),$$

因此

$$\boxed{ E(Y\mid Z) =\alpha+\beta E(X\mid Z)+E(\varepsilon\mid Z) }$$

這就是給定 $Z$ 時的最佳預測值。

題目給的條件為

$$E(E(Z\mid X))=0.$$

由疊代期望法則，

$$E(E(Z\mid X))=E(Z),$$

所以該條件只代表

$$E(Z)=0.$$

它沒有表示 $E(\varepsilon\mid Z)=0$，也沒有表示 $Z$ 與 $\varepsilon$ 獨立。因此不能把最佳預測值簡化成

$$\alpha+\beta E(X\mid Z).$$

---

(c) $X$ 與 $Z$ 服從聯合常態分配

題設為

$$\begin{pmatrix}X\\Z\end{pmatrix} \sim N\left[ \begin{pmatrix}0\\0\end{pmatrix}, \begin{pmatrix}1&\rho\\\rho&1\end{pmatrix} \right].$$

由聯合常態分配的條件期望公式，

$$E(X\mid Z) =E(X)+\frac{Cov(X,Z)}{Var(Z)}[Z-E(Z)].$$

因為

$$E(X)=E(Z)=0,\qquad Cov(X,Z)=\rho,\qquad Var(Z)=1,$$

所以

$$\boxed{E(X\mid Z)=\rho Z}.$$

代入第 (b) 題的結果：

$$E(Y\mid Z) =\alpha+\beta\rho Z+E(\varepsilon\mid Z).$$