113 年 國立政治大學經濟學系碩士班《統計學》

此題考驗對簡單線性迴歸模型中預測（預測值與信賴區間）的理解，以及對殘差（誤差項）的假設檢定。

首先，我們需要從樣本矩計算出迴歸模型的參數估計值。
樣本數 $n=10$。
樣本均值：
$\bar{y} = \frac{1}{10} \sum_{t=1}^{10} y_t = \frac{16}{10} = 1.6$
$\bar{x} = \frac{1}{10} \sum_{t=1}^{10} x_t = \frac{40}{10} = 4$

樣本變異數與共變異數：
$S_{xx} = \sum_{t=1}^{10} (x_t - \bar{x})^2 = \sum x_t^2 - n\bar{x}^2 = 200 - 10(4^2) = 200 - 160 = 40$
$S_{yy} = \sum_{t=1}^{10} (y_t - \bar{y})^2 = \sum y_t^2 - n\bar{y}^2 = 56 - 10(1.6^2) = 56 - 10(2.56) = 56 - 25.6 = 30.4$
$S_{xy} = \sum_{t=1}^{10} (x_t - \bar{x})(y_t - \bar{y}) = \sum x_t y_t - n\bar{x}\bar{y} = 40 - 10(4)(1.6) = 40 - 64 = -24$

迴歸係數估計值：
$\hat{\beta} = \frac{S_{xy}}{S_{xx}} = \frac{-24}{40} = -0.6$
$\hat{\alpha} = \bar{y} - \hat{\beta}\bar{x} = 1.6 - (-0.6)(4) = 1.6 + 2.4 = 4$

迴歸模型估計式為：$\hat{y}_t = 4 - 0.6x_t$

接著，我們需要估計誤差項的變異數 $\sigma_e^2$。
殘差平方和 $SSE = S_{yy} - \hat{\beta}S_{xy} = 30.4 - (-0.6)(-24) = 30.4 - 14.4 = 16$
另外，也可以計算 $SSE = \sum e_t^2 = \sum (y_t - \hat{y}_t)^2 = \sum y_t^2 - \hat{\alpha}\sum y_t - \hat{\beta}\sum x_t y_t = 56 - 4(16) - (-0.6)(40) = 56 - 64 + 24 = 16$
誤差項變異數的無偏估計量：
$\hat{\sigma}_e^2 = \frac{SSE}{n-2} = \frac{16}{10-2} = \frac{16}{8} = 2$

核心觀念：

• BLUP (Best Linear Unbiased Predictor): 對於未來未知的觀測值 $y_{t^*}$，其預測值 $\hat{y}_{t^*}$ 應為基於現有樣本資訊的線性組合，且期望值等於真實值，同時具有最小的預測誤差變異數。
• 預測標準誤: 衡量預測值 $\hat{y}_{t^*}$ 相對於真實值 $y_{t^*}$ 的不確定性。
• 信賴區間: 提供一個範圍，以一定信賴水準涵蓋真實值 $y_{t^*}$。
• 假設檢定: 檢驗模型的基本假設，在此題中是關於誤差項期望值。

(a) Calculate the best linear unbiased predictor of $y_{11}$ and $y_{12}$.

BLUP 的形式為 $\hat{y}_{t^*} = \hat{\alpha} + \hat{\beta}x_{t^*}$。
對於 $t^*=11$，已知 $x_{11} = -2$。
預測值 $\hat{y}_{11} = \hat{\alpha} + \hat{\beta}x_{11} = 4 + (-0.6)(-2) = 4 + 1.2 = 5.2$。

對於 $t^*=12$，已知 $x_{12} = 10$。
預測值 $\hat{y}_{12} = \hat{\alpha} + \hat{\beta}x_{12} = 4 + (-0.6)(10) = 4 - 6 = -2$。

【答案】
$y_{11}$ 的最佳線性不偏預測值為 5.2。
$y_{12}$ 的最佳線性不偏預測值為 -2。

(b) Estimate the standard error of your forecast in (a).

預測值 $y_{t^*}$ 的預測誤差為 $y_{t^*} - \hat{y}_{t^*} = (\alpha + \beta x_{t^*} + e_{t^*}) - (\hat{\alpha} + \hat{\beta}x_{t^*})$。
由於 $\alpha$ 和 $\beta$ 的估計值是基於樣本的，預測誤差的變異數不僅包含 $e_{t^*}$ 的變異數 $\sigma_e^2$，還包含參數估計誤差的影響。
預測誤差的變異數為 $Var(y_{t^*} - \hat{y}_{t^*}) = \sigma_e^2 + Var(\hat{y}_{t^*} - E(\hat{y}_{t^*})) = \sigma_e^2 + Var((\hat{\alpha} - \alpha) + (\hat{\beta} - \beta)x_{t^*})$.
在簡單線性迴歸中，預測值 $\hat{y}_{t^*}$ 的預測誤差變異數為：
$Var(y_{t^*} - \hat{y}_{t^*}) = \sigma_e^2 \left( 1 + \frac{1}{n} + \frac{(x_{t^*} - \bar{x})^2}{S_{xx}} \right)$

我們使用 $\hat{\sigma}_e^2 = 2$ 作為 $\sigma_e^2$ 的估計。
$n=10$, $\bar{x}=4$, $S_{xx}=40$.

對於 $y_{11}$ ($x_{11}=-2$)：
$Var(y_{11} - \hat{y}_{11}) = \hat{\sigma}_e^2 \left( 1 + \frac{1}{10} + \frac{(-2 - 4)^2}{40} \right) = 2 \left( 1 + 0.1 + \frac{(-6)^2}{40} \right)$
$= 2 \left( 1.1 + \frac{36}{40} \right) = 2 \left( 1.1 + 0.9 \right) = 2 (2.0) = 4$
預測標準誤 $SE(\hat{y}_{11}) = \sqrt{4} = 2$。

對於 $y_{12}$ ($x_{12}=10$)：
$Var(y_{12} - \hat{y}_{12}) = \hat{\sigma}_e^2 \left( 1 + \frac{1}{10} + \frac{(10 - 4)^2}{40} \right) = 2 \left( 1 + 0.1 + \frac{(6)^2}{40} \right)$
$= 2 \left( 1.1 + \frac{36}{40} \right) = 2 \left( 1.1 + 0.9 \right) = 2 (2.0) = 4$
預測標準誤 $SE(\hat{y}_{12}) = \sqrt{4} = 2$。

【答案】
$y_{11}$ 的預測標準誤為 2。
$y_{12}$ 的預測標準誤為 2。

此題考驗對最大概似估計法 (Maximum Likelihood Estimation, MLE) 的掌握，包括如何建構概似函數、求導求解以及實際計算。

核心觀念：

• 概似函數 (Likelihood Function): 描述在給定參數值下，觀察到樣本數據的機率（或機率密度）。
• 對數概似函數 (Log-Likelihood Function): 概似函數的自然對數，通常更容易進行微分和最佳化。
• 一階條件 (First Order Conditions, FOCs): 對數概似函數對參數微分後等於零的條件，這些條件的解是可能的極值點（通常是最大值點）。
• 最大概似估計量 (Maximum Likelihood Estimator, MLE): 使得概似函數（或對數概似函數）最大的參數值。

(a) Write down the likelihood function.

給定一個隨機樣本 $y_1, \ldots, y_n$，其機率密度函數為 $f(y_i | \lambda) = \frac{1}{\lambda} e^{-y_i/\lambda}$，其中 $\lambda > 0$。
由於樣本是隨機且獨立的，聯合機率密度函數（即概似函數）是各個機率密度的乘積：
$L(\lambda | y_1, \ldots, y_n) = \prod_{i=1}^{n} f(y_i | \lambda)$
$L(\lambda) = \prod_{i=1}^{n} \left( \frac{1}{\lambda} e^{-y_i/\lambda} \right)$
$L(\lambda) = \left( \frac{1}{\lambda} \right)^n \prod_{i=1}^{n} e^{-y_i/\lambda}$
$L(\lambda) = \frac{1}{\lambda^n} e^{-\sum_{i=1}^{n} y_i / \lambda}$

【答案】
概似函數為 $L(\lambda) = \frac{1}{\lambda^n} e^{-\sum_{i=1}^{n} y_i / \lambda}$。

(b) Derive the first order conditions and the maximum likelihood estimator for $\lambda$.

為了便於微分，我們通常對概似函數取自然對數，得到對數概似函數：
$l(\lambda) = \ln L(\lambda) = \ln \left( \frac{1}{\lambda^n} e^{-\sum y_i / \lambda} \right)$
$l(\lambda) = \ln(\lambda^{-n}) + \ln(e^{-\sum y_i / \lambda})$
$l(\lambda) = -n \ln(\lambda) - \frac{1}{\lambda} \sum_{i=1}^{n} y_i$

接下來，我們對 $l(\lambda)$ 對 $\lambda$ 微分，並令其等於零，以找到極值點：
$\frac{\partial l(\lambda)}{\partial \lambda} = \frac{\partial}{\partial \lambda} \left( -n \ln(\lambda) - \frac{1}{\lambda} \sum y_i \right)$

此題考驗對累積分布函數 (Cumulative Distribution Function, CDF) 的理解，以及如何從 CDF 推導機率密度函數 (Probability Density Function, PDF)，並計算期望值和變異數。

核心觀念：

• 累積分布函數 (CDF): $F_X(a) = P(X \le a)$，描述隨機變數 $X$ 的值小於或等於 $a$ 的機率。
• 機率密度函數 (PDF): $f_X(a) = \frac{d}{da} F_X(a)$，描述隨機變數在某一點的機率密度。
• 期望值 (Mean): $E(X) = \int_{-\infty}^{\infty} x f_X(x) dx$。
• 變異數 (Variance): $Var(X) = E(X^2) - [E(X)]^2$。

首先，我們需要確定隨機變數的定義域。題目給定 $F_X(a) = \frac{a^2}{36}$ 適用於 $0 \le a \le 6$。
因此，隨機變數 $X$ 的定義域是 $[0, 6]$。
對於 $a < 0$, $F_X(a) = 0$。
對於 $a > 6$, $F_X(a) = 1$。

1. Find the density function.

機率密度函數 (PDF) 是累積分布函數 (CDF) 對其變數的微分：
$f_X(a) = \frac{d}{da} F_X(a)$

對於 $0 < a < 6$:
$f_X(a) = \frac{d}{da} \left( \frac{a^2}{36} \right) = \frac{2a}{36} = \frac{a}{18}$

對於 $a < 0$ 或 $a > 6$, $f_X(a) = 0$。
在 $a=0$ 和 $a=6$ 處，PDF 的值不影響積分，通常定義為 0 或由上下文決定。

因此，機率密度函數為：
$f_X(a) = \begin{cases} \frac{a}{18} & \text{for } 0 < a < 6 \\ 0 & \text{otherwise} \end{cases}$

我們也需要驗證 PDF 的積分是否為 1：

核心觀念

本題是帶有漂移項的單根模型（random walk with drift）：

$$y_t=c_0+y_{t-1}+e_t,$$

其中 $c_0=1$、$y_0=0$，且 $e_t$ 獨立同分配於 $N(0,1)$。

解題關鍵有三：

1. 將遞迴式逐期展開。
2. 利用獨立常態變數和仍為常態分配。
3. 利用獨立誤差項的共變異數為零，計算不同時點的共變異數。

由於模型含有單根 $1$，$y_t$ 並非弱平穩序列，因此其自共變異數會依賴時間 $t$，不能只寫成單純的 lag 函數 $\gamma_k$。

解題方法：先將模型展開

代入 $c_0=1$：

$$y_t=1+y_{t-1}+e_t.$$

逐期展開：

$$\begin{aligned} y_t &=1+(1+y_{t-2}+e_{t-1})+e_t\\ &=2+y_{t-2}+e_{t-1}+e_t\\ &=\cdots\\ &=t+y_0+\sum_{i=1}^{t}e_i. \end{aligned}$$

因為 $y_0=0$，所以

$$y_t=t+\sum_{i=1}^{t}e_i.$$

令

$$S_t=\sum_{i=1}^{t}e_i,$$

則

$$y_t=t+S_t.$$

(a) $y_t$ 的分配

每一個 $e_i\sim N(0,1)$，且彼此獨立，因此

$$S_t=\sum_{i=1}^{t}e_i \sim N\left(\sum_{i=1}^{t}0,\sum_{i=1}^{t}1\right) =N(0,t).$$

加上常數 $t$ 只會改變平均數，不會改變變異數，因此

$$\boxed{y_t\sim N(t,t)}.$$

亦即：

$$E(y_t)=t,$$ $$\operatorname{Var}(y_t)=t.$$

例如：

• $y_1=1+e_1\sim N(1,1)$；
• $y_2=2+e_1+e_2\sim N(2,2)$。

(b) 自共變異數

一般形式：$\operatorname{Cov}(y_t,y_s)$

由

$$y_t=t+\sum_{i=1}^{t}e_i, \qquad y_s=s+\sum_{j=1}^{s}e_j,$$

常數不影響共變異數，因此

$$\operatorname{Cov}(y_t,y_s) = \operatorname{Cov} \left( \sum_{i=1}^{t}e_i, \sum_{j=1}^{s}e_j \right).$$

兩個總和中共同出現的誤差項為

$$e_1,e_2,\ldots,e_{\min(t,s)}.$$

由於各誤差項相互獨立，且每一項變異數為 $1$，得到

$$\boxed{\operatorname{Cov}(y_t,y_s)=\min(t,s)}.$$

以 lag $k$ 表示

若 $s=t-k$，其中 $0\leq k<t$，則

$$\operatorname{Cov}(y_t,y_{t-k}) = \min(t,t-k) = t-k.$$

因此 lag $k$ 的自共變異數為

$$\boxed{\gamma_{t,k} = \operatorname{Cov}(y_t,y_{t-k}) = t-k}.$$

特別地，當 $k=0$ 時：