114 年 國立成功大學數據科學研究所《統計學（含迴歸分析）》

核心觀念

本題涵蓋三個重要觀念：

1. 機率獨立性：事件 $A$ 與事件 $B$ 獨立，須滿足
   $P(A\cap B)=P(A)P(B).$

2. 卡方獨立性／同質性檢定：檢驗不同醫療服務項目的滿意度是否相同。期望次數公式為
   $E_{ij}=\frac{(\text{第 }i\text{ 列合計})(\text{第 }j\text{ 欄合計})}{\text{總計}}.$

3. 貝氏定理：由已知「不滿意」反推其屬於住院服務的機率：
   $P(A\mid B)=\frac{P(B\mid A)P(A)}{P(B)}.$

---

(1) 醫療服務項目和滿意程度是否獨立？

解題方法

令：

• $A$：接受門診服務
• $B$：民眾感到滿意

全體人數為

$$800+200+600+200+600+100=2500.$$

因此：

$$P(A)=\frac{800+200}{2500}=\frac{1000}{2500}=0.4,$$ $$P(B)=\frac{800+600+600}{2500}=\frac{2000}{2500}=0.8,$$ $$P(A\cap B)=\frac{800}{2500}=0.32.$$

若醫療服務項目與滿意程度獨立，必須有

$$P(A\cap B)=P(A)P(B).$$

計算右側：

$$P(A)P(B)=0.4\times 0.8=0.32.$$

由於

$$P(A\cap B)=P(A)P(B)=0.32,$$

門診服務與滿意程度在此交集上符合獨立關係。為完整驗證，檢查住院服務與滿意程度：

令 $C$：接受住院服務，則

$$P(C)=\frac{800}{2500}=0.32,$$ $$P(C\cap B)=\frac{600}{2500}=0.24,$$

而

$$P(C)P(B)=0.32\times 0.8=0.256.$$

因為

$$P(C\cap B)=0.24\ne 0.256=P(C)P(B),$$

所以醫療服務項目與滿意程度並不獨立。

也可直接比較條件機率：

$$P(B\mid \text{門診})=\frac{800}{1000}=0.80,$$ $$P(B\mid \text{住院})=\frac{600}{800}=0.75,$$ $$P(B\mid \text{急診})=\frac{600}{700}\approx 0.857.$$

三者不相同，因此滿意程度會隨醫療服務項目而改變，兩者不獨立。

---

(2) 三個醫療服務項目的滿意度是否相同？

假設設定

令：

• $H_0$：門診、住院、急診三種服務的滿意度相同。
• $H_1$：三種服務的滿意度不完全相同。

採用卡方同質性檢定，顯著水準為

$$\alpha=0.05.$$

計算期望次數

觀察值如下：

滿意程度	門診	住院	急診	列合計
滿意	800	600	600	2000
不滿意	200	200	100	500
欄合計	1000	800	700	2500

例如，門診且滿意的期望次數為

$$E_{11}=\frac{2000\times1000}{2500}=800.$$

各格期望次數為：

核心觀念

本題主要考查三個觀念：

1. 二項分配：固定抽取 $n$ 支手機，每支手機是否有缺陷可視為成功／失敗，且缺陷率固定為 $p=0.01$。
2. 幾何分配：持續抽測直到第一次發現缺陷，所需抽測數量服從幾何分配。
3. 單一母體比例檢定：良率下降等價於缺陷率上升，因此需採用右尾檢定。

已知以往良率為 $0.99$，故缺陷率為

$$p=1-0.99=0.01.$$

由於整批有 $100,000$ 支手機，而抽樣數量僅為 $3$ 支，抽樣比例極小，可將各次抽樣視為近似獨立，採用二項分配模型。

---

(1) 恰有一支手機有缺陷的機率

令 $X$ 表示抽取三支手機中的缺陷手機數量，則

$$X\sim \operatorname{Binomial}(3,0.01).$$

二項分配的機率公式為

$$P(X=x)=\binom{n}{x}p^x(1-p)^{n-x}.$$

題目要求恰有一支缺陷手機，因此

$$P(X=1) =\binom{3}{1}(0.01)^1(0.99)^2.$$

計算得

$$P(X=1)=3(0.01)(0.9801)=0.029403.$$

因此，

$$\boxed{P(X=1)=0.029403}$$

約為 $2.9403\%$。

---

(2) 第三支手機才檢測到缺陷的機率

令 $Y$ 表示持續抽測直到第一次發現缺陷時所抽取的手機數量。

要使 $Y=3$，必須同時滿足：

• 第 1 支手機沒有缺陷；
• 第 2 支手機沒有缺陷；
• 第 3 支手機有缺陷。

因此

$$P(Y=3)=(0.99)(0.99)(0.01).$$

也可由幾何分配公式表示：

$$P(Y=y)=(1-p)^{y-1}p.$$

代入 $y=3$、$p=0.01$：

$$P(Y=3)=(0.99)^2(0.01)=0.009801.$$

所以

$$\boxed{P(Y=3)=0.009801}$$

約為 $0.9801\%$。

---

(3) 檢定良率是否低於 $0.99$

假設設定

以良率 $\theta$ 表示手機沒有缺陷的機率，則題目要求檢定：

$$H_0:\theta=0.99$$

對立假設為良率低於 $0.99$：

$$H_1:\theta<0.99.$$

本題主要考驗對中央極限定理的敘述、應用於假設檢定，以及對比例檢定的理解。

題號 3(1): 中央極限定理 (Central Limit Theorem, CLT)

核心觀念：中央極限定理是統計學中最重要且應用最廣泛的定理之一，它說明了當樣本數足夠大時，樣本平均數的抽樣分佈近似於常態分佈，而與母體分佈的形狀無關。

完整敘述：
假設 $X_1, X_2, \dots, X_n$ 是一組獨立且具相同分佈 (i.i.d.) 的隨機變數，其期望值為 $\mu$ 且變異數為 $\sigma^2$ (其中 $\sigma^2 > 0$)。
當樣本數 $n$ 足夠大時，樣本平均數 $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$ 的抽樣分佈近似於一個常態分佈，其平均值為 $\mu$，變異數為 $\frac{\sigma^2}{n}$。
即：
$\bar{X} \approx N\left(\mu, \frac{\sigma^2}{n}\right)$
更精確地說，標準化樣本平均數 $Z_n = \frac{\bar{X} - \mu}{\sigma/\sqrt{n}}$ 的分佈會趨近於標準常態分佈 $N(0, 1)$：
$Z_n = \frac{\sqrt{n}(\bar{X} - \mu)}{\sigma} \xrightarrow{d} N(0, 1) \quad \text{as } n \to \infty$
其中 $\xrightarrow{d}$ 表示依分佈收斂。

重點：

• 要求隨機變數是獨立同分佈 (i.i.d.)。
• 母體必須有有限的期望值 $\mu$ 和有限的非零變異數 $\sigma^2$。
• 樣本數 $n$ 必須足夠大 (一般認為 $n \ge 30$ 即可)。
• CLT 說明的是「樣本平均數」的抽樣分佈，而非個別隨機變數的。
• CLT 的強大之處在於，即使母體分佈不是常態的，只要樣本數夠大，樣本平均數的分佈就近似於常態。

題號 3(2): CLT 在檢定 $\mu=0$ 的應用

核心觀念：利用 CLT，當樣本數足夠大時，我們可以對母體平均數 $\mu$ 進行假設檢定。

假設檢定方法：
我們要檢定虛無假設 $H_0: \mu = 0$，對立假設 $H_1: \mu \neq 0$ (雙尾檢定)，且型 I 誤差為 $\alpha = 0.05$。

1. 收集樣本與計算樣本統計量：

   • 隨機抽取一個樣本，樣本數為 $n$ (需足夠大，例如 $n \ge 30$)。
   • 計算樣本平均數 $\bar{X}$。
   • 計算樣本標準差 $s$ (如果母體標準差 $\sigma$ 未知)。

2. 建立檢定統計量：
   根據 CLT，當 $n$ 足夠大時，標準化樣本平均數 $Z_n = \frac{\bar{X} - \mu}{\sigma/\sqrt{n}}$ 的分佈近似於標準常態分佈 $N(0, 1)$。
   在虛無假設 $H_0: \mu = 0$ 為真時，檢定統計量為：
   $Z = \frac{\bar{X} - 0}{\sigma/\sqrt{n}} = \frac{\sqrt{n}\bar{X}}{\sigma}$
   如果母體標準差 $\sigma$ 未知，我們通常使用樣本標準差 $s$ 來估計 $\sigma$，此時檢定統計量近似為：
   $Z \approx \frac{\sqrt{n}\bar{X}}{s}$
   (注意：當 $\sigma$ 未知且 $n$ 不夠大時，應使用 t-檢定，但 CLT 的應用通常假設 $n$ 夠大，使得 $s$ 可以良好地近似 $\sigma$。)

3. 決定拒絕域：
   對於雙尾檢定，在型 I 誤差 $\alpha = 0.05$ 下，我們需要找到標準常態分佈的臨界值 $z_{\alpha/2}$，使得 $P(|Z| > z_{\alpha/2}) = \alpha$。
   當 $\alpha = 0.05$，則 $\alpha/2 = 0.025$。
   查標準常態分佈表，與 $0.025$ 相對應的 $z$ 值約為 $1.96$。
   因此，拒絕域為 $|Z| > 1.96$，即 $Z > 1.96$ 或 $Z < -1.96$。

4. 做出決策：

   • 如果計算出的檢定統計量 $Z$ 的絕對值 $|Z| > 1.96$，則拒絕虛無假設 $H_0$。
   • 如果 $|Z| \le 1.96$，則不拒絕虛無假設 $H_0$。

計算公式表示的假設檢定做法：

• 檢定統計量：$Z = \frac{\bar{X}}{s/\sqrt{n}}$ (假設 $\sigma$ 未知)
• 顯著水準：$\alpha = 0.05$
• 拒絕域：$|Z| > z_{\alpha/2} = 1.96$
• 決策規則：

本題主要考驗對 Spearman 等級相關係數的計算與假設檢定。

題號 4(1): Spearman 等級相關係數計算

核心觀念：Spearman 等級相關係數 (Spearman's rank correlation coefficient, $\rho$) 用來衡量兩個變數等級之間的相關性。它計算的是排序後的數據的皮爾森相關係數。

計算步驟：

1. 確認數據：

   • $n = 10$ 個國家。
   • 2010 年排名 (視為 $X$)：$x_i = \{22, 2, 14, 17, 25, 28, 31, 33, 38, 45\}$
   • 2020 年排名 (視為 $Y$)：$y_i = \{18, 2, 7, 16, 27, 38, 29, 34, 32, 46\}$
   • 注意：排名數字越小表示競爭力越強。這裡的排名數據本身就是等級，無需再排序。

2. 計算等級差 $d_i = x_i - y_i$：

   • 台灣: $d_1 = 22 - 18 = 4$
   • 新加坡: $d_2 = 2 - 2 = 0$
   • 香港: $d_3 = 14 - 7 = 7$
   • 日本: $d_4 = 17 - 16 = 1$
   • 馬來西亞: $d_5 = 25 - 27 = -2$
   • 韓國: $d_6 = 28 - 38 = -10$
   • 大陸: $d_7 = 31 - 29 = 2$
   • 泰國: $d_8 = 33 - 34 = -1$
   • 菲律賓: $d_9 = 38 - 32 = 6$
   • 印尼: $d_{10} = 45 - 46 = -1$

3. 計算等級差的平方 $d_i^2$：

   • $d_1^2 = 4^2 = 16$
   • $d_2^2 = 0^2 = 0$
   • $d_3^2 = 7^2 = 49$
   • $d_4^2 = 1^2 = 1$
   • $d_5^2 = (-2)^2 = 4$
   • $d_6^2 = (-10)^2 = 100$
   • $d_7^2 = 2^2 = 4$
   • $d_8^2 = (-1)^2 = 1$
   • $d_9^2 = 6^2 = 36$
   • $d_{10}^2 = (-1)^2 = 1$

4. 計算 $\sum d_i^2$：
   $\sum d_i^2 = 16 + 0 + 49 + 1 + 4 + 100 + 4 + 1 + 36 + 1 = 212$

5. 計算 Spearman 等級相關係數 $\rho$：
   Spearman 等級相關係數的公式為：
   $\rho = 1 - \frac{6 \sum d_i^2}{n(n^2 - 1)}$
   代入數值：
   $\rho = 1 - \frac{6 \times 212}{10(10^2 - 1)}$
   $\rho = 1 - \frac{1272}{10(100 - 1)}$
   $\rho = 1 - \frac{1272}{10 \times 99}$
   $\rho = 1 - \frac{1272}{990}$
   $\rho = 1 - 1.2848...$
   $\rho \approx -0.2848$

   檢查計算：
   等級差平方和 $\sum d_i^2 = 16+0+49+1+4+100+4+1+36+1 = 212$。
   $n(n^2-1) = 10(100-1) = 10 \times 99 = 990$。
   $6 \sum d_i^2 = 6 \times 212 = 1272$。
   $\rho = 1 - \frac{1272}{990} = 1 - 1.284848... \approx -0.2848$。

   注意：由於排名數字越小代表競爭力越強，所以 2010 年排名和 2020 年排名的「大小」是反向的。例如，排名 2 顯然比排名 22 更好。
   如果我們要衡量「競爭力」的相關性，那麼我們應該將排名轉換成「競爭力分數」（例如，排名越小分數越高）。
   但題目問的是「國家競爭力排名」的相關性，所以我們直接計算兩組排名的相關性。
   如果排名越小代表越強，那麼 $X$ 和 $Y$ 的值是「名次」。

核心觀念

本題涵蓋簡單線性迴歸（Simple Linear Regression, SLR）的五大經典核心觀念：

1. 最小平方法（Ordinary Least Squares, OLS）估計量之推導：對殘差平方和求偏微分求極值。
2. 均方誤差（MSE）的期望值與卡方分佈之關聯：利用卡方隨機變數的期望值性質，推導無偏估計量 $E(\text{MSE}) = \sigma^2$。
3. 配適值 $\hat{y}_i$ 與殘差 $e_i$ 的共變異數（Covariance）性質：利用帽子矩陣（Hat Matrix）的對稱性與冪等性（Idempotency），證明 $\text{cov}(\hat{\mathbf{y}}, \mathbf{e}) = \mathbf{0}$。
4. 變異數分析表（ANOVA Table）與整體模式顯著性檢定：將總變異（SST）拆解為迴歸變異（SSR）與誤差變異（SSE），並建構 $F$ 檢定統計量。
5. 常態性假設檢驗（Normality Diagnostic Methods）：檢定母體或隨機誤差常態性的方法（圖形法如常態機率圖 Q-Q Plot、數值檢定法如 Shapiro-Wilk 檢定或 Jarque-Bera 檢定）。

---

解題方法與詳細推導

第 (1) 小題：以最小平方法求 $\beta_0, \beta_1$ 的估計量

在簡單線性迴歸模型中，誤差平方和（Residual Sum of Squares, $Q$）定義為：

$$Q(\beta_0, \beta_1) = \sum_{i=1}^n \epsilon_i^2 = \sum_{i=1}^n (y_i - \beta_0 - \beta_1 x_i)^2$$

為了求使 $Q$ 達到極小化的估計量，對 $\beta_0$ 與 $\beta_1$ 分別求一階偏導函數，並令其等於 0（正規方程式，Normal Equations）：

1. 對 $\beta_0$ 求偏導：

$$\frac{\partial Q}{\partial \beta_0} = -2 \sum_{i=1}^n (y_i - \beta_0 - \beta_1 x_i) = 0$$

整理得：

$$\sum_{i=1}^n y_i - n\beta_0 - \beta_1 \sum_{i=1}^n x_i = 0 \implies \bar{y} - \beta_0 - \beta_1 \bar{x} = 0$$

因此得 $\hat{\beta}_0$ 的關係式：

$$\hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x}$$

2. 對 $\beta_1$ 求偏導：

$$\frac{\partial Q}{\partial \beta_1} = -2 \sum_{i=1}^n x_i (y_i - \beta_0 - \beta_1 x_i) = 0$$

將 $\hat{\beta}_0 = \bar{y} - \hat{\beta}_1 \bar{x}$ 代入上式：

$$\sum_{i=1}^n x_i \left[ (y_i - \bar{y}) - \hat{\beta}_1 (x_i - \bar{x}) \right] = 0$$ $$\sum_{i=1}^n x_i (y_i - \bar{y}) = \hat{\beta}_1 \sum_{i=1}^n x_i (x_i - \bar{x})$$

利用統計恆等式 $\sum (x_i - \bar{x})(y_i - \bar{y}) = \sum x_i(y_i - \bar{y})$ 與 $\sum (x_i - \bar{x})^2 = \sum x_i(x_i - \bar{x})$，可解得：

$$\hat{\beta}_1 = \frac{\sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^n (x_i - \bar{x})^2} = \frac{S_{xy}}{S_{xx}}$$

將求得之 $\hat{\beta}_1$ 帶回截距項關係式，即得：

$$\hat{\beta}_0 = \bar{y} - \frac{S_{xy}}{S_{xx}} \bar{x}$$

---

第 (2) 小題：求算 $E(\text{MSE})$

題目已知在 $\epsilon_i \sim \text{iid } N(0, \sigma^2)$ 假設下：

$$W = \frac{(n-2)\text{MSE}}{\sigma^2} \sim \chi^2(n-2)$$

由卡方分佈的期望值性質可知：若隨機變數 $W \sim \chi^2(k)$，則其數學期望值為自由度，即 $E(W) = k$。
此處自由度 $k = n-2$，故：

$$E\left( \frac{(n-2)\text{MSE}}{\sigma^2} \right) = n - 2$$

利用期望值的線性性質，常數可提出：

$$\frac{n-2}{\sigma^2} E(\text{MSE}) = n - 2$$

等號兩邊同乘以 $\frac{\sigma^2}{n-2}$（由於 $n > 2$），得：

$$E(\text{MSE}) = \sigma^2$$

此結果顯示 $\text{MSE} = \frac{\text{SSE}}{n-2}$ 為誤差變異數 $\sigma^2$ 的不偏估計量（Unbiased Estimator）。

---

第 (3) 小題：計算 $\text{cov}(\hat{y}_i, e_i)$

可使用向量矩陣形式（或純純量形式）推導。以下採用最具一般性且嚴謹的矩陣投影性質證明：

模型以矩陣表示為 $\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\epsilon}$，其中 $\text{Var}(\mathbf{y}) = \sigma^2 \mathbf{I}$。

• 配適值向量：$\hat{\mathbf{y}} = \mathbf{X}\hat{\boldsymbol{\beta}} = \mathbf{H}\mathbf{y}$，其中 $\mathbf{H} = \mathbf{X}(\mathbf{X}^T\mathbf{X})^{-1}\mathbf{X}^T$ 為帽子矩陣。
• 殘差向量：$\mathbf{e} = \mathbf{y} - \hat{\mathbf{y}} = (\mathbf{I} - \mathbf{H})\mathbf{y}$。

兩向量的共變異數矩陣為：

$$\text{Cov}(\hat{\mathbf{y}}, \mathbf{e}) = \text{Cov}\left( \mathbf{H}\mathbf{y}, (\mathbf{I} - \mathbf{H})\mathbf{y} \right)$$

利用雙線性性質 $\text{Cov}(\mathbf{A}\mathbf{y}, \mathbf{B}\mathbf{y}) = \mathbf{A} \text{Var}(\mathbf{y}) \mathbf{B}^T$：

$$\text{Cov}(\hat{\mathbf{y}}, \mathbf{e}) = \mathbf{H} (\sigma^2 \mathbf{I}) (\mathbf{I} - \mathbf{H})^T = \sigma^2 \mathbf{H} (\mathbf{I} - \mathbf{H})$$

由於帽子矩陣 $\mathbf{H}$ 為對稱（$\mathbf{H}^T = \mathbf{H}$）且具冪等性（$\mathbf{H}^2 = \mathbf{H}$），因此：

$$\mathbf{H}(\mathbf{I} - \mathbf{H}) = \mathbf{H} - \mathbf{H}^2 = \mathbf{H} - \mathbf{H} = \mathbf{0}$$

故：

本題主要考驗對多元線性迴歸模型的矩陣估計、期望值計算，以及處理多重共線性問題。

題號 6(1): 最小平方法估計 $\boldsymbol{\beta}$ (矩陣形式)

核心觀念：多元線性迴歸模型的參數 $\boldsymbol{\beta}$ 可以通過最小化殘差平方和 (SSE) 的矩陣形式來求解。

SSE 的矩陣形式為：$SSE = \boldsymbol{\epsilon}^T \boldsymbol{\epsilon} = (\mathbf{y} - \mathbf{X}\boldsymbol{\beta})^T (\mathbf{y} - \mathbf{X}\boldsymbol{\beta})$。
為了最小化 SSE，我們對 $\boldsymbol{\beta}$ 取梯度並令其為零向量。

計算過程：

1. 展開 SSE：
   $SSE = (\mathbf{y}^T - (\mathbf{X}\boldsymbol{\beta})^T)(\mathbf{y} - \mathbf{X}\boldsymbol{\beta})$
   $SSE = (\mathbf{y}^T - \boldsymbol{\beta}^T\mathbf{X}^T)(\mathbf{y} - \mathbf{X}\boldsymbol{\beta})$
   $SSE = \mathbf{y}^T\mathbf{y} - \mathbf{y}^T\mathbf{X}\boldsymbol{\beta} - \boldsymbol{\beta}^T\mathbf{X}^T\mathbf{y} + \boldsymbol{\beta}^T\mathbf{X}^T\mathbf{X}\boldsymbol{\beta}$
   由於 $\mathbf{y}^T\mathbf{X}\boldsymbol{\beta}$ 是純量，其轉置等於本身，即 $\mathbf{y}^T\mathbf{X}\boldsymbol{\beta} = (\mathbf{y}^T\mathbf{X}\boldsymbol{\beta})^T = \boldsymbol{\beta}^T\mathbf{X}^T\mathbf{y}$。
   所以，$SSE = \mathbf{y}^T\mathbf{y} - 2\boldsymbol{\beta}^T\mathbf{X}^T\mathbf{y} + \boldsymbol{\beta}^T\mathbf{X}^T\mathbf{X}\boldsymbol{\beta}$。

2. 對 $\boldsymbol{\beta}$ 取梯度 (對向量求微分)：
   $\nabla_{\boldsymbol{\beta}} SSE = -2\mathbf{X}^T\mathbf{y} + 2\mathbf{X}^T\mathbf{X}\boldsymbol{\beta}$。
   (使用矩陣微分規則：$\frac{\partial (\mathbf{a}^T\mathbf{x})}{\partial \mathbf{x}} = \mathbf{a}$， $\frac{\partial (\mathbf{x}^T\mathbf{A}\mathbf{x})}{\partial \mathbf{x}} = 2\mathbf{A}\mathbf{x}$ (若 A 對稱))。

3. 令梯度等於零向量：
   $-2\mathbf{X}^T\mathbf{y} + 2\mathbf{X}^T\mathbf{X}\boldsymbol{\beta} = \mathbf{0}$
   $\mathbf{X}^T\mathbf{X}\boldsymbol{\beta} = \mathbf{X}^T\mathbf{y}$

4. 求解 $\boldsymbol{\beta}$ (假設 $\mathbf{X}^T\mathbf{X}$ 可逆)：
   $\hat{\boldsymbol{\beta}} = (\mathbf{X}^T\mathbf{X})^{-1} \mathbf{X}^T\mathbf{y}$
   這個公式稱為正規方程 (Normal Equations) 的解。

結論：
$\hat{\boldsymbol{\beta}} = (\mathbf{X}^T\mathbf{X})^{-1} \mathbf{X}^T\mathbf{y}$

題號 6(2): 求 $\hat{\boldsymbol{\beta}}$ 的期望值

核心觀念：利用 OLS 估計量的矩陣形式，計算其期望值。

已知：

• $\hat{\boldsymbol{\beta}} = (\mathbf{X}^T\mathbf{X})^{-1} \mathbf{X}^T\mathbf{y}$
• $\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\epsilon}$
• $\boldsymbol{\epsilon} \sim N(\mathbf{0}, \sigma^2 \mathbf{I})$，所以 $E(\boldsymbol{\epsilon}) = \mathbf{0}$。

計算過程：
將 $\mathbf{y}$ 的表達式代入 $\hat{\boldsymbol{\beta}}$：
$\hat{\boldsymbol{\beta}} = (\mathbf{X}^T\mathbf{X})^{-1} \mathbf{X}^T (\mathbf{X}\boldsymbol{\beta} + \boldsymbol{\epsilon})$
$\hat{\boldsymbol{\beta}} = (\mathbf{X}^T\mathbf{X})^{-1} \mathbf{X}^T \mathbf{X}\boldsymbol{\beta} + (\mathbf{X}^T\mathbf{X})^{-1} \mathbf{X}^T \boldsymbol{\epsilon}$
$\hat{\boldsymbol{\beta}} = \mathbf{I} \boldsymbol{\beta} + (\mathbf{X}^T\mathbf{X})^{-1} \mathbf{X}^T \boldsymbol{\epsilon}$
$\hat{\boldsymbol{\beta}} = \boldsymbol{\beta} + (\mathbf{X}^T\mathbf{X})^{-1} \mathbf{X}^T \boldsymbol{\epsilon}$

現在計算期望值：
$E(\hat{\boldsymbol{\beta}}) = E(\boldsymbol{\beta} + (\mathbf{X}^T\mathbf{X})^{-1} \mathbf{X}^T \boldsymbol{\epsilon})$
由於 $\boldsymbol{\beta}$ 是常數向量，且 $\mathbf{X}$ 通常被視為固定（非隨機）的，我們有：