112 年 國立臺灣大學統計與數據科學碩士班《數理統計》

本題主要在考驗對於標準常態分佈及其相關分佈（卡方、t、F 分佈）的建構與理解。假設 $X_1, \ldots, X_5$ 為獨立且同分佈的常態隨機變數，則它們的線性組合或標準化後，可以建構出指定的分佈。然而，題目中給定的條件是 $X_i$ 之間僅「不相關」(uncorrelated)，且其期望值 $\mu_i$ 和變異數 $\sigma_i^2$ 可能不同。這暗示我們需要利用標準常態分佈的性質來建構。

核心概念：

1. 若 $Z_1, \ldots, Z_k$ 為獨立標準常態隨機變數 ($Z_i \sim N(0, 1)$)，則 $\sum_{i=1}^k Z_i^2 \sim \chi^2(k)$。
2. 若 $Z \sim N(0, 1)$ 且 $V \sim \chi^2(k)$ 且 $Z, V$ 獨立，則 $\frac{Z}{\sqrt{V/k}} \sim t(k)$。
3. 若 $V_1 \sim \chi^2(k_1)$ 且 $V_2 \sim \chi^2(k_2)$ 且 $V_1, V_2$ 獨立，則 $\frac{V_1/k_1}{V_2/k_2} \sim F(k_1, k_2)$。

題目要求使用 $X_i$ 來建構統計量，但並未明確給出 $X_i$ 的期望值和變異數的關係，也未指明它們是同分佈的。然而，若要建構出指定分佈（特別是卡方、t、F 分佈，這些分佈的定義都基於標準常態分佈），我們通常需要先將 $X_i$ 標準化。最直接的方式是假設 $X_i$ 來自某種常態分佈，然後透過適當的轉換。

由於題目給的 $X_i$ 的期望值和變異數可能不同，且僅是不相關，我們需要仔細思考如何建構。但如果題目是想考基礎概念，通常會隱含一些簡化條件，例如 $X_i$ 都來自 $N(0,1)$，或是可以透過標準化轉換成 $N(0,1)$。

假設題目意圖是讓 $X_i$ 可以被轉換成標準常態變數。
若 $X_i \sim N(\mu_i, \sigma_i^2)$，則 $Z_i = \frac{X_i - \mu_i}{\sigma_i} \sim N(0, 1)$。

解題步驟：

(i) 建構 $\chi^2$ 分佈統計量
要建構 $\chi^2(k)$ 分佈，我們需要 $k$ 個獨立標準常態隨機變數的平方和。
若題目允許我們自由選擇 $\mu_i, \sigma_i^2$ 或假設 $X_i$ 本身就是標準常態變數，則最簡單的情況是：
假設 $X_1, X_2, X_3$ 是獨立的標準常態隨機變數，即 $X_i \sim N(0, 1)$ for $i=1, 2, 3$。
那麼，統計量 $Y = X_1^2 + X_2^2 + X_3^2$ 就服從自由度為 3 的卡方分佈，即 $Y \sim \chi^2(3)$。
如果 $X_i$ 的 $\mu_i, \sigma_i^2$ 是任意的，我們需要 $X_i$ 之間是獨立的，並且能夠透過適當的線性組合或伸縮，使其成為標準常態變數。
例如，如果 $X_1 \sim N(0,1), X_2 \sim N(0,1), X_3 \sim N(0,1)$，則 $X_1^2+X_2^2+X_3^2 \sim \chi^2(3)$。
如果題目是指 $X_i$ 已經是 $N(\mu_i, \sigma_i^2)$，且要建構出 $\chi^2$ 分佈，那表示我們需要將 $X_i$ 轉換成標準常態 $Z_i = (X_i-\mu_i)/\sigma_i \sim N(0,1)$，然後取平方和。
例如，若我們取 $X_1, X_2, X_3$ 使得它們是獨立的標準常態變數，則 $X_1^2+X_2^2+X_3^2 \sim \chi^2(3)$。
如果 $X_i$ 的 $\mu_i, \sigma_i^2$ 均為已知且相等，例如 $X_i \sim N(0,1)$ for $i=1,2,3$ 且獨立，則 $X_1^2+X_2^2+X_3^2 \sim \chi^2(3)$。
更一般地，若 $Z_1, Z_2, Z_3$ 是獨立標準常態變數，則 $Z_1^2+Z_2^2+Z_3^2 \sim \chi^2(3)$。
由於題目僅給 $X_i \sim N(\mu_i, \sigma_i^2)$ 且不相關，若要建構 $\chi^2$ 分佈，最直接的理解是：我們需要找到 $k$ 個獨立的標準常態隨機變數。
假設我們從 $X_1, X_2, X_3$ 中，選取或構造出三個獨立的標準常態變數 $Z_1, Z_2, Z_3$。
則 $Z_1^2 + Z_2^2 + Z_3^2 \sim \chi^2(3)$。
一個可能的建構方式是，假設 $X_1, X_2, X_3$ 恰好是獨立的標準常態變數 $N(0,1)$。
那麼，統計量 $X_1^2 + X_2^2 + X_3^2$ 就服從 $\chi^2(3)$ 分佈。
如果 $X_i$ 不是標準常態，而是 $X_i \sim N(\mu_i, \sigma_i^2)$，則 $Z_i = (X_i - \mu_i)/\sigma_i \sim N(0,1)$。
若我們能選取 $X_1, X_2, X_3$ 使得它們獨立，則 $Z_1^2+Z_2^2+Z_3^2 = \sum_{i=1}^3 \left(\frac{X_i - \mu_i}{\sigma_i}\right)^2 \sim \chi^2(3)$。
題目要求「Use $X_i$ to construct a statistic」，這表示統計量應以 $X_i$ 表示。
若假設 $X_1, X_2, X_3$ 是獨立的標準常態隨機變數 ($N(0,1)$)，則 $X_1^2+X_2^2+X_3^2$ 就是一個 $\chi^2(3)$ 的統計量。
若 $X_i \sim N(\mu_i, \sigma_i^2)$，則 $Z_i = (X_i-\mu_i)/\sigma_i \sim N(0,1)$。
若我們取 $X_1, X_2, X_3$ 使得它們獨立，則 $\sum_{i=1}^3 Z_i^2 = \sum_{i=1}^3 \left(\frac{X_i-\mu_i}{\sigma_i}\right)^2 \sim \chi^2(3)$。
但這需要知道 $\mu_i, \sigma_i$。
最簡單的理解是，題目允許我們選擇 $X_i$ 的分佈形式，只要滿足 $N(\mu_i, \sigma_i^2)$ 且不相關。

核心觀念

本題考查 Beta 分配的動差，以及 Gamma 函數與 Beta 函數的關係。

需要使用：

1. $n$ 階原點動差定義
   $E[X^n]=\int_0^1 x^n f(x)\,dx$

2. Gamma 函數遞迴公式
   $\Gamma(t+1)=t\Gamma(t)$

3. Beta 函數公式

$$B(p,q)=\int_0^1 x^{p-1}(1-x)^{q-1}\,dx =\frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)}$$

4. 變異數公式
   $\operatorname{Var}(X)=E[X^2]-\{E[X]\}^2$

---

解題方法

將 $E[X^n]$ 的積分代入 Beta 分配的機率密度函數，會直接形成 Beta 函數。先求出一般的 $n$ 階動差，再令 $n=1,2$ 求得期望值與二階動差，最後利用變異數公式。

---

(i) 求 $E[X^n]$ 與 $\operatorname{var}(X)$

1. 求 $n$ 階原點動差

由定義，

$$E[X^n]=\int_0^1 x^n f(x)\,dx$$

代入題目給定的密度函數：

$$E[X^n] = \int_0^1 x^n \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} x^{\alpha-1}(1-x)^{\beta-1}\,dx$$

整理 $x$ 的次方：

$$E[X^n] = \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} \int_0^1 x^{\alpha+n-1}(1-x)^{\beta-1}\,dx$$

積分部分為 Beta 函數：

$$\int_0^1 x^{\alpha+n-1}(1-x)^{\beta-1}\,dx = B(\alpha+n,\beta)$$

因此，

$$E[X^n] = \frac{\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\beta)} B(\alpha+n,\beta)$$

再利用 Beta 函數與 Gamma 函數的關係：

$$B(\alpha+n,\beta) = \frac{\Gamma(\alpha+n)\Gamma(\beta)} {\Gamma(\alpha+\beta+n)}$$

得到

$$E[X^n] = \frac{\Gamma(\alpha+\beta)\Gamma(\alpha+n)} {\Gamma(\alpha)\Gamma(\alpha+\beta+n)}$$

所以，$n$ 階原點動差為

$$\boxed{ E[X^n] = \frac{\Gamma(\alpha+n)\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\alpha+\beta+n)} }$$

當 $n$ 為非負整數時，利用 Gamma 函數遞迴公式，也可寫成

$$\boxed{ E[X^n] = \frac{\alpha(\alpha+1)\cdots(\alpha+n-1)} {(\alpha+\beta)(\alpha+\beta+1)\cdots(\alpha+\beta+n-1)} }$$

其中 $n=0$ 時，乘積視為 $1$。

---

2. 求 $E[X]$

令 $n=1$：

$$E[X] = \frac{\Gamma(\alpha+1)\Gamma(\alpha+\beta)} {\Gamma(\alpha)\Gamma(\alpha+\beta+1)}$$

由

$$\Gamma(\alpha+1)=\alpha\Gamma(\alpha)$$

以及

$$\Gamma(\alpha+\beta+1) = (\alpha+\beta)\Gamma(\alpha+\beta)$$

可得

$$\boxed{ E[X]=\frac{\alpha}{\alpha+\beta} }$$

---

3. 求 $E[X^2]$

令 $n=2$：

本題要求計算均勻分佈 $U(\alpha, \beta)$ 的參數 $\alpha$ 和 $\beta$ 的最大概似估計量 (MLE)。

核心觀念：

1. 均勻分佈 $U(\alpha, \beta)$ 的機率密度函數 (PDF) 為：
   $f(x; \alpha, \beta) = \begin{cases} \frac{1}{\beta - \alpha} & \text{if } \alpha \le x \le \beta \\ 0 & \text{otherwise} \end{cases}$
2. 最大概似估計量 (MLE) 的求法：
   a. 寫出樣本的概似函數 $L(\alpha, \beta) = \prod_{i=1}^n f(x_i; \alpha, \beta)$。
   b. 通常取對數概似函數 $\ell(\alpha, \beta) = \log L(\alpha, \beta)$。
   c. 對 $\ell(\alpha, \beta)$ 分別對 $\alpha$ 和 $\beta$ 求偏導數，並令其等於零，解出 $\hat{\alpha}$ 和 $\hat{\beta}$。
   d. 對於截斷分佈 (truncated distribution) 或參數在邊界上的情況，可能需要檢查邊界點的概似值。

解題步驟：

給定 $X_1, \ldots, X_n$ 是來自 $U(\alpha, \beta)$ 的獨立同分佈 (i.i.d.) 隨機變數。
其 PDF 為 $f(x; \alpha, \beta) = \frac{1}{\beta - \alpha} I(\alpha \le x \le \beta)$，其中 $I(\cdot)$ 是指示函數。

樣本的概似函數是：
$L(\alpha, \beta) = \prod_{i=1}^n f(x_i; \alpha, \beta) = \prod_{i=1}^n \frac{1}{\beta - \alpha} I(\alpha \le x_i \le \beta)$
$L(\alpha, \beta) = \left(\frac{1}{\beta - \alpha}\right)^n \prod_{i=1}^n I(\alpha \le x_i \le \beta)$

指示函數的乘積 $\prod_{i=1}^n I(\alpha \le x_i \le \beta)$ 等於 1 當且僅當對所有的 $i=1, \ldots, n$，都有 $\alpha \le x_i \le \beta$。
這意味著 $\alpha$ 必須小於等於所有 $x_i$，同時 $\beta$ 必須大於等於所有 $x_i$。
所以，我們必須滿足：
$\alpha \le \min(x_1, \ldots, x_n)$
$\beta \ge \max(x_1, \ldots, x_n)$

令 $x_{(1)} = \min(x_1, \ldots, x_n)$ 和 $x_{(n)} = \max(x_1, \ldots, x_n)$。
則概似函數可以寫成：

核心觀念

本題考查**無母數統計推論（Nonparametric Inference）中經驗累積分配函數（Empirical Cumulative Distribution Function, ECDF）**的基礎性質與點估計理論，涉及的核心觀念包括：

1. 指示變數（Indicator Variable）與白努利分配：
   定義指示函數 $I(A)$，若事件 $A$ 發生則值為 $1$，否則為 $0$。其期望值等於事件發生之機率，即 $E[I(A)] = P(A)$，變異數為 $\text{Var}[I(A)] = P(A)(1 - P(A))$。
2. 獨立同分配（i.i.d.）隨機變數的線性組合性質：
   期望值的線性性質 $E[\sum a_i Y_i] = \sum a_i E[Y_i]$，以及獨立隨機變數和的變異數性質 $\text{Var}(\sum a_i Y_i) = \sum a_i^2 \text{Var}(Y_i)$。
3. 無母數族中的完備充分統計量（Complete Sufficient Statistic）：
   在未限制母體分配形式的無母數分配族（包含所有連續分配族或可測分配族）下，順序統計量（Order Statistics） $\mathbf{X}_{(\cdot)} = (X_{(1)}, X_{(2)}, \ldots, X_{(n)})$ 為完備且充分統計量。
4. Lehmann-Scheffé 定理：
   若 $T$ 為參數 $\theta$ 的完備充分統計量，且統計量 $g(T)$ 是 $\theta$ 的不偏估計量（Unbiased Estimator），則 $g(T)$ 必為 $\theta$ 的唯一均勻最小變異不偏估計量（Uniformly Minimum Variance Unbiased Estimator, UMVUE）。

---

解題方法

(i) 證明 $E[F_n(x)] = F(x)$

對任意固定的 $x \in \mathbb{R}$，定義隨機變數：

$$Y_i = I(X_i \le x), \quad i = 1, 2, \ldots, n$$

由於 $X_1, \ldots, X_n \overset{\text{i.i.d.}}{\sim} F(\cdot)$，故 $Y_1, \ldots, Y_n$ 為一組獨立同分配的白努利隨機變數，其成功機率為：

$$p = P(X_i \le x) = F(x)$$

因此，指示變數的期望值為：

$$E[Y_i] = 1 \cdot P(X_i \le x) + 0 \cdot P(X_i > x) = F(x)$$

根據期望值的線性性質：

$$E[F_n(x)] = E\left[ \frac{1}{n} \sum_{i=1}^n I(X_i \le x) \right] = \frac{1}{n} \sum_{i=1}^n E[I(X_i \le x)] = \frac{1}{n} \sum_{i=1}^n F(x) = \frac{1}{n} \cdot nF(x) = F(x)$$

故得證 $F_n(x)$ 為 $F(x)$ 的不偏估計量。

---

(ii) 計算 $\text{Var}[F_n(x)]$

由 (i) 可知 $Y_i = I(X_i \le x) \overset{\text{i.i.d.}}{\sim} \text{Bernoulli}(F(x))$，單一指示變數的變異數為：

$$\text{Var}(Y_i) = E[Y_i^2] - (E[Y_i])^2 = F(x) - [F(x)]^2 = F(x)(1 - F(x))$$

因 $X_1, \ldots, X_n$ 相互獨立，故 $Y_1, \ldots, Y_n$ 亦相互獨立，共變異數項為零：

本題要求使用概似比檢定法 (Likelihood Ratio Test, LRT) 來檢定常態分佈的平均數。已知樣本來自常態分佈 $N(\mu, \sigma^2)$，其中變異數 $\sigma^2$ 已知，但平均數 $\mu$ 未知。我們需要檢定虛無假設 $H_0: \mu = \mu_0$ 對於對立假設 $H_1: \mu \neq \mu_0$。

核心觀念：

1. 常態分佈的機率密度函數 (PDF)：$f(x|\mu, \sigma^2) = \frac{1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$。
2. 概似函數 (Likelihood Function)：$L(\mu) = \prod_{i=1}^n f(X_i|\mu, \sigma^2)$。
3. 概似比檢定統計量 (Likelihood Ratio Statistic)：$\lambda = \frac{\max_{\mu \in \Theta_0} L(\mu)}{\max_{\mu \in \Theta_1} L(\mu)}$，其中 $\Theta_0$ 是 $H_0$ 下參數空間，$\Theta_1$ 是 $H_1$ 下參數空間。
4. 檢定規則：拒絕 $H_0$ 若 $\lambda \le c$，其中 $c$ 是一個臨界值，使得 $P(\lambda \le c | H_0) = \alpha$。
5. 對數概似函數 (Log-Likelihood Function)：$\ell(\mu) = \log L(\mu)$。通常使用對數概似比 $\log \lambda$ 會比較方便。

解題步驟：

給定 $X_1, \ldots, X_n$ 是 i.i.d. 來自 $N(\mu, \sigma^2)$，且 $\sigma^2$ 已知。
參數空間：
$\Theta_1$ (對立假設 $H_1: \mu \neq \mu_0$ 下)：$\mu \in \mathbb{R}$。
$\Theta_0$ (虛無假設 $H_0: \mu = \mu_0$ 下)：$\mu = \mu_0$ (一個固定值)。

首先，我們需要找到在 $\Theta_1$ 和 $\Theta_0$ 下，最大化概似函數的 $\mu$ 值。

1. 在 $\Theta_1$ 下最大化概似函數
概似函數為：
$L(\mu) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi}\sigma} \exp\left(-\frac{(X_i-\mu)^2}{2\sigma^2}\right)$
$L(\mu) = \left(\frac{1}{\sqrt{2\pi}\sigma}\right)^n \exp\left(-\sum_{i=1}^n \frac{(X_i-\mu)^2}{2\sigma^2}\right)$

取對數概似函數：
$\ell(\mu) = \log L(\mu) = -\frac{n}{2} \log(2\pi\sigma^2) - \frac{1}{2\sigma^2} \sum_{i=1}^n (X_i-\mu)^2$

為了找到最大值，我們對 $\ell(\mu)$ 對 $\mu$ 微分並令其為零：
$\frac{d\ell}{d\mu} = -\frac{1}{2\sigma^2} \sum_{i=1}^n 2(X_i-\mu)(-1) = \frac{1}{\sigma^2} \sum_{i=1}^n (X_i-\mu)$
令 $\frac{d\ell}{d\mu} = 0$:
$\frac{1}{\sigma^2} \sum_{i=1}^n (X_i-\mu) = 0$
$\sum_{i=1}^n X_i - n\mu = 0$
$n\mu = \sum_{i=1}^n X_i$
$\mu = \frac{1}{n} \sum_{i=1}^n X_i = \bar{X}$

所以，在 $\Theta_1$ 下，最大化概似函數的值發生在 $\mu = \bar{X}$。
最大概似估計量是 $\hat{\mu}_{\text{MLE}} = \bar{X}$。
$\max_{\mu \in \Theta_1} L(\mu) = L(\bar{X}) = \left(\frac{1}{\sqrt{2\pi}\sigma}\right)^n \exp\left(-\sum_{i=1}^n \frac{(X_i-\bar{X})^2}{2\sigma^2}\right)$

2. 在 $\Theta_0$ 下最大化概似函數
在 $H_0: \mu = \mu_0$ 下，參數 $\mu$ 被固定為 $\mu_0$。
所以，在 $\Theta_0$ 下，最大化概似函數的值就是將 $\mu = \mu_0$ 代入概似函數。
$\max_{\mu \in \Theta_0} L(\mu) = L(\mu_0) = \left(\frac{1}{\sqrt{2\pi}\sigma}\right)^n \exp\left(-\sum_{i=1}^n \frac{(X_i-\mu_0)^2}{2\sigma^2}\right)$

3. 計算概似比 $\lambda$
$\lambda = \frac{\max_{\mu \in \Theta_0} L(\mu)}{\max_{\mu \in \Theta_1} L(\mu)}$
$\lambda = \frac{\left(\frac{1}{\sqrt{2\pi}\sigma}\right)^n \exp\left(-\sum_{i=1}^n \frac{(X_i-\mu_0)^2}{2\sigma^2}\right)}{\left(\frac{1}{\sqrt{2\pi}\sigma}\right)^n \exp\left(-\sum_{i=1}^n \frac{(X_i-\bar{X})^2}{2\sigma^2}\right)}$
$\lambda = \exp\left(-\sum_{i=1}^n \frac{(X_i-\mu_0)^2}{2\sigma^2} - \left(-\sum_{i=1}^n \frac{(X_i-\bar{X})^2}{2\sigma^2}\right)\right)$
$\lambda = \exp\left(\frac{1}{2\sigma^2} \left[ \sum_{i=1}^n (X_i-\bar{X})^2 - \sum_{i=1}^n (X_i-\mu_0)^2 \right]\right)$

我們知道 $\sum_{i=1}^n (X_i-\mu_0)^2 = \sum_{i=1}^n ((X_i-\bar{X}) + (\bar{X}-\mu_0))^2$

核心觀念

本題考查：

1. 一階 Delta method：
   若
   $\sqrt{n}(Y_n-\mu)\xrightarrow{d}N(0,\sigma^2),$
   且 $g$ 在 $\mu$ 可微，則

$$\sqrt{n}[g(Y_n)-g(\mu)] \xrightarrow{d} N\left(0,\sigma^2[g'(\mu)]^2\right).$$

2. 本題中 $g'(\mu)=0$，因此一階項消失，極限分布退化為常數 $0$。

3. 雖然 $g''(\mu)\neq 0$，但在 $\sqrt n$ 的尺度下，二階項仍然趨近於 $0$。

---

解題方法

由題設

$$\sqrt n(Y_n-\mu)\xrightarrow{d}N(0,\sigma^2),$$

可知

$$\sqrt n(Y_n-\mu)=O_p(1),$$

因此

$$Y_n-\mu=O_p(n^{-1/2}).$$

因為 $g'(\mu)=0$，且 $g''(\mu)$ 存在，$g$ 在 $\mu$ 附近具有二階 Peano 展開：

$$g(Y_n) = g(\mu) + g'(\mu)(Y_n-\mu) + \frac12g''(\mu)(Y_n-\mu)^2 + o_p\left((Y_n-\mu)^2\right).$$

代入 $g'(\mu)=0$，得到

$$g(Y_n)-g(\mu) = \frac12g''(\mu)(Y_n-\mu)^2 + o_p\left((Y_n-\mu)^2\right).$$

乘上 $\sqrt n$：

$$\sqrt n[g(Y_n)-g(\mu)] = \frac12g''(\mu)\sqrt n(Y_n-\mu)^2 + \sqrt n\,o_p\left((Y_n-\mu)^2\right).$$

第一項可改寫為

$$\sqrt n(Y_n-\mu)^2 = \frac{[\sqrt n(Y_n-\mu)]^2}{\sqrt n}.$$

由

$$\sqrt n(Y_n-\mu)=O_p(1),$$

可得

$$[\sqrt n(Y_n-\mu)]^2=O_p(1),$$

故

核心觀念

本題考查正態線性模型中的：

• 最大概似估計法（MLE）。
• 線性估計量的不偏性與變異數。
• Cauchy–Schwarz 不等式比較估計量的效率。

以下假設

$$\sum_{i=1}^n x_i^2>0$$

使得參數 $b$ 可被識別；第（ii）題另需假設 $\sum_{i=1}^n x_i\neq 0$，使 $\hat b_1$ 有定義。

令

$$S_{xx}=\sum_{i=1}^n x_i^2,\qquad S_x=\sum_{i=1}^n x_i.$$

由題意，

$$Y_i\sim N(bx_i,\sigma^2),$$

且彼此獨立。

---

（i）求 $b$ 的最大概似估計量

1. 建立概似函數

由於 $Y_1,\ldots,Y_n$ 相互獨立，其聯合概似函數為

$$L(b,\sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left\{ -\frac{(Y_i-bx_i)^2}{2\sigma^2} \right\}.$$

取對數概似函數：

$$\ell(b,\sigma^2) = -\frac n2\log(2\pi) -\frac n2\log(\sigma^2) -\frac{1}{2\sigma^2} \sum_{i=1}^n(Y_i-bx_i)^2.$$

對 $b$ 微分：

$$\frac{\partial \ell}{\partial b} = \frac{1}{\sigma^2} \sum_{i=1}^n x_i(Y_i-bx_i).$$

令其等於 $0$：

$$\sum_{i=1}^n x_iY_i - b\sum_{i=1}^n x_i^2 =0.$$

因此，$b$ 的最大概似估計量為

$$\boxed{ \hat b = \frac{\sum_{i=1}^n x_iY_i} {\sum_{i=1}^n x_i^2} }$$

也可寫成

$$\hat b=\frac{1}{S_{xx}}\sum_{i=1}^n x_iY_i.$$

這個結果也等同於最小平方法中，使殘差平方和

$$\sum_{i=1}^n(Y_i-bx_i)^2$$

最小化所得的估計量。

2. 證明 $\hat b$ 不偏

將 $Y_i=bx_i+\epsilon_i$ 代入：

$$\hat b = \frac{\sum_{i=1}^n x_i(bx_i+\epsilon_i)} {\sum_{i=1}^n x_i^2}.$$

整理得：

$$\hat b = b+ \frac{\sum_{i=1}^n x_i\epsilon_i} {\sum_{i=1}^n x_i^2}.$$

因為 $E(\epsilon_i)=0$，所以

$$E(\hat b) = b+ \frac{\sum_{i=1}^n x_iE(\epsilon_i)} {\sum_{i=1}^n x_i^2} =b.$$

故

$$\boxed{E(\hat b)=b}$$

因此 $\hat b$ 是 $b$ 的不偏估計量。

3. 求 $\operatorname{var}(\hat b)$

由上式，

$$\hat b-b = \frac{\sum_{i=1}^n x_i\epsilon_i} {\sum_{i=1}^n x_i^2}.$$

由於 $\epsilon_i$ 相互獨立，且 $\operatorname{var}(\epsilon_i)=\sigma^2$，

$$\operatorname{var}\left(\sum_{i=1}^n x_i\epsilon_i\right) = \sum_{i=1}^n x_i^2\operatorname{var}(\epsilon_i) = \sigma^2\sum_{i=1}^n x_i^2.$$

因此

$$\operatorname{var}(\hat b) = \frac{\sigma^2\sum_{i=1}^n x_i^2} {\left(\sum_{i=1}^n x_i^2\right)^2}.$$

所以

$$\boxed{ \operatorname{var}(\hat b) = \frac{\sigma^2}{\sum_{i=1}^n x_i^2} }$$

---

（ii）證明 $\hat b_1$ 不偏並求其變異數

題目給定

$$\hat b_1 = \frac{\sum_{i=1}^nY_i}{\sum_{i=1}^nx_i} = \frac{\sum_{i=1}^nY_i}{S_x}.$$

1. 證明不偏性

由 $Y_i=bx_i+\epsilon_i$，

$$\sum_{i=1}^nY_i = b\sum_{i=1}^nx_i+\sum_{i=1}^n\epsilon_i.$$

因此

$$\hat b_1 = b+ \frac{\sum_{i=1}^n\epsilon_i}{\sum_{i=1}^nx_i}.$$

取期望：

$$E(\hat b_1) = b+ \frac{\sum_{i=1}^nE(\epsilon_i)} {\sum_{i=1}^nx_i} =b.$$