108 年 國立清華大學科技管理研究所《統計學》

核心觀念：簡單迴歸模型中，OLS 估計式的計算方式與誤差項變異數的齊一性假設無關。

解答：TRUE。

解釋：
簡單迴歸模型為 $y_i = \beta x_i + \epsilon_i$。
最小平方法 (OLS) 的目標是最小化殘差平方和 $\sum_{i=1}^n (y_i - \hat{y}_i)^2 = \sum_{i=1}^n (y_i - \hat{\beta}x_i)^2$。
對 $\hat{\beta}$ 微分並令其為零，可得：

核心觀念：檢驗樣本比例的變異數估計式是否為不偏估計式。

解答：FALSE。

解釋：
我們已知 $X_i$ 是 Bernoulli 隨機變數, $E(X_i) = p$ 且 $\text{Var}(X_i) = p(1-p)$。
樣本平均數 $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$ 是 $p$ 的不偏估計式, 即 $E(\bar{X}) = p$。
我們要檢驗 $\bar{X}(1-\bar{X})$ 是否為 $\text{Var}(X_i) = p(1-p)$ 的不偏估計式。
計算 $E[\bar{X}(1-\bar{X})]$：
$E[\bar{X}(1-\bar{X})] = E[\bar{X} - \bar{X}^2]$
$= E(\bar{X}) - E(\bar{X}^2)$
我們知道 $E(\bar{X}) = p$。
另外, $\text{Var}(\bar{X}) = \frac{\text{Var}(X_i)}{n} = \frac{p(1-p)}{n}$。
根據變異數的定義, $\text{Var}(\bar{X}) = E(\bar{X}^2) - [E(\bar{X})]^2$。

核心觀念

本題考查：

1. 不偏估計式的定義。
2. 估計式的偏誤：
   $\operatorname{Bias}(\hat{\theta})=E(\hat{\theta})-\theta.$
3. 估計式變異數的線性運算：

4. 當估計式有偏時，不能只比較變異數，應比較均方誤差（MSE）：

設原估計式 $\hat{\theta}$ 為 $\theta$ 的不偏估計式，令

因為 $\hat{\theta}$ 不偏，所以

解題方法

先分別判斷 $\hat{\theta}_1$ 與 $\hat{\theta}_2$ 的偏誤，再計算其變異數與均方誤差，最後依 MSE 比較效率。

一、判斷偏誤

已知 $E(X)=1$。

對 $\hat{\theta}_1=\hat{\theta}-X$：

因此

所以 $\hat{\theta}_1$ 是有偏估計式。

對 $\hat{\theta}_2=\hat{\theta}+X$：

因此

所以 $\hat{\theta}_2$ 也是有偏估計式。

原估計式 $\hat{\theta}$ 不偏，因此其偏誤為 $0$。

二、計算三個估計式的變異數

已知

對 $\hat{\theta}_1=\hat{\theta}-X$：

對 $\hat{\theta}_2=\hat{\theta}+X$：

核心觀念：簡單迴歸模型中 OLS 殘差的性質。

解答：TRUE。

解釋：
簡單迴歸模型為 $y_i = \beta x_i + \epsilon_i$, 其中 $\epsilon_i$ 是誤差項。
OLS 估計式為 $\hat{\beta} = \frac{\sum x_i y_i}{\sum x_i^2}$。
殘差 (residual) $\hat{\epsilon}_i$ 定義為實際值 $y_i$ 與預測值 $\hat{y}_i = \hat{\beta}x_i$ 之差：
$\hat{\epsilon}_i = y_i - \hat{y}_i = y_i - \hat{\beta}x_i$。

性質一：殘差和為零 ($\sum_{i=1}^n \hat{\epsilon}_i = 0$)。
我們有 $\sum_{i=1}^n \hat{\epsilon}_i = \sum_{i=1}^n (y_i - \hat{\beta}x_i)$
$= \sum_{i=1}^n y_i - \hat{\beta}\sum_{i=1}^n x_i$
由於 OLS 估計式的導出過程中，會得到 $\sum_{i=1}^n x_i(y_i - \hat{\beta}x_i) = 0$，展開為 $\sum x_i y_i - \hat{\beta}\sum x_i^2 = 0$。
另外，OLS 估計式也可以寫成 $\hat{\beta} = \frac{\sum x_i (y_i - \bar{y})}{\sum (x_i - \bar{x})(y_i - \bar{y})}$，但這不是最簡潔的證明。
我們知道 $\sum_{i=1}^n \hat{\epsilon}_i = \sum_{i=1}^n (y_i - \hat{\beta}x_i) = \sum y_i - \hat{\beta}\sum x_i$。
從 OLS 的正規方程式 $\sum x_i (y_i - \hat{\beta}x_i) = 0$ 來看：
$\sum x_i y_i - \hat{\beta} \sum x_i^2 = 0$。
這不直接證明 $\sum \hat{\epsilon}_i = 0$。

更直接的證明：
OLS 估計式 $\hat{\beta}$ 是由 $\frac{\partial S}{\partial \hat{\beta}} = 0$ 導出的，其中 $S = \sum (y_i - \hat{\beta}x_i)^2$。
$\frac{\partial S}{\partial \hat{\beta}} = \sum 2(y_i - \hat{\beta}x_i)(-x_i) = -2 \sum x_i \hat{\epsilon}_i = 0$。
所以 $\sum x_i \hat{\epsilon}_i = 0$。

要證明 $\sum \hat{\epsilon}_i = 0$, 我們需要考慮截距項。
如果模型是 $y_i = \alpha + \beta x_i + \epsilon_i$ (帶截距項的迴歸), 則 OLS 估計式滿足：
$\sum \hat{\epsilon}_i = 0$
$\sum x_i \hat{\epsilon}_i = 0$
$\sum \hat{\epsilon}_i^2$ 最小。

題目給的是「簡單迴歸模型 $y_i = \beta x_i + \epsilon_i$」。這個模型沒有截距項。
在沒有截距項的模型 $y_i = \beta x_i + \epsilon_i$ 中，OLS 估計式為 $\hat{\beta} = \frac{\sum x_i y_i}{\sum x_i^2}$。
殘差為 $\hat{\epsilon}_i = y_i - \hat{\beta}x_i$。
性質一：$\sum_{i=1}^n \hat{\epsilon}_i = \sum_{i=1}^n (y_i - \hat{\beta}x_i) = \sum y_i - \hat{\beta}\sum x_i$。
這個和不一定為零。只有當模型包含截距項時，殘差和才保證為零。
例如，如果 $x_i$ 都是正數，$\hat{\beta}$ 是正數，$\sum x_i > 0$, 那麼 $\sum y_i$ 可能不等於 $\hat{\beta}\sum x_i$。

請注意題目中的描述：「假設簡單迴歸模型為 $y_i = \beta x_i + \epsilon_i$」
這通常指的是一個沒有截距項的模型。
然而，在很多教科書中，當提到「簡單迴歸」時，常常預設包含截距項 $y_i = \beta_0 + \beta_1 x_i + \epsilon_i$。
如果題目是針對「最簡單的迴歸模型」，即 $y_i = \beta x_i + \epsilon_i$ (經過中心化後的 $x$ 或 $y$)，那麼殘差和不一定為零。

核心觀念：幾何分布的期望值計算，以及函數的期望值計算。

幾何分布的定義：
題目給定的幾何分布是 $P(X=n) = pq^n$ for $n = 0, 1, 2, \dots$, where $q = 1-p$.
這是一個從 0 開始的幾何分布，有時也被稱為「零點開始的幾何分布」或「負二項分布的特例」。
標準的幾何分布定義有兩種：

1. 第一次成功在第 $k$ 次試驗 (k=1, 2, ...), $P(Y=k) = (1-p)^{k-1}p$。
2. 第一次成功前失敗了 $k$ 次 (k=0, 1, 2, ...), $P(X=k) = (1-p)^k p$。

題目給定的形式 $P(X=n) = pq^n$ 實際上是 $P(X=n) = p(1-p)^n$。
這與第二種定義相符，其中 $p$ 是成功的機率，$q = 1-p$ 是失敗的機率。
所以，$X$ 服從參數為 $p$ 的幾何分布 (從 0 開始)。
其期望值為 $E(X) = \frac{q}{p} = \frac{1-p}{p}$。

我們需要計算 $E\left(\frac{1}{X+1}\right)$。
根據期望值的定義, $E[g(X)] = \sum_{n=0}^{\infty} g(n) P(X=n)$。
在這裡, $g(X) = \frac{1}{X+1}$。
$E\left(\frac{1}{X+1}\right) = \sum_{n=0}^{\infty} \frac{1}{n+1} P(X=n) = \sum_{n=0}^{\infty} \frac{1}{n+1} p q^n$
$E\left(\frac{1}{X+1}\right) = p \sum_{n=0}^{\infty} \frac{q^n}{n+1}$
考慮級數 $\sum_{n=0}^{\infty} \frac{q^n}{n+1}$。
我們可以令 $m = n+1$, 則當 $n=0$, $m=1$; 當 $n \to \infty$, $m \to \infty$。
$\sum_{n=0}^{\infty} \frac{q^n}{n+1} = \sum_{m=1}^{\infty} \frac{q^{m-1}}{m} = \frac{1}{q} \sum_{m=1}^{\infty} \frac{q^m}{m}$
我們知道泰勒級數展開式：
$\ln(1-x) = -\sum_{m=1}^{\infty} \frac{x^m}{m}$ for $|x| < 1$ and $x \neq 1$.
所以, $\sum_{m=1}^{\infty} \frac{q^m}{m} = -\ln(1-q)$。
因為 $q = 1-p$, 所以 $1-q = 1-(1-p) = p$。
$\sum_{m=1}^{\infty} \frac{q^m}{m} = -\ln(p)$
將此代回：
$\sum_{n=0}^{\infty} \frac{q^n}{n+1} = \frac{1}{q} (-\ln(p)) = -\frac{\ln(p)}{q}$
因此，
$E\left(\frac{1}{X+1}\right) = p \left(-\frac{\ln(p)}{q}\right) = -\frac{p \ln(p)}{q}$
由於 $q=1-p$,
$E\left(\frac{1}{X+1}\right) = -\frac{p \ln(p)}{1-p}$

驗證級數收斂性：
幾何分布的機率和為 $\sum_{n=0}^{\infty} pq^n = p \sum_{n=0}^{\infty} q^n = p \frac{1}{1-q} = p \frac{1}{p} = 1$, 這是正確的。

核心觀念：離散隨機變數的共變異數 (Covariance) 計算。

共變異數的定義：
$\text{Cov}(X, Y) = E[(X - E(X))(Y - E(Y))] = E(XY) - E(X)E(Y)$。

首先，我們需要確定隨機變數 $X$ 和 $Y$ 的機率分布。
骰子是公平的，有六個面。

• 2 個綠色 (Green)
• 2 個紅色 (Red)
• 2 個藍色 (Blue)

1. 計算 $P(X=1)$ 和 $P(X=0)$：
   $X=1$ 表示擲出綠色面。
   $P(X=1) = \frac{\text{Number of green faces}}{\text{Total number of faces}} = \frac{2}{6} = \frac{1}{3}$。
   $X=0$ 表示擲出非綠色面（紅色或藍色）。
   $P(X=0) = 1 - P(X=1) = 1 - \frac{1}{3} = \frac{2}{3}$。

2. 計算 $P(Y=1)$ 和 $P(Y=0)$：
   $Y=1$ 表示擲出藍色面。
   $P(Y=1) = \frac{\text{Number of blue faces}}{\text{Total number of faces}} = \frac{2}{6} = \frac{1}{3}$。
   $Y=0$ 表示擲出非藍色面（綠色或紅色）。
   $P(Y=0) = 1 - P(Y=1) = 1 - \frac{1}{3} = \frac{2}{3}$。

核心觀念

本題考查：

• Poisson 分配的概似函數；
• 最大概似估計法；
• 含有干擾參數 $\beta$ 時，利用聯立一階條件求解；
• 對數連結式：
  $\mu_1=e^\alpha,\qquad \mu_2=e^{\alpha+\beta}.$

由於 $\alpha,\beta$ 均為未知參數，必須同時最大化聯合概似函數。

解題方法

因為 $x_1,x_2$ 相互獨立，且

所以聯合概似函數為

代入 $\mu_1=e^\alpha$ 與 $\mu_2=e^{\alpha+\beta}$：

取對數概似函數，並省略與參數無關的常數項：

分別對 $\alpha$ 與 $\beta$ 微分：

核心觀念：最大概似估計法 (Maximum Likelihood Estimation, MLE)，針對 Poisson 分布的參數關係。

承接問題 7 的設定：
$x_1 \sim \text{Poisson}(\mu_1)$, $x_2 \sim \text{Poisson}(\mu_2)$
$\ln \mu_1 = \alpha$
$\ln \mu_2 = \alpha + \beta$
$\alpha, \beta$ 是未知參數。

在問題 7 中，我們推導出了 $\alpha$ 的 MLE 為 $\hat{\alpha} = \ln x_1$，並且我們也得到了 $\hat{\mu}_1 = x_1$ 和 $\hat{\mu}_2 = x_2$。

現在我們需要找到 $\beta$ 的最大概似估計式 (MLE)。
我們有參數關係 $\ln \mu_2 = \alpha + \beta$。
將 MLE 代入：
$\ln \hat{\mu}_2 = \hat{\alpha} + \hat{\beta}$

我們已經知道 $\hat{\mu}_2 = x_2$。
所以，$\ln x_2 = \hat{\alpha} + \hat{\beta}$。

將 $\hat{\alpha} = \ln x_1$ 代入：
$\ln x_2 = \ln x_1 + \hat{\beta}$

解出 $\hat{\beta}$：
$\hat{\beta} = \ln x_2 - \ln x_1$
$\hat{\beta} = \ln\left(\frac{x_2}{x_1}\right)$

驗證：
我們之前求得的對數概似函數為：
$\ln L(\alpha, \beta) = -e^\alpha + \alpha x_1 - e^{\alpha+\beta} + (\alpha+\beta)x_2 - (\ln x_1! + \ln x_2!)$

核心觀念

本題以「每日股價變動的變異數」衡量股票風險。變異數越大，代表每日價格變化越分散，投資風險越高。

欲比較兩檔股票的風險，可檢定母體變異數是否相等：

其中：

• $\sigma_1^2$：股票 1 每日價格變動的母體變異數
• $\sigma_2^2$：股票 2 每日價格變動的母體變異數

在兩組樣本彼此獨立，且每日價格變動近似服從常態分配的條件下，使用 $F$ 檢定比較兩個母體變異數。

解題方法

兩檔股票各取得 $n_1=n_2=20$ 筆資料，因此樣本自由度為：

先分別計算兩組樣本變異數：

由於備擇假設為「不相等」，屬於雙尾檢定。為方便判斷，將較大的樣本變異數置於分子：

此時 $F\ge 1$，並使用上尾臨界值。顯著水準為 $\alpha=0.10$，雙尾檢定每尾使用：

因此拒絕域為：

查 $F$ 分配表：

故檢定規則為：

• 若 $F>2.17$，拒絕 $H_0$
• 若 $F\le 2.17$，不拒絕 $H_0$

若將股票 1 的變異數固定放在分子，則完整的雙尾拒絕域為：

亦即：

題目資料的計算限制

核心觀念

本題要利用統計方法判斷相鄰中文字是否具有「非獨立性」。若每個中文字真的相互獨立，則「科」後面接「技」、「技」後面接「管」、「管」後面接「理」的機率，應只由各字在整體資料中的邊際出現比例決定。

若某些相鄰字串的實際出現次數顯著高於獨立性假設下的期望次數，即可將其視為一個詞的一部分。

將三筆資料中的中文文字整理後，可得到：

• 「科」出現 $5$ 次
• 「技」出現 $5$ 次
• 「管」出現 $5$ 次
• 「理」出現 $5$ 次
• 「科技」出現 $5$ 次
• 「技管」出現 $3$ 次
• 「管理」出現 $5$ 次
• 「科技管理」出現 $3$ 次

其中「科技管理」在 A、B、C 中各出現一次，共 $3$ 次。

方法一：互資訊（Mutual Information, MI）

1. 方法原理

對相鄰字 $X,Y$，互資訊定義為

以樣本次數表示，若令 $L$ 為所有有效相鄰字對的總數，則

其中：

• $n(XY)$：字串 $XY$ 相鄰出現的次數
• $n(X)$、$n(Y)$：各字出現的次數
• $L$：全部相鄰字對數

若 $I(X;Y)>0$，代表 $X,Y$ 實際共同出現的頻率高於獨立假設下的預期值，具有結合成詞的證據。

2. 計算三個字界

對「科技管理」的三個相鄰字界分別計算：

「科」與「技」

「技」與「管」

「管」與「理」

本題的 $L$ 遠大於 $25$，因此三個互資訊皆為正，表示：

三個相鄰關係均比獨立模型預期的結果更強。

3. 形成詞語

將互資訊為正且顯著偏高的相鄰字連結：

因此三筆資料中的相關片段應切分為：

• A：科技管理／研究所
• B：科技管理／為核心
• C：科技管理／研究所

4. 方法一結論

互資訊法利用「實際共同出現機率」與「獨立時應有機率」的比值，判斷字與字之間是否具有詞彙結合性。本題三個字界均呈現正向關聯，故可辨識出「科技管理」一詞。

方法二：卡方獨立性檢定（Chi-square Test of Independence）

1. 虛無假設與對立假設

針對每一個相鄰字對分別檢定：

例如檢定「科」後面是否特別容易出現「技」。

2. 建立列聯表

對字對 $XY$，將每一個相鄰位置分類為：

此區塊為標準常態分布的累積機率表 (Z-table) 的說明。它定義了 $A(z)$ 為標準常態分布曲線下，從 $-\infty$ 到 $z$ 的面積，即 $P(Z \le z)$。表中列出了一些重要的 $z$ 值及其對應的累積機率，這些值常在假設檢定和信賴區間的計算中使用。

此區塊為標準常態分布的累積機率表 (Z-table) 的詳細數據。表中列出了不同 $z$ 值（從 0.0 到 3.6）在標準常態分布曲線下，從 $-\infty$ 到該 $z$ 值的面積（累積機率）。

此區塊為 t 分布的臨界值表。它列出了不同自由度 (Degrees of freedom) 下，在不同顯著水準 (Significance level) 下的 t 值。表中有針對單尾檢定 (One-tailed test) 和雙尾檢定 (Two-tailed test) 的臨界值。

此區塊為 F 分布的臨界值表，針對 5% 的顯著水準 (Significance level)。表格列出了不同分子自由度 (Degrees of freedom, $v_1$) 和分母自由度 (Degrees of freedom, $v_2$) 下的臨界 F 值。

此區塊為 F 分布的臨界值表，針對 1% 的顯著水準 (Significance level)。表格列出了不同分子自由度 ($v_1$) 和分母自由度 ($v_2$) 下的臨界 F 值。