114 年 國立高雄大學統計學研究所碩士班《統計學》

本題主要考驗樣本均值與樣本變異數的抽樣分配性質。

(i) 證明 $\frac{\bar{X} - \bar{Y} - (\mu_1 - \mu_2)}{\sqrt{\sigma^2(1/n + 1/m)}}$ 有 $N(0,1)$ 分佈。

核心觀念：獨立常態隨機變數的線性組合仍為常態隨機變數，且樣本均值的抽樣分配。

已知 $X_i \sim N(\mu_1, \sigma^2)$ 獨立同分布，則 $\bar{X} \sim N(\mu_1, \sigma^2/n)$。
已知 $Y_j \sim N(\mu_2, \sigma^2)$ 獨立同分布，則 $\bar{Y} \sim N(\mu_2, \sigma^2/m)$。

由於兩組樣本獨立，故 $\bar{X}$ 與 $\bar{Y}$ 獨立。
考慮 $\bar{X} - \bar{Y}$，其期望值為 $E(\bar{X} - \bar{Y}) = E(\bar{X}) - E(\bar{Y}) = \mu_1 - \mu_2$。
其變異數為 $Var(\bar{X} - \bar{Y}) = Var(\bar{X}) + Var(\bar{Y}) = \frac{\sigma^2}{n} + \frac{\sigma^2}{m} = \sigma^2(\frac{1}{n} + \frac{1}{m})$。

因為 $\bar{X}$ 和 $\bar{Y}$ 都是常態分佈的隨機變數，其差值 $\bar{X} - \bar{Y}$ 也服從常態分佈。
所以，$\bar{X} - \bar{Y} \sim N(\mu_1 - \mu_2, \sigma^2(\frac{1}{n} + \frac{1}{m}))$。

將 $\bar{X} - \bar{Y}$ 標準化，可得：
$\frac{(\bar{X} - \bar{Y}) - (\mu_1 - \mu_2)}{\sqrt{\sigma^2(1/n + 1/m)}} \sim N(0,1)$。
此即證明了所求。

(ii) 證明 $\frac{(n-1)S_X^2 + (m-1)S_Y^2}{\sigma^2}$ 有 $\chi_{n+m-2}^2$ 分佈。

本題考驗動差估計量與最大概似估計量的計算。此為離散型隨機變數的兩類估計量計算。

首先，定義機率質量函數 (PMF)：
$f(x|p) = p^x(1-p)^{1-x}$, 其中 $x \in \{0, 1\}$。
當 $x=1$ 時, $f(1|p) = p^1(1-p)^0 = p$。
當 $x=0$ 時, $f(0|p) = p^0(1-p)^1 = 1-p$。
這是一個 Bernoulli 分佈，參數 $p$ 代表成功的機率。

動差估計量 (Moment Estimator)

動差估計量是令樣本動差等於對對對應的母體動差，然後解出參數。
對於 Bernoulli 分佈，一階母體動差 (期望值) 為：
$E(X) = \sum x f(x|p) = 1 \cdot p + 0 \cdot (1-p) = p$。

一階樣本動差為樣本均值 $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$。
令樣本動差等於母體動差：
$\bar{X} = E(X) = p$。
因此，參數 $p$ 的動差估計量為 $\hat{p}_{ME} = \bar{X}$。

最大概似估計量 (Maximum Likelihood Estimate, MLE)

首先寫出樣本的聯合機率質量函數 (joint PMF)，即概似函數 $L(p)$：
$L(p) = \prod_{i=1}^n f(X_i|p) = \prod_{i=1}^n p^{X_i}(1-p)^{1-X_i}$
$L(p) = p^{\sum X_i} (1-p)^{\sum (1-X_i)}$
令 $k = \sum X_i$，則 $\sum (1-X_i) = n - \sum X_i = n - k$。
$L(p) = p^k (1-p)^{n-k}$。

為了方便計算，我們取對數得到對數概似函數 $\ln L(p)$：
$\ln L(p) = k \ln p + (n-k) \ln(1-p)$。

接下來，我們對 $\ln L(p)$ 對 $p$ 微分，並令其等於 0，以尋找最大值。
$\frac{d \ln L(p)}{dp} = \frac{k}{p} - \frac{n-k}{1-p}$。

令導數等於 0：
$\frac{k}{p} - \frac{n-k}{1-p} = 0$
$\frac{k}{p} = \frac{n-k}{1-p}$
$k(1-p) = p(n-k)$
$k - kp = np - kp$
$k = np$
$p = \frac{k}{n}$。

將 $k = \sum X_i$ 代回，得到 $p = \frac{\sum X_i}{n} = \bar{X}$。
因此，參數 $p$ 的最大概似估計量為 $\hat{p}_{MLE} = \bar{X}$。

我們需要檢查此點是否為最大值。計算二階導數：

本題考驗在區間删失 (interval censored) 或右删失 (right censored) 資料下的最大概似估計量計算。此為指數分佈的 MLE 問題。

零件的壽命服從指數分佈 $E(\lambda)$，其機率密度函數 (PDF) 為 $f(t|\lambda) = \lambda e^{-\lambda t}$，其中 $t > 0$。
其累積分布函數 (CDF) 為 $F(t|\lambda) = P(X \le t) = 1 - e^{-\lambda t}$。
我們有 $n$ 個零件，試驗在時間 $T$ 中斷。

觀測到的數據可以分成兩類：

1. $m$ 個零件，其壽命 $X_1, \dots, X_m$ 均小於或等於 $T$。也就是說，我們觀測到了它們的確切壽命。
   對於這些零件，其貢獻給概似函數的機率密度為 $f(X_i|\lambda) = \lambda e^{-\lambda X_i}$，其中 $X_i \le T$。
2. $n-m$ 個零件，它們在時間 $T$ 之後仍在運轉。也就是說，我們只知道它們的壽命大於 $T$。
   對於這些零件，我們只知道 $X_j > T$ (其中 $j=m+1, \dots, n$)。
   它們的貢獻給概似函數的是一個機率，即 $P(X > T|\lambda) = 1 - F(T|\lambda) = 1 - (1 - e^{-\lambda T}) = e^{-\lambda T}$。

概似函數 $L(\lambda)$ 是所有觀測到的機率密度的乘積。
$L(\lambda) = \left( \prod_{i=1}^m f(X_i|\lambda) \right) \cdot \left( \prod_{j=m+1}^n P(X_j > T|\lambda) \right)$
$L(\lambda) = \left( \prod_{i=1}^m \lambda e^{-\lambda X_i} \right) \cdot \left( e^{-\lambda T} \right)^{n-m}$
$L(\lambda) = (\lambda^m e^{-\lambda \sum_{i=1}^m X_i}) \cdot (e^{-\lambda T(n-m)})$
$L(\lambda) = \lambda^m e^{-\lambda (\sum_{i=1}^m X_i + T(n-m))}$。

本題考驗均勻分佈的性質，特別是關於順序統計量與樣本均值的期望值、變異數，以及不偏估計量的概念。

核心觀念：

1. 均勻分佈 $U(a,b)$ 的期望值為 $\frac{a+b}{2}$，變異數為 $\frac{(b-a)^2}{12}$。
2. 順序統計量的期望值。
3. 不偏估計量的定義：$E(\hat{\theta}) = \theta$。
4. 均方差 (MSE) 的定義：$MSE(\hat{\theta}) = E[(\hat{\theta} - \theta)^2] = Var(\hat{\theta}) + [E(\hat{\theta}) - \theta]^2$。

(i) 證明 $T_1 = \bar{X}$ 與 $T_2 = \frac{X_{(1)} + X_{(n)}}{2}$ 皆為 $\theta$ 之不偏估計量。

證明 $T_1 = \bar{X}$ 為 $\theta$ 之不偏估計量：
樣本 $X_1, \dots, X_n$ 來自 $U(\theta-1, \theta+1)$ 分佈。
此均勻分佈的期望值為：
$E(X_i) = \frac{(\theta-1) + (\theta+1)}{2} = \frac{2\theta}{2} = \theta$。

樣本均值 $\bar{X}$ 的期望值為：
$E(\bar{X}) = E\left(\frac{1}{n}\sum_{i=1}^n X_i\right) = \frac{1}{n}\sum_{i=1}^n E(X_i)$
$E(\bar{X}) = \frac{1}{n}\sum_{i=1}^n \theta = \frac{1}{n}(n\theta) = \theta$。
因此，$T_1 = \bar{X}$ 是 $\theta$ 的一個不偏估計量。

證明 $T_2 = \frac{X_{(1)} + X_{(n)}}{2}$ 為 $\theta$ 之不偏估計量：
首先，我們需要知道順序統計量 $X_{(1)}$ 和 $X_{(n)}$ 的期望值。
對於 $U(a,b)$ 分佈，其 $k$-th 順序統計量 $X_{(k)}$ 的期望值為：
$E(X_{(k)}) = a + (k) \frac{b-a}{n+1}$。

在這裡，$a = \theta-1$，$b = \theta+1$。所以 $b-a = (\theta+1) - (\theta-1) = 2$。
最小順序統計量 $X_{(1)}$ 的期望值：
$E(X_{(1)}) = (\theta-1) + (1) \frac{2}{n+1} = \theta-1 + \frac{2}{n+1}$。

最大順序統計量 $X_{(n)}$ 的期望值：
$E(X_{(n)}) = (\theta-1) + (n) \frac{2}{n+1} = \theta-1 + \frac{2n}{n+1}$。

現在計算 $T_2 = \frac{X_{(1)} + X_{(n)}}{2}$ 的期望值：

本題考驗充分統計量與完備性統計量的判別。涉及常態分佈的參數估計，以及卡方分佈、t分佈等相關理論。

核心概念：

1. 充分統計量 (Sufficient Statistic)： 一個統計量 $T(X)$ 被稱為參數 $\theta$ 的充分統計量，如果 $T(X)$ 包含了樣本 $X$ 中所有關於 $\theta$ 的資訊。正式定義是，在給定 $T(X)=t$ 的條件下，樣本 $X$ 的條件機率分佈 $P(X=x | T(X)=t, \theta)$ 不依賴於 $\theta$。
   • 因子分解定理 (Fisher-Neyman Factorization Theorem)： $T(X)$ 是 $\theta$ 的充分統計量若且唯若聯合機率密度函數 (或機率質量函數) $f(x|\theta)$ 可以分解為 $f(x|\theta) = g(T(x)|\theta) h(x)$ 的形式，其中 $g$ 是依賴於 $T(x)$ 和 $\theta$ 的部分，而 $h$ 僅依賴於 $x$。
2. 完備性 (Completeness)： 一個統計量 $T(X)$ 被稱為參數 $\theta$ 的完備統計量，如果對於任何函數 $f$，當 $E[f(T(X))] = 0$ 對所有 $\theta$ 都成立時，則 $f(T(X)) = 0$ 幾乎處處成立。
   • 對於指數族分佈，通常有關於完備性的判準。

題目設定：
樣本 $X_1, \dots, X_n$ 來自 $N(\theta, \alpha\theta^2)$ 分佈，其中 $\alpha$ 是已知常數，$\theta > 0$。
$\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$
$S_n^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$
統計量 $T = (\bar{X}, S_n^2)$。

第一部分：證明 $T = (\bar{X}, S_n^2)$ 為 $\theta$ 的充分統計量。

我們使用因子分解定理。
聯合機率密度函數為：
$f(x_1, \dots, x_n | \theta) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi \alpha\theta^2}} \exp\left(-\frac{(x_i - \theta)^2}{2\alpha\theta^2}\right)$
$f(x_1, \dots, x_n | \theta) = \left(\frac{1}{2\pi \alpha\theta^2}\right)^{n/2} \exp\left(-\sum_{i=1}^n \frac{(x_i - \theta)^2}{2\alpha\theta^2}\right)$
$f(x_1, \dots, x_n | \theta) = \left(\frac{1}{2\pi \alpha\theta^2}\right)^{n/2} \exp\left(-\frac{1}{2\alpha\theta^2} \sum_{i=1}^n (x_i^2 - 2\theta x_i + \theta^2)\right)$
$f(x_1, \dots, x_n | \theta) = \left(\frac{1}{2\pi \alpha\theta^2}\right)^{n/2} \exp\left(-\frac{1}{2\alpha\theta^2} \left(\sum x_i^2 - 2\theta \sum x_i + n\theta^2\right)\right)$

我們知道 $\sum_{i=1}^n (x_i - \bar{x})^2 = \sum x_i^2 - n\bar{x}^2$。
所以 $\sum x_i^2 = \sum (x_i - \bar{x})^2 + n\bar{x}^2 = (n-1)S_n^2 + n\bar{x}^2$。
代入上式：
$\sum x_i^2 - 2\theta \sum x_i + n\theta^2 = ((n-1)S_n^2 + n\bar{x}^2) - 2\theta (n\bar{x}) + n\theta^2$
$= (n-1)S_n^2 + n\bar{x}^2 - 2n\theta\bar{x} + n\theta^2$
$= (n-1)S_n^2 + n(\bar{x}^2 - 2\theta\bar{x} + \theta^2)$
$= (n-1)S_n^2 + n(\bar{x} - \theta)^2$。

將此代回 $f(x_1, \dots, x_n | \theta)$：
$f(x_1, \dots, x_n | \theta) = \left(\frac{1}{2\pi \alpha\theta^2}\right)^{n/2} \exp\left(-\frac{1}{2\alpha\theta^2} \left((n-1)S_n^2 + n(\bar{x} - \theta)^2\right)\right)$
$f(x_1, \dots, x_n | \theta) = \left(\frac{1}{2\pi \alpha\theta^2}\right)^{n/2} \exp\left(-\frac{(n-1)S_n^2}{2\alpha\theta^2}\right) \exp\left(-\frac{n(\bar{x} - \theta)^2}{2\alpha\theta^2}\right)$

根據因子分解定理，$f(x|\theta) = g(T(x)|\theta) h(x)$。
令 $T(x) = (\bar{x}, S_n^2)$。
$g(T(x)|\theta) = \left(\frac{1}{2\pi \alpha\theta^2}\right)^{n/2} \exp\left(-\frac{(n-1)S_n^2}{2\alpha\theta^2}\right) \exp\left(-\frac{n(\bar{x} - \theta)^2}{2\alpha\theta^2}\right)$
$h(x) = 1$。

這裡的 $g$ 函數依賴於 $T(x) = (\bar{x}, S_n^2)$ 和 $\theta$。$h(x)$ 不依賴於 $\theta$。
因此，根據因子分解定理，$T = (\bar{X}, S_n^2)$ 是 $\theta$ 的一個充分統計量。

第二部分：證明 $T = (\bar{X}, S_n^2)$ 並無完備性。

完備性的定義是：若 $E[f(T)] = 0$ 對所有 $\theta$ 成立，則 $f(T) = 0$ 幾乎處處成立。
我們需要找到一個非零函數 $f$ 使得 $E[f(\bar{X}, S_n^2)] = 0$ 對所有 $\theta > 0$ 成立。

考慮 $\bar{X}$ 的分佈。
$X_i \sim N(\theta, \alpha\theta^2)$。
$E(\bar{X}) = \theta$。
$Var(\bar{X}) = Var(\frac{1}{n}\sum X_i) = \frac{1}{n^2} \sum Var(X_i) = \frac{1}{n^2} \sum (\alpha\theta^2) = \frac{n \alpha\theta^2}{n^2} = \frac{\alpha\theta^2}{n}$。
所以 $\bar{X} \sim N(\theta, \frac{\alpha\theta^2}{n})$。

考慮 $S_n^2$ 的分佈。
$\frac{(n-1)S_n^2}{\alpha\theta^2} = \frac{\sum (X_i - \bar{X})^2}{\alpha\theta^2}$。
根據 Cochran's Theorem，當 $X_i$ 獨立同分布於 $N(\mu, \sigma^2)$ 時，$\frac{\sum (X_i - \bar{X})^2}{\sigma^2} \sim \chi_{n-1}^2$。
在這裡，$\mu = \theta$ 且 $\sigma^2 = \alpha\theta^2$。
所以 $\frac{(n-1)S_n^2}{\alpha\theta^2} \sim \chi_{n-1}^2$。
令 $U = \frac{(n-1)S_n^2}{\alpha\theta^2}$，則 $U \sim \chi_{n-1}^2$。

我們知道 $\bar{X}$ 和 $S_n^2$ 是獨立的 (因為 $\bar{X}$ 和 $\sum (X_i - \bar{X})^2$ 是獨立的)。
所以，$\bar{X}$ 和 $U$ 也是獨立的。

我們要找一個非零函數 $f$ 使得 $E[f(\bar{X}, S_n^2)] = 0$。
這相當於找一個非零函數 $f^*$ 使得 $E[f^*(\bar{X}, U)] = 0$。

考慮一個函數 $f^*(t, u)$。
$E[f^*(\bar{X}, U)] = \int_{-\infty}^{\infty} \int_0^{\infty} f^*(t, u) f_{\bar{X}}(t|\theta) f_U(u) du dt = 0$。
其中 $f_{\bar{X}}(t|\theta)$ 是 $\bar{X}$ 的 PDF， $f_U(u)$ 是 $\chi_{n-1}^2$ 的 PDF。
$f_{\bar{X}}(t|\theta) = \frac{1}{\sqrt{2\pi (\alpha\theta^2/n)}} \exp\left(-\frac{(t-\theta)^2}{2(\alpha\theta^2/n)}\right)$。
$f_U(u) = \frac{1}{2^{\frac{n-1}{2}}\Gamma(\frac{n-1}{2})} u^{\frac{n-1}{2}-1} e^{-u/2}$, for $u > 0$.

此問題的標準方法是利用 $E[g(\bar{X})] = 0 \implies g(\bar{X})=0$ 的完備性。
然而，這裡我們有兩個統計量 $(\bar{X}, S_n^2)$。
如果一個統計量 $T$ 的分佈屬於指數族，並且其充分統計量是完備的，那麼 $T$ 是完備的。
但這裡的參數是 $\theta$，而 $\theta$ 和 $\theta^2$ 都出現在分佈中。

考慮一個簡單情況：若 $\alpha=0$，則 $X_i \sim N(\theta, 0)$，這意味著 $X_i = \theta$ 幾乎處處成立。
此時 $\bar{X} = \theta$ 且 $S_n^2$ 無定義或為 0。
那麼 $T = (\theta, 0)$，顯然是 $\theta$ 的充分統計量，且是完備的。
但題目要求 $\alpha$ 是已知常數，通常 $\alpha > 0$。

證明 $T$ 沒有完備性：
我們可以嘗試構造一個函數 $f(\bar{X}, S_n^2)$ 使得其期望值為零。
考慮一個與 $\theta$ 相關的函數，例如，我們知道 $\bar{X}$ 的期望值是 $\theta$。
但 $S_n^2$ 的期望值是 $E(S_n^2) = E\left(\frac{(n-1)S_n^2}{n-1}\right) = \frac{\alpha\theta^2}{n-1} (n-1) = \alpha\theta^2$。
所以 $E(\bar{X}) = \theta$ 且 $E(S_n^2) = \alpha\theta^2$。

若我們考慮 $f(\bar{X}, S_n^2) = \bar{X} - \theta$。則 $E[f(\bar{X}, S_n^2)] = E(\bar{X}) - \theta = \theta - \theta = 0$。
然而，這是一個只依賴於 $\bar{X}$ 的函數。
若 $T=(\bar{X}, S_n^2)$ 是完備的，則 $E[f(T)]=0 \implies f(T)=0$ a.e.。
這裡 $f(\bar{X}, S_n^2) = \bar{X} - \theta$。
如果 $E[\bar{X} - \theta] = 0$，則 $\bar{X} - \theta = 0$ a.e.，這意味著 $\bar{X} = \theta$ a.e.。
但 $\bar{X}$ 的分佈是 $N(\theta, \frac{\alpha\theta^2}{n})$，這不是一個退化的分佈 (除非 $\alpha=0$ 或 $n \to \infty$)。
因此，$\bar{X} - \theta$ 並不總是等於 0。
所以，僅考慮 $\bar{X}$ 似乎不能直接證明 $T$ 不是完備的。