108 年 國立中山大學應用數學系碩士班甲組《機率與統計》

此題考驗對機率密度函數的理解以及期望值的計算，特別是當隨機變數經過函數轉換後的期望值計算。

首先，我們定義隨機變數 $X$ 為損失金額，其機率密度函數 (pdf) 為 $f(x) = 2x^{-3}$ for $x > 1$，其他情況下為 0。
保險公司支付的金額 $B$ 是根據損失金額 $X$ 來決定的：
如果 $X < 10$，則支付 $B = X$。
如果 $X \ge 10$，則支付 $B = 10$。

我們需要計算保險公司支付金額的期望值 $E[B]$。
根據期望值的定義，對於一個由 $X$ 轉換而來的隨機變數 $g(X)$，其期望值為 $E[g(X)] = \int_{-\infty}^{\infty} g(x) f(x) dx$。
在本題中，$g(x)$ 是描述保險支付金額的函數。我們可以將 $g(x)$ 表示為：
$g(x) = \begin{cases} x & \text{if } x < 10 \\ 10 & \text{if } x \ge 10 \end{cases}$

因此，期望值 $E[B]$ 可以計算如下：
$E[B] = \int_{-\infty}^{\infty} g(x) f(x) dx$
由於 $f(x)$ 的定義域是 $x > 1$，我們將積分範圍限制在 $(1, \infty)$。同時，我們需要根據 $g(x)$ 的定義將積分分割成兩部分：當 $x < 10$ 和當 $x \ge 10$。

$E[B] = \int_{1}^{10} x \cdot f(x) dx + \int_{10}^{\infty} 10 \cdot f(x) dx$

代入 $f(x) = 2x^{-3}$：

此題主要考驗對經驗統計量 (Empirical Process) 的性質，特別是經驗生存函數的協方差和漸近分佈。

首先，我們定義生存函數 $S(x) = P(X_1 > x) = 1 - F(x)$，以及經驗生存函數 $S_n(x) = \frac{1}{n} \sum_{i=1}^n I(X_i > x)$。
$I(X_i > x)$ 是一個指示函數，當 $X_i > x$ 時為 1，否則為 0。
令 $Y_i(x) = I(X_i > x)$。則 $S_n(x) = \frac{1}{n} \sum_{i=1}^n Y_i(x)$。
$Y_i(x)$ 是一個 Bernoulli 隨機變數，其成功的機率為 $P(Y_i(x) = 1) = P(X_i > x) = S(x)$。
因此，$E[Y_i(x)] = S(x)$。
$Var(Y_i(x)) = E[Y_i(x)^2] - (E[Y_i(x)])^2 = E[I(X_i > x)^2] - S(x)^2 = E[I(X_i > x)] - S(x)^2 = S(x) - S(x)^2 = S(x)(1-S(x))$。

(a) 計算 $Cov(S_n(u), S_n(v))$，其中 $u < v$。
$Cov(S_n(u), S_n(v)) = Cov(\frac{1}{n} \sum_{i=1}^n I(X_i > u), \frac{1}{n} \sum_{j=1}^n I(X_j > v))$
由於 $X_i$ 是獨立同分佈的，所以當 $i \neq j$ 時，$I(X_i > u)$ 和 $I(X_j > v)$ 是獨立的。
$Cov(S_n(u), S_n(v)) = \frac{1}{n^2} \sum_{i=1}^n \sum_{j=1}^n Cov(I(X_i > u), I(X_j > v))$
由於 $Cov(A, B) = E[AB] - E[A]E[B]$，且當 $i \neq j$ 時，隨機變數獨立，故 $Cov(I(X_i > u), I(X_j > v)) = 0$。
所以我們只需要考慮 $i = j$ 的情況：
$Cov(S_n(u), S_n(v)) = \frac{1}{n^2} \sum_{i=1}^n Cov(I(X_i > u), I(X_i > v))$
$Cov(I(X_i > u), I(X_i > v)) = E[I(X_i > u) I(X_i > v)] - E[I(X_i > u)] E[I(X_i > v)]$
由於 $u < v$，事件 $\{X_i > v\}$ 是事件 $\{X_i > u\}$ 的子集。因此，$I(X_i > u) I(X_i > v) = I(X_i > v)$。
所以，$E[I(X_i > u) I(X_i > v)] = E[I(X_i > v)] = P(X_i > v) = S(v)$。
$E[I(X_i > u)] = P(X_i > u) = S(u)$。
$E[I(X_i > v)] = P(X_i > v) = S(v)$。
因此，$Cov(I(X_i > u), I(X_i > v)) = S(v) - S(u)S(v) = S(v)(1 - S(u))$。

將此結果代回：
$Cov(S_n(u), S_n(v)) = \frac{1}{n^2} \sum_{i=1}^n [S(v)(1 - S(u))] = \frac{1}{n^2} \cdot n \cdot S(v)(1 - S(u)) = \frac{S(v)(1 - S(u))}{n}$

(b) 尋找 $\sqrt{n}(S_n(u) – S(u))$ 和 $\sqrt{n}(S_n(v) – S(v))$ 的漸近聯合分佈。

此題考驗對順序統計量 (Order Statistics) 的性質，包含其期望值、變異數以及收斂性質。

給定 $X_1, ..., X_n$ 是 i.i.d. 的隨機變數，服從區間 $[3, 6]$ 上的均勻分佈，即 $X_i \sim Unif[3, 6]$。
此分佈的機率密度函數 (pdf) 為 $f(x) = \frac{1}{6-3} = \frac{1}{3}$ for $3 \le x \le 6$，否則為 0。
累積分佈函數 (cdf) 為 $F(x) = \frac{x-3}{3}$ for $3 \le x \le 6$，否則為 0。

(a) 計算 $X_{(k)}$ 的變異數。
順序統計量 $X_{(k)}$ 的 cdf 為 $F_{X_{(k)}}(x) = P(X_{(k)} \le x) = P(\text{at least } k \text{ of } X_i \le x)$。
這相當於進行 $n$ 次伯努利試驗，每次試驗成功的機率是 $P(X_i \le x) = F(x)$。
$F_{X_{(k)}}(x) = \sum_{j=k}^n \binom{n}{j} [F(x)]^j [1-F(x)]^{n-j}$。
此時 $X_{(k)}$ 的 pdf 為 $f_{X_{(k)}}(x) = \frac{n!}{(k-1)!(n-k)!} [F(x)]^{k-1} [1-F(x)]^{n-k} f(x)$。

對於均勻分佈 $Unif[a, b]$，其順序統計量 $X_{(k)}$ 的期望值和變異數有標準公式：
$E[X_{(k)}] = a + (b-a) \frac{k}{n+1}$
$Var(X_{(k)}) = (b-a)^2 \frac{k(n-k+1)}{(n+1)^2(n+2)}$

在本題中，$a=3$ 且 $b=6$，所以 $b-a = 3$。
$E[X_{(k)}] = 3 + 3 \cdot \frac{k}{n+1} = 3 \left( 1 + \frac{k}{n+1} \right) = 3 \frac{n+1+k}{n+1}$。

$Var(X_{(k)}) = (3)^2 \frac{k(n-k+1)}{(n+1)^2(n+2)} = 9 \frac{k(n-k+1)}{(n+1)^2(n+2)}$。

(b) 證明 $X_{(n)}$ 收斂到 6 in probability。
收斂到 6 in probability 表示對於任意 $\epsilon > 0$，有 $\lim_{n \to \infty} P(|X_{(n)} - 6| < \epsilon) = 1$。
這等價於 $\lim_{n \to \infty} P(X_{(n)} > 6 - \epsilon) = 1$ (因為 $X_{(n)}$ 的最大值是 6)。

$X_{(n)}$ 是最大的順序統計量，它表示 $n$ 個隨機變數中的最大值。
$X_{(n)} = \max(X_1, ..., X_n)$。
$P(X_{(n)} \le x) = F_{X_{(n)}}(x) = [F(x)]^n$。

核心觀念

本題考查：

1. 三組常態母體、共同未知變異數的線性模型。
2. 概似比檢定（Likelihood Ratio Test, LRT）。
3. 受限模型與非受限模型的最大概似估計。
4. ANOVA 的平方和分解，以及
   $F=\frac{\text{組間均方}}{\text{組內均方}}$
   的檢定統計量。
5. 共同變異數下線性組合平均數的 $t$ 信賴區間。

令

$$N=m+2n$$

並定義三組樣本平均數：

$$\bar X=\frac{1}{m}\sum_{i=1}^m X_i,\qquad \bar Y=\frac{1}{n}\sum_{j=1}^n Y_j,\qquad \bar Z=\frac{1}{n}\sum_{k=1}^n Z_k.$$

---

（a）概似比檢定

1. 非受限模型

在對立假設下，三組平均數可各自不同：

$$\mu_1,\ \mu_2,\ \mu_3$$

但三組變異數皆為共同的 $\sigma^2$。

其對數概似函數為

$$\ell(\mu_1,\mu_2,\mu_3,\sigma^2) = -\frac{N}{2}\log(2\pi) -\frac{N}{2}\log(\sigma^2) -\frac{1}{2\sigma^2}Q_U,$$

其中

$$Q_U= \sum_{i=1}^m(X_i-\mu_1)^2 +\sum_{j=1}^n(Y_j-\mu_2)^2 +\sum_{k=1}^n(Z_k-\mu_3)^2.$$

最大概似估計為

$$\hat\mu_1=\bar X,\qquad \hat\mu_2=\bar Y,\qquad \hat\mu_3=\bar Z.$$

定義組內平方和

$$W= \sum_{i=1}^m(X_i-\bar X)^2 +\sum_{j=1}^n(Y_j-\bar Y)^2 +\sum_{k=1}^n(Z_k-\bar Z)^2.$$

因此非受限模型下

$$\hat\sigma_U^2=\frac{W}{N-3}.$$

---

2. 虛無假設下的受限模型

虛無假設為

$$H_0:\mu_1=\mu_2=\mu_3=\mu.$$

此時三組資料共享同一個平均數 $\mu$。受限模型的對數概似函數為

$$\ell_0(\mu,\sigma^2) = -\frac{N}{2}\log(2\pi) -\frac{N}{2}\log(\sigma^2) -\frac{1}{2\sigma^2}Q_R,$$

其中

$$Q_R= \sum_{i=1}^m(X_i-\mu)^2 +\sum_{j=1}^n(Y_j-\mu)^2 +\sum_{k=1}^n(Z_k-\mu)^2.$$

令加權總平均數為

$$\bar X_{\cdot} = \frac{m\bar X+n\bar Y+n\bar Z}{N}.$$

對 $\mu$ 微分並令其為零，可得受限模型下的最大概似估計：

$$\hat\mu_0=\bar X_{\cdot}.$$

受限模型的殘差平方和為

$$Q_R= \sum_{i=1}^m(X_i-\bar X_{\cdot})^2 +\sum_{j=1}^n(Y_j-\bar X_{\cdot})^2 +\sum_{k=1}^n(Z_k-\bar X_{\cdot})^2.$$

利用平方和分解：

$$Q_R=W+B,$$

其中組間平方和為

$$B= m(\bar X-\bar X_{\cdot})^2 +n(\bar Y-\bar X_{\cdot})^2 +n(\bar Z-\bar X_{\cdot})^2.$$

故受限模型下

$$\hat\sigma_0^2=\frac{W+B}{N}.$$

---

3. 概似比統計量

常態樣本在最大概似估計下的概似函數與殘差平方和成反比冪，因此概似比為

$$\Lambda = \frac{\displaystyle\sup_{H_0}L} {\displaystyle\sup_{\text{全模型}}L} = \left(\frac{W}{W+B}\right)^{N/2}.$$

因為 $B\geq 0$，所以 $B$ 越大，$\Lambda$ 越小。故概似比檢定在 $\Lambda$ 很小時拒絕 $H_0$。

將其轉換為 $F$ 統計量。由常態模型的平方和分解：

$$\frac{W}{\sigma^2}\sim\chi^2_{N-3},$$ $$\frac{B}{\sigma^2}\sim\chi^2_2,$$

且兩者相互獨立。因此

$$F = \frac{B/2}{W/(N-3)} \sim F_{2,N-3} \qquad (H_0\text{ 成立}).$$

所以顯著水準 $\alpha$ 的檢定為：

$$\text{拒絕 }H_0 \quad\Longleftrightarrow\quad F> F_{2,N-3}(1-\alpha),$$

其中 $F_{2,N-3}(1-\alpha)$ 表示自由度為 $(2,N-3)$ 的 $F$ 分配上 $1-\alpha$ 分位數。

等價地，拒絕域可寫成

此題考驗對條件期望值的理解，以及如何最小化條件均方誤差。

給定 $X$ 和 $Y$ 是 i.i.d. 的常態隨機變數，具有相同的均值 $\mu$ 和變異數 $\sigma^2$。
$X \sim N(\mu, \sigma^2)$
$Y \sim N(\mu, \sigma^2)$
$Z = X + 3Y$。

我們需要找到一個函數 $f(Z)$，使得 $E[(X - f(Z))^2|Z]$ 最小。
考慮條件均方誤差 (Conditional Mean Squared Error, CMSE)：
$CMSE(f(Z)|Z) = E[(X - f(Z))^2|Z]$。
對於給定的 $Z=z$，我們希望最小化 $E[(X - f(z))^2|Z=z]$。
這是一個關於 $f(z)$ 的最小化問題。
我們知道，對於一個隨機變數 $A$，為了最小化 $E[(A - c)^2]$，常數 $c$ 應該取 $E[A]$。
在這裡，我們是在給定 $Z=z$ 的條件下，最小化 $E[(X - f(z))^2|Z=z]$。
因此，$f(z)$ 應該取為 $E[X|Z=z]$。
所以，我們需要計算 $E[X|Z=z]$。

首先，計算 $Z$ 的均值和變異數。
$E[Z] = E[X + 3Y] = E[X] + 3E[Y] = \mu + 3\mu = 4\mu$。
由於 $X$ 和 $Y$ 是獨立的，
$Var(Z) = Var(X + 3Y) = Var(X) + Var(3Y) = Var(X) + 3^2 Var(Y) = \sigma^2 + 9\sigma^2 = 10\sigma^2$。
所以，$Z \sim N(4\mu, 10\sigma^2)$。

現在，我們需要計算 $E[X|Z]$。
由於 $X$ 和 $Z$ 都是常態隨機變數的線性組合，它們的聯合分佈也是聯合常態分佈。
我們知道，對於聯合常態分佈 $(X, Z)$，條件期望值 $E[X|Z=z]$ 是 $z$ 的線性函數。

此題考驗對估計量均方誤差 (Mean Squared Error, MSE) 的理解，以及如何最小化 MSE。

給定 $X_1, ..., X_n$ 是 i.i.d. 的常態隨機變數，具有均值 $\mu$ 和變異數 $\sigma^2$。
我們想估計 $\sigma^2$。
考慮估計量 $T = c \sum_{i=1}^n (X_i - \bar{X})^2$，其中 $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$。
我們需要找到常數 $c$ 的值，使得 $T$ 的均方誤差 (MSE) 最小。

均方誤差定義為 $MSE(T) = E[(T - \sigma^2)^2]$。
我們知道 $MSE(T) = Var(T) + (Bias(T))^2$。
其中 $Bias(T) = E[T] - \sigma^2$。

首先，我們需要計算 $E[T]$。
我們知道 $\sum_{i=1}^n (X_i - \bar{X})^2 = (n-1) s^2$，其中 $s^2$ 是樣本變異數（無偏估計量）。
$\sum_{i=1}^n (X_i - \bar{X})^2$ 服從 $\sigma^2 \chi^2(n-1)$ 分佈。
其期望值為 $E\left[\sum_{i=1}^n (X_i - \bar{X})^2\right] = E[\sigma^2 \chi^2(n-1)] = \sigma^2 E[\chi^2(n-1)] = \sigma^2 (n-1)$。

所以，$E[T] = E\left[c \sum_{i=1}^n (X_i - \bar{X})^2\right] = c E\left[\sum_{i=1}^n (X_i - \bar{X})^2\right] = c \sigma^2 (n-1)$。

偏差 (Bias) 為：
$Bias(T) = E[T] - \sigma^2 = c \sigma^2 (n-1) - \sigma^2 = \sigma^2 (c(n-1) - 1)$。

接下來，我們需要計算 $Var(T)$。
$Var(T) = Var\left(c \sum_{i=1}^n (X_i - \bar{X})^2\right) = c^2 Var\left(\sum_{i=1}^n (X_i - \bar{X})^2\right)$。
由於 $\sum_{i=1}^n (X_i - \bar{X})^2 \sim \sigma^2 \chi^2(n-1)$，
$Var\left(\sum_{i=1}^n (X_i - \bar{X})^2\right) = Var(\sigma^2 \chi^2(n-1)) = (\sigma^2)^2 Var(\chi^2(n-1))$。
$\chi^2$ 分佈的變異數為 $2 \times$ 自由度。
所以，$Var(\chi^2(n-1)) = 2(n-1)$。
因此，$Var\left(\sum_{i=1}^n (X_i - \bar{X})^2\right) = \sigma^4 \cdot 2(n-1)$。

$Var(T) = c^2 \cdot 2(n-1) \sigma^4$。

現在，計算 MSE：
$MSE(T) = Var(T) + (Bias(T))^2$
$MSE(T) = c^2 \cdot 2(n-1) \sigma^4 + (\sigma^2 (c(n-1) - 1))^2$
$MSE(T) = 2(n-1)c^2 \sigma^4 + \sigma^4 (c(n-1) - 1)^2$
$MSE(T) = \sigma^4 \left[ 2(n-1)c^2 + (c(n-1) - 1)^2 \right]$