108 年 國立政治大學統計學系碩士班《數理統計學》

核心觀念

本題考查：

• 以事件表示系統在時間 $y$ 仍正常運作的條件。
• 系統可靠度函數與分布函數的關係：
  $\Pr(Y>y)=1-F_Y(y).$
• 二項分布的計數概念。
• 若 $F$ 具有密度函數 $f$，則由微分取得 $Y$ 的 pdf。

在時間 $y$，第 $i$ 個元件仍運作的事件為 $\{X_i>y\}$。令

$$S(y)=1-F(y)=\Pr(X_i>y).$$

由於 $X_i$ 服從連續分布，故 $\Pr(X_i=y)=0$，不影響使用大於或大於等於的表示方式。

解題方法

系統正常運作必須同時滿足：

1. 元件 1 仍運作；
2. 元件 2、3、4 中至少有兩個仍運作。

因此，

$$\{Y>y\} = \{X_1>y\} \cap \left\{ \text{元件 2、3、4 中至少兩個大於 }y \right\}.$$

因為各元件壽命獨立，所以兩個事件的機率可以相乘。

元件 2、3、4 中至少兩個運作，包含以下兩種情形：

• 恰有兩個運作：機率為
  $\binom{3}{2}S(y)^2F(y).$

• 三個全部運作：機率為
  $S(y)^3.$

故

$$\Pr(Y>y) = S(y) \left[ \binom{3}{2}S(y)^2F(y)+S(y)^3 \right].$$

代入 $S(y)=1-F(y)$，得

$$\Pr(Y>y) = 3F(y)\bigl[1-F(y)\bigr]^3 + \bigl[1-F(y)\bigr]^4.$$

因此，$Y$ 的分布函數為

$$F_Y(y) = 1-3F(y)\bigl[1-F(y)\bigr]^3 -\bigl[1-F(y)\bigr]^4.$$

將其展開，可得較簡潔的形式：

$$F_Y(y) = F(y)+3F(y)^2-5F(y)^3+2F(y)^4.$$

這就是 $Y$ 的 distribution function。

pdf 的推導

題目僅說 $F$ 為連續分布函數；嚴格而言，連續分布不必然具有 pdf。以下在通常考試假設 $F$ 具有密度函數 $f$，且

$$F'(y)=f(y)$$

的條件下求 $Y$ 的 pdf。

令 $u=F(y)$，則

$$F_Y(y)=u+3u^2-5u^3+2u^4.$$

對 $y$ 微分：

核心觀念

本題主要考查：

• Likelihood function 與支持集含參數時的 MLE。
• Pareto 分配的對數轉換。
• Sufficient statistic、complete statistic 與 Lehmann–Scheffé theorem。
• Gamma 分配負次方矩。
• MLE 的漸近常態分配與 Wald 信賴區間。
• Probability convergence 與 order statistic 的極限分配。

---

(1) $\theta$ 與 $\eta$ 的 MLE

令

$$X_{(1)}=\min\{X_1,\ldots,X_n\}.$$

聯合 likelihood 為

$$L(\theta,\eta) = \prod_{i=1}^n \theta\eta^\theta x_i^{-(\theta+1)} I(\eta\leq x_i).$$

整理得

$$L(\theta,\eta) = \theta^n\eta^{n\theta} \left(\prod_{i=1}^n x_i^{-(\theta+1)}\right) I(0<\eta\leq X_{(1)}).$$

在固定 $\theta$ 下，$\eta$ 的部分為 $\eta^{n\theta}$。因為 $n\theta>0$，likelihood 隨著 $\eta$ 增加而增加，因此必須取支持集允許的最大值：

$$\widehat{\eta}=X_{(1)}.$$

取對數 likelihood：

$$\ell(\theta,\eta) = n\ln\theta+n\theta\ln\eta -(\theta+1)\sum_{i=1}^n\ln x_i.$$

對 $\theta$ 微分：

$$\frac{\partial\ell}{\partial\theta} = \frac{n}{\theta} +n\ln\eta -\sum_{i=1}^n\ln x_i.$$

令其等於 $0$：

$$\frac{n}{\theta} = \sum_{i=1}^n\ln x_i-n\ln\eta = \sum_{i=1}^n\ln\left(\frac{x_i}{\eta}\right).$$

因此，在 $\eta=\widehat{\eta}=X_{(1)}$ 下，

$$\widehat{\theta} = \frac{n} {\displaystyle\sum_{i=1}^n \ln\left(\frac{X_i}{X_{(1)}}\right)}.$$

故

$$\boxed{ \widehat{\eta}=X_{(1)},\qquad \widehat{\theta} = \frac{n} {\displaystyle\sum_{i=1}^n \ln(X_i/X_{(1)})} }.$$

解題技巧

含有參數 $\eta$ 的支持集是 $x\geq\eta$，因此先觀察指示函數所造成的限制：

$$0<\eta\leq X_{(1)}.$$

再看 likelihood 對 $\eta$ 單調遞增，即可直接判斷 $\widehat{\eta}=X_{(1)}$，不必只依賴微分。

---

(2) 假設 $\eta=1$

此時

$$f(x;\theta)=\theta x^{-(\theta+1)},\qquad x\geq1.$$

令

$$Y_i=\ln X_i.$$

因為 $X_i=e^{Y_i}$ 且 $dx=e^y\,dy$，所以

$$f_Y(y) = \theta(e^y)^{-(\theta+1)}e^y = \theta e^{-\theta y},\qquad y\geq0.$$

因此

$$Y_i=\ln X_i\sim\operatorname{Exponential}(\theta),$$

其中 $\theta$ 是 rate parameter。

令

$$S=\sum_{i=1}^nY_i = \sum_{i=1}^n\ln X_i.$$

則

$$S\sim\operatorname{Gamma}(n,\theta),$$

其密度為

$$f_S(s) = \frac{\theta^n}{\Gamma(n)} s^{n-1}e^{-\theta s}, \qquad s>0.$$

$S$ 是 $\theta$ 的充分統計量，而且 Gamma exponential family 是 complete family。因此，只要找到 $S$ 的 unbiased estimator，即可由 Lehmann–Scheffé theorem 判定為 MVUE。

---

(2)(a) $\theta+\theta^2$ 的 MVUE

對 $S\sim\operatorname{Gamma}(n,\theta)$，若 $k<n$，則

$$E(S^{-k}) = \frac{\theta^k\Gamma(n-k)}{\Gamma(n)}.$$

取 $k=1$：

$$E\left(\frac1S\right) = \frac{\theta}{n-1}.$$

`

因此

$$E\left(\frac{n-1}{S}\right)=\theta.$$

取 $k=2$：

$$E\left(\frac1{S^2}\right) = \frac{\theta^2}{(n-1)(n-2)}.$$

因此

$$E\left(\frac{(n-1)(n-2)}{S^2}\right)=\theta^2.$$

將兩者相加：

$$\widehat{\theta+\theta^2} = \frac{n-1}{S} + \frac{(n-1)(n-2)}{S^2}.$$

`

代回 $S=\sum_{i=1}^n\ln X_i$，得到

$$\boxed{ \widehat{\theta+\theta^2}_{\mathrm{MVUE}} = \frac{n-1}{\displaystyle\sum_{i=1}^n\ln X_i} + \frac{(n-1)(n-2)} {\left(\displaystyle\sum_{i=1}^n\ln X_i\right)^2} }$$

其中通常假設 $n>2$。

解題技巧

看到 $X_i^{-(\theta+1)}$ 且 $X_i\geq1$ 時，優先考慮

$$Y_i=\ln X_i.$$

轉換後變成 exponential sample，樣本總和直接具有 Gamma 分配，負次方矩即可用來構造 $\theta$ 與 $\theta^2$ 的 unbiased estimator。

---

(2)(b) $\theta$ 的近似 $100(1-\alpha)\%$ 信賴區間

由

$$Y_i=\ln X_i\sim\operatorname{Exponential}(\theta),$$

可得

$$E(Y_i)=\frac1\theta,\qquad \operatorname{Var}(Y_i)=\frac1{\theta^2}.$$

而 MLE 為

$$\widehat{\theta}=\frac{n}{S} =\frac1{\overline{Y}}.$$

每一筆觀測值的 Fisher information 為

$$I_1(\theta)=\frac1{\theta^2},$$

因此總 Fisher information 為

$$I_n(\theta)=\frac n{\theta^2}.$$

由 MLE 的漸近常態性，

核心觀念

本題考查：

• 條件期望為平方損失下的最佳預測值：
  $\hat X(Y)=E(X\mid Y)$
• 二維變數轉換：
  $f_{X,Z}(x,z)=f_{X,Y}\bigl(x,y(x,z)\bigr)\left|J\right|$
• 邊際密度、期望值與變異數的計算。

原聯合密度的支撐集為

$$0\le x\le y\le 1.$$

先求 $Y$ 的邊際密度：

$$f_Y(y)=\int_0^y 8xy\,dx =8y\left[\frac{x^2}{2}\right]_0^y =4y^3,\qquad 0\le y\le 1.$$

---

（1）觀察到 $Y=0.6$ 時的最佳預測值

在平方誤差損失下，預測值 $a$ 的均方誤差為

$$E\left[(X-a)^2\mid Y=0.6\right].$$

使此量最小的 $a$ 是條件期望：

$$a=E(X\mid Y=0.6).$$

先求條件密度：

$$f_{X\mid Y}(x\mid y) =\frac{f_{X,Y}(x,y)}{f_Y(y)} =\frac{8xy}{4y^3} =\frac{2x}{y^2}, \qquad 0\le x\le y.$$

因此

$$E(X\mid Y=y) =\int_0^y x\frac{2x}{y^2}\,dx =\frac{2}{y^2}\int_0^y x^2\,dx =\frac{2}{y^2}\cdot\frac{y^3}{3} =\frac{2y}{3}.$$

代入 $y=0.6$：

$$E(X\mid Y=0.6) =\frac{2(0.6)}{3} =0.4.$$

所以最小 MSE 下的預測值為

$$\boxed{0.4}.$$

---

（2）（a）求 $(X,Z)$ 的聯合機率密度函數

已知

$$Z=\frac{Y}{X}.$$

取轉換

$$U=X,\qquad Z=\frac{Y}{X}.$$

反解得

$$X=x,\qquad Y=xz.$$

計算 Jacobian：

$$\frac{\partial(x,y)}{\partial(x,z)} = \begin{vmatrix} \frac{\partial x}{\partial x} & \frac{\partial x}{\partial z}\\ \frac{\partial y}{\partial x} & \frac{\partial y}{\partial z} \end{vmatrix} = \begin{vmatrix} 1&0\\ z&x \end{vmatrix} =x.$$

因此

$$\left|J\right|=x.$$

原支撐條件為

$$0\le x\le y\le 1.$$

代入 $y=xz$：

$$0\le x\le xz\le 1.$$

由於 $x>0$ 時可約去 $x$，得到

$$z\ge 1,\qquad 0<x\le \frac{1}{z}.$$

因此

$$\begin{aligned} f_{X,Z}(x,z) &=f_{X,Y}(x,xz)\left|J\right|\\ &=8x(xz)\cdot x\\ &=8x^3z. \end{aligned}$$

故聯合密度為

核心觀念

本題重點包括：

1. 常態分配變異數的最大概似估計：平均數已知時，自由度為樣本數，而不是樣本數減一。
2. 卡方分配與 $F$ 分配：
   $\frac{\sum_{i=1}^{n}(X_i-\mu)^2}{\sigma^2}\sim\chi^2_n$
   兩個獨立卡方變數除以各自自由度後的比值服從 $F$ 分配。
3. 概似比檢定：比較虛無假設下的最大概似與對參數完全不設限時的最大概似。

題目第（1）小題使用共同變異數 $\sigma^2$。第（2）、（3）小題出現 $\sigma_1^2,\sigma_2^2$，因此以下將其視為兩組樣本各自具有變異數 $\sigma_1^2,\sigma_2^2$，並以此回答變異數比與檢定問題。

令

$$U=\sum_{i=1}^{n_1}(X_i-\mu_1)^2,\qquad V=\sum_{j=1}^{n_2}(Y_j-\mu_2)^2.$$

---

（1）$\sigma^2$ 的最大概似估計量

解題方法

因為 $\mu_1,\mu_2$ 已知，兩組樣本的聯合概似函數為

$$L(\sigma^2) = \prod_{i=1}^{n_1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left\{-\frac{(X_i-\mu_1)^2}{2\sigma^2}\right\} \prod_{j=1}^{n_2} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left\{-\frac{(Y_j-\mu_2)^2}{2\sigma^2}\right\}.$$

合併後可寫為

$$L(\sigma^2) = (2\pi\sigma^2)^{-\frac{n_1+n_2}{2}} \exp\left\{ -\frac{U+V}{2\sigma^2} \right\}.$$

取對數概似函數：

$$\ell(\sigma^2) = -\frac{n_1+n_2}{2}\log(2\pi) -\frac{n_1+n_2}{2}\log(\sigma^2) -\frac{U+V}{2\sigma^2}.$$

對 $\sigma^2$ 微分：

$$\frac{\partial\ell}{\partial(\sigma^2)} = -\frac{n_1+n_2}{2\sigma^2} +\frac{U+V}{2(\sigma^2)^2}.$$

令導數等於零：

$$-\frac{n_1+n_2}{2\sigma^2} +\frac{U+V}{2(\sigma^2)^2}=0.$$

乘上 $2(\sigma^2)^2$ 得

$$-(n_1+n_2)\sigma^2+U+V=0.$$

因此

$$\widehat{\sigma^2} = \frac{U+V}{n_1+n_2}.$$

也就是

$$\boxed{ \widehat{\sigma^2} = \frac{ \sum_{i=1}^{n_1}(X_i-\mu_1)^2 + \sum_{j=1}^{n_2}(Y_j-\mu_2)^2 }{n_1+n_2} }.$$

解題技巧

平均數已知，因此每一筆觀察值都貢獻一個自由度，分母是 $n_1+n_2$。若平均數未知，才會估計兩個平均數並使用分母 $n_1+n_2-2$。

---

（2）$\dfrac{\sigma_1^2}{\sigma_2^2}$ 的精確信賴區間

核心分配

在兩組平均數均已知的情況下，

$$\frac{U}{\sigma_1^2}\sim\chi^2_{n_1}, \qquad \frac{V}{\sigma_2^2}\sim\chi^2_{n_2}.$$

由於兩組樣本獨立，所以這兩個卡方變數彼此獨立。故

$$F= \frac{U/n_1}{V/n_2}$$

滿足

$$\frac{F}{\sigma_1^2/\sigma_2^2} = \frac{U/(n_1\sigma_1^2)}{V/(n_2\sigma_2^2)} \sim F_{n_1,n_2}.$$

令

$$\rho=\frac{\sigma_1^2}{\sigma_2^2}, \qquad F_{\text{obs}} = \frac{U/n_1}{V/n_2}.$$

若 $F_{\gamma}(n_1,n_2)$ 表示 $F_{n_1,n_2}$ 分配的 $\gamma$ 分位數，則

$$P\left\{ F_{\alpha/2}(n_1,n_2) \le \frac{F_{\text{obs}}}{\rho} \le F_{1-\alpha/2}(n_1,n_2) \right\} =1-\alpha.$$

解出 $\rho$：

$$\frac{F_{\text{obs}}}{F_{1-\alpha/2}(n_1,n_2)} \le \rho \le \frac{F_{\text{obs}}}{F_{\alpha/2}(n_1,n_2)}.$$

因此，$\dfrac{\sigma_1^2}{\sigma_2^2}$ 的精確 $100(1-\alpha)\%$ 信賴區間為

$$\boxed{ \left[ \frac{ \dfrac{U/n_1}{V/n_2} }{ F_{1-\alpha/2}(n_1,n_2) }, \; \frac{ \dfrac{U/n_1}{V/n_2} }{ F_{\alpha/2}(n_1,n_2) } \right] }.$$

將 $U,V$ 展開後：

$$\boxed{ \left[ \frac{ \dfrac{1}{n_1}\sum_{i=1}^{n_1}(X_i-\mu_1)^2 }{ \dfrac{1}{n_2}\sum_{j=1}^{n_2}(Y_j-\mu_2)^2 } \frac{1}{F_{1-\alpha/2}(n_1,n_2)} ,\; \frac{ \dfrac{1}{n_1}\sum_{i=1}^{n_1}(X_i-\mu_1)^2 }{ \dfrac{1}{n_2}\sum_{j=1}^{n_2}(Y_j-\mu_2)^2 } \frac{1}{F_{\alpha/2}(n_1,n_2)} \right] }.$$

解題技巧

本題平均數已知，所以自由度是 $n_1,n_2$。若平均數未知，自由度才會改成 $n_1-1,n_2-1$。

---

（3）大小為 $\alpha$ 的概似比檢定

考慮

$$H_0:\sigma_1^2=\sigma_2^2=\sigma^2$$

對抗

$$H_a:\sigma_1^2\ne\sigma_2^2.$$

完全不設限下的最大概似

在對立假設下，兩個變異數分別估計。概似函數為