112 年 國立成功大學統計學研究所《數理統計（含機率概論）》

核心觀念

本題主要考查：

1. Rayleigh 分布的轉換。
2. 利用樞紐量建立假設檢定與信賴區間。
3. 由概似函數判斷拒絕域方向。
4. 卡方分布分位數的應用。

令

$$Y_i=\frac{X_i^2}{2}.$$

由變數變換可得

$$Y_i\sim \operatorname{Exponential}\left(\text{rate}=\frac{1}{\theta^2}\right).$$

因此

$$\frac{1}{\theta^2}\sum_{i=1}^n\frac{X_i^2}{2} \sim \operatorname{Gamma}(n,1),$$

等價地，

$$\frac{\sum_{i=1}^n X_i^2}{\theta^2}\sim \chi^2_{2n}.$$

令

$$S=\sum_{i=1}^n X_i^2.$$

則 $S/\theta^2$ 是服從自由度 $2n$ 卡方分布的樞紐量。

---

解題方法

聯合概似函數

樣本的聯合密度為

$$L(\theta) = \prod_{i=1}^n \frac{x_i}{\theta^2} \exp\left\{-\frac{x_i^2}{2\theta^2}\right\}.$$

整理得

$$L(\theta) = \left(\prod_{i=1}^n x_i\right) \theta^{-2n} \exp\left\{-\frac{S}{2\theta^2}\right\}.$$

當 $\theta_1>\theta_0$ 時，

$$\frac{L(\theta_1)}{L(\theta_0)} = \left(\frac{\theta_0}{\theta_1}\right)^{2n} \exp\left\{ \frac{S}{2} \left( \frac{1}{\theta_0^2} - \frac{1}{\theta_1^2} \right) \right\}.$$

因為 $\theta_1>\theta_0$，所以

$$\frac{1}{\theta_0^2}-\frac{1}{\theta_1^2}>0.$$

故概似比是 $S$ 的遞增函數。由單調概似比原理，針對 $\theta$ 越大的右尾檢定，應在 $S$ 很大時拒絕虛無假設。

---

（a）建立 level $\alpha$ 的假設檢定

欲檢定

$$H_0:\theta=1 \qquad \text{vs.}\qquad H_1:\theta>1.$$

在 $H_0:\theta=1$ 下，

$$S=\sum_{i=1}^n X_i^2\sim \chi^2_{2n}.$$

因此取拒絕域

$$S\geq c.$$

為使檢定的顯著水準為 $\alpha$，令 $c$ 滿足

$$P_{\theta=1}(S\geq c)=\alpha.$$

若以 $\chi^2_{2n,\;1-\alpha}$ 表示自由度 $2n$ 卡方分布的 $1-\alpha$ 分位數，則

$$c=\chi^2_{2n,\;1-\alpha}.$$

所以檢定為：

$$\boxed{ \text{當 } \sum_{i=1}^n X_i^2 \geq \chi^2_{2n,\;1-\alpha} \text{ 時，拒絕 }H_0 }$$

其檢定函數可寫成

$$\phi(\boldsymbol X) = I\left\{ \sum_{i=1}^n X_i^2 \geq \chi^2_{2n,\;1-\alpha} \right\}.$$

檢定大小為

$$P_{\theta=1} \left( S\geq \chi^2_{2n,\;1-\alpha} \right) =\alpha,$$

本題主要考驗對指數分布（或稱為 Gumbel 分布的一種形式）的參數估計，包含動差法估計量（Method of Moments Estimator, MOM）與最大概似估計量（Maximum Likelihood Estimator, MLE）。

核心觀念：

1. 指數分布的性質：此處給定的密度函數 $f(x; \mu, \sigma) = \frac{1}{\sigma} \exp\left\{-\frac{(x - \mu)}{\sigma}\right\}$ for $x \ge \mu$ 實際上是位移指數分布（Shifted Exponential Distribution）。其期望值為 $E[X] = \mu + \sigma$，變異數為 $\text{Var}(X) = \sigma^2$。
2. 動差法估計量 (MOM)：將樣本動差（sample moments）與理論動差（population moments）相等，然後解出參數。
3. 最大概似估計量 (MLE)：最大化樣本的聯合機率密度函數（似然函數），或其對數。
4. 函數的 MLE：若 $\hat{\theta}_{MLE}$ 是 $\theta$ 的 MLE，則 $g(\hat{\theta}_{MLE})$ 通常是 $g(\theta)$ 的 MLE，這稱為不變性原理（Invariance Principle）。

詳解：

首先，我們確定此機率分布的性質。
給定 $f(x; \mu, \sigma) = \frac{1}{\sigma} e^{-(x-\mu)/\sigma}$ for $x \ge \mu$, $\sigma > 0$.
這是參數為 $\mu$ (起始點) 和 $\sigma$ (尺度參數) 的位移指數分布。
其期望值為 $E[X] = \mu + \sigma$。
其變異數為 $\text{Var}(X) = \sigma^2$。

(a) Find a method of moment estimator for $\theta = (\mu, \sigma)$.

我們需要兩個動差來估計兩個參數 $\mu$ 和 $\sigma$。
樣本一階動差：$\bar{X} = \frac{1}{n} \sum_{i=1}^n X_i$。
樣本二階動差：$M_2 = \frac{1}{n} \sum_{i=1}^n X_i^2$。

將樣本動差與理論動差相等：

1. $E[X] = \bar{X} \implies \mu + \sigma = \bar{X}$
2. $E[X^2] = M_2$
   $E[X^2] = \text{Var}(X) + (E[X])^2 = \sigma^2 + (\mu + \sigma)^2$
   所以，$\sigma^2 + (\mu + \sigma)^2 = M_2$

從第一個方程，我們得到 $\mu = \bar{X} - \sigma$。
將此代入第二個方程：
$\sigma^2 + (\bar{X} - \sigma + \sigma)^2 = M_2$
$\sigma^2 + \bar{X}^2 = M_2$
$\hat{\sigma}_{MOM}^2 = M_2 - \bar{X}^2$
$\hat{\sigma}_{MOM} = \sqrt{M_2 - \bar{X}^2}$。
這個估計量要求 $M_2 > \bar{X}^2$，這通常是成立的，除非所有樣本點都相同。

然後，將 $\hat{\sigma}_{MOM}$ 代回 $\mu = \bar{X} - \sigma$：
$\hat{\mu}_{MOM} = \bar{X} - \hat{\sigma}_{MOM} = \bar{X} - \sqrt{M_2 - \bar{X}^2}$。

然而，我們需要注意一個問題：對於位移指數分布，其 PDF 定義域是 $x \ge \mu$。這意味著 $\mu$ 是最小可能的值。
如果我們直接使用 $\bar{X}$ 和 $\text{Var}(X)$，我們假設了 $X$ 的範圍是 $(-\infty, \infty)$，這與題幹的定義 $x \ge \mu$ 有所不同。

更準確地，我們應該考慮 $\min(X_1, \ldots, X_n)$。
令 $X_{(1)} = \min(X_1, \ldots, X_n)$。
對於 $X \sim \text{Shifted Exponential}(\mu, \sigma)$，其 CDF 為 $F(x) = 1 - e^{-(x-\mu)/\sigma}$ for $x \ge \mu$.
$X_{(1)}$ 的 CDF 為 $F_{(1)}(x) = 1 - [1 - F(x)]^n = 1 - [e^{-(x-\mu)/\sigma}]^n = 1 - e^{-n(x-\mu)/\sigma}$ for $x \ge \mu$.
這表明 $X_{(1)}$ 也是一個位移指數分布，其參數為 $(\mu, \sigma/n)$。
所以，$E[X_{(1)}] = \mu + \sigma/n$。

我們有兩個參數 $\mu$ 和 $\sigma$。我們可以使用 $\bar{X}$ 和 $X_{(1)}$。

1. $E[X] = \bar{X} \implies \mu + \sigma = \bar{X}$
2. $E[X_{(1)}] = X_{(1)} \implies \mu + \sigma/n = X_{(1)}$

從第二個方程，$\sigma/n = X_{(1)} - \mu \implies \sigma = n(X_{(1)} - \mu)$。
將此代入第一個方程：
$\mu + n(X_{(1)} - \mu) = \bar{X}$
$\mu + nX_{(1)} - n\mu = \bar{X}$
$nX_{(1)} - \bar{X} = (n-1)\mu$
$\hat{\mu}_{MOM} = \frac{nX_{(1)} - \bar{X}}{n-1}$。

然後，$\hat{\sigma}_{MOM} = n(X_{(1)} - \hat{\mu}_{MOM})$
$\hat{\sigma}_{MOM} = n\left(X_{(1)} - \frac{nX_{(1)} - \bar{X}}{n-1}\right)$
$\hat{\sigma}_{MOM} = n\left(\frac{(n-1)X_{(1)} - (nX_{(1)} - \bar{X})}{n-1}\right)$
$\hat{\sigma}_{MOM} = n\left(\frac{nX_{(1)} - X_{(1)} - nX_{(1)} + \bar{X}}{n-1}\right)$
$\hat{\sigma}_{MOM} = n\left(\frac{\bar{X} - X_{(1)}}{n-1}\right) = \frac{n(\bar{X} - X_{(1)})}{n-1}$。

注意：這個結果要求 $\bar{X} > X_{(1)}$，這通常成立，除非所有樣本點都相同。
同時，$\hat{\mu}_{MOM} = \frac{n X_{(1)} - \bar{X}}{n-1} = \frac{(n-1)X_{(1)} + X_{(1)} - \bar{X}}{n-1} = X_{(1)} + \frac{X_{(1)} - \bar{X}}{n-1} = X_{(1)} - \frac{\bar{X} - X_{(1)}}{n-1} = X_{(1)} - \frac{\hat{\sigma}_{MOM}}{n}$.
這與 $E[X_{(1)}] = \mu + \sigma/n$ 相符。

因此，動差法估計量為：
$\hat{\mu}_{MOM} = \frac{n X_{(1)} - \bar{X}}{n-1}$
$\hat{\sigma}_{MOM} = \frac{n(\bar{X} - X_{(1)})}{n-1}$
其中 $X_{(1)} = \min(X_1, \ldots, X_n)$。

(b) Find the maximum likelihood estimator of $\theta = (\mu, \sigma)$.

樣本的聯合機率密度函數（似然函數）為：
$L(\mu, \sigma) = \prod_{i=1}^n f(x_i; \mu, \sigma) = \prod_{i=1}^n \frac{1}{\sigma} \exp\left\{-\frac{(x_i - \mu)}{\sigma}\right\}$, for $x_i \ge \mu$ for all $i$.
這意味著 $\mu \le x_i$ for all $i$, so $\mu \le \min(x_1, \ldots, x_n) = X_{(1)}$.

核心觀念

本題考查隨機變數的累積分布函數：

$$F_Y(y)=P(Y\le y)$$

因為 $Y=\sin^2(X)$，所以必有

$$0\le Y\le 1.$$

又 $X\sim U(0,2\pi)$，因此對任意區間 $A\subset(0,2\pi)$，

$$P(X\in A)=\frac{\text{區間 }A\text{ 的長度}}{2\pi}.$$

關鍵在於找出一個週期內滿足 $\sin^2(x)\le y$ 的 $x$ 所占長度。

解題方法

先分不同的 $y$ 值討論。

情形一：$y<0$

由於 $Y=\sin^2(X)\ge 0$，不可能有 $Y\le y$，因此

$$F_Y(y)=0,\qquad y<0.$$

情形二：$0\le y<1$

令

$$a=\sin^{-1}(\sqrt y),$$

則 $0\le a<\dfrac{\pi}{2}$，且

$$\sin^2(x)\le y \iff |\sin(x)|\le \sqrt y.$$

在區間 $(0,2\pi)$ 中，滿足條件的 $x$ 位於下列區間：

$$(0,a)\cup(\pi-a,\pi+a)\cup(2\pi-a,2\pi).$$

這些區間的總長度為

$$a+2a+a=4a.$$

因此

$$\begin{aligned} F_Y(y) &=P(\sin^2(X)\le y)\\ &=\frac{4a}{2\pi}\\ &=\frac{2}{\pi}\sin^{-1}(\sqrt y). \end{aligned}$$

所以當 $0\le y<1$ 時，

$$F_Y(y)=\frac{2}{\pi}\sin^{-1}(\sqrt y).$$

情形三：$y\ge 1$

由於 $0\le Y\le 1$，必有 $Y\le y$，因此

核心觀念

令 $F(x)$ 為共同的累積分布函數：

$$F(x)=P(X_i\le x).$$

因為 $X_1,X_2,\ldots$ 相互獨立且具有相同的連續分布，所以：

1. 給定 $X_1=x$ 後，每一年降雨量超過 $x$ 的機率為 $$P(X_i>x)=1-F(x).$$
2. 首次超過時間在給定 $X_1=x$ 的條件下服從幾何分布。
3. 再對 $X_1$ 的分布取平均，即可得到無條件分布。
4. 連續性保證 $P(X_i=X_1)=0$，因此「超過」與「不超過」之間不需另行處理平手情況。

以下將「等候年數」定義為：

$$T=\min\{n\ge 1:X_{n+1}>X_1\}.$$

也就是從第一年之後開始計算，$T=1$ 表示第二年的降雨量首次超過第一年。

---

解題方法

給定第一年降雨量 $X_1=x$，前 $n$ 年，即 $X_2,\ldots,X_{n+1}$，都沒有超過 $x$ 的機率為

$$P(T>n\mid X_1=x) =P(X_2\le x,\ldots,X_{n+1}\le x\mid X_1=x).$$

利用獨立性：

$$P(T>n\mid X_1=x)=F(x)^n.$$

因此無條件機率為

$$P(T>n) =E\left[F(X_1)^n\right].$$

由於 $X_1$ 的 pdf 為 $f(x)$，

$$P(T>n)=\int_{-\infty}^{\infty}F(x)^n f(x)\,dx.$$

令 $u=F(x)$，則 $du=f(x)\,dx$。因為 $F(X_1)$ 在連續分布下服從 $U(0,1)$，所以

$$P(T>n)=\int_0^1u^n\,du =\frac{1}{n+1}.$$

---

（a）等候年數的分布

對 $n=1,2,\ldots$，

$$P(T=n) =P(T>n-1)-P(T>n).$$

代入上式：

$$P(T=n) =\frac{1}{n}-\frac{1}{n+1} =\frac{1}{n(n+1)}.$$

所以 $T$ 的機率質量函數為

$$\boxed{P(T=n)=\frac{1}{n(n+1)},\qquad n=1,2,\ldots}$$

其累積分布函數為

$$P(T\le n) =1-P(T>n) =1-\frac{1}{n+1} =\frac{n}{n+1}, \qquad n=1,2,\ldots$$

因此，

核心觀念

本題考查：

1. 貝氏公式：
   $\pi(\theta\mid x_1,\ldots,x_n)\propto L(\theta)\pi(\theta)。$

2. 常態樣本在已知變異數下，似然函數可由樣本平均數 $\bar X$ 表示。

3. 雙指數分布先驗包含絕對值 $|\theta|$，因此必須分成 $\theta\geq 0$ 與 $\theta<0$ 兩段處理。

4. 可信區間可由後驗分布的分位數建立。以下採用等尾可信區間。

令

$$\bar X=\frac{1}{n}\sum_{i=1}^n X_i, \qquad \tau^2=\frac{\sigma^2}{n}, \qquad k=\lambda\tau^2=\frac{\lambda\sigma^2}{n}.$$

則 $\bar X\mid\theta\sim\mathcal N(\theta,\tau^2)$。

---

(a) 後驗分布

第一步：寫出似然函數與先驗分布

由常態樣本的性質，

$$L(\theta\mid x_1,\ldots,x_n) \propto \exp\left\{ -\frac{(\theta-\bar x)^2}{2\tau^2} \right\}.$$

先驗密度為

$$\pi(\theta)=\frac{\lambda}{2}e^{-\lambda|\theta|}.$$

因此後驗密度滿足

$$\pi(\theta\mid\boldsymbol x) \propto \exp\left\{ -\frac{(\theta-\bar x)^2}{2\tau^2} -\lambda|\theta| \right\}.$$

---

第二步：依 $\theta$ 的正負分段

情況一：$\theta\geq 0$

此時 $|\theta|=\theta$，所以

$$-\frac{(\theta-\bar x)^2}{2\tau^2}-\lambda\theta.$$

配方得

$$-\frac{(\theta-\bar x)^2}{2\tau^2}-\lambda\theta = -\frac{(\theta-\mu_+)^2}{2\tau^2} -\lambda\bar x+\frac{\lambda^2\tau^2}{2},$$

其中

$$\mu_+=\bar x-\lambda\tau^2=\bar x-k.$$

情況二：$\theta<0$

此時 $|\theta|=-\theta$，所以

$$-\frac{(\theta-\bar x)^2}{2\tau^2}+\lambda\theta.$$

配方得

$$-\frac{(\theta-\bar x)^2}{2\tau^2}+\lambda\theta = -\frac{(\theta-\mu_-)^2}{2\tau^2} +\lambda\bar x+\frac{\lambda^2\tau^2}{2},$$

其中

$$\mu_-=\bar x+\lambda\tau^2=\bar x+k.$$

因此，後驗密度可寫成

$$\pi(\theta\mid\boldsymbol x) = \frac{1}{\tau\sqrt{2\pi}\,Z} \begin{cases} \exp\left\{\lambda\bar x-\dfrac{\lambda^2\tau^2}{2}\right\} \exp\left\{-\dfrac{(\theta-\mu_-)^2}{2\tau^2}\right\}, &\theta<0,\\[12pt] \exp\left\{-\lambda\bar x-\dfrac{\lambda^2\tau^2}{2}\right\} \exp\left\{-\dfrac{(\theta-\mu_+)^2}{2\tau^2}\right\}, &\theta\geq 0, \end{cases}$$

將共同的因子消去後，令

$$Z = e^{\lambda\bar x}\Phi\left(-\frac{\mu_-}{\tau}\right) + e^{-\lambda\bar x}\Phi\left(\frac{\mu_+}{\tau}\right),$$

即可得到較簡潔的形式：

$$\pi(\theta\mid\boldsymbol x) = \frac{1}{\tau\sqrt{2\pi}\,Z} \begin{cases} e^{\lambda\bar x} \exp\left\{-\dfrac{(\theta-\mu_-)^2}{2\tau^2}\right\}, &\theta<0,\\[12pt] e^{-\lambda\bar x} \exp\left\{-\dfrac{(\theta-\mu_+)^2}{2\tau^2}\right\}, &\theta\geq 0. \end{cases}$$

其中 $\Phi$ 為標準常態分布函數。

---

後驗分布的混合表示

上述結果也可解釋為兩個截尾常態分布的混合：

$$\theta\mid\boldsymbol X \sim w_-\,\mathcal N(\mu_-,\tau^2)\text{ 左截尾於 }0 + w_+\,\mathcal N(\mu_+,\tau^2)\text{ 右截尾於 }0,$$

其中

核心觀念

本題考查「單調函數所形成的共變異數符號」：

• 若 $g$ 為非遞減函數，則 $x>y$ 時有 $g(x)\ge g(y)$。
• 若 $h$ 為非遞減函數，則 $x>y$ 時有 $h(x)\ge h(y)$；本題的 $h$ 為非遞增函數，因此 $x>y$ 時有 $h(x)\le h(y)$。
• 因此，對任意 $x,y$，兩個差值
  $g(x)-g(y),\qquad h(x)-h(y)$
  的方向相反，故其乘積不大於 $0$。

證明時引入一個與 $X$ 同分布且相互獨立的隨機變數 $Y$，並利用共變異數公式

$$\operatorname{Cov}(g(X),h(X)) =E[g(X)h(X)]-E[g(X)]E[h(X)].$$

---

解題方法

令 $Y$ 為與 $X$ 同分布且相互獨立的隨機變數。由於 $g$ 為非遞減、$h$ 為非遞增，對任意實數 $x,y$，皆有

$$\bigl(g(x)-g(y)\bigr)\bigl(h(x)-h(y)\bigr)\le 0.$$

將 $x=X$、$y=Y$ 代入，可得幾乎處處成立：

$$\bigl(g(X)-g(Y)\bigr)\bigl(h(X)-h(Y)\bigr)\le 0.$$

取期望後得到

$$E\left[\bigl(g(X)-g(Y)\bigr)\bigl(h(X)-h(Y)\bigr)\right]\le 0.$$

將左側展開：

$$\begin{aligned} & E\left[g(X)h(X)-g(X)h(Y)-g(Y)h(X)+g(Y)h(Y)\right] \\ ={}& E[g(X)h(X)] -E[g(X)h(Y)] -E[g(Y)h(X)] +E[g(Y)h(Y)]. \end{aligned}$$

因為 $X$ 與 $Y$ 相互獨立，且 $X,Y$ 同分布，所以

$$E[g(X)h(Y)] =E[g(X)]E[h(Y)] =E[g(X)]E[h(X)],$$

同理，

$$E[g(Y)h(X)] =E[g(Y)]E[h(X)] =E[g(X)]E[h(X)].$$

此外，

$$E[g(Y)h(Y)]=E[g(X)h(X)].$$

因此，