114 年 國立中山大學應用數學系碩士班甲組《統計與機率》

本題主要考察樣本均值與樣本變異數的期望值與變異數，以及樣本變異數的性質。

(a) 根據期望值的線性性質，樣本均值的期望值等於母體期望值。
$E(\bar{X}_n) = E\left(\frac{1}{n}\sum_{i=1}^n X_i\right) = \frac{1}{n}\sum_{i=1}^n E(X_i)$
由於 $X_i$ 是來自同一母體，且母體期望值為 $\mu$，因此 $E(X_i) = \mu$ 對於所有 $i$ 均成立。
$E(\bar{X}_n) = \frac{1}{n}\sum_{i=1}^n \mu = \frac{1}{n}(n\mu) = \mu$
對於樣本均值的變異數，由於樣本是獨立同分布的，其變異數為母體變異數 $\sigma^2$。
$Var(\bar{X}_n) = Var\left(\frac{1}{n}\sum_{i=1}^n X_i\right)$
由於 $X_i$ 彼此獨立，
$Var(\bar{X}_n) = \left(\frac{1}{n}\right)^2 Var\left(\sum_{i=1}^n X_i\right) = \frac{1}{n^2}\sum_{i=1}^n Var(X_i)$
由於 $Var(X_i) = \sigma^2$ 對於所有 $i$ 均成立，
$Var(\bar{X}_n) = \frac{1}{n^2}\sum_{i=1}^n \sigma^2 = \frac{1}{n^2}(n\sigma^2) = \frac{\sigma^2}{n}$
【答案】 $E(\bar{X}_n) = \mu$, $Var(\bar{X}_n) = \frac{\sigma^2}{n}$。

(b) 我們需要證明 $E(S_n^2) = \sigma^2$。
首先，考慮 $\sum_{i=1}^n (X_i - \mu)^2$ 的期望值。
$E\left[\sum_{i=1}^n (X_i - \mu)^2\right] = \sum_{i=1}^n E[(X_i - \mu)^2] = \sum_{i=1}^n Var(X_i) = n\sigma^2$
接下來，我們將 $S_n^2$ 的定義式中的 $\mu$ 替換成 $\bar{X}_n$。
$\sum_{i=1}^n (X_i - \mu)^2 = \sum_{i=1}^n (X_i - \bar{X}_n + \bar{X}_n - \mu)^2$
$= \sum_{i=1}^n [(X_i - \bar{X}_n) + (\bar{X}_n - \mu)]^2$

本題要求證明一個關於非負連續隨機變數平方期望值的積分表示式。

我們從期望值的定義出發，對於一個非負連續隨機變數 $X$，其期望值可以表示為：
$E(X) = \int_0^\infty P(X > x) dx$
此公式的直觀解釋是將 $X$ 的值域 $[0, \infty)$ 劃分成許多小區間 $[x, x+dx)$，在每個小區間上，$P(X>x)$ 代表了該區間以及之後所有區間的機率，乘以區間寬度 $dx$ 相當於將該區間內的值的機率加權平均。

現在我們考慮 $E(X^2)$。我們可以將 $X^2$ 視為一個新的非負隨機變數 $Y=X^2$。那麼 $E(Y) = E(X^2)$。
我們可以使用上述的積分公式來計算 $E(Y)$：
$E(X^2) = E(Y) = \int_0^\infty P(Y > t) dt = \int_0^\infty P(X^2 > t) dt$
由於 $X$ 是非負的，所以 $X^2 > t$ 等價於 $X > \sqrt{t}$。
$E(X^2) = \int_0^\infty P(X > \sqrt{t}) dt$
現在我們進行變數代換。令 $u = \sqrt{t}$。那麼 $t = u^2$，並且 $dt = 2u \, du$。
當 $t=0$ 時，$u=0$。當 $t \to \infty$ 時，$u \to \infty$。
將這些代換到積分式中：

核心觀念

本題考查三個重點：

1. 最大概似估計法：由概似函數找出參數的最大值。
2. 最大值的漸近分布：利用樣本最大值的分布函數推導。
3. 一致性與漸近檢定：證明估計量依機率收斂到真參數，並利用邊界值 $\theta_0$ 建立近似水準 $\alpha$ 檢定。

令

$$X_{(n)}=\max\{X_1,\dots,X_n\}.$$

---

（a）最大概似估計量

單一觀測值 $X_i$ 的機率密度函數為

$$f(x_i;\theta)=\frac{1}{\theta}I(0\le x_i\le \theta),\qquad \theta>0.$$

由於 $X_1,\dots,X_n$ 為 i.i.d.，概似函數為

$$L(\theta) =\prod_{i=1}^n \frac{1}{\theta}I(0\le X_i\le \theta) =\theta^{-n}I(X_{(n)}\le \theta).$$

當 $\theta<X_{(n)}$ 時，$L(\theta)=0$；當 $\theta\ge X_{(n)}$ 時，

$$L(\theta)=\theta^{-n}.$$

由於 $\theta^{-n}$ 隨 $\theta$ 遞減，因此必須選取符合 $\theta\ge X_{(n)}$ 的最小值，故

$$\boxed{\hat{\theta}_n=X_{(n)}=\max\{X_1,\dots,X_n\}}.$$

---

（b）$n(\hat{\theta}_n-\theta)$ 的漸近分布

先求樣本最大值的分布。對 $0\le x\le\theta$，

$$P(X_{(n)}\le x) =P(X_1\le x,\dots,X_n\le x) =\left(\frac{x}{\theta}\right)^n.$$

考慮

$$Y_n=\frac{n(\theta-\hat{\theta}_n)}{\theta}.$$

對 $y\ge 0$，

$$\begin{aligned} P(Y_n>y) &=P\left(\frac{n(\theta-\hat{\theta}_n)}{\theta}>y\right)\\ &=P\left(\hat{\theta}_n<\theta\left(1-\frac{y}{n}\right)\right)\\ &=\left(1-\frac{y}{n}\right)^n. \end{aligned}$$

因此，當 $n\to\infty$ 時，

$$P(Y_n>y)\longrightarrow e^{-y}.$$

這正是參數為 $1$ 的指數分布尾端機率，所以

$$\frac{n(\theta-\hat{\theta}_n)}{\theta} \xrightarrow{d}\operatorname{Exp}(1).$$

等價地，

$$n(\hat{\theta}_n-\theta) \xrightarrow{d}-\theta Z, \qquad Z\sim\operatorname{Exp}(1).$$

因此其極限分布集中在非正數上，分布函數為

$$F_W(w)= \begin{cases} e^{w/\theta}, & w\le 0,\\ 1, & w>0, \end{cases}$$

其中 $W=-\theta Z$。

故

$$\boxed{ n(\hat{\theta}_n-\theta) \xrightarrow{d}-\theta\operatorname{Exp}(1) }.$$

---

（c）證明 $\hat{\theta}_n$ 為 $\theta$ 的一致估計量

因為 $X_i\le\theta$，所以

$$\hat{\theta}_n=X_{(n)}\le\theta.$$

因此對任意 $\varepsilon>0$，

$$|\hat{\theta}_n-\theta|>\varepsilon$$

等價於

$$\hat{\theta}_n<\theta-\varepsilon.$$

當 $0<\varepsilon<\theta$ 時，

$$\begin{aligned} P_\theta\left(|\hat{\theta}_n-\theta|>\varepsilon\right) &=P_\theta(\hat{\theta}_n<\theta-\varepsilon)\\ &=\left(\frac{\theta-\varepsilon}{\theta}\right)^n\\ &=\left(1-\frac{\varepsilon}{\theta}\right)^n. \end{aligned}$$

由於 $0<1-\varepsilon/\theta<1$，可得

$$\left(1-\frac{\varepsilon}{\theta}\right)^n\longrightarrow 0.$$

當 $\varepsilon\ge\theta$ 時，上述機率本身為 $0$。所以對所有 $\varepsilon>0$，

$$P_\theta\left(|\hat{\theta}_n-\theta|>\varepsilon\right)\longrightarrow 0.$$

因此

$$\boxed{\hat{\theta}_n\xrightarrow{P}\theta},$$

即 $\hat{\theta}_n$ 是 $\theta$ 的一致估計量。

解題技巧

樣本最大值估計上限參數時，通常會有：

• $\hat{\theta}_n\le\theta$；
• 隨樣本數增加，最大值越接近上限；
• 誤差機率常可直接寫成樣本最大值的分布函數。

本題中還可由（b）看出

本題考驗對標準常態分佈的理解，以及如何計算機率和估計量，並推導其漸近常態性。

(a) 我們需要計算 $p = P(X^2 + Y^2 \le 1)$，其中 $X$ 和 $Y$ 是 i.i.d. 的標準常態隨機變數。
標準常態分佈的機率密度函數 (PDF) 為 $\phi(z) = \frac{1}{\sqrt{2\pi}} e^{-z^2/2}$。
$X^2 + Y^2 \le 1$ 表示一個以原點為中心、半徑為 1 的圓。
我們可以將聯合 PDF $f(x, y) = \phi(x)\phi(y) = \frac{1}{2\pi} e^{-(x^2+y^2)/2}$ 在圓 $x^2+y^2 \le 1$ 上積分。
為了方便計算，我們轉換到極座標。令 $x = r \cos\theta$，$y = r \sin\theta$。則 $x^2 + y^2 = r^2$。
Jacobian 轉換為 $r$。
積分區域為 $0 \le r \le 1$ 且 $0 \le \theta \le 2\pi$。
$p = \int_{- \infty}^\infty \int_{- \infty}^\infty \frac{1}{2\pi} e^{-(x^2+y^2)/2} \mathbb{I}(x^2+y^2 \le 1) dx dy$
$p = \int_0^{2\pi} \int_0^1 \frac{1}{2\pi} e^{-r^2/2} r dr d\theta$
先計算內層積分 $\int_0^1 e^{-r^2/2} r dr$。
令 $u = r^2/2$，則 $du = r dr$。
當 $r=0$, $u=0$。當 $r=1$, $u=1/2$。
$\int_0^{1/2} e^{-u} du = [-e^{-u}]_0^{1/2} = -e^{-1/2} - (-e^0) = 1 - e^{-1/2}$
現在將此結果代入外層積分：
$p = \int_0^{2\pi} \frac{1}{2\pi} (1 - e^{-1/2}) d\theta = \frac{1}{2\pi} (1 - e^{-1/2}) [\theta]_0^{2\pi}$
$p = \frac{1}{2\pi} (1 - e^{-1/2}) (2\pi) = 1 - e^{-1/2}$
這個機率 $p$ 代表了標準二維常態分佈在單位圓內的機率。
另外，我們知道 $X^2$ 和 $Y^2$ 分別服從自由度為 1 的卡方分佈 $\chi^2(1)$。
$X^2 + Y^2$ 服從自由度為 2 的卡方分佈 $\chi^2(2)$。
卡方分佈 $\chi^2(k)$ 的機率密度函數為 $f(x; k) = \frac{1}{2^{k/2}\Gamma(k/2)} x^{k/2-1} e^{-x/2}$ for $x > 0$.
對於 $\chi^2(2)$， $k=2$, $\Gamma(2/2) = \Gamma(1) = 1$.
PDF 為 $f(x; 2) = \frac{1}{2^{2/2}\Gamma(1)} x^{2/2-1} e^{-x/2} = \frac{1}{2} x^0 e^{-x/2} = \frac{1}{2} e^{-x/2}$ for $x > 0$.
我們需要計算 $P(X^2 + Y^2 \le 1) = P(\chi^2(2) \le 1)$.
$P(\chi^2(2) \le 1) = \int_0^1 \frac{1}{2} e^{-x/2} dx$
令 $u = x/2$, $du = dx/2$.
當 $x=0$, $u=0$。當 $x=1$, $u=1/2$。

本題涉及條件機率、生存函數、Gamma 分佈以及 Copula 的概念。

首先，給定 $X$ 和 $Y$ 條件獨立於 $W$，且條件生存函數為：
$S_{X|W}(x|w) = P(X > x | W = w) = e^{-\lambda_1 wx}$ for $x > 0$
$S_{Y|W}(y|w) = P(Y > y | W = w) = e^{-\lambda_2 wy}$ for $y > 0$
$W$ 服從 Gamma 分佈，其 PDF 為 $f_W(w) = \frac{w^{\theta-1} e^{-w/\beta}}{\beta^\theta \Gamma(\theta)}$ for $w > 0$.

(a) 我們需要找到聯合生存函數 $S(x, y) = P(X > x, Y > y)$。
根據全機率法則，我們可以對 $W$ 進行積分：
$S(x, y) = P(X > x, Y > y) = \int_0^\infty P(X > x, Y > y | W = w) f_W(w) dw$
由於 $X$ 和 $Y$ 條件獨立於 $W$，
$P(X > x, Y > y | W = w) = P(X > x | W = w) P(Y > y | W = w)$
$= (e^{-\lambda_1 wx})(e^{-\lambda_2 wy}) = e^{-(\lambda_1 x + \lambda_2 y)w}$
所以，
$S(x, y) = \int_0^\infty e^{-(\lambda_1 x + \lambda_2 y)w} \frac{w^{\theta-1} e^{-w/\beta}}{\beta^\theta \Gamma(\theta)} dw$
$S(x, y) = \frac{1}{\beta^\theta \Gamma(\theta)} \int_0^\infty w^{\theta-1} e^{-w(1/\beta + \lambda_1 x + \lambda_2 y)} dw$
令 $\alpha = 1/\beta + \lambda_1 x + \lambda_2 y$。則積分變為：
$S(x, y) = \frac{1}{\beta^\theta \Gamma(\theta)} \int_0^\infty w^{\theta-1} e^{-\alpha w} dw$
這個積分的形式是 Gamma 分佈的 PDF 的一部分。
我們知道 $\int_0^\infty w^{k-1} e^{-aw} dw = \frac{\Gamma(k)}{a^k}$。
在這裡，$k = \theta$，$a = \alpha = 1/\beta + \lambda_1 x + \lambda_2 y$。
$\int_0^\infty w^{\theta-1} e^{-\alpha w} dw = \frac{\Gamma(\theta)}{\alpha^\theta} = \frac{\Gamma(\theta)}{(1/\beta + \lambda_1 x + \lambda_2 y)^\theta}$
將此代入 $S(x, y)$ 的表達式：
$S(x, y) = \frac{1}{\beta^\theta \Gamma(\theta)} \frac{\Gamma(\theta)}{(1/\beta + \lambda_1 x + \lambda_2 y)^\theta}$
$S(x, y) = \frac{1}{\beta^\theta (1/\beta + \lambda_1 x + \lambda_2 y)^\theta}$
我們可以將分母中的 $(1/\beta + \lambda_1 x + \lambda_2 y)$ 進行整理：
$1/\beta + \lambda_1 x + \lambda_2 y = \frac{1 + \beta \lambda_1 x + \beta \lambda_2 y}{\beta}$
所以，
$(1/\beta + \lambda_1 x + \lambda_2 y)^\theta = \left(\frac{1 + \beta \lambda_1 x + \beta \lambda_2 y}{\beta}\right)^\theta = \frac{(1 + \beta \lambda_1 x + \beta \lambda_2 y)^\theta}{\beta^\theta}$
代回 $S(x, y)$：