113 年 國立中山大學應用數學系碩士班甲組《統計與機率》

本題主要在探討如何利用一個新的估計量來減少原估計量的變異數，並計算其變異數減少的百分比。這涉及到期望值與變異數的性質，以及如何利用參數來優化估計量。

核心觀念：估計量的期望值、變異數、共變異數性質，以及最小平方法。

解題步驟：
首先，我們需要理解估計量 $\hat{\theta}_{\alpha,\beta}$ 的期望值和變異數。

給定 $\hat{\theta}_{\alpha,\beta} = X - \beta(Y - \alpha)$。
我們知道 $E(X) = \theta$ 且 Var(X) 和 Var(Y) 是有限的。

(a) 求 $\alpha$ 使 $\hat{\theta}_{\alpha,\beta}$ 為不偏估計量：
一個估計量 $\hat{\theta}$ 是不偏估計量，如果 $E(\hat{\theta}) = \theta$。
我們計算 $\hat{\theta}_{\alpha,\beta}$ 的期望值：
$E(\hat{\theta}_{\alpha,\beta}) = E(X - \beta(Y - \alpha))$
$E(\hat{\theta}_{\alpha,\beta}) = E(X) - \beta E(Y - \alpha)$
$E(\hat{\theta}_{\alpha,\beta}) = E(X) - \beta (E(Y) - \alpha)$
為了使 $\hat{\theta}_{\alpha,\beta}$ 成為 $\theta = E(X)$ 的不偏估計量，我們需要 $E(\hat{\theta}_{\alpha,\beta}) = E(X)$。
$E(X) - \beta (E(Y) - \alpha) = E(X)$
$-\beta (E(Y) - \alpha) = 0$
由於 $\beta \neq 0$，我們必須有：
$E(Y) - \alpha = 0$
$\alpha = E(Y)$
所以，為了使 $\hat{\theta}_{\alpha,\beta}$ 成為 $E(X)$ 的不偏估計量，參數 $\alpha$ 必須等於 $E(Y)$。

(b) 求 $\beta$ 使 Var($\hat{\theta}_{\alpha,\beta}$) 最小化：
我們需要計算 Var($\hat{\theta}_{\alpha,\beta}$) 並找到使之最小的 $\beta$。
當 $\alpha = E(Y)$ 時，估計量變為 $\hat{\theta}_{\beta} = X - \beta(Y - E(Y))$。
$\text{Var}(\hat{\theta}_{\beta}) = \text{Var}(X - \beta(Y - E(Y)))$
$\text{Var}(\hat{\theta}_{\beta}) = \text{Var}(X) + \text{Var}(-\beta(Y - E(Y))) - 2 \text{Cov}(X, -\beta(Y - E(Y)))$
$\text{Var}(\hat{\theta}_{\beta}) = \text{Var}(X) + \beta^2 \text{Var}(Y - E(Y)) + 2\beta \text{Cov}(X, Y - E(Y))$
注意到 $E(Y - E(Y)) = E(Y) - E(Y) = 0$，所以 $\text{Var}(Y - E(Y)) = \text{Var}(Y)$。
同時，$\text{Cov}(X, Y - E(Y)) = \text{Cov}(X, Y) - \text{Cov}(X, E(Y))$。由於 $E(Y)$ 是常數，$\text{Cov}(X, E(Y)) = 0$。
所以，
$\text{Var}(\hat{\theta}_{\beta}) = \text{Var}(X) + \beta^2 \text{Var}(Y) + 2\beta \text{Cov}(X, Y)$
為了找到使 Var($\hat{\theta}_{\beta}$) 最小化的 $\beta$，我們對 $\beta$ 取微分並令其為零：

核心觀念

本題綜合考查：

• 聯合累積分布函數的定義：
  $F_{X,Y}(x,y)=P(X\le x,\;Y\le y)。$
• 均勻分布的區間機率等於區間長度。
• 變數轉換法。
• 指數分布和 Gamma 分布的關係。
• 最大值、最小值與全距的分布。

以下令 $X_1,\ldots,X_n$ 為相互獨立且皆服從 $U(0,1)$。

---

(a) $(X_1,X_1)$ 的聯合 cdf

令

$$U=X_1,\qquad V=X_1。$$

聯合 cdf 為

$$F_{U,V}(u,v) =P(U\le u,\;V\le v) =P(X_1\le u,\;X_1\le v)。$$

兩個條件同時成立，等價於

$$X_1\le \min(u,v)。$$

因此

$$F_{U,V}(u,v)=P\bigl(X_1\le \min(u,v)\bigr)。$$

定義

$$H(t)= \begin{cases} 0, & t<0,\\ t, & 0\le t\le 1,\\ 1, & t\ge 1。 \end{cases}$$

則

$$\boxed{F_{U,V}(u,v)=H\bigl(\min(u,v)\bigr)}。$$

也可寫成

$$F_{U,V}(u,v)= \begin{cases} 0, & \min(u,v)<0,\\ \min(u,v), & 0\le \min(u,v)\le 1,\\ 1, & \min(u,v)\ge 1。 \end{cases}$$

由於 $U=V$，此隨機向量的機率質量全部集中在直線 $u=v$ 上，因此不存在二維通常意義下的聯合 pdf。

---

(b) $(X_1,1-X_1)$ 的聯合 cdf

令

$$U=X_1,\qquad V=1-X_1。$$

聯合 cdf 為

$$F_{U,V}(u,v) =P(X_1\le u,\;1-X_1\le v)。$$

第二個條件可改寫為

$$1-X_1\le v \quad\Longleftrightarrow\quad X_1\ge 1-v。$$

因此

$$F_{U,V}(u,v) =P(1-v\le X_1\le u)。$$

因為 $X_1$ 僅位於 $[0,1]$，實際有效區間為

$$\left[\max(0,1-v),\;\min(1,u)\right]。$$

均勻分布的機率等於區間長度，所以

$$\boxed{ F_{U,V}(u,v) = \left[ \min(1,u)-\max(0,1-v) \right]_+ }$$

其中

$$[a]_+=\max(a,0)。$$

完整寫法為

$$\boxed{ F_{U,V}(u,v) = \max\left\{ 0,\, \min(1,u)-\max(0,1-v) \right\}. }$$

此隨機向量滿足

$$U+V=1，$$

所以其機率分布集中在直線 $u+v=1$ 上，同樣不存在二維通常意義下的聯合 pdf。

快速判斷

• 若 $u<0$ 或 $v<0$，cdf 為 $0$。
• 若 $u\ge 1$ 且 $v\ge 1$，cdf 為 $1$。
• 中間情況就是直線區間
  $1-v\le x\le u$
  在 $[0,1]$ 內的長度。

---

(c) $Y=\prod_{i=1}^n X_i$ 的 pdf

方法：取負對數轉成 Gamma 分布

令

$$Z_i=-\ln X_i。$$

先求 $Z_i$ 的分布。對 $z\ge 0$，

$$P(Z_i\le z) = P(-\ln X_i\le z)。$$

由於對數函數單調遞增，

$$-\ln X_i\le z \quad\Longleftrightarrow\quad X_i\ge e^{-z}。$$

因此

$$P(Z_i\le z) =P(X_i\ge e^{-z}) =1-e^{-z}。$$

所以

$$Z_i\sim \operatorname{Exponential}(1)。$$

又因為 $X_1,\ldots,X_n$ 相互獨立，故 $Z_1,\ldots,Z_n$ 也相互獨立。令

$$S=\sum_{i=1}^n Z_i。$$

則

$$S\sim \operatorname{Gamma}(n,1)，$$

其 pdf 為

$$f_S(s)=\frac{s^{n-1}e^{-s}}{(n-1)!}, \qquad s>0。$$

另一方面，

$$Y=\prod_{i=1}^n X_i =\prod_{i=1}^n e^{-Z_i} =e^{-S}。$$

因此

$$S=-\ln Y。$$

對 $0<y<1$，變數轉換為

$$s=-\ln y， \qquad \left|\frac{ds}{dy}\right|=\frac{1}{y}。$$

故

本題主要考察經驗累積分布函數 (Empirical Cumulative Distribution Function, ECDF) 的性質，包括其漸近分布、信賴區間的建立，以及不同點上 ECDF 的共變異數。這是統計學中非常基礎且重要的概念，特別是關於 ECDF 的一致性與漸近常態性。

核心觀念：經驗累積分布函數 (ECDF)、大數法則 (Law of Large Numbers)、中央極限定理 (Central Limit Theorem)、漸近常態性 (Asymptotic Normality)、信賴區間 (Confidence Interval)、共變異數 (Covariance)。

解題步驟：

給定 $X_1, \dots, X_n$ 是來自連續分佈 $F(x)$ 的 i.i.d. 樣本。
經驗累積分布函數定義為 $F_n(x) = \frac{1}{n} \sum_{i=1}^n I(X_i \le x)$。
$I(X_i \le x)$ 是一個指示函數，其值為 1 若 $X_i \le x$，否則為 0。
令 $p(x) = P(X_i \le x) = F(x)$。
則 $I(X_i \le x)$ 是一個伯努利隨機變數，參數為 $p(x)$。
$E[I(X_i \le x)] = 1 \cdot p(x) + 0 \cdot (1-p(x)) = p(x) = F(x)$.
$\text{Var}[I(X_i \le x)] = E[(I(X_i \le x) - F(x))^2] = (1-F(x))^2 \cdot F(x) + (0-F(x))^2 \cdot (1-F(x))$
$= (1-F(x))^2 F(x) + F(x)^2 (1-F(x)) = F(x)(1-F(x)) [(1-F(x)) + F(x)] = F(x)(1-F(x))$.

(a) 求 $n^{1/2}\{F_n(s) - F(s)\}$ 的漸近分布：
根據大數法則，當 $n \to \infty$ 時，$F_n(s) \to E[I(X_i \le s)] = F(s)$，即 ECDF 在點 $s$ 上是一致估計量 (consistent estimator)。
我們感興趣的是 $n^{1/2}\{F_n(s) - F(s)\}$ 的行為。
令 $Y_i = I(X_i \le s)$。則 $E[Y_i] = F(s)$ 且 $\text{Var}[Y_i] = F(s)(1-F(s))$。
$F_n(s) = \frac{1}{n} \sum_{i=1}^n Y_i$.
$n^{1/2}\{F_n(s) - F(s)\} = n^{1/2} \left( \frac{1}{n} \sum_{i=1}^n Y_i - F(s) \right)$
$= \frac{1}{n^{1/2}} \sum_{i=1}^n (Y_i - F(s))$.
由於 $Y_i$ 是獨立同分布的隨機變數，且具有相同的均值 $F(s)$ 和變異數 $F(s)(1-F(s))$，
根據中央極限定理 (Central Limit Theorem)，對於和或平均值的平方根倍數，當 $n$ 足夠大時，其分布趨近於常態分布。
因此，$n^{1/2}\{F_n(s) - F(s)\}$ 的漸近分布為常態分布，其均值為 0，變異數為 $\text{Var}[Y_i] = F(s)(1-F(s))$。
即，$n^{1/2}\{F_n(s) - F(s)\} \xrightarrow{d} N(0, F(s)(1-F(s)))$。

(b) 求 $F(s)$ 的漸近 95% 信賴區間：
根據 (a) 的結果，我們有：
$\frac{n^{1/2}\{F_n(s) - F(s)\}}{\sqrt{F(s)(1-F(s))}} \xrightarrow{d} N(0, 1)$
這表示 $\frac{n^{1/2}\{F_n(s) - F(s)\}}{\sqrt{F_n(s)(1-F_n(s))}}$ 也是漸近標準常態。
我們需要一個 95% 信賴區間，這意味著我們需要找到一個值 $z_{\alpha/2}$，使得 $P(|Z| \le z_{\alpha/2}) = 0.95$。
對於 95% 的信心水準，$\alpha = 0.05$，$\alpha/2 = 0.025$。
標準常態分布在 $z_{0.025}$ 右側的面積為 0.025，即 $P(Z > z_{0.025}) = 0.025$。
通常，$z_{0.025} \approx 1.96$。
由漸近常態性，我們有：
$P\left(-z_{\alpha/2} \le \frac{n^{1/2}\{F_n(s) - F(s)\}}{\sqrt{F(s)(1-F(s))}} \le z_{\alpha/2}\right) \approx 1 - \alpha$
我們使用 $F_n(s)$ 來估計 $F(s)$，並使用 $\sqrt{F_n(s)(1-F_n(s))}$ 來估計標準差 $\sqrt{F(s)(1-F(s))}$。

核心觀念

本題考察最大概似估計法。對 i.i.d. 樣本 $X_1,\ldots,X_n$，先建立概似函數

$$L(\mu,\lambda)=\prod_{i=1}^n f(x_i;\mu,\lambda),$$

再取對數概似函數，分別對參數 $\mu$ 與 $\lambda$ 微分，令一階導數為零，求得最大概似估計量。

為簡化計算，使用恆等式

$$\frac{(x_i-\mu)^2}{\mu^2x_i} = \frac{x_i}{\mu^2}-\frac{2}{\mu}+\frac{1}{x_i}.$$

---

解題方法

令觀察值為 $x_1,\ldots,x_n$，則概似函數為

$$L(\mu,\lambda) = \prod_{i=1}^n \left(\frac{\lambda}{2\pi x_i^3}\right)^{1/2} \exp\left( -\frac{\lambda(x_i-\mu)^2}{2\mu^2x_i} \right).$$

取對數概似函數：

$$\ell(\mu,\lambda) = \frac{n}{2}\log\lambda -\frac{n}{2}\log(2\pi) -\frac{3}{2}\sum_{i=1}^n\log x_i -\frac{\lambda}{2} \sum_{i=1}^n \frac{(x_i-\mu)^2}{\mu^2x_i}.$$

利用上述恆等式，可寫成

$$\ell(\mu,\lambda) = \frac{n}{2}\log\lambda -\frac{\lambda}{2} \left[ \frac{\sum_{i=1}^n x_i}{\mu^2} -\frac{2n}{\mu} +\sum_{i=1}^n\frac{1}{x_i} \right] +C,$$

其中 $C$ 與 $\mu,\lambda$ 無關。

求 $\hat{\mu}$

對 $\mu$ 微分：

$$\frac{\partial\ell}{\partial\mu} = -\frac{\lambda}{2} \left( -\frac{2\sum_{i=1}^n x_i}{\mu^3} +\frac{2n}{\mu^2} \right).$$

整理得

$$\frac{\partial\ell}{\partial\mu} = \frac{\lambda}{\mu^3} \left( \sum_{i=1}^n x_i-n\mu \right).$$

令一階導數等於零：

$$\sum_{i=1}^n x_i-n\mu=0.$$

因此

$$\hat{\mu} = \frac{1}{n}\sum_{i=1}^n x_i = \bar X.$$

求 $\hat{\lambda}$

對 $\lambda$ 微分：

$$\frac{\partial\ell}{\partial\lambda} = \frac{n}{2\lambda} -\frac{1}{2} \sum_{i=1}^n \frac{(x_i-\mu)^2}{\mu^2x_i}.$$

令一階導數等於零：

$$\frac{n}{\lambda} = \sum_{i=1}^n \frac{(x_i-\mu)^2}{\mu^2x_i}.$$

所以，在 $\mu=\hat{\mu}=\bar X$ 下，

$$\hat{\lambda} = \frac{n}{ \displaystyle \sum_{i=1}^n \frac{(x_i-\bar X)^2}{\bar X^2x_i} }.$$

進一步化簡分母：

本題要求建立一個關於兩組獨立常態分佈樣本均值相等的雙尾 t 檢定。此為統計學中常見的兩樣本 t 檢定問題，重點在於如何合併變異數估計，並建構檢定統計量。

核心觀念：兩樣本獨立 t 檢定、變異數合併、檢定統計量、顯著水準、臨界值。

解題步驟：
給定兩組獨立的常態隨機樣本：
$X_1, \dots, X_n \sim N(\mu_X, \sigma^2)$
$Y_1, \dots, Y_m \sim N(\mu_Y, \sigma^2)$
其中 $\mu_X, \mu_Y, \sigma^2$ 均未知。
我們要檢定虛無假設 $H_0: \mu_X = \mu_Y$ 對抗對立假設 $H_1: \mu_X \neq \mu_Y$。
顯著水準為 $\alpha$。

由於兩組樣本來自具有相同未知變異數 $\sigma^2$ 的常態分布，我們可以使用合併變異數 (pooled variance) 的方法來估計 $\sigma^2$。

首先，計算樣本均值和樣本變異數：
$\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$
$S_X^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$
$\bar{Y} = \frac{1}{m}\sum_{j=1}^m Y_j$
$S_Y^2 = \frac{1}{m-1}\sum_{j=1}^m (Y_j - \bar{Y})^2$

合併變異數的估計量 $S_p^2$ 定義為：
$S_p^2 = \frac{(n-1)S_X^2 + (m-1)S_Y^2}{(n-1) + (m-1)} = \frac{\sum_{i=1}^n (X_i - \bar{X})^2 + \sum_{j=1}^m (Y_j - \bar{Y})^2}{n+m-2}$
這個合併變異數估計量 $S_p^2$ 是 $\sigma^2$ 的一個無偏估計量。

當 $H_0$ 為真時，檢定統計量 $T$ 服從自由度為 $v = n+m-2$ 的 t 分布。
檢定統計量的公式為：
$T = \frac{(\bar{X} - \bar{Y}) - (\mu_X - \mu_Y)}{S_p \sqrt{\frac{1}{n} + \frac{1}{m}}}$
在虛無假設 $H_0: \mu_X = \mu_Y$ 下，$\mu_X - \mu_Y = 0$。
所以，檢定統計量為：

核心觀念

每個人的正面次數皆服從二項分配：

$$X\sim\operatorname{Bin}(n,\tfrac12),\qquad Y\sim\operatorname{Bin}(n,\tfrac12)$$

其中 $X$、$Y$ 分別代表兩人擲出正面的次數。由於兩人獨立，要求的事件為 $X=Y$。

對任意 $k=0,1,\ldots,n$，單一個人恰好擲出 $k$ 次正面的機率為

$$P(X=k)=\binom{n}{k}\left(\frac12\right)^k \left(\frac12\right)^{n-k} =\frac{\binom{n}{k}}{2^n}.$$

解題方法

兩人擲出相同數量的正面，表示兩人都恰好擲出 $k$ 次正面，其中 $k$ 可從 $0$ 到 $n$。

固定 $k$ 時，由獨立性可得

$$P(X=k,Y=k) =P(X=k)P(Y=k) =\frac{\binom{n}{k}^2}{4^n}.$$

將所有可能的 $k$ 加總：

核心觀念

本題考察標準常態分配尾端機率的上界估計，亦稱為 Mills 不等式。

依題目慣例，令

$$Z\sim N(0,1)$$

其機率密度函數為

$$\phi(t)=\frac{1}{\sqrt{2\pi}}e^{-t^2/2}.$$

因此

$$P(Z>z)=\int_z^\infty \phi(t)\,dt.$$

關鍵微分關係為

$$\phi'(t)=-t\phi(t).$$

解題方法

因為 $z>0$，對所有 $t\ge z$ 皆有 $t\ge z$，故

$$\frac{1}{t}\le \frac{1}{z}.$$

將尾端機率改寫為

$$P(Z>z) =\int_z^\infty \phi(t)\,dt =\int_z^\infty \frac{1}{t}\,t\phi(t)\,dt.$$

利用 $\frac{1}{t}\le\frac{1}{z}$，得到

$$P(Z>z) \le \frac{1}{z}\int_z^\infty t\phi(t)\,dt.$$

再由 $\phi'(t)=-t\phi(t)$，

$$\int_z^\infty t\phi(t)\,dt =-\int_z^\infty \phi'(t)\,dt.$$

計算此積分：