115 年 國立臺北大學統計學系碩士班《數理統計(含機率概論)》

📄 試題原卷 免費註冊後即可對照原始考卷 PDF免費註冊

第 I. A. 題5 分

A. Let X1,X2,X3X_1, X_2, X_3 be independent and follow normal distributions N(0,1)N(0, 1), N(3,4)N(3, 4), N(4,9)N(4, 9), respectively.
(a) Compute P[X3>X1+X2]P[X_3 > X_1 + X_2], where 2=1.414,3=1.732,7=2.646,11=3.167\sqrt{2} = 1.414, \sqrt{3} = 1.732, \sqrt{7} = 2.646, \sqrt{11} = 3.167.

登入後即可作答並保存紀錄。

這一題的完整詳解

這題主要在考驗對常態分配性質的掌握,特別是線性組合的分配。

核心觀念:
若 X1∼N(μ1,σ12)X_1 \sim N(\mu_1, \sigma_1^2) 且 X2∼N(μ2,σ22)X_2 \sim N(\mu_2, \sigma_2^2) 為獨立隨機變數,則線性組合 aX1+bX2∼N(aμ1+bμ2,a2σ12+b2σ22)aX_1 + bX_2 \sim N(a\mu_1 + b\mu_2, a^2\sigma_1^2 + b^2\sigma_2^2)。

解題步驟:

  1. 定義新的隨機變數 Y=X1+X2Y = X_1 + X_2。
  2. 根據常態分配的線性組合性質,計算 YY 的期望值與變異數。
  3. 計算 X3−YX_3 - Y 的期望值與變異數。
  4. 將所求機率轉換為標準常態分配的機率。
  5. 查詢標準常態分配表(題目提供)求得機率值。

計算過程:
已知 X1∼N(0,1)X_1 \sim N(0, 1),故 μ1=0,σ12=1\mu_1 = 0, \sigma_1^2 = 1。
已知 X2∼N(3,4)X_2 \sim N(3, 4),故 μ2=3,σ22=4\mu_2 = 3, \sigma_2^2 = 4。
已知 X3∼N(4,9)X_3 \sim N(4, 9),故 μ3=4,σ32=9\mu_3 = 4, \sigma_3^2 = 9。

我們要求 P[X3>X1+X2]P[X_3 > X_1 + X_2],這等價於 P[X3−X1−X2>0]P[X_3 - X_1 - X_2 > 0]。
令 Y=X1+X2Y = X_1 + X_2。由於 X1X_1 和 X2X_2 是獨立的,
YY 的期望值為 E[Y]=E[X1+X2]=E[X1]+E[X2]=0+3=3E[Y] = E[X_1 + X_2] = E[X_1] + E[X_2] = 0 + 3 = 3。
YY 的變異數為 Var(Y)=Var(X1+X2)=Var(X1)+Var(X2)Var(Y) = Var(X_1 + X_2) = Var(X_1) + Var(X_2) (因獨立) =1+4=5= 1 + 4 = 5。
因此,Y∼N(3,5)Y \sim N(3, 5)。

現在我們考慮 X3−Y=X3−(X1+X2)X_3 - Y = X_3 - (X_1 + X_2)。
這是一個常態分配的線性組合:(−1)X1+(−1)X2+(1)X3(-1)X_1 + (-1)X_2 + (1)X_3。
其期望值為 E[X3−Y]=E[X3]−E[Y]=4−3=1E[X_3 - Y] = E[X_3] - E[Y] = 4 - 3 = 1。
其變異數為 Var(X3−Y)=Var(X3)+Var(Y)Var(X_3 - Y) = Var(X_3) + Var(Y) (因 X3X_3 與 X1,X2X_1, X_2 獨立,故 X3X_3 與 YY 獨立) =Var(X3)+Var(X1+X2)= Var(X_3) + Var(X_1 + X_2)
=Var(X3)+Var(X1)+Var(X2)=9+1+4=14= Var(X_3) + Var(X_1) + Var(X_2) = 9 + 1 + 4 = 14。
因此,X3−Y∼N(1,14)X_3 - Y \sim N(1, 14)。

我們要求 P[X3>X1+X2]=P[X3−(X1+X2)>0]P[X_3 > X_1 + X_2] = P[X_3 - (X_1 + X_2) > 0]。
令 Z=X3−YZ = X_3 - Y。我們要求 P[Z>0]P[Z > 0]。
將 ZZ 標準化:
P[Z>0]=P[Z−E[Z]Var(Z)>0−E[Z]Var(Z)]P[Z > 0] = P\left[\frac{Z - E[Z]}{\sqrt{Var(Z)}} > \frac{0 - E[Z]}{\sqrt{Var(Z)}}\right]
=P[Z−114>0−114]=P[Z−114>−114]= P\left[\frac{Z - 1}{\sqrt{14}} > \frac{0 - 1}{\sqrt{14}}\right] = P\left[\frac{Z - 1}{\sqrt{14}} > -\frac{1}{\sqrt{14}}\right]。
令 W=Z−114W = \frac{Z - 1}{\sqrt{14}},則 W∼N(0,1)W \sim N(0, 1)。
我們需要計算 −114-\frac{1}{\sqrt{14}}。

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 I. A. (b) 題10 分

(b) Use the moment generating function technique to find the joint distribution of W1=X1+2X2+X3W_1 = X_1 + 2X_2 + X_3, W2=2X1−X3W_2 = 2X_1 - X_3, and W3=−2X2+X3W_3 = -2X_2 + X_3.

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

題目片段未提供 X1,X2,X3X_1,X_2,X_3 的分布。以下採用此類題目的標準設定:

X1,X2,X3∼i.i.d.N(0,1).X_1,X_2,X_3 \overset{\text{i.i.d.}}{\sim} N(0,1).

令

W=(W1W2W3)=AX,A=(12120−10−21),X=(X1X2X3).\mathbf W= \begin{pmatrix} W_1\\W_2\\W_3 \end{pmatrix} = A\mathbf X, \qquad A= \begin{pmatrix} 1&2&1\\ 2&0&-1\\ 0&-2&1 \end{pmatrix}, \qquad \mathbf X= \begin{pmatrix} X_1\\X_2\\X_3 \end{pmatrix}.

使用聯合動差生成函數

MW(t1,t2,t3)=E[et1W1+t2W2+t3W3].M_{\mathbf W}(t_1,t_2,t_3) =E\left[e^{t_1W_1+t_2W_2+t_3W_3}\right].

多變量常態分布的聯合 MGF 為

MW(t)=exp⁡(tTμ+12tTΣt).M_{\mathbf W}(\mathbf t) = \exp\left( \mathbf t^{\mathsf T}\boldsymbol\mu +\frac12\mathbf t^{\mathsf T}\Sigma\mathbf t \right).

因此只要將 MWM_{\mathbf W} 化為此形式,即可辨識 W\mathbf W 的聯合分布。

解題方法

先展開指數中的線性組合:

t1W1+t2W2+t3W3=t1(X1+2X2+X3)+t2(2X1−X3)+t3(−2X2+X3)=(t1+2t2)X1+(2t1−2t3)X2+(t1−t2+t3)X3.\begin{aligned} t_1W_1+t_2W_2+t_3W_3 ={}&t_1(X_1+2X_2+X_3) +t_2(2X_1-X_3) +t_3(-2X_2+X_3)\\ ={}&(t_1+2t_2)X_1 +(2t_1-2t_3)X_2 +(t_1-t_2+t_3)X_3. \end{aligned}

由於 X1,X2,X3X_1,X_2,X_3 相互獨立,聯合 MGF 可以分解為三個邊際 MGF 的乘積。標準常態變數的 MGF 為

MX(s)=E(esX)=es2/2.M_X(s)=E(e^{sX})=e^{s^2/2}.

故

MW(t1,t2,t3)=MX(t1+2t2)MX(2t1−2t3)MX(t1−t2+t3)=exp⁡[12(t1+2t2)2+12(2t1−2t3)2+12(t1−t2+t3)2].\begin{aligned} M_{\mathbf W}(t_1,t_2,t_3) ={}&M_X(t_1+2t_2) M_X(2t_1-2t_3) M_X(t_1-t_2+t_3)\\ ={}&\exp\left[ \frac12(t_1+2t_2)^2 +\frac12(2t_1-2t_3)^2 +\frac12(t_1-t_2+t_3)^2 \right]. \end{aligned}

展開平方項:

(t1+2t2)2=t12+4t1t2+4t22,(t_1+2t_2)^2=t_1^2+4t_1t_2+4t_2^2, (2t1−2t3)2=4t12−8t1t3+4t32,(2t_1-2t_3)^2=4t_1^2-8t_1t_3+4t_3^2, (t1−t2+t3)2=t12+t22+t32−2t1t2+2t1t3−2t2t3.(t_1-t_2+t_3)^2 =t_1^2+t_2^2+t_3^2-2t_1t_2+2t_1t_3-2t_2t_3.

相加後得到

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 I. A. (c) 題5 分

(c) Compute P[W1>W2+W3]P[W_1 > W_2 + W_3], where 2=1.414,3=1.732,7=2.646,11=3.167\sqrt{2} = 1.414, \sqrt{3} = 1.732, \sqrt{7} = 2.646, \sqrt{11} = 3.167.

登入後即可作答並保存紀錄。

這一題的完整詳解

這題是延續上一題的結果,計算一個線性組合的機率。

核心觀念:
若一個隨機向量 W\mathbf{W} 服從多元常態分配 N(μW,ΣW)N(\boldsymbol{\mu}_{\mathbf{W}}, \boldsymbol{\Sigma}_{\mathbf{W}}),則其任何線性組合 aTWa^T \mathbf{W} 也服從常態分配。
若 Y=aTWY = a^T \mathbf{W},則 E[Y]=aTμWE[Y] = a^T \boldsymbol{\mu}_{\mathbf{W}} 且 Var(Y)=aTΣWaVar(Y) = a^T \boldsymbol{\Sigma}_{\mathbf{W}} a。

解題步驟:

  1. 將所求機率 P[W1>W2+W3]P[W_1 > W_2 + W_3] 轉換為 P[W1−W2−W3>0]P[W_1 - W_2 - W_3 > 0]。
  2. 定義新的隨機變數 Z=W1−W2−W3Z = W_1 - W_2 - W_3。
  3. 利用上一題得到的 μW\boldsymbol{\mu}_{\mathbf{W}} 和 ΣW\boldsymbol{\Sigma}_{\mathbf{W}},計算 ZZ 的期望值 E[Z]E[Z] 和變異數 Var(Z)Var(Z)。
  4. 將 ZZ 標準化,轉換為標準常態分配的機率。
  5. 查閱標準常態分配表求解。

計算過程:
從上一題,我們知道:
μW=(10−4−2)\boldsymbol{\mu}_{\mathbf{W}} = \begin{pmatrix} 10 \\ -4 \\ -2 \end{pmatrix}
ΣW=(26−7−7−713−9−7−925)\boldsymbol{\Sigma}_{\mathbf{W}} = \begin{pmatrix} 26 & -7 & -7 \\ -7 & 13 & -9 \\ -7 & -9 & 25 \end{pmatrix}

我們要求 P[W1>W2+W3]P[W_1 > W_2 + W_3],即 P[W1−W2−W3>0]P[W_1 - W_2 - W_3 > 0]。
令 Z=W1−W2−W3Z = W_1 - W_2 - W_3。
這個 ZZ 可以寫成 aTW\mathbf{a}^T \mathbf{W} 的形式,其中 a=(1−1−1)\mathbf{a} = \begin{pmatrix} 1 \\ -1 \\ -1 \end{pmatrix}。

計算 ZZ 的期望值:
E[Z]=E[W1−W2−W3]=aTμW=(1−1−1)(10−4−2)E[Z] = E[W_1 - W_2 - W_3] = \mathbf{a}^T \boldsymbol{\mu}_{\mathbf{W}} = \begin{pmatrix} 1 & -1 & -1 \end{pmatrix} \begin{pmatrix} 10 \\ -4 \\ -2 \end{pmatrix}
=1(10)+(−1)(−4)+(−1)(−2)=10+4+2=16= 1(10) + (-1)(-4) + (-1)(-2) = 10 + 4 + 2 = 16。

計算 ZZ 的變異數:
Var(Z)=aTΣWa=(1−1−1)(26−7−7−713−9−7−925)(1−1−1)Var(Z) = \mathbf{a}^T \boldsymbol{\Sigma}_{\mathbf{W}} \mathbf{a} = \begin{pmatrix} 1 & -1 & -1 \end{pmatrix} \begin{pmatrix} 26 & -7 & -7 \\ -7 & 13 & -9 \\ -7 & -9 & 25 \end{pmatrix} \begin{pmatrix} 1 \\ -1 \\ -1 \end{pmatrix}。

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 I. B. 題

B. Let X1,X2,…,XnX_1, X_2, \dots, X_n be a random sample drawn from the pdf
f(x)=1θ10<x<θ,f(x) = \frac{1}{\theta} \mathbf{1}_{0 < x < \theta},
and F(x)F(x) denotes the corresponding distribution function.

登入後即可作答並保存紀錄。

這一題的完整詳解

此題是一個關於均勻分佈的統計推論問題。首先需要理解均勻分佈的機率密度函數 (pdf) 和累積分布函數 (cdf),然後針對不同的統計量(最大值、次小值、參數估計、一致性、不偏估計量、中位數)進行分析。

核心觀念:

  1. 均勻分佈: X∼U(a,b)X \sim U(a, b) 的 pdf 為 f(x)=1b−af(x) = \frac{1}{b-a} 對於 a<x<ba < x < b,cdf 為 F(x)=x−ab−aF(x) = \frac{x-a}{b-a} 對於 a≤x≤ba \le x \le b。
    在本題中,X∼U(0,θ)X \sim U(0, \theta),所以 pdf 為 f(x)=1θf(x) = \frac{1}{\theta} 對於 0<x<θ0 < x < \theta,cdf 為 F(x)=xθF(x) = \frac{x}{\theta} 對於 0≤x≤θ0 \le x \le \theta。
  2. 順序統計量 (Order Statistics): 若 X(1),X(2),…,X(n)X_{(1)}, X_{(2)}, \dots, X_{(n)} 為樣本 X1,…,XnX_1, \dots, X_n 的順序統計量,則 X(1)=min⁡{Xi}X_{(1)} = \min\{X_i\} 且 X(n)=max⁡{Xi}X_{(n)} = \max\{X_i\}。
  3. 極值統計量 (Extreme Value Statistics): X(n)X_{(n)} 的 cdf 為 FX(n)(x)=[F(x)]nF_{X_{(n)}}(x) = [F(x)]^n。X(1)X_{(1)} 的 cdf 為 FX(1)(x)=1−[1−F(x)]nF_{X_{(1)}}(x) = 1 - [1 - F(x)]^n。
  4. 極限定理: 如中央極限定理、棣莫弗-拉普拉斯定理、Slutsky定理等,用於求統計量的極限定律。
  5. 點估計: 最大概似估計 (MLE)、矩量估計 (Method of Moments) 等。
  6. 估計量的性質: 不偏性 (Unbiasedness)、一致性 (Consistency)。
  7. 中位數: 分配的中位數 mm 滿足 F(m)=0.5F(m) = 0.5。

在開始詳細解答各小題之前,先確定 f(x)f(x) 和 F(x)F(x) 的形式:
f(x)=1θf(x) = \frac{1}{\theta} for 0<x<θ0 < x < \theta, and 00 otherwise.
F(x)=∫0x1θdt=xθF(x) = \int_0^x \frac{1}{\theta} dt = \frac{x}{\theta} for 0≤x≤θ0 \le x \le \theta, and 00 for x≤0x \le 0, 11 for x≥θx \ge \theta.

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 I. B. (a) 題5 分

(a) Let Yn=max⁡{X1,…,Xn}Y_n = \max\{X_1, \dots, X_n\}. Find the limiting distribution of Zn=n(1−Yn/θ)Z_n = n(1 - Y_n/\theta).

登入後即可作答並保存紀錄。

這一題的完整詳解

這題要求最大值統計量 Yn=X(n)Y_n = X_{(n)} 的極限定律。

核心觀念:
求極限定律通常有兩種方法:

  1. 直接求統計量的 cdf,然後看當 n→∞n \to \infty 時 cdf 的極限。
  2. 利用已知的極限定理(如 Gnedenko 定理、Fisher–Tippett–Gnedenko 定理)來判斷極限定律的類型。

解題步驟:

  1. 確定 Yn=X(n)Y_n = X_{(n)} 的 cdf。
  2. 計算 Yn/θY_n/\theta 的 cdf。
  3. 計算 1−Yn/θ1 - Y_n/\theta 的 cdf。
  4. 計算 Zn=n(1−Yn/θ)Z_n = n(1 - Y_n/\theta) 的 cdf。
  5. 判斷極限定律。

計算過程:
已知 Xi∼U(0,θ)X_i \sim U(0, \theta)。
Yn=X(n)=max⁡{X1,…,Xn}Y_n = X_{(n)} = \max\{X_1, \dots, X_n\}。
YnY_n 的 cdf 為 FYn(y)=P(Yn≤y)=P(X(n)≤y)=P(X1≤y,…,Xn≤y)F_{Y_n}(y) = P(Y_n \le y) = P(X_{(n)} \le y) = P(X_1 \le y, \dots, X_n \le y)。
由於 XiX_i 獨立同分佈, FYn(y)=[F(y)]nF_{Y_n}(y) = [F(y)]^n。
對於 0<y<θ0 < y < \theta, F(y)=y/θF(y) = y/\theta。
所以,FYn(y)=(y/θ)nF_{Y_n}(y) = (y/\theta)^n for 0<y<θ0 < y < \theta。

現在我們看 Yn/θY_n/\theta。
令 U=Yn/θU = Y_n/\theta。
P(U≤u)=P(Yn/θ≤u)=P(Yn≤uθ)P(U \le u) = P(Y_n/\theta \le u) = P(Y_n \le u\theta)。
由於 YnY_n 的值域是 (0,θ)(0, \theta),所以 uθu\theta 的值域也必須在 (0,θ)(0, \theta) 內,即 0<u<10 < u < 1。
P(U≤u)=FYn(uθ)=(uθθ)n=unP(U \le u) = F_{Y_n}(u\theta) = \left(\frac{u\theta}{\theta}\right)^n = u^n for 0<u<10 < u < 1。
所以 UU 的 cdf 是 FU(u)=unF_U(u) = u^n for 0<u<10 < u < 1。

接著我們看 1−Yn/θ1 - Y_n/\theta。
令 V=1−Yn/θ=1−UV = 1 - Y_n/\theta = 1 - U。

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 I. B. (b) 題5 分

(b) Let Y2Y_2 denote the second smallest item from this sample. Find the limiting distribution of Wn=nF(Y2)W_n = nF(Y_2).

登入後即可作答並保存紀錄。

這一題的完整詳解

這題要求第二小順序統計量 Y2=X(2)Y_2 = X_{(2)} 的極限定律。

核心觀念:
求極限定律的方法與上一題類似,即計算統計量的 cdf,然後求極限。
對於順序統計量的極限定律,有時會用到 Cramér-Wold device 或其他高級工具,但對於簡單的分配,直接計算 cdf 即可。

解題步驟:

  1. 確定 Y2=X(2)Y_2 = X_{(2)} 的 cdf。
  2. 計算 F(Y2)F(Y_2) 的 cdf。
  3. 計算 Wn=nF(Y2)W_n = nF(Y_2) 的 cdf。
  4. 判斷極限定律。

計算過程:
已知 Xi∼U(0,θ)X_i \sim U(0, \theta)。
F(x)=x/θF(x) = x/\theta for 0≤x≤θ0 \le x \le \theta。
Y2=X(2)Y_2 = X_{(2)} 是樣本中的第二小值。
Y2Y_2 的 cdf 為 FY2(y)=P(Y2≤y)F_{Y_2}(y) = P(Y_2 \le y)。
P(Y2≤y)=1−P(Y2>y)P(Y_2 \le y) = 1 - P(Y_2 > y)。
P(Y2>y)P(Y_2 > y) 的意思是樣本中最多只有一個值小於或等於 yy。
P(Y2>y)=P(zero Xi≤y)+P(exactly one Xi≤y)P(Y_2 > y) = P(\text{zero } X_i \le y) + P(\text{exactly one } X_i \le y)
=[1−F(y)]n+nF(y)[1−F(y)]n−1= [1 - F(y)]^n + n F(y) [1 - F(y)]^{n-1}。
所以,FY2(y)=1−[1−F(y)]n−nF(y)[1−F(y)]n−1F_{Y_2}(y) = 1 - [1 - F(y)]^n - n F(y) [1 - F(y)]^{n-1}。

我們要求 Wn=nF(Y2)W_n = nF(Y_2) 的極限定律。
令 F2=F(Y2)=Y2/θF_2 = F(Y_2) = Y_2/\theta (假設 Y2∈(0,θ)Y_2 \in (0, \theta))。
我們需要 FY2(y)F_{Y_2}(y) 的 cdf。
對於 0<y<θ0 < y < \theta:
FY2(y)=1−(θ−yθ)n−nyθ(θ−yθ)n−1F_{Y_2}(y) = 1 - \left(\frac{\theta - y}{\theta}\right)^n - n \frac{y}{\theta} \left(\frac{\theta - y}{\theta}\right)^{n-1}
=1−(θ−y)n−1θn[(θ−y)+ny]= 1 - \frac{(\theta - y)^{n-1}}{\theta^n} [(\theta - y) + ny]
=1−(θ−y)n−1θn[θ+(n−1)y]= 1 - \frac{(\theta - y)^{n-1}}{\theta^n} [\theta + (n-1)y]。

現在考慮 F(Y2)=Y2/θF(Y_2) = Y_2/\theta。
令 V=F(Y2)=Y2/θV = F(Y_2) = Y_2/\theta。
P(V≤v)=P(Y2/θ≤v)=P(Y2≤vθ)P(V \le v) = P(Y_2/\theta \le v) = P(Y_2 \le v\theta)。
這裡 vv 的範圍是 (0,1)(0, 1)。
P(Y2≤vθ)=FY2(vθ)P(Y_2 \le v\theta) = F_{Y_2}(v\theta)。
P(V≤v)=1−(θ−vθ)n−1θn[θ+(n−1)vθ]P(V \le v) = 1 - \frac{(\theta - v\theta)^{n-1}}{\theta^n} [\theta + (n-1)v\theta]
=1−θn−1(1−v)n−1θn[θ(1+(n−1)v)]= 1 - \frac{\theta^{n-1}(1 - v)^{n-1}}{\theta^n} [\theta(1 + (n-1)v)]
=1−(1−v)n−1θ[θ(1+(n−1)v)]= 1 - \frac{(1 - v)^{n-1}}{\theta} [\theta(1 + (n-1)v)]
=1−(1−v)n−1[1+(n−1)v]= 1 - (1 - v)^{n-1} [1 + (n-1)v]。
這是 VV 的 cdf,適用於 0<v<10 < v < 1。

現在我們要求 Wn=nV=nF(Y2)W_n = nV = nF(Y_2) 的極限定律。
P(Wn≤w)=P(nV≤w)=P(V≤w/n)P(W_n \le w) = P(nV \le w) = P(V \le w/n)。
由於 VV 的 cdf 是 1−(1−v)n−1[1+(n−1)v]1 - (1 - v)^{n-1} [1 + (n-1)v],

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 I. B. (c) 題5 分

(c) Find the maximum likelihood estimator (MLE\text{MLE}) θ^n\hat{\theta}_n of θ\theta.

登入後即可作答並保存紀錄。

這一題的完整詳解

這題要求求出參數 θ\theta 的最大概似估計量 (MLE)。

核心觀念:
最大概似估計法的步驟:

  1. 寫出樣本的聯合機率密度函數 (likelihood function)。
  2. 取對數得到對數概似函數 (log-likelihood function)。
  3. 對對數概似函數對參數求偏微分,並令其等於零,解出參數。
  4. (可選)驗證二階導數是否為負,以確認是最大值。

解題步驟:

  1. 寫出樣本 X1,…,XnX_1, \dots, X_n 的聯合 pdf。
  2. 寫出概似函數 L(θ)L(\theta)。
  3. 寫出對數概似函數 ln⁡L(θ)\ln L(\theta)。
  4. 計算 ∂ln⁡L(θ)∂θ\frac{\partial \ln L(\theta)}{\partial \theta}。
  5. 令偏微分等於零,解出 θ^n\hat{\theta}_n。

計算過程:
已知 Xi∼U(0,θ)X_i \sim U(0, \theta), pdf 為 f(x;θ)=1θ10<x<θf(x; \theta) = \frac{1}{\theta} \mathbf{1}_{0 < x < \theta}。
樣本的聯合 pdf 為:
L(θ)=f(x1,…,xn;θ)=∏i=1nf(xi;θ)=∏i=1n1θ10<xi<θL(\theta) = f(x_1, \dots, x_n; \theta) = \prod_{i=1}^n f(x_i; \theta) = \prod_{i=1}^n \frac{1}{\theta} \mathbf{1}_{0 < x_i < \theta}。
L(θ)=1θn∏i=1n10<xi<θL(\theta) = \frac{1}{\theta^n} \prod_{i=1}^n \mathbf{1}_{0 < x_i < \theta}。
這個 10<xi<θ\mathbf{1}_{0 < x_i < \theta} 指示函數要求所有的 xix_i 都必須大於 0 且小於 θ\theta。
因此,為了使 L(θ)>0L(\theta) > 0,必須滿足 0<xi<θ0 < x_i < \theta 對於所有 i=1,…,ni=1, \dots, n。
這意味著 θ\theta 必須大於所有的 xix_i。
所以,θ>max⁡{x1,…,xn}=X(n)\theta > \max\{x_1, \dots, x_n\} = X_{(n)}。
同時,由於 XiX_i 的值域是 (0,θ)(0, \theta),所以 θ\theta 必須大於 0。
因此,概似函數為:

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 I. B. (d) 題5 分

(d) Prove that θ^n\hat{\theta}_n is a consistent estimator of θ\theta.

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

一致性(consistency)的定義是:對任意 ε>0\varepsilon>0,

lim⁡n→∞Pθ(∣θ^n−θ∣>ε)=0.\lim_{n\to\infty} P_\theta\left(\left|\hat{\theta}_n-\theta\right|>\varepsilon\right)=0.

亦即,

θ^n→Pθ.\hat{\theta}_n\xrightarrow{P}\theta.

因此,本題的目標是證明估計量 θ^n\hat{\theta}_n 與真實參數 θ\theta 的差距,超過任意固定正數 ε\varepsilon 的機率會隨樣本數 nn 增加而趨近於零。

題目片段未提供前面小題對 θ^n\hat{\theta}_n 的具體定義;以下採用統計學中最常用的證明方式:若能證明估計量的均方誤差趨近於零,即可直接推出一致性。

解題方法

若

Eθ[(θ^n−θ)2]⟶0,E_\theta\left[(\hat{\theta}_n-\theta)^2\right]\longrightarrow 0,

則由 Chebyshev 不等式,對任意 ε>0\varepsilon>0,

Pθ(∣θ^n−θ∣>ε)=Pθ((θ^n−θ)2>ε2)≤Eθ[(θ^n−θ)2]ε2.P_\theta\left(\left|\hat{\theta}_n-\theta\right|>\varepsilon\right) = P_\theta\left((\hat{\theta}_n-\theta)^2>\varepsilon^2\right) \leq \frac{E_\theta\left[(\hat{\theta}_n-\theta)^2\right]}{\varepsilon^2}.

由假設,

lim⁡n→∞Eθ[(θ^n−θ)2]ε2=0.\lim_{n\to\infty} \frac{E_\theta\left[(\hat{\theta}_n-\theta)^2\right]}{\varepsilon^2} =0.

因此,

lim⁡n→∞Pθ(∣θ^n−θ∣>ε)=0.\lim_{n\to\infty} P_\theta\left(\left|\hat{\theta}_n-\theta\right|>\varepsilon\right) =0.

這正是一致性的定義,故

θ^n→Pθ.\hat{\theta}_n\xrightarrow{P}\theta.

所以 θ^n\hat{\theta}_n 是 θ\theta 的一致估計量。

常用的均方誤差分解

證明均方誤差趨近於零時,通常使用

Eθ[(θ^n−θ)2]=Var⁡θ(θ^n)+{Eθ(θ^n)−θ}2.E_\theta\left[(\hat{\theta}_n-\theta)^2\right] = \operatorname{Var}_\theta(\hat{\theta}_n) + \left\{E_\theta(\hat{\theta}_n)-\theta\right\}^2.

其中:

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 I. B. (e) 題5 分

(e) Find an unbiased estimator θ~n\tilde{\theta}_n of θ\theta.

登入後即可作答並保存紀錄。

這一題的完整詳解

這題要求找一個參數 θ\theta 的不偏估計量 (unbiased estimator)。

核心觀念:
一個估計量 θ~n\tilde{\theta}_n 對於參數 θ\theta 是不偏的,如果 E[θ~n]=θE[\tilde{\theta}_n] = \theta。

解題步驟:

  1. 考慮一個基於樣本的統計量,例如樣本平均數、最大值、最小值等。
  2. 計算該統計量的期望值。
  3. 調整該統計量,使其期望值等於 θ\theta。

計算過程:
我們知道 Xi∼U(0,θ)X_i \sim U(0, \theta)。
其期望值為 E[Xi]=0+θ2=θ2E[X_i] = \frac{0 + \theta}{2} = \frac{\theta}{2}。
樣本平均數為 Xˉ=1n∑i=1nXi\bar{X} = \frac{1}{n} \sum_{i=1}^n X_i。
E[Xˉ]=E[1n∑i=1nXi]=1n∑i=1nE[Xi]=1n∑i=1nθ2=1n⋅n⋅θ2=θ2E[\bar{X}] = E\left[\frac{1}{n} \sum_{i=1}^n X_i\right] = \frac{1}{n} \sum_{i=1}^n E[X_i] = \frac{1}{n} \sum_{i=1}^n \frac{\theta}{2} = \frac{1}{n} \cdot n \cdot \frac{\theta}{2} = \frac{\theta}{2}。
所以 Xˉ\bar{X} 的期望值是 θ/2\theta/2,而不是 θ\theta。
為了得到一個不偏估計量,我們可以將 Xˉ\bar{X} 乘以 2。
令 θ~n=2Xˉ=2n∑i=1nXi\tilde{\theta}_n = 2\bar{X} = \frac{2}{n} \sum_{i=1}^n X_i。
E[θ~n]=E[2Xˉ]=2E[Xˉ]=2⋅θ2=θE[\tilde{\theta}_n] = E[2\bar{X}] = 2 E[\bar{X}] = 2 \cdot \frac{\theta}{2} = \theta。
因此,θ~n=2Xˉ\tilde{\theta}_n = 2\bar{X} 是一個不偏估計量。

還有其他可能的選擇嗎?
我們知道 X(n)X_{(n)} 的 cdf 是 (x/θ)n(x/\theta)^n for 0<x<θ0 < x < \theta。

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 I. B. (f) 題5 分

(f) Find the MLE of the median of the distribution for this sample.

登入後即可作答並保存紀錄。

這一題的完整詳解

這題要求找出均勻分佈 U(0,θ)U(0, \theta) 的中位數的 MLE。

核心觀念:

  1. 中位數: 一個分佈的中位數 mm 滿足 F(m)=0.5F(m) = 0.5。
  2. MLE 的轉換性質: 如果 θ^n\hat{\theta}_n 是參數 θ\theta 的 MLE,則 g(θ^n)g(\hat{\theta}_n) 是 g(θ)g(\theta) 的 MLE。

解題步驟:

  1. 找出 U(0,θ)U(0, \theta) 分佈的中位數。
  2. 將該中位數表示為 θ\theta 的函數。
  3. 利用 MLE 的轉換性質,將 θ\theta 的 MLE θ^n\hat{\theta}_n 轉換成中位數的 MLE。

計算過程:
對於 X∼U(0,θ)X \sim U(0, \theta),其 cdf 為 F(x)=x/θF(x) = x/\theta for 0≤x≤θ0 \le x \le \theta。
中位數 mm 滿足 F(m)=0.5F(m) = 0.5。

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 II. A. (a) 題7 分

A. Let X1,X2,…,XnX_1, X_2, \dots, X_n be a random sample from a U(0,θ)U(0, \theta) population.
(a) Consider H0:θ=θ0H_0: \theta = \theta_0 versus H1:θ≠θ0H_1: \theta \ne \theta_0 and define X(n)=max⁡1≤i≤nXiX_{(n)} = \max_{1 \le i \le n} X_i. Show that
T∗(X):Reject H0 if X(n)>θ0 or X(n)≤θ0α1/nT^*(X): \text{Reject } H_0 \text{ if } X_{(n)} > \theta_0 \text{ or } X_{(n)} \le \theta_0 \alpha^{1/n}
is a uniformly most powerful (UMP) test of size α\alpha.

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

本題考查三個重點:

  1. 次序統計量最大值 X(n)X_{(n)} 的分布。
  2. 檢定的大小(size)與檢定力(power)。
  3. 利用 Neyman–Pearson 引理,分別比較 θ<θ0\theta<\theta_0 與 θ>θ0\theta>\theta_0 時的概似比,證明同一個拒絕域對所有 θ≠θ0\theta\ne\theta_0 都是最強力,因此為 UMP test。

由於 Xi∼i.i.d.U(0,θ)X_i\overset{\text{i.i.d.}}{\sim}U(0,\theta),其密度為

fθ(x)=1θI(0<x<θ).f_\theta(x)=\frac{1}{\theta}I(0<x<\theta).

最大值 X(n)X_{(n)} 的累積分布函數為

Pθ(X(n)≤t)=Pθ(X1≤t,…,Xn≤t)=(tθ)n,0<t<θ.P_\theta(X_{(n)}\le t) =P_\theta(X_1\le t,\ldots,X_n\le t) =\left(\frac{t}{\theta}\right)^n, \qquad 0<t<\theta.

因此

FX(n)(t;θ)={0,t≤0,(tθ)n,0<t<θ,1,t≥θ.F_{X_{(n)}}(t;\theta) = \begin{cases} 0, & t\le 0,\\[4pt] \left(\dfrac{t}{\theta}\right)^n, & 0<t<\theta,\\[8pt] 1, & t\ge \theta. \end{cases}

解題方法

題目所給拒絕域為

R={X(n)>θ0}∪{X(n)≤θ0α1/n}.R=\left\{X_{(n)}>\theta_0\right\} \cup \left\{X_{(n)}\le \theta_0\alpha^{1/n}\right\}.

令

c=θ0α1/n.c=\theta_0\alpha^{1/n}.

因為 0<α<10<\alpha<1,所以 0<c<θ00<c<\theta_0。拒絕域可寫成

R={X(n)≤c}∪{X(n)>θ0}.R=\{X_{(n)}\le c\}\cup\{X_{(n)}>\theta_0\}.

這個拒絕域的直觀意義是:

  • X(n)X_{(n)} 太小,表示 θ\theta 可能小於 θ0\theta_0;
  • X(n)X_{(n)} 大於 θ0\theta_0,則在 H0H_0 下不可能發生,應直接拒絕 H0H_0。

第一步:證明檢定大小為 α\alpha

在虛無假設 θ=θ0\theta=\theta_0 下,由於 Xi<θ0X_i<\theta_0 幾乎必然成立,因此

Pθ0(X(n)>θ0)=0.P_{\theta_0}(X_{(n)}>\theta_0)=0.

另一方面,

Pθ0(X(n)≤c)=(cθ0)n.P_{\theta_0}(X_{(n)}\le c) = \left(\frac{c}{\theta_0}\right)^n.

代入 c=θ0α1/nc=\theta_0\alpha^{1/n}:

Pθ0(X(n)≤c)=(θ0α1/nθ0)n=α.P_{\theta_0}(X_{(n)}\le c) = \left(\frac{\theta_0\alpha^{1/n}}{\theta_0}\right)^n = \alpha.

所以

Pθ0(R)=α.P_{\theta_0}(R)=\alpha.

因此 T∗(X)T^*(X) 是一個大小為 α\alpha 的檢定。


第二步:考慮 θ<θ0\theta<\theta_0 的情形

此時替代假設為 θ<θ0\theta<\theta_0,而 X(n)X_{(n)} 的可能範圍只有 0<X(n)<θ0<X_{(n)}<\theta。

由於 θ<θ0\theta<\theta_0,事件 {X(n)>θ0}\{X_{(n)}>\theta_0\} 不可能發生,因此

Pθ(R)=Pθ(X(n)≤c).P_\theta(R)=P_\theta(X_{(n)}\le c).

若 θ≤c\theta\le c,則 X(n)≤θ≤cX_{(n)}\le \theta\le c 幾乎必然成立,所以

Pθ(R)=1.P_\theta(R)=1.

若 c<θ<θ0c<\theta<\theta_0,則

Pθ(R)=Pθ(X(n)≤c)=(cθ)n.P_\theta(R) = P_\theta(X_{(n)}\le c) = \left(\frac{c}{\theta}\right)^n.

接著用 Neyman–Pearson 引理說明其最強力性。

在觀察值 x=(x1,…,xn)x=(x_1,\ldots,x_n) 下,聯合密度為

fθ(x)=1θnI(0<x(n)<θ).f_\theta(x) = \frac{1}{\theta^n} I(0<x_{(n)}<\theta).

當 θ<θ0\theta<\theta_0 時,概似比為

fθ(x)fθ0(x)={(θ0θ)n,0<x(n)<θ,0,θ<x(n)<θ0.\frac{f_\theta(x)}{f_{\theta_0}(x)} = \begin{cases} \left(\dfrac{\theta_0}{\theta}\right)^n, & 0<x_{(n)}<\theta,\\[8pt] 0, & \theta<x_{(n)}<\theta_0. \end{cases}

因此,概似比最大的區域是 x(n)<θx_{(n)}<\theta,而在這個區域內概似比為常數。為了使檢定在 H0H_0 下的機率不超過 α\alpha,最適當的拒絕方式是優先拒絕較小的 X(n)X_{(n)}。

對 c<θ<θ0c<\theta<\theta_0 而言,

Pθ0(X(n)≤c)=α,P_{\theta_0}(X_{(n)}\le c)=\alpha,

所以 {X(n)≤c}\{X_{(n)}\le c\} 正好是大小為 α\alpha 的最強力拒絕域。

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 II. A. (b) 題7 分

(b) Find the uniformly most accurate (UMA) 1−α1-\alpha confidence interval. Prove your claim.

登入後即可作答並保存紀錄。

這一題的完整詳解

資訊說明

題目缺少第 II. A 題前半所給的樣本分配、未知參數與觀測統計量,因此無法唯一決定信賴區間的具體形式。以下依數理統計中最常見的設定,假設

X1,…,Xn∼i.i.d.N(μ,σ2),X_1,\ldots,X_n\overset{\text{i.i.d.}}{\sim}N(\mu,\sigma^2),

其中 σ2\sigma^2 已知,要求母平均數 μ\mu 的 UMA 1−α1-\alpha 信賴區間。

核心觀念

本題的核心是將「UMA 信賴區間」轉換為「最強檢定的反演」。

由於

Xˉ∼N(μ,σ2n),\bar X\sim N\left(\mu,\frac{\sigma^2}{n}\right),

因此

Z=n(Xˉ−μ)σ∼N(0,1).Z=\frac{\sqrt n(\bar X-\mu)}{\sigma}\sim N(0,1).

若要構造雙側 1−α1-\alpha 信賴區間,取標準常態分配的臨界值 zα/2z_{\alpha/2},使得

P(−zα/2≤Z≤zα/2)=1−α.P\left(-z_{\alpha/2}\le Z\le z_{\alpha/2}\right)=1-\alpha.

這個樞紐量的分配不含未知參數,故可直接反解 μ\mu。

在常態位置族中,對每一個固定的 μ0\mu_0,統計量 Xˉ\bar X 具有單調概似比性質;針對雙側假設所得到的等尾檢定,其反演所形成的信賴區間即為標準意義下的 uniformly most accurate unbiased confidence interval。

解題方法

考慮假設

H0:μ=μ0.H_0:\mu=\mu_0.

在 H0H_0 下,

Zμ0=n(Xˉ−μ0)σ∼N(0,1).Z_{\mu_0} = \frac{\sqrt n(\bar X-\mu_0)}{\sigma} \sim N(0,1).

以等尾方式建立大小為 α\alpha 的檢定,拒絕域為

Zμ0<−zα/2或Zμ0>zα/2.Z_{\mu_0}<-z_{\alpha/2} \quad\text{或}\quad Z_{\mu_0}>z_{\alpha/2}.

因此,不拒絕 H0H_0 的條件為

−zα/2≤n(Xˉ−μ0)σ≤zα/2.-z_{\alpha/2} \le \frac{\sqrt n(\bar X-\mu_0)}{\sigma} \le z_{\alpha/2}.

乘以 σ/n\sigma/\sqrt n,得到

−σzα/2n≤Xˉ−μ0≤σzα/2n.-\frac{\sigma z_{\alpha/2}}{\sqrt n} \le \bar X-\mu_0 \le \frac{\sigma z_{\alpha/2}}{\sqrt n}.

整理 μ0\mu_0:

Xˉ−σzα/2n≤μ0≤Xˉ+σzα/2n.\bar X-\frac{\sigma z_{\alpha/2}}{\sqrt n} \le \mu_0 \le \bar X+\frac{\sigma z_{\alpha/2}}{\sqrt n}.

將所有未被拒絕的 μ0\mu_0 收集起來,即得信賴區間

[Xˉ−σzα/2n,  Xˉ+σzα/2n].\boxed{ \left[ \bar X-\frac{\sigma z_{\alpha/2}}{\sqrt n}, \; \bar X+\frac{\sigma z_{\alpha/2}}{\sqrt n} \right] }.

其中 zα/2z_{\alpha/2} 滿足

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 II. A. (c) 題7 分

(c) Is your finding in Problem b the shortest length confidence interval (C.I.)? Prove your claim.

登入後即可作答並保存紀錄。

這一題的完整詳解

這題要求證明在 II. A. (b) 中找到的信賴區間是「最短長度」的信賴區間。

核心觀念:

  1. 最短長度信賴區間 (Shortest Length Confidence Interval): 對於給定的顯著水準 α\alpha,一個 (1−α)(1-\alpha) 信賴區間 I(X)I(\mathbf{X}) 被稱為最短長度 CI,如果對於任何其他的 (1−α)(1-\alpha) CI J(X)J(\mathbf{X}),其長度 Length(J(X))≥Length(I(X))Length(J(\mathbf{X})) \ge Length(I(\mathbf{X})) 對於幾乎所有 X\mathbf{X} 成立。
  2. UMA 與最短長度 CI 的關係: UMA CI 通常具有最短長度。對於單參數指數族分佈,如果存在 UMP 檢定,則由其導出的 CI 通常是 UMA 且具有最短長度。

解題步驟:

  1. 確定 II. A. (b) 中的信賴區間的長度。
  2. 討論該長度是否為最短。
  3. 提供證明。

計算過程:
在 II. A. (b) 中,我們找到的 (1−α)(1-\alpha) 信賴區間為 I(X)=(X(n),X(n)/α1/n)I(\mathbf{X}) = (X_{(n)}, X_{(n)}/\alpha^{1/n})。
該信賴區間的長度為 L(X)=X(n)α1/n−X(n)=X(n)(1α1/n−1)L(\mathbf{X}) = \frac{X_{(n)}}{\alpha^{1/n}} - X_{(n)} = X_{(n)} \left(\frac{1}{\alpha^{1/n}} - 1\right)。

證明最短長度:
對於 U(0,θ)U(0, \theta) 分佈, X(n)X_{(n)} 是參數 θ\theta 的一個充分統計量 (sufficient statistic)。
此外,X(n)X_{(n)} 的分佈族具有單調似然比性質(或者更準確地說,是單調的)。
對於單參數指數族分佈,如果存在一個 UMP 檢定,則由該 UMP 檢定導出的信賴區間是 UMA 且具有最短長度。
我們在 II. A. (a) 中已經證明了基於 X(n)X_{(n)} 的檢定是 UMP 的。
因此,由該 UMP 檢定導出的信賴區間 I(X)=(X(n),X(n)/α1/n)I(\mathbf{X}) = (X_{(n)}, X_{(n)}/\alpha^{1/n}) 必須是 UMA 且具有最短長度。

更具體的證明思路:
一個最短長度 CI 的存在性通常與充分統計量和分佈的單調性有關。
令 I(X)=(L(X),U(X))I(\mathbf{X}) = (L(\mathbf{X}), U(\mathbf{X})) 為一個 (1−α)(1-\alpha) CI。
我們需要證明 U(X)−L(X)≥X(n)(1/α1/n−1)U(\mathbf{X}) - L(\mathbf{X}) \ge X_{(n)} (1/\alpha^{1/n} - 1) 對於幾乎所有 X\mathbf{X}。
這通常需要證明 U(X)/L(X)U(\mathbf{X})/L(\mathbf{X}) 或 U(X)/X(n)U(\mathbf{X})/X_{(n)} 的形式。

考慮 X(n)/θ∼Beta(n,1)X_{(n)}/\theta \sim Beta(n, 1)。
令 U=X(n)/θU = X_{(n)}/\theta。
信賴區間的覆蓋機率是 P(α1/n<U<1)=1−αP(\alpha^{1/n} < U < 1) = 1 - \alpha。

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 II. B. (a) 題7 分

B. Suppose that the random variables Y1,Y2,…,YnY_1, Y_2, \dots, Y_n satisfy
Yi=βxi+ϵi,i=1,2,…,n,Y_i = \beta x_i + \epsilon_i, \quad i = 1, 2, \dots, n,
where x1,x2,…,xnx_1, x_2, \dots, x_n are fixed constants, and ϵ1,ϵ2,…,ϵn\epsilon_1, \epsilon_2, \dots, \epsilon_n are iid N(0,σ2)N(0, \sigma^2) with σ2\sigma^2 unknown.
(a) Find a two-dimensional sufficient statistic for (β,σ2)(\beta, \sigma^2).

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

本題考查:

  • 充分統計量的定義;
  • Neyman–Fisher 因子分解定理;
  • 常態模型的概似函數整理。

若統計量 T(Y)T(\mathbf Y) 對參數 (β,σ2)(\beta,\sigma^2) 充分,則聯合密度可寫成

f(y;β,σ2)=g(T(y),β,σ2)h(y),f(\mathbf y;\beta,\sigma^2) = g\bigl(T(\mathbf y),\beta,\sigma^2\bigr)h(\mathbf y),

其中 h(y)h(\mathbf y) 不含未知參數。


解題方法

由

Yi=βxi+ϵi,ϵi∼iidN(0,σ2),Y_i=\beta x_i+\epsilon_i, \qquad \epsilon_i\overset{\text{iid}}{\sim}N(0,\sigma^2),

可知

Yi∼N(βxi,σ2),Y_i\sim N(\beta x_i,\sigma^2),

且彼此獨立。因此,樣本聯合密度為

f(y;β,σ2)=∏i=1n12πσ2exp⁡{−(yi−βxi)22σ2}.f(\mathbf y;\beta,\sigma^2) = \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left\{ -\frac{(y_i-\beta x_i)^2}{2\sigma^2} \right\}.

整理得

f(y;β,σ2)=(2πσ2)−n/2exp⁡{−12σ2∑i=1n(yi−βxi)2}.f(\mathbf y;\beta,\sigma^2) = (2\pi\sigma^2)^{-n/2} \exp\left\{ -\frac{1}{2\sigma^2} \sum_{i=1}^n(y_i-\beta x_i)^2 \right\}.

將平方項展開:

∑i=1n(yi−βxi)2=∑i=1nyi2−2β∑i=1nxiyi+β2∑i=1nxi2.\sum_{i=1}^n(y_i-\beta x_i)^2 = \sum_{i=1}^n y_i^2 -2\beta\sum_{i=1}^n x_i y_i +\beta^2\sum_{i=1}^n x_i^2.

因此

f(y;β,σ2)=(2πσ2)−n/2exp⁡{−12σ2[∑i=1nyi2−2β∑i=1nxiyi+β2∑i=1nxi2]}.f(\mathbf y;\beta,\sigma^2) = (2\pi\sigma^2)^{-n/2} \exp\left\{ -\frac{1}{2\sigma^2} \left[ \sum_{i=1}^n y_i^2 -2\beta\sum_{i=1}^n x_i y_i +\beta^2\sum_{i=1}^n x_i^2 \right] \right\}.
🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 II. B. (a) 題7 分

(a) Find a two-dimensional sufficient statistic for (β,σ2)(\beta, \sigma^2).

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

在通常假設 X1,…,XnX_1,\dots,X_n 為獨立同分布樣本,且

Xi∼N(β,σ2),i=1,…,n,X_i\sim N(\beta,\sigma^2),\qquad i=1,\dots,n,

其中 β∈R\beta\in\mathbb R、σ2>0\sigma^2>0,本題要求找出關於參數 (β,σ2)(\beta,\sigma^2) 的二維充分統計量。

使用的判準是 Neyman–Fisher 因子分解定理:若聯合機率密度可寫成

fβ,σ2(x1,…,xn)=gβ,σ2(T1(x),T2(x))h(x),f_{\beta,\sigma^2}(x_1,\dots,x_n) = g_{\beta,\sigma^2}\bigl(T_1(x),T_2(x)\bigr)h(x),

則 T(X)=(T1(X),T2(X))T(X)=(T_1(X),T_2(X)) 為 (β,σ2)(\beta,\sigma^2) 的充分統計量。


解題方法:寫出聯合概似函數並因子分解

由於樣本獨立同分布,聯合密度為

fβ,σ2(x1,…,xn)=∏i=1n12πσ2exp⁡{−(xi−β)22σ2}=(2πσ2)−n/2exp⁡{−12σ2∑i=1n(xi−β)2}.\begin{aligned} f_{\beta,\sigma^2}(x_1,\dots,x_n) &= \prod_{i=1}^n \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left\{ -\frac{(x_i-\beta)^2}{2\sigma^2} \right\}\\ &= (2\pi\sigma^2)^{-n/2} \exp\left\{ -\frac{1}{2\sigma^2} \sum_{i=1}^n(x_i-\beta)^2 \right\}. \end{aligned}

將平方項展開:

∑i=1n(xi−β)2=∑i=1nxi2−2β∑i=1nxi+nβ2.\sum_{i=1}^n(x_i-\beta)^2 = \sum_{i=1}^n x_i^2 -2\beta\sum_{i=1}^n x_i +n\beta^2.

因此

fβ,σ2(x1,…,xn)=(2πσ2)−n/2exp⁡{−12σ2[∑i=1nxi2−2β∑i=1nxi+nβ2]}.\begin{aligned} f_{\beta,\sigma^2}(x_1,\dots,x_n) &= (2\pi\sigma^2)^{-n/2} \exp\left\{ -\frac{1}{2\sigma^2} \left[ \sum_{i=1}^n x_i^2 -2\beta\sum_{i=1}^n x_i +n\beta^2 \right] \right\}. \end{aligned}

樣本資料與參數共同出現的部分,只透過

∑i=1nxi與∑i=1nxi2\sum_{i=1}^n x_i \quad\text{與}\quad \sum_{i=1}^n x_i^2

呈現。因此令

T1(X)=∑i=1nXi,T2(X)=∑i=1nXi2.T_1(X)=\sum_{i=1}^n X_i, \qquad T_2(X)=\sum_{i=1}^n X_i^2.

則聯合密度可表示為

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 II. B. (b) 題7 分

(b) Find the MLE of β\beta, and show that it is an unbiased estimator of β\beta.

登入後即可作答並保存紀錄。

這一題的完整詳解

題目資訊與合理假設

目前僅提供第 II. B. (b) 小題,未包含前文所定義的母體分配,因此單憑這一句無法唯一決定 β\beta 的 MLE。以下採用此類題目最常見的設定:

X1,…,Xn∼i.i.d.Poisson⁡(β),β>0.X_1,\ldots,X_n \overset{\text{i.i.d.}}{\sim} \operatorname{Poisson}(\beta),\qquad \beta>0.

核心觀念

本題考查:

  • 最大概似估計法(Maximum Likelihood Estimation, MLE)。
  • 聯合概似函數與對數概似函數。
  • 利用一階導數求得概似函數的極值。
  • 無偏估計量的定義:
Eβ(β^)=β.E_\beta(\widehat{\beta})=\beta.

對 Poisson 分配而言,

Eβ(Xi)=β.E_\beta(X_i)=\beta.

因此樣本平均數具有直接驗證無偏性的優勢。

解題方法

先寫出樣本的聯合概似函數,再取對數並微分求解。由於 β\beta 同時出現在機率質量函數中,必須以 β\beta 為變數進行最大化。

一、建立概似函數

單一觀察值 XiX_i 的機率質量函數為

P(Xi=xi∣β)=e−ββxixi!,xi=0,1,2,…P(X_i=x_i\mid \beta) = \frac{e^{-\beta}\beta^{x_i}}{x_i!}, \qquad x_i=0,1,2,\ldots

因為 X1,…,XnX_1,\ldots,X_n 相互獨立,聯合概似函數為

L(β)=∏i=1ne−ββxixi!.L(\beta) = \prod_{i=1}^n \frac{e^{-\beta}\beta^{x_i}}{x_i!}.

整理得

L(β)=e−nββ∑i=1nxi∏i=1nxi!.L(\beta) = \frac{e^{-n\beta}\beta^{\sum_{i=1}^n x_i}} {\prod_{i=1}^n x_i!}.

二、取對數概似函數

令

ℓ(β)=log⁡L(β).\ell(\beta)=\log L(\beta).

則

ℓ(β)=−nβ+(∑i=1nxi)log⁡β−∑i=1nlog⁡(xi!).\ell(\beta) = -n\beta + \left(\sum_{i=1}^n x_i\right)\log\beta - \sum_{i=1}^n\log(x_i!).

對 β\beta 微分:

dℓ(β)dβ=−n+∑i=1nxiβ.\frac{d\ell(\beta)}{d\beta} = -n+\frac{\sum_{i=1}^n x_i}{\beta}.

令一階導數等於零:

−n+∑i=1nxiβ=0.-n+\frac{\sum_{i=1}^n x_i}{\beta}=0.

因此

β^MLE=1n∑i=1nXi=X‾.\widehat{\beta}_{\mathrm{MLE}} = \frac{1}{n}\sum_{i=1}^n X_i = \overline{X}.

三、確認確實為最大值

二階導數為

d2ℓ(β)dβ2=−∑i=1nxiβ2.\frac{d^2\ell(\beta)}{d\beta^2} = -\frac{\sum_{i=1}^n x_i}{\beta^2}.

當 ∑i=1nxi>0\sum_{i=1}^n x_i>0 時,

d2ℓ(β)dβ2<0,\frac{d^2\ell(\beta)}{d\beta^2}<0,
🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 II. B. (c) 題7 分

(c) Find the UMVUE of β\beta.

登入後即可作答並保存紀錄。

這一題的完整詳解

這題要求找出參數 β\beta 的 UMVUE (Uniformly Minimum Variance Unbiased Estimator)。

核心觀念:

  1. UMVUE: 一個估計量 θ^\hat{\theta} 對於參數 θ\theta 是 UMVUE,如果它是無偏的,並且對於任何其他無偏估計量 θ~\tilde{\theta},其方差 Var(θ^)≤Var(θ~)Var(\hat{\theta}) \le Var(\tilde{\theta})。
  2. Cramér-Rao Lower Bound (CRLB): 對於一個無偏估計量 θ^\hat{\theta},如果它達到了 CRLB,那麼它就是 UMVUE。CRLB 的計算依賴於 Fisher Information。
  3. Rao-Blackwell Theorem: 如果 TT 是充分統計量,θ^\hat{\theta} 是 θ\theta 的無偏估計量,則 θ~=E[θ^∣T]\tilde{\theta} = E[\hat{\theta} | T] 也是 θ\theta 的無偏估計量,且 Var(θ~)≤Var(θ^)Var(\tilde{\theta}) \le Var(\hat{\theta})。這意味著 UMVUE(如果存在)必須是充分統計量的函數。
  4. Basmann-Bose Theorem: 對於一個線性迴歸模型,如果誤差項是獨立同分佈的,並且存在一個充分的統計量,使得某個參數的 MLE 達到了 CRLB,那麼該 MLE 就是 UMVUE。

解題步驟:

  1. 確認充分統計量。
  2. 計算 Fisher Information。
  3. 計算 CRLB。
  4. 檢查 II. B. (b) 中找到的 MLE β^MLE\hat{\beta}_{MLE} 是否達到了 CRLB。如果是,則它就是 UMVUE。

計算過程:

  1. 充分統計量:
    根據 II. B. (a),一個二維充分統計量是 (T1,T2)=(∑xiYi,∑Yi2)(T_1, T_2) = (\sum x_i Y_i, \sum Y_i^2)。
    另一個常用的充分統計量是 (∑xiYi,∑(Yi−β^xi)2)(\sum x_i Y_i, \sum (Y_i - \hat{\beta} x_i)^2),記為 (S1,S2)(S_1, S_2)。
    其中 β^=S1/(∑xi2)\hat{\beta} = S_1 / (\sum x_i^2) 且 S2=∑Yi2−(∑xiYi)2/(∑xi2)S_2 = \sum Y_i^2 - (\sum x_i Y_i)^2 / (\sum x_i^2)。

  2. Fisher Information:
    對於參數 (β,σ2)(\beta, \sigma^2),Fisher Information 矩陣 I(θ)I(\boldsymbol{\theta}) 的元素由 Ijk=−E[∂2ln⁡f∂θj∂θk]I_{jk} = -E\left[\frac{\partial^2 \ln f}{\partial \theta_j \partial \theta_k}\right] 給出。
    我們只關心與 β\beta 相關的部分。
    ln⁡f(y;β,σ2)=C−n2ln⁡σ2−12σ2∑(yi−βxi)2\ln f(\mathbf{y}; \beta, \sigma^2) = C - \frac{n}{2} \ln \sigma^2 - \frac{1}{2\sigma^2} \sum (y_i - \beta x_i)^2。
    ∂ln⁡f∂β=−12σ2∑2(yi−βxi)(−xi)=1σ2∑(yi−βxi)xi=1σ2(∑xiyi−β∑xi2)\frac{\partial \ln f}{\partial \beta} = -\frac{1}{2\sigma^2} \sum 2(y_i - \beta x_i)(-x_i) = \frac{1}{\sigma^2} \sum (y_i - \beta x_i) x_i = \frac{1}{\sigma^2} (\sum x_i y_i - \beta \sum x_i^2)。
    ∂2ln⁡f∂β2=1σ2(−∑xi2)=−∑xi2σ2\frac{\partial^2 \ln f}{\partial \beta^2} = \frac{1}{\sigma^2} (-\sum x_i^2) = -\frac{\sum x_i^2}{\sigma^2}。
    Iββ=−E[∂2ln⁡f∂β2]=−E[−∑xi2σ2]=∑xi2σ2I_{\beta\beta} = -E\left[\frac{\partial^2 \ln f}{\partial \beta^2}\right] = -E\left[-\frac{\sum x_i^2}{\sigma^2}\right] = \frac{\sum x_i^2}{\sigma^2}。

    CRLB 對於 β\beta 是 1/Iββ=σ2/(∑xi2)1 / I_{\beta\beta} = \sigma^2 / (\sum x_i^2)。

  3. 檢查 MLE 的方差:
    在 II. B. (b) 中,我們找到 β^MLE=∑xiYi∑xi2\hat{\beta}_{MLE} = \frac{\sum x_i Y_i}{\sum x_i^2}。
    計算其方差:
    Var(β^MLE)=Var(∑xiYi∑xi2)=1(∑xi2)2Var(∑xiYi)Var(\hat{\beta}_{MLE}) = Var\left(\frac{\sum x_i Y_i}{\sum x_i^2}\right) = \frac{1}{(\sum x_i^2)^2} Var\left(\sum x_i Y_i\right)。

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 II. C. 題8 分

C. Feller Weak Law of Large Numbers
Suppose that X1,X2,…,XnX_1, X_2, \dots, X_n are iid random variables and define Sn=∑j=1nXjS_n = \sum_{j=1}^n X_j. If
lim⁡x→∞xP[∣X1∣>x]=0,\lim_{x \to \infty} x P[|X_1| > x] = 0,
then
Sn−E[X11∣X1∣≤sn]n→p0as n→∞,\frac{S_n - E[X_1 \mathbf{1}_{|X_1| \le s_n}]}{n} \xrightarrow{p} 0 \quad \text{as } n \to \infty,
where 1∣X1∣≤sn1_{|X_1| \le s_n} is an indicator function.
Let FF be a symmetric distribution and suppose
1−F(x)=e2xln⁡x,x≥e.1 - F(x) = \frac{e}{2x \ln x}, \quad x \ge e.
Suppose that {Xn,n≥1}\{X_n, n \ge 1\} is an iid sequence of random variables with common distribution FF. Show that the sample mean converges in probability to 0.

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

本題的核心為**費勒弱大數法則(Feller Weak Law of Large Numbers, WLLN)**及其截斷技術(Truncation)。

  1. 費勒弱大數法則的充分必要條件:
    設 X1,X2,…X_1, X_2, \dots 為獨立同分布(iid)之隨機變數,其部分和為 Sn=∑j=1nXjS_n = \sum_{j=1}^n X_j。若且唯若

    lim⁡x→∞xP(∣X1∣>x)=0\lim_{x \to \infty} x P(|X_1| > x) = 0

    存在常數序列 an=nE[X11{∣X1∣≤n}]a_n = n E[X_1 \mathbf{1}_{\{|X_1| \le n\}}],使得:

    Sn−ann→p0(即 Xˉn−E[X11{∣X1∣≤n}]→p0)\frac{S_n - a_n}{n} \xrightarrow{p} 0 \quad (\text{即 } \bar{X}_n - E[X_1 \mathbf{1}_{\{|X_1| \le n\}}] \xrightarrow{p} 0)

    (註:題幹中式子之截斷門檻一般標準形式為 nn;題幹寫作 sns_n 亦同理對應其截斷門檻)。

  2. 對稱分布之性質:
    若 X1X_1 的機率分布 FF 對原點對稱(Symmetric about 0),則對任意常數 c>0c > 0:

    • 尾端機率具對稱性:P(X1>x)=P(X1<−x)P(X_1 > x) = P(X_1 < -x),故 P(∣X1∣>x)=2(1−F(x))P(|X_1| > x) = 2(1 - F(x))。
    • 截斷隨機變數 Y=X11{∣X1∣≤c}Y = X_1 \mathbf{1}_{\{|X_1| \le c\}} 亦對稱於 0,其期望值恆為 0,即:
    E[X11{∣X1∣≤c}]=0E[X_1 \mathbf{1}_{\{|X_1| \le c\}}] = 0

解題方法

題目欲證明樣本平均數 Xˉn=Snn→p0\bar{X}_n = \frac{S_n}{n} \xrightarrow{p} 0。證明分為兩大關鍵步驟:

步驟一:驗證 Feller WLLN 之極限條件

由題意,FF 為對稱分布,因此對任意 x≥ex \ge e:

P(∣X1∣>x)=P(X1>x)+P(X1<−x)=2(1−F(x))P(|X_1| > x) = P(X_1 > x) + P(X_1 < -x) = 2(1 - F(x))

代入題目給定的尾端機率公式:

P(∣X1∣>x)=2×e2xln⁡x=exln⁡x,∀x≥eP(|X_1| > x) = 2 \times \frac{e}{2x \ln x} = \frac{e}{x \ln x}, \quad \forall x \ge e

計算極限值:

lim⁡x→∞xP(∣X1∣>x)=lim⁡x→∞x(exln⁡x)=lim⁡x→∞eln⁡x=0\lim_{x \to \infty} x P(|X_1| > x) = \lim_{x \to \infty} x \left( \frac{e}{x \ln x} \right) = \lim_{x \to \infty} \frac{e}{\ln x} = 0
🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

其他考古題