114 年 國立臺灣大學統計與數據科學碩士班《數理統計》

📄 試題原卷 免費註冊後即可對照原始考卷 PDF免費註冊

第 1 題

Let X1,…,XnX_1, \dots, X_n be independent Bernoulli random variables with pi=P(Xi=1)p_i = P(X_i = 1), i=1,…,ni = 1, \dots, n, such that
log⁡pi1−pi=α+βti\log \frac{p_i}{1-p_i} = \alpha + \beta t_i
where tit_i's are known constants while α\alpha and β\beta are unknown parameters. Please
(a) show that the pmf of XiX_i can be expressed by
P(Xi=xi)=exp⁡(xi(α+βti))1+exp⁡(α+βti),xi=0 or 1,P(X_i = x_i) = \frac{\exp(x_i(\alpha + \beta t_i))}{1 + \exp(\alpha + \beta t_i)}, \quad x_i = 0 \text{ or } 1,
and derive the joint pmf of X1,…,XnX_1, \dots, X_n.
(b) show that the joint pmf forms an exponential family and find a 2-dimensional sufficient statistic for (α,β)(\alpha, \beta).

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

本題考查三個重點:

  1. Logistic regression 的機率表示法

    由
    log⁡pi1−pi=α+βti\log\frac{p_i}{1-p_i}=\alpha+\beta t_i
    解出 pip_i 與 1−pi1-p_i。

  2. 獨立隨機變數的聯合機率質量函數

    若 X1,…,XnX_1,\ldots,X_n 相互獨立,則聯合 pmf 等於各自 pmf 的乘積。

  3. 指數族與充分統計量

    將聯合 pmf 整理成
    h(x)exp⁡{ηTT(x)−A(η)}h(\boldsymbol{x})\exp\left\{\boldsymbol{\eta}^{\mathsf T}T(\boldsymbol{x})-A(\boldsymbol{\eta})\right\}
    的形式,即可辨認其為指數族,並由因子分解定理找出充分統計量。


解題方法

令

θi=α+βti.\theta_i=\alpha+\beta t_i.

題目給定

log⁡pi1−pi=θi.\log\frac{p_i}{1-p_i}=\theta_i.

先將兩邊取指數,再解出 pip_i:

pi1−pi=exp⁡(θi).\frac{p_i}{1-p_i}=\exp(\theta_i).

因此

pi=exp⁡(θi)(1−pi),p_i=\exp(\theta_i)(1-p_i),

所以

pi+exp⁡(θi)pi=exp⁡(θi),p_i+\exp(\theta_i)p_i=\exp(\theta_i),

得到

pi=exp⁡(θi)1+exp⁡(θi).p_i=\frac{\exp(\theta_i)}{1+\exp(\theta_i)}.

同理,

1−pi=11+exp⁡(θi).1-p_i=\frac{1}{1+\exp(\theta_i)}.

(a)單一 XiX_i 的 pmf 與聯合 pmf

由於 XiX_i 是 Bernoulli 隨機變數,其 pmf 為

P(Xi=xi)=pixi(1−pi)1−xi,xi=0,1.P(X_i=x_i)=p_i^{x_i}(1-p_i)^{1-x_i}, \qquad x_i=0,1.

代入

pi=exp⁡(θi)1+exp⁡(θi),1−pi=11+exp⁡(θi),p_i=\frac{\exp(\theta_i)}{1+\exp(\theta_i)}, \qquad 1-p_i=\frac{1}{1+\exp(\theta_i)},

可得

P(Xi=xi)=(exp⁡(θi)1+exp⁡(θi))xi(11+exp⁡(θi))1−xi.P(X_i=x_i) = \left(\frac{\exp(\theta_i)}{1+\exp(\theta_i)}\right)^{x_i} \left(\frac{1}{1+\exp(\theta_i)}\right)^{1-x_i}.

因為 xix_i 只能取 00 或 11,上式可整理為

P(Xi=xi)=exp⁡(xiθi)1+exp⁡(θi).P(X_i=x_i) = \frac{\exp(x_i\theta_i)}{1+\exp(\theta_i)}.

再代回 θi=α+βti\theta_i=\alpha+\beta t_i:

P(Xi=xi)=exp⁡{xi(α+βti)}1+exp⁡(α+βti),xi=0,1.P(X_i=x_i) = \frac{\exp\left\{x_i(\alpha+\beta t_i)\right\}} {1+\exp(\alpha+\beta t_i)}, \qquad x_i=0,1.

這即為題目要求證明的結果。

聯合 pmf

由 X1,…,XnX_1,\ldots,X_n 相互獨立,

P(X1=x1,…,Xn=xn)=∏i=1nP(Xi=xi).P(X_1=x_1,\ldots,X_n=x_n) = \prod_{i=1}^nP(X_i=x_i).

因此

P(X1=x1,…,Xn=xn)=∏i=1nexp⁡{xi(α+βti)}1+exp⁡(α+βti).P(X_1=x_1,\ldots,X_n=x_n) = \prod_{i=1}^n \frac{\exp\left\{x_i(\alpha+\beta t_i)\right\}} {1+\exp(\alpha+\beta t_i)}.

將分子與分母分別整理:

P(X1=x1,…,Xn=xn)=exp⁡{∑i=1nxi(α+βti)}∏i=1n[1+exp⁡(α+βti)].P(X_1=x_1,\ldots,X_n=x_n) = \frac{ \exp\left\{\sum_{i=1}^n x_i(\alpha+\beta t_i)\right\} }{ \prod_{i=1}^n\left[1+\exp(\alpha+\beta t_i)\right] }.

再將指數中的項目展開:

∑i=1nxi(α+βti)=α∑i=1nxi+β∑i=1ntixi.\sum_{i=1}^n x_i(\alpha+\beta t_i) = \alpha\sum_{i=1}^n x_i + \beta\sum_{i=1}^n t_i x_i.

故聯合 pmf 為

Pα,β(x)=exp⁡{α∑i=1nxi+β∑i=1ntixi−∑i=1nlog⁡[1+exp⁡(α+βti)]}.P_{\alpha,\beta}(\boldsymbol{x}) = \exp\left\{ \alpha\sum_{i=1}^n x_i + \beta\sum_{i=1}^n t_i x_i - \sum_{i=1}^n\log\left[1+\exp(\alpha+\beta t_i)\right] \right\}.

其中 x=(x1,…,xn)\boldsymbol{x}=(x_1,\ldots,x_n),且每個 xi∈{0,1}x_i\in\{0,1\}。


(b)指數族形式與充分統計量

指數族形式

指數族的一般形式可寫為

fη(x)=h(x)exp⁡{ηTT(x)−A(η)}.f_{\boldsymbol{\eta}}(\boldsymbol{x}) = h(\boldsymbol{x}) \exp\left\{ \boldsymbol{\eta}^{\mathsf T}T(\boldsymbol{x}) - A(\boldsymbol{\eta}) \right\}.

本題的聯合 pmf 為

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 2 題

The pdf of Γ(α,λ)\Gamma(\alpha, \lambda) is given as
f(x;α,λ)=λαΓ(α)xα−1exp⁡(−λx),x>0;α>0,λ>0.f(x; \alpha, \lambda) = \frac{\lambda^\alpha}{\Gamma(\alpha)} x^{\alpha-1} \exp(-\lambda x), \quad x > 0; \alpha > 0, \lambda > 0.
Let X1,X2,…,XnX_1, X_2, \dots, X_n be i.i.d. Γ(α,λ)\Gamma(\alpha, \lambda). Please
(a) find the method of moment estimators (α^,λ^)(\hat{\alpha}, \hat{\lambda}) for (α,λ)(\alpha, \lambda),
(b) show that both α^\hat{\alpha} and λ^\hat{\lambda} are consistent.

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

  1. 動差法估計量(Method of Moments Estimator, MME):
    • 母體動差(Population moments):μk=E[Xk]\mu_k = E[X^k]。
    • 樣本動差(Sample moments):mk=1n∑i=1nXikm_k = \frac{1}{n} \sum_{i=1}^n X_i^k。
    • 解法依據:令前 kk 階母體動差等於樣本動差(μ1=m1,μ2=m2\mu_1 = m_1, \mu_2 = m_2),解出未知母數 (α,λ)(\alpha, \lambda) 的估計式。
  2. Gamma 分配之動差特性:
    • 題目所給為速率參數化(rate parameterization)的 Gamma 分配: E[X]=αλ,Var(X)=αλ2E[X] = \frac{\alpha}{\lambda}, \quad \text{Var}(X) = \frac{\alpha}{\lambda^2} 因此二階母體動差為: E[X2]=Var(X)+(E[X])2=αλ2+α2λ2=α(α+1)λ2E[X^2] = \text{Var}(X) + (E[X])^2 = \frac{\alpha}{\lambda^2} + \frac{\alpha^2}{\lambda^2} = \frac{\alpha(\alpha+1)}{\lambda^2}
  3. 弱大數法則(Weak Law of Large Numbers, WLLN):
    • 若 X1,…,XnX_1, \dots, X_n 為 i.i.d. 隨機變數且期望值存在,則樣本平均數依機率收斂至母體期望值: Xˉ→PE[X],1n∑i=1nXi2→PE[X2]\bar{X} \xrightarrow{P} E[X], \quad \frac{1}{n}\sum_{i=1}^n X_i^2 \xrightarrow{P} E[X^2]
  4. 連續映射定理(Continuous Mapping Theorem, CMT) 與 一致性(Consistency):
    • 一致性定義:估計量 θ^n\hat{\theta}_n 滿足 θ^n→Pθ\hat{\theta}_n \xrightarrow{P} \theta。
    • 若估計量為樣本動差的連續函數 g(m1,m2)g(m_1, m_2),且 gg 在母體動差 (μ1,μ2)(\mu_1, \mu_2) 處連續,則由連續映射定理可保證其一致性: g(m1,m2)→Pg(μ1,μ2)g(m_1, m_2) \xrightarrow{P} g(\mu_1, \mu_2)

解題方法

(a) 求解動差法估計量 (α^,λ^)(\hat{\alpha}, \hat{\lambda})

設 X∼Γ(α,λ)X \sim \Gamma(\alpha, \lambda),其前兩階母體動差為:

μ1=E[X]=αλ\mu_1 = E[X] = \frac{\alpha}{\lambda} Var(X)=E[X2]−(E[X])2=αλ2\text{Var}(X) = E[X^2] - (E[X])^2 = \frac{\alpha}{\lambda^2}

定義一階與二階樣本動差:

m1=Xˉ=1n∑i=1nXim_1 = \bar{X} = \frac{1}{n}\sum_{i=1}^n X_i m2=1n∑i=1nXi2m_2 = \frac{1}{n}\sum_{i=1}^n X_i^2

樣本變異數(以未校正樣本動差表示)為:

Sn2=m2−m12=1n∑i=1n(Xi−Xˉ)2S_n^2 = m_2 - m_1^2 = \frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2

根據動差法,令母體動差等於樣本動差:

{E[X]=Xˉ  ⟹  αλ=Xˉ⋯ (1)Var(X)=Sn2  ⟹  αλ2=Sn2⋯ (2)\begin{cases} E[X] = \bar{X} \implies \dfrac{\alpha}{\lambda} = \bar{X} & \cdots\ (1) \\ \text{Var}(X) = S_n^2 \implies \dfrac{\alpha}{\lambda^2} = S_n^2 & \cdots\ (2) \end{cases}

將式 (1) 除以式 (2):

α/λα/λ2=λ=XˉSn2=Xˉ1n∑i=1nXi2−Xˉ2\frac{\alpha / \lambda}{\alpha / \lambda^2} = \lambda = \frac{\bar{X}}{S_n^2} = \frac{\bar{X}}{\frac{1}{n}\sum_{i=1}^n X_i^2 - \bar{X}^2}

將 λ=XˉSn2\lambda = \dfrac{\bar{X}}{S_n^2} 代回式 (1):

α=λXˉ=Xˉ2Sn2=Xˉ21n∑i=1nXi2−Xˉ2\alpha = \lambda \bar{X} = \frac{\bar{X}^2}{S_n^2} = \frac{\bar{X}^2}{\frac{1}{n}\sum_{i=1}^n X_i^2 - \bar{X}^2}

得動差估計量為:

α^=Xˉ21n∑i=1n(Xi−Xˉ)2,λ^=Xˉ1n∑i=1n(Xi−Xˉ)2\hat{\alpha} = \frac{\bar{X}^2}{\frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2}, \quad \hat{\lambda} = \frac{\bar{X}}{\frac{1}{n}\sum_{i=1}^n (X_i - \bar{X})^2}

(b) 證明 α^\hat{\alpha} 與 λ^\hat{\lambda} 的一致性(Consistency)

因為 X1,X2,…,XnX_1, X_2, \dots, X_n 為 i.i.d. Γ(α,λ)\Gamma(\alpha, \lambda),母體前四階動差皆有限存在。

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 3 題

Let X1X_1 and X2X_2 be two i.i.d. random variables from a location-scale family with pdf
fu,σ(x)=1σg(x−μσ),x∈R,f_{u,\sigma}(x) = \frac{1}{\sigma} g\left(\frac{x-\mu}{\sigma}\right), \quad x \in \mathbb{R},
where σ>0\sigma > 0, μ∈R\mu \in \mathbb{R}, and gg is a known pdf that does not depend on μ\mu and σ\sigma. Please
(a) given
Z=X1+X2−2μX1−X2Z = \frac{X_1 + X_2 - 2\mu}{X_1 - X_2}
show that the pdf of ZZ does not depend on the parameters μ\mu and σ\sigma.
(b) derive a (1−α)(1-\alpha) confidence interval for μ\mu using qα/2q_{\alpha/2} and q1−α/2q_{1-\alpha/2}, the upper and lower (α/2)(\alpha/2)th quantiles for the distribution of ZZ respectively.

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

本題考查兩個重點:

  1. 位置尺度族的標準化:將 XiX_i 轉換為
    Yi=Xi−μσ,Y_i=\frac{X_i-\mu}{\sigma},
    可消除未知參數 μ,σ\mu,\sigma。

  2. 樞紐量與信賴區間反解:若統計量的分布不依賴未知參數,即可利用其分位數建立信賴區間。題目中的
    Z=X1+X2−2μX1−X2Z=\frac{X_1+X_2-2\mu}{X_1-X_2}
    即為樞紐量。


解題方法

先將 X1,X2X_1,X_2 標準化,再將分位數機率不等式中的 μ\mu 解出。特別要注意 X1−X2X_1-X_2 的正負,因為不等式除以此量時可能改變方向。


(a) 證明 ZZ 的 pdf 不依賴 μ,σ\mu,\sigma

令

Yi=Xi−μσ,i=1,2.Y_i=\frac{X_i-\mu}{\sigma},\qquad i=1,2.

由題目給定的 pdf,

Xi=μ+σYi,X_i=\mu+\sigma Y_i,

且 Y1,Y2Y_1,Y_2 為 i.i.d.,其共同 pdf 為已知的 gg,因此 Y1,Y2Y_1,Y_2 的分布完全不含 μ,σ\mu,\sigma。

將 Xi=μ+σYiX_i=\mu+\sigma Y_i 代入 ZZ:

Z=(μ+σY1)+(μ+σY2)−2μ(μ+σY1)−(μ+σY2).Z = \frac{(\mu+\sigma Y_1)+(\mu+\sigma Y_2)-2\mu} {(\mu+\sigma Y_1)-(\mu+\sigma Y_2)}.

分子與分母分別化簡為

X1+X2−2μ=σ(Y1+Y2),X_1+X_2-2\mu=\sigma(Y_1+Y_2), X1−X2=σ(Y1−Y2).X_1-X_2=\sigma(Y_1-Y_2).

因此

Z=σ(Y1+Y2)σ(Y1−Y2)=Y1+Y2Y1−Y2.Z = \frac{\sigma(Y_1+Y_2)}{\sigma(Y_1-Y_2)} = \frac{Y_1+Y_2}{Y_1-Y_2}.

尺度參數 σ\sigma 也消去了,故 ZZ 的分布只由 gg 決定,與 μ,σ\mu,\sigma 無關。

若進一步寫出 ZZ 的 pdf,令 Y=Y2Y=Y_2,則

z=y1+yy1−y.z=\frac{y_1+y}{y_1-y}.

解出 y1y_1:

y1=z+1z−1y,z≠1.y_1=\frac{z+1}{z-1}y,\qquad z\neq 1.

其 Jacobian 為

∣∂y1∂z∣=2∣y∣(z−1)2.\left|\frac{\partial y_1}{\partial z}\right| = \frac{2|y|}{(z-1)^2}.

所以

fZ(z)=∫−∞∞g(z+1z−1y)g(y)2∣y∣(z−1)2 dy.f_Z(z) = \int_{-\infty}^{\infty} g\left(\frac{z+1}{z-1}y\right) g(y) \frac{2|y|}{(z-1)^2}\,dy.

此式只含已知密度 gg 與變數 zz,不含 μ,σ\mu,\sigma,因此證明 ZZ 的 pdf 不依賴未知參數。


(b) 建立 μ\mu 的 (1−α)(1-\alpha) 信賴區間

設 ZZ 的下、上分位數分別為

qα/2與q1−α/2,q_{\alpha/2} \quad\text{與}\quad q_{1-\alpha/2},

其中

P(qα/2≤Z≤q1−α/2)=1−α.P\left(q_{\alpha/2}\leq Z\leq q_{1-\alpha/2}\right)=1-\alpha.

代入 ZZ 的定義,令

S=X1+X2,D=X1−X2.S=X_1+X_2,\qquad D=X_1-X_2.

則

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 4 題

Consider the following hierarchical model:
Z∣p∼Ber(p),0<p<1,Z | p \sim \text{Ber}(p), \quad 0 < p < 1,
X∣Z=0,θ1∼Poisson(θ1),θ1>0,X | Z = 0, \theta_1 \sim \text{Poisson}(\theta_1), \quad \theta_1 > 0,
X∣Z=1,θ2∼Geom(1θ2+1),θ2>0.X | Z = 1, \theta_2 \sim \text{Geom}\left(\frac{1}{\theta_2+1}\right), \quad \theta_2 > 0.
Please
(a) derive the joint likelihood function for (X,Z)(X, Z),
(b) given {(xi,zi)}i=1n\{(x_i, z_i)\}_{i=1}^n i.i.d. from the above model, find the MLEs of θ1,θ2\theta_1, \theta_2, and pp.
(Recall the pmf of Geom(p) is given by P(X=x)=p(1−p)xP(X = x) = p(1-p)^x for x=0,1,2,…x = 0, 1, 2, \dots and the pmf of Poisson(λ\lambda), λ>0\lambda > 0, is given by P(X=x)=e−λλxx!P(X = x) = \frac{e^{-\lambda} \lambda^x}{x!} for x=0,1,2,…x = 0, 1, 2, \dots.)

登入後即可作答並保存紀錄。

這一題的完整詳解

此題考驗對階層模型(Hierarchical Model)的理解,以及如何推導聯合機率函數(Joint Likelihood Function)和最大概似估計量(Maximum Likelihood Estimators, MLEs)。

核心觀念:

  1. 階層模型:理解條件機率的層次結構,以及如何將其組合成聯合機率。
  2. 聯合機率函數:根據給定的條件機率分佈,推導出聯合機率函數。
  3. 最大概似估計量 (MLE):掌握 MLE 的原理,即最大化概似函數,通常透過對數概似函數求導來求解。
  4. 離散分佈的 pmf:熟悉 Bernoulli, Poisson, Geometric 分佈的 pmf 公式。

詳解:

給定一個階層模型:

  1. Z∣p∼Ber(p)Z | p \sim \text{Ber}(p),表示 P(Z=1∣p)=pP(Z=1|p) = p,P(Z=0∣p)=1−pP(Z=0|p) = 1-p。
  2. X∣Z=0,θ1∼Poisson(θ1)X | Z = 0, \theta_1 \sim \text{Poisson}(\theta_1),表示當 Z=0Z=0 時,XX 服從參數為 θ1\theta_1 的 Poisson 分佈。
    P(X=x∣Z=0,θ1)=e−θ1θ1xx!P(X=x|Z=0, \theta_1) = \frac{e^{-\theta_1} \theta_1^x}{x!} for x=0,1,2,…x = 0, 1, 2, \dots
  3. X∣Z=1,θ2∼Geom(1θ2+1)X | Z = 1, \theta_2 \sim \text{Geom}\left(\frac{1}{\theta_2+1}\right),表示當 Z=1Z=1 時,XX 服從成功機率為 p′=1θ2+1p' = \frac{1}{\theta_2+1} 的 Geometric 分佈。
    Geometric 分佈的 pmf 有兩種定義:一種是定義在 0,1,2,…0, 1, 2, \dots (表示試驗次數直到第一次成功),另一種是定義在 1,2,3,…1, 2, 3, \dots (表示第一次成功的試驗次數)。題目中提供了 P(X=x)=p(1−p)xP(X = x) = p(1-p)^x for x=0,1,2,…x = 0, 1, 2, \dots。
    所以,當 Z=1Z=1 時:
    P(X=x∣Z=1,θ2)=(1θ2+1)(1−1θ2+1)x=1θ2+1(θ2θ2+1)xP(X=x|Z=1, \theta_2) = \left(\frac{1}{\theta_2+1}\right) \left(1 - \frac{1}{\theta_2+1}\right)^x = \frac{1}{\theta_2+1} \left(\frac{\theta_2}{\theta_2+1}\right)^x for x=0,1,2,…x = 0, 1, 2, \dots

(a) 推導 (X,Z)(X, Z) 的聯合機率函數

聯合機率函數 f(x,z;p,θ1,θ2)f(x, z; p, \theta_1, \theta_2) 可以透過條件機率來計算:
f(x,z;p,θ1,θ2)=P(X=x,Z=z∣p,θ1,θ2)=P(X=x∣Z=z,p,θ1,θ2)P(Z=z∣p,θ1,θ2)f(x, z; p, \theta_1, \theta_2) = P(X=x, Z=z | p, \theta_1, \theta_2) = P(X=x | Z=z, p, \theta_1, \theta_2) P(Z=z | p, \theta_1, \theta_2)
由於 P(X=x∣Z=z,p,θ1,θ2)=P(X=x∣Z=z,θ1,θ2)P(X=x | Z=z, p, \theta_1, \theta_2) = P(X=x | Z=z, \theta_1, \theta_2)(因為 XX 的分佈只依賴於 ZZ 和相應的參數,與 pp 無關),
且 P(Z=z∣p,θ1,θ2)=P(Z=z∣p)P(Z=z | p, \theta_1, \theta_2) = P(Z=z | p)(因為 ZZ 的分佈只依賴於 pp)。
所以,
f(x,z;p,θ1,θ2)=P(X=x∣Z=z,θ1,θ2)P(Z=z∣p)f(x, z; p, \theta_1, \theta_2) = P(X=x | Z=z, \theta_1, \theta_2) P(Z=z | p)

我們分兩種情況討論 zz 的值:

情況 1: z=0z = 0
P(Z=0∣p)=1−pP(Z=0|p) = 1-p
P(X=x∣Z=0,θ1)=e−θ1θ1xx!P(X=x|Z=0, \theta_1) = \frac{e^{-\theta_1} \theta_1^x}{x!}
所以,當 z=0z=0 時:
f(x,0;p,θ1,θ2)=e−θ1θ1xx!(1−p)f(x, 0; p, \theta_1, \theta_2) = \frac{e^{-\theta_1} \theta_1^x}{x!} (1-p), for x=0,1,2,…x = 0, 1, 2, \dots

情況 2: z=1z = 1
P(Z=1∣p)=pP(Z=1|p) = p
P(X=x∣Z=1,θ2)=1θ2+1(θ2θ2+1)xP(X=x|Z=1, \theta_2) = \frac{1}{\theta_2+1} \left(\frac{\theta_2}{\theta_2+1}\right)^x
所以,當 z=1z=1 時:
f(x,1;p,θ1,θ2)=1θ2+1(θ2θ2+1)xpf(x, 1; p, \theta_1, \theta_2) = \frac{1}{\theta_2+1} \left(\frac{\theta_2}{\theta_2+1}\right)^x p, for x=0,1,2,…x = 0, 1, 2, \dots

將這兩種情況合併,我們可以寫成:
f(x,z;p,θ1,θ2)={e−θ1θ1xx!(1−p)if z=0pθ2+1(θ2θ2+1)xif z=1f(x, z; p, \theta_1, \theta_2) = \begin{cases} \frac{e^{-\theta_1} \theta_1^x}{x!} (1-p) & \text{if } z=0 \\ \frac{p}{\theta_2+1} \left(\frac{\theta_2}{\theta_2+1}\right)^x & \text{if } z=1 \end{cases}
其中 x∈{0,1,2,… }x \in \{0, 1, 2, \dots\}, z∈{0,1}z \in \{0, 1\}。

【答案】
聯合機率函數為:
f(x,z;p,θ1,θ2)={e−θ1θ1xx!(1−p)if z=0pθ2+1(θ2θ2+1)xif z=1f(x, z; p, \theta_1, \theta_2) = \begin{cases} \frac{e^{-\theta_1} \theta_1^x}{x!} (1-p) & \text{if } z=0 \\ \frac{p}{\theta_2+1} \left(\frac{\theta_2}{\theta_2+1}\right)^x & \text{if } z=1 \end{cases}
其中 x∈{0,1,2,… }x \in \{0, 1, 2, \dots\}, z∈{0,1}z \in \{0, 1\}。


(b) 求 θ1,θ2,p\theta_1, \theta_2, p 的 MLE

給定 nn 個 i.i.d. 的樣本對 {(xi,zi)}i=1n\{(x_i, z_i)\}_{i=1}^n。
聯合概似函數 L(p,θ1,θ2)=∏i=1nf(xi,zi;p,θ1,θ2)L(p, \theta_1, \theta_2) = \prod_{i=1}^n f(x_i, z_i; p, \theta_1, \theta_2)。

由於 ziz_i 的值決定了使用哪個公式,我們需要將樣本分成兩組:一組是 zi=0z_i=0 的樣本,另一組是 zi=1z_i=1 的樣本。
令 I0={i∣zi=0}I_0 = \{i \mid z_i = 0\} 和 I1={i∣zi=1}I_1 = \{i \mid z_i = 1\}。
令 n0=∣I0∣n_0 = |I_0| 和 n1=∣I1∣n_1 = |I_1|。注意 n0+n1=nn_0 + n_1 = n。

L(p,θ1,θ2)=∏i∈I0(e−θ1θ1xixi!(1−p))∏i∈I1(pθ2+1(θ2θ2+1)xi)L(p, \theta_1, \theta_2) = \prod_{i \in I_0} \left( \frac{e^{-\theta_1} \theta_1^{x_i}}{x_i!} (1-p) \right) \prod_{i \in I_1} \left( \frac{p}{\theta_2+1} \left(\frac{\theta_2}{\theta_2+1}\right)^{x_i} \right)
L(p,θ1,θ2)=(∏i∈I0e−θ1θ1xixi!)(∏i∈I0(1−p))(∏i∈I1pθ2+1(θ2θ2+1)xi)L(p, \theta_1, \theta_2) = \left( \prod_{i \in I_0} \frac{e^{-\theta_1} \theta_1^{x_i}}{x_i!} \right) \left( \prod_{i \in I_0} (1-p) \right) \left( \prod_{i \in I_1} \frac{p}{\theta_2+1} \left(\frac{\theta_2}{\theta_2+1}\right)^{x_i} \right)
L(p,θ1,θ2)=(∏i∈I0e−θ1θ1xixi!)(1−p)n0(∏i∈I1pθ2+1(θ2θ2+1)xi)L(p, \theta_1, \theta_2) = \left( \prod_{i \in I_0} \frac{e^{-\theta_1} \theta_1^{x_i}}{x_i!} \right) (1-p)^{n_0} \left( \prod_{i \in I_1} \frac{p}{\theta_2+1} \left(\frac{\theta_2}{\theta_2+1}\right)^{x_i} \right)

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 5 題

Let X1,…,XnX_1, \dots, X_n be i.i.d. Bernoulli random variables with success probability pp. Let p^=∑i=1nXin\hat{p} = \frac{\sum_{i=1}^n X_i}{n}. Please
(a) show that n(p^2−p2)n(\hat{p}^2 - p^2) converges in distribution to N(0,4p3(1−p))N(0, 4p^3(1-p)),
(b) show that 4X1X2X3(1−X4)4X_1X_2X_3(1 - X_4) is an unbiased estimator of 4p3(1−p)4p^3(1-p),
(c) find the UMVUE of 4p3(1−p)4p^3(1-p) when n≥4n \ge 4.

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

本題結合三個重要觀念:

  1. 中央極限定理與 Delta method:處理樣本比例 p^\hat p 的函數 p^2\hat p^2。
  2. 無偏估計量:利用 Bernoulli 變數的獨立性計算期望值。
  3. 完全充分統計量與 Lehmann–Scheffé 定理:由 T=∑i=1nXiT=\sum_{i=1}^n X_i 建立 UMVUE。

其中

T=∑i=1nXi∼Binomial⁡(n,p),p^=Tn.T=\sum_{i=1}^n X_i\sim \operatorname{Binomial}(n,p), \qquad \hat p=\frac{T}{n}.

(a) 漸近分布

題目所寫的 n(p^2−p2)n(\hat p^2-p^2) 並不會收斂至題目所給的有限常態分布;正確的倍率應為 n\sqrt n。

由中央極限定理,

n(p^−p)→dN(0,p(1−p)).\sqrt n(\hat p-p) \xrightarrow{d} N\bigl(0,p(1-p)\bigr).

令 g(x)=x2g(x)=x^2,則

g′(p)=2p.g'(p)=2p.

由 Delta method,

n(g(p^)−g(p))→dN(0,[g′(p)]2p(1−p)).\sqrt n\bigl(g(\hat p)-g(p)\bigr) \xrightarrow{d} N\bigl(0,[g'(p)]^2p(1-p)\bigr).

因此

n(p^2−p2)→dN(0,4p3(1−p)).\sqrt n(\hat p^2-p^2) \xrightarrow{d} N\bigl(0,4p^3(1-p)\bigr).

也可直接由代數分解看出:

n(p^2−p2)=n(p^−p)(p^+p).\sqrt n(\hat p^2-p^2) = \sqrt n(\hat p-p)(\hat p+p).

因大數法則給出 p^→pp\hat p\xrightarrow{p}p,故 p^+p→p2p\hat p+p\xrightarrow{p}2p。由 Slutsky 定理,

n(p^−p)(p^+p)→d2p Z,\sqrt n(\hat p-p)(\hat p+p) \xrightarrow{d} 2p\,Z,

其中

Z∼N(0,p(1−p)).Z\sim N\bigl(0,p(1-p)\bigr).

所以

2pZ∼N(0,4p3(1−p)).2pZ\sim N\bigl(0,4p^3(1-p)\bigr).

題目原式為何不成立

若使用題目所寫的倍率 nn,則

n(p^2−p2)=n{n(p^−p)}(p^+p).n(\hat p^2-p^2) = \sqrt n\{\sqrt n(\hat p-p)\}(\hat p+p).

當 0<p<10<p<1 時,n(p^−p)\sqrt n(\hat p-p) 具有非退化的常態極限,而 p^+p→p2p\hat p+p\xrightarrow{p}2p,前方又多出 n\sqrt n,因此整體不具有限的非退化極限分布。

故本小題應修正為:

n(p^2−p2)→dN(0,4p3(1−p)).\boxed{ \sqrt n(\hat p^2-p^2) \xrightarrow{d} N\bigl(0,4p^3(1-p)\bigr) }.

(b) 證明 4X1X2X3(1−X4)4X_1X_2X_3(1-X_4) 為無偏估計量

因為 XiX_i 為 Bernoulli 變數,

E(Xi)=p,E(1−Xi)=1−p.E(X_i)=p, \qquad E(1-X_i)=1-p.

又由獨立性,

E[4X1X2X3(1−X4)]=4E(X1)E(X2)E(X3)E(1−X4)=4⋅p⋅p⋅p⋅(1−p)=4p3(1−p).\begin{aligned} E\left[4X_1X_2X_3(1-X_4)\right] &= 4E(X_1)E(X_2)E(X_3)E(1-X_4)\\ &= 4\cdot p\cdot p\cdot p\cdot(1-p)\\ &= 4p^3(1-p). \end{aligned}

因此

4X1X2X3(1−X4)\boxed{ 4X_1X_2X_3(1-X_4) }

是 4p3(1−p)4p^3(1-p) 的無偏估計量。

直觀解釋

乘積

X1X2X3(1−X4)X_1X_2X_3(1-X_4)

只有在

X1=X2=X3=1,X4=0X_1=X_2=X_3=1,\qquad X_4=0

時才等於 11,其餘情況皆為 00。該事件的機率為 p3(1−p)p^3(1-p),乘上 44 後即得到目標參數。


(c) 求 4p3(1−p)4p^3(1-p) 的 UMVUE

第一步:找出充分統計量

樣本聯合機率質量函數為

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 6 題

Suppose X1,…,XnX_1, \dots, X_n are i.i.d. from pp-dimensional normal Np(μ,Ip)N_p(\mu, I_p), where μ∈Rp\mu \in \mathbb{R}^p and IpI_p is a pp-dimensional identity matrix, whose pdf is given by
f(x∣μ)=1(2π)p/2exp⁡(−12∥x−μ∥2),x=(x1,…,xp)T∈Rp.f(x | \mu) = \frac{1}{(2\pi)^{p/2}} \exp\left(-\frac{1}{2} \|x - \mu\|^2\right), \quad x = (x_1, \dots, x_p)^T \in \mathbb{R}^p.
Please
(a) show that the log-likelihood ratio test statistic to test H0:∥μ∥=rH_0: \|\mu\| = r versus H1:∥μ∥≠rH_1: \|\mu\| \neq r is equivalent to T=n(∥Xˉ∥2−r2)2T = n(\|\bar{X}\|^2 - r^2)^2, where ∥μ∥2=∑i=1pμi2\|\mu\|^2 = \sum_{i=1}^p \mu_i^2 and rr is a fixed constant,
(b) assuming nr2>cnr^2 > c for some constant cc, please derive the power of the likelihood ratio test that rejects H0H_0 when T>cT > c in terms of the cdf for a noncentral chi-squared distribution.
(Recall that given kk independent normally distributed random variables Yi∼N(μi,1)Y_i \sim N(\mu_i, 1), i=1,…,ki = 1, \dots, k, ∑i=1kYi2\sum_{i=1}^k Y_i^2 follows the noncentral chi-squared distribution with degrees of freedom kk and noncentrality λ=∑i=1kμi2\lambda = \sum_{i=1}^k \mu_i^2.)

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

本題使用以下三個觀念:

  1. 正態樣本的概似函數可透過樣本平均數 Xˉ\bar X 化簡。
  2. 虛無假設 ∥μ∥=r\|\mu\|=r 下的最大概似估計量,是將 Xˉ\bar X 投影到半徑為 rr 的球面上。
  3. 因為 n Xˉ∼Np(n μ,Ip),\sqrt n\,\bar X\sim N_p(\sqrt n\,\mu,I_p), 所以 n∥Xˉ∥2n\|\bar X\|^2 服從自由度為 pp、非中心參數為 n∥μ∥2n\|\mu\|^2 的非中心卡方分布。

(a) 概似比統計量

令觀察值為 x1,…,xnx_1,\dots,x_n,樣本平均數為 xˉ\bar x。聯合概似函數為

L(μ)=(2π)−np/2exp⁡{−12∑i=1n∥xi−μ∥2}.L(\mu) =(2\pi)^{-np/2} \exp\left\{-\frac12\sum_{i=1}^n\|x_i-\mu\|^2\right\}.

利用平方和分解公式,

∑i=1n∥xi−μ∥2=∑i=1n∥xi−xˉ∥2+n∥xˉ−μ∥2.\sum_{i=1}^n\|x_i-\mu\|^2 = \sum_{i=1}^n\|x_i-\bar x\|^2 +n\|\bar x-\mu\|^2.

故與 μ\mu 有關的對數概似函數為

ℓ(μ)=常數−n2∥xˉ−μ∥2.\ell(\mu) = \text{常數} -\frac n2\|\bar x-\mu\|^2.

無限制下的最大概似估計

在 Rp\mathbb R^p 中最大化概似函數等價於最小化 ∥xˉ−μ∥2\|\bar x-\mu\|^2,因此

μ^=xˉ.\widehat\mu=\bar x.

H0:∥μ∥=rH_0:\|\mu\|=r 下的最大概似估計

在球面 {μ:∥μ∥=r}\{\mu:\|\mu\|=r\} 上,使 ∥xˉ−μ∥\|\bar x-\mu\| 最小的點,是沿著 xˉ\bar x 方向、長度為 rr 的向量:

μ^0=rxˉ∥xˉ∥(xˉ≠0).\widehat\mu_0 = r\frac{\bar x}{\|\bar x\|} \qquad (\bar x\neq 0).

因此

∥xˉ−μ^0∥=∥xˉ−rxˉ∥xˉ∥∥=∣∥xˉ∥−r∣.\|\bar x-\widehat\mu_0\| = \left\|\bar x-r\frac{\bar x}{\|\bar x\|}\right\| = \bigl|\|\bar x\|-r\bigr|.

概似比為

Λ(x)=sup⁡∥μ∥=rL(μ)sup⁡μ∈RpL(μ)=exp⁡{−n2(∥xˉ∥−r)2}.\Lambda(x) = \frac{\sup_{\|\mu\|=r}L(\mu)} {\sup_{\mu\in\mathbb R^p}L(\mu)} = \exp\left\{ -\frac n2\bigl(\|\bar x\|-r\bigr)^2 \right\}.

故標準的概似比檢定統計量為

−2log⁡Λ=n(∥Xˉ∥−r)2.-2\log\Lambda = n\bigl(\|\bar X\|-r\bigr)^2.

也就是說,拒絕域應根據 Xˉ\bar X 的長度與 rr 的距離決定。

題面所給統計量的說明

題面宣稱等價於

T=n(∥Xˉ∥2−r2)2.T=n\bigl(\|\bar X\|^2-r^2\bigr)^2.

但由

∥Xˉ∥2−r2=(∥Xˉ∥−r)(∥Xˉ∥+r)\|\bar X\|^2-r^2 = \bigl(\|\bar X\|-r\bigr) \bigl(\|\bar X\|+r\bigr)

可得

T=n(∥Xˉ∥−r)2(∥Xˉ∥+r)2.T = n\bigl(\|\bar X\|-r\bigr)^2 \bigl(\|\bar X\|+r\bigr)^2.

其中 (∥Xˉ∥+r)2\bigl(\|\bar X\|+r\bigr)^2 會隨資料改變,所以 TT 並非標準概似比統計量的單調轉換。故題面第 (a) 小題的統計量應有筆誤;正確的概似比統計量是

 n(∥Xˉ∥−r)2 .\boxed{\,n\bigl(\|\bar X\|-r\bigr)^2\,}.

(b) 正確概似比檢定的檢定力

令

S=n(∥Xˉ∥−r)2,S=n\bigl(\|\bar X\|-r\bigr)^2,

並以 S>cS>c 作為拒絕規則。則

S>c  ⟺  ∣∥Xˉ∥−r∣>cn.S>c \iff \left|\|\bar X\|-r\right|>\sqrt{\frac cn}.

題設 nr2>cnr^2>c 等價於

r>cn,r>\sqrt{\frac cn},

因此兩側拒絕區域皆有意義:

∥Xˉ∥<r−cn或∥Xˉ∥>r+cn.\|\bar X\|<r-\sqrt{\frac cn} \quad\text{或}\quad \|\bar X\|>r+\sqrt{\frac cn}.

定義

W=n∥Xˉ∥2.W=n\|\bar X\|^2.

由於

n Xˉ∼Np(n μ,Ip),\sqrt n\,\bar X\sim N_p(\sqrt n\,\mu,I_p),

可知

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 7 題

Consider a Bayesian model where the random parameter Θ\Theta has a Bernoulli prior distribution such that P(Θ=0)=πP(\Theta = 0) = \pi and P(Θ=1)=1−πP(\Theta = 1) = 1 - \pi with 0<π<10 < \pi < 1. Given Θ=0\Theta = 0, the data XX has pdf f0(x)f_0(x), and given Θ=1\Theta = 1, XX has pdf f1(x)f_1(x). With a loss function L(Θ,d)L(\Theta, d), the Bayes estimator Θ∗(X)\Theta^*(X) minimizes the posterior expected loss E[L(Θ,Θ∗(X))∣X=x]E[L(\Theta, \Theta^*(X)) | X = x]. Please find the Bayes estimator of Θ\Theta under
(a) squared error loss L(Θ,d)=(Θ−d)2L(\Theta, d) = (\Theta - d)^2,
(b) 0−10-1 loss,
L(Θ,d)={0,d=Θ,1,o.w..L(\Theta, d) = \begin{cases} 0, & d = \Theta, \\ 1, & \text{o.w.}. \end{cases}

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

本題考察「後驗期望損失最小化」的貝氏估計法。給定觀察值 X=xX=x 後,先利用貝氏定理計算:

P(Θ=0∣X=x)=πf0(x)πf0(x)+(1−π)f1(x),P(\Theta=0\mid X=x) = \frac{\pi f_0(x)} {\pi f_0(x)+(1-\pi)f_1(x)}, P(Θ=1∣X=x)=(1−π)f1(x)πf0(x)+(1−π)f1(x).P(\Theta=1\mid X=x) = \frac{(1-\pi)f_1(x)} {\pi f_0(x)+(1-\pi)f_1(x)}.

以下均假設分母

πf0(x)+(1−π)f1(x)>0.\pi f_0(x)+(1-\pi)f_1(x)>0.

貝氏估計量的基本定義為:對每一個觀察值 xx,選擇使後驗期望損失最小的決策 dd。


(a) 平方誤差損失

平方誤差損失為

L(Θ,d)=(Θ−d)2.L(\Theta,d)=(\Theta-d)^2.

由於 Θ\Theta 只能取 00 或 11,令

p(x)=P(Θ=1∣X=x).p(x)=P(\Theta=1\mid X=x).

則後驗期望損失為

E[(Θ−d)2∣X=x]=P(Θ=0∣x)(0−d)2+P(Θ=1∣x)(1−d)2=(1−p(x))d2+p(x)(1−d)2.\begin{aligned} E[(\Theta-d)^2\mid X=x] &=P(\Theta=0\mid x)(0-d)^2 +P(\Theta=1\mid x)(1-d)^2\\ &=(1-p(x))d^2+p(x)(1-d)^2. \end{aligned}

展開得

(1−p)d2+p(1−2d+d2)=d2−2pd+p=(d−p)2+p(1−p).\begin{aligned} (1-p)d^2+p(1-2d+d^2) &=d^2-2p d+p\\ &=(d-p)^2+p(1-p). \end{aligned}

其中 p(1−p)p(1-p) 與 dd 無關,因此後驗期望損失在

d=p(x)d=p(x)

時達到最小值。故平方誤差損失下的貝氏估計量為後驗平均數:

Θ∗(x)=E[Θ∣X=x]=(1−π)f1(x)πf0(x)+(1−π)f1(x)\boxed{ \Theta^*(x) = E[\Theta\mid X=x] = \frac{(1-\pi)f_1(x)} {\pi f_0(x)+(1-\pi)f_1(x)} }

雖然 Θ\Theta 的真實值只能是 00 或 11,但平方誤差損失下的決策 dd 可以取介於 00 與 11 的數值,因此答案是後驗機率,而不是單純的 00 或 11。


(b) 00-11 損失

00-11 損失定義為

L(Θ,d)={0,d=Θ,1,d≠Θ.L(\Theta,d)= \begin{cases} 0, & d=\Theta,\\ 1, & d\ne \Theta. \end{cases}

在此損失下,決策 dd 取 00 或 11。

選擇 d=0d=0

此時只有 Θ=1\Theta=1 時會發生錯誤,因此後驗期望損失為

E[L(Θ,0)∣X=x]=P(Θ=1∣X=x)=(1−π)f1(x)πf0(x)+(1−π)f1(x).E[L(\Theta,0)\mid X=x] = P(\Theta=1\mid X=x) = \frac{(1-\pi)f_1(x)} {\pi f_0(x)+(1-\pi)f_1(x)}.

選擇 d=1d=1

此時只有 Θ=0\Theta=0 時會發生錯誤,因此後驗期望損失為

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

其他考古題