109 年 國立成功大學統計學研究所《數理統計》

📄 試題原卷 免費註冊後即可對照原始考卷 PDF免費註冊

第 1 題

True or False (2% × 15 = 30%)
(For the following statements, please answer T if it is true and F otherwise.)
Let X1,X2,…,XnX_1, X_2, \ldots, X_n be an i.i.d. sample drawn from a population with density function f(x;θ)f(x;\theta).
Furthermore, let Tn=∑i=1nXiT_n = \sum_{i=1}^n X_i, Xˉn=Tn/n\bar{X}_n = T_n/n, be the summation and mean of XiX_i's, respectively, and Sn2=1n−1∑i=1n(Xi−Xˉn)2S_n^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X}_n)^2 be the sample variance, please answer the following questions:

i. If the population is a normal one with unknown θ=(μ,σ2)\theta = (\mu, \sigma^2), then Xˉn\bar{X}_n is a sufficient statistic for μ\mu.
ii. If the population is a binomial one, then Xˉn\bar{X}_n is a binomial random variable.
iii. If M(t)M(t) is the moment generating function of XiX_i, then the MGF of Xˉn\bar{X}_n is M(Xˉn)M(\bar{X}_n).
iv. (X1,X2,…,Xn)(X_1, X_2, \ldots, X_n) is a sufficient statistic for θ\theta.
v. If this population follows a Gamma distribution, then so does Xˉn\bar{X}_n.
vi. E(XiXj)=E(Xi)E(Xj)E(X_i X_j) = E(X_i)E(X_j) for all i,ji,j.
vii. If this population is a normal one then Xˉn\bar{X}_n and Sn2S_n^2 are independent, otherwise they are asymptotically independent.
viii. Xˉn\bar{X}_n is always an unbiased estimator of the population mean regardless of the population distribution.
ix. If the population follows a standard normal distribution, E(Xi/Xj)=0E(X_i/X_j) = 0 for all i,ji,j.
x. If the population follows a standard normal distribution, E(Xi/Xj2)=0E(X_i/X_j^2) = 0 for all i,ji,j.

登入後即可作答並保存紀錄。

這一題的完整詳解

這題考驗對統計推論基本概念的理解,包含充分統計量、隨機變數性質、期望值、無偏估計量、獨立性等。

i. True (T)。若母體為常態分配 N(μ,σ2)N(\mu, \sigma^2),根據費雪-史考特定理 (Fisher-Neyman Factorization Theorem),若參數 μ\mu 已知而 σ2\sigma^2 未知,則 Xˉn\bar{X}_n 是 μ\mu 的充分統計量。即使 σ2\sigma^2 未知,Xˉn\bar{X}_n 仍然是 μ\mu 的充分統計量。

ii. False (F)。二項分配的隨機變數是獨立重複試驗的成功次數,其參數為試驗次數 mm 和單次成功機率 pp。樣本平均數 Xˉn\bar{X}_n 的期望值是 pp,但其本身的分配不是二項分配。若母體為二項分配 B(m,p)B(m, p),則 E(Xi)=mpE(X_i) = mp。樣本平均數 Xˉn\bar{X}_n 的期望值為 E(Xˉn)=E(Xi)=mpE(\bar{X}_n) = E(X_i) = mp。然而,Xˉn\bar{X}_n 的分配並非二項分配,它是一個連續型的隨機變數(如果 XiX_i 是連續的)或離散型的隨機變數,但其機率分佈不一定是二項的。例如,若 n=2n=2 且 X1,X2∼B(1,p)X_1, X_2 \sim B(1, p),則 X1,X2X_1, X_2 只能是 0 或 1。Xˉ2=(X1+X2)/2\bar{X}_2 = (X_1+X_2)/2 可能的值為 0, 0.5, 1。這不是一個二項隨機變數(其值應為整數)。

iii. False (F)。若 XiX_i 的動差生成函數 (MGF) 為 M(t)=E(etXi)M(t) = E(e^{tX_i}),則由獨立同分配的性質,樣本平均數 Xˉn=1n∑i=1nXi\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i 的 MGF 為 MXˉn(t)=E(etXˉn)=E(et1n∑i=1nXi)=E(∏i=1netnXi)=∏i=1nE(etnXi)=∏i=1nM(tn)=(M(tn))nM_{\bar{X}_n}(t) = E(e^{t\bar{X}_n}) = E\left(e^{t\frac{1}{n}\sum_{i=1}^n X_i}\right) = E\left(\prod_{i=1}^n e^{\frac{t}{n}X_i}\right) = \prod_{i=1}^n E\left(e^{\frac{t}{n}X_i}\right) = \prod_{i=1}^n M\left(\frac{t}{n}\right) = \left(M\left(\frac{t}{n}\right)\right)^n。題目寫成 M(Xˉn)M(\bar{X}_n) 是不正確的。

iv. True (T)。樣本 (X1,X2,…,Xn)(X_1, X_2, \ldots, X_n) 本身就是母體分佈 f(x;θ)f(x;\theta) 的所有資訊來源,因此它必然是參數 θ\theta 的充分統計量。

v. False (F)。若母體為 Gamma 分配,例如 Xi∼Gamma(α,β)X_i \sim \text{Gamma}(\alpha, \beta),則 E(Xi)=αβE(X_i) = \alpha\beta。樣本平均數 Xˉn\bar{X}_n 的期望值為 E(Xˉn)=αβE(\bar{X}_n) = \alpha\beta。然而,Xˉn\bar{X}_n 的分配不一定是 Gamma 分配。Gamma 分配的尺度參數 (scale parameter) 在樣本平均數的計算中會發生變化,且其形狀參數 (shape parameter) 也會改變。例如,若 Xi∼Gamma(k,θ)X_i \sim \text{Gamma}(k, \theta),則 ∑Xi∼Gamma(nk,θ)\sum X_i \sim \text{Gamma}(nk, \theta)。因此 Xˉn=1n∑Xi\bar{X}_n = \frac{1}{n}\sum X_i 的分配是 Gamma(nk,θ/n)\text{Gamma}(nk, \theta/n),這與原來的 Gamma 分配不同(除非 n=1n=1)。

vi. False (F)。只有當 XiX_i 和 XjX_j 是獨立的,或者其中一個是常數時,才會有 E(XiXj)=E(Xi)E(Xj)E(X_i X_j) = E(X_i)E(X_j)。在 i.i.d. 的情況下,對於 i≠ji \neq j, XiX_i 和 XjX_j 是獨立的,所以 E(XiXj)=E(Xi)E(Xj)E(X_i X_j) = E(X_i)E(X_j) 成立。然而,對於 i=ji = j,我們有 E(Xi2)E(X_i^2)。若 XiX_i 不是常數,則 E(Xi2)≠(E(Xi))2E(X_i^2) \neq (E(X_i))^2 (因為變異數 Var(Xi)=E(Xi2)−(E(Xi))2>0Var(X_i) = E(X_i^2) - (E(X_i))^2 > 0)。因此,對於 i=ji=j,此等式不成立。題目問的是 "for all i,ji,j",包含 i=ji=j 的情況,所以整體為 False。

vii. True (T)。若母體為常態分配 N(μ,σ2)N(\mu, \sigma^2),則樣本平均數 Xˉn\bar{X}_n 和樣本變異數 Sn2S_n^2 是獨立的。這是常態分配的一個重要性質。對於非常態母體,Xˉn\bar{X}_n 和 Sn2S_n^2 通常不是獨立的,但根據中央極限定理 (Central Limit Theorem) 和 Slutsky 定理,當樣本數 nn 足夠大時,它們會漸近獨立。

viii. True (T)。無偏估計量的定義就是其期望值等於母數。對於樣本平均數 Xˉn=1n∑i=1nXi\bar{X}_n = \frac{1}{n}\sum_{i=1}^n X_i,其期望值為 E(Xˉn)=E(1n∑i=1nXi)=1n∑i=1nE(Xi)=1n∑i=1nμ=1n⋅nμ=μE(\bar{X}_n) = E\left(\frac{1}{n}\sum_{i=1}^n X_i\right) = \frac{1}{n}\sum_{i=1}^n E(X_i) = \frac{1}{n}\sum_{i=1}^n \mu = \frac{1}{n} \cdot n\mu = \mu。這個結果對於任何母體分佈都成立,只要母體的期望值存在。

ix. True (T)。若母體為標準常態分配 N(0,1)N(0, 1),則 Xi∼N(0,1)X_i \sim N(0, 1) 且 Xj∼N(0,1)X_j \sim N(0, 1)。

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 2 題

If X→dXX \stackrel{d}{\rightarrow} X and Y→dYY \stackrel{d}{\rightarrow} Y, then (X,Y)→d(X,Y)(X,Y) \stackrel{d}{\rightarrow} (X,Y).

登入後即可作答並保存紀錄。

這一題的完整詳解

這題考驗對機率論中隨機向量收斂性質的理解。

False (F)。

敘述的符號 X→dXX \stackrel{d}{\rightarrow} X 表示一個隨機變數序列 XnX_n 在分佈上收斂到隨機變數 XX。同理 Y→dYY \stackrel{d}{\rightarrow} Y 表示 YnY_n 收斂到 YY。
題目所問的 (X,Y)→d(X,Y)(X,Y) \stackrel{d}{\rightarrow} (X,Y) 實際上是指一個隨機向量序列 (Xn,Yn)(X_n, Y_n) 在分佈上收斂到隨機向量 (X,Y)(X, Y)。

若 Xn→dXX_n \stackrel{d}{\rightarrow} X 且 Yn→dYY_n \stackrel{d}{\rightarrow} Y,則 (Xn,Yn)→d(X,Y)(X_n, Y_n) \stackrel{d}{\rightarrow} (X, Y) 的結論成立,前提是 XnX_n 和 YnY_n 的收斂是聯合的 (jointly convergent),或者 XnX_n 和 YnY_n 是獨立的。

題目中的寫法 X→dXX \stackrel{d}{\rightarrow} X 和 Y→dYY \stackrel{d}{\rightarrow} Y 比較模糊,通常表示的是一個序列的收斂。假設題目指的是:
存在隨機變數序列 {Xn}n≥1\{X_n\}_{n\geq 1} 和 {Yn}n≥1\{Y_n\}_{n\geq 1},使得 Xn→dXX_n \stackrel{d}{\rightarrow} X 且 Yn→dYY_n \stackrel{d}{\rightarrow} Y。
那麼,是否一定有 (Xn,Yn)→d(X,Y)(X_n, Y_n) \stackrel{d}{\rightarrow} (X, Y)?

答案是不一定。

反例:
考慮一個機率空間 (Ω,F,P)(\Omega, \mathcal{F}, P)。
令 XnX_n 為一個常數序列, Xn=c1X_n = c_1 對所有 nn,且 X=c1X = c_1。則 Xn→dXX_n \stackrel{d}{\rightarrow} X。
令 YnY_n 為一個常數序列, Yn=c2Y_n = c_2 對所有 nn,且 Y=c2Y = c_2。則 Yn→dYY_n \stackrel{d}{\rightarrow} Y。
此時 (Xn,Yn)=(c1,c2)(X_n, Y_n) = (c_1, c_2),且 (X,Y)=(c1,c2)(X, Y) = (c_1, c_2)。顯然 (Xn,Yn)→d(X,Y)(X_n, Y_n) \stackrel{d}{\rightarrow} (X, Y)。

但是,考慮更複雜的情況。
令 UU 為一個在 (0,1)(0, 1) 上均勻分佈的隨機變數。
令 Xn=UX_n = U 對所有 nn。則 Xn→dUX_n \stackrel{d}{\rightarrow} U。令 X=UX=U。
令 Yn=1−UY_n = 1-U 對所有 nn。則 Yn→d1−UY_n \stackrel{d}{\rightarrow} 1-U。令 Y=1−UY=1-U。
此時 XnX_n 和 YnY_n 是相關的,因為它們都是基於同一個隨機變數 UU 定義的。
(Xn,Yn)=(U,1−U)(X_n, Y_n) = (U, 1-U)。
(X,Y)=(U,1−U)(X, Y) = (U, 1-U)。
所以 (Xn,Yn)→d(X,Y)(X_n, Y_n) \stackrel{d}{\rightarrow} (X, Y)。

關鍵在於序列的定義方式。
標準的定理是:若 Xn→dXX_n \stackrel{d}{\rightarrow} X 且 Yn→dYY_n \stackrel{d}{\rightarrow} Y,且 XnX_n 與 YnY_n 在某種意義下是聯合的 (jointly defined),則 (Xn,Yn)→d(X,Y)(X_n, Y_n) \stackrel{d}{\rightarrow} (X, Y)。
如果 XnX_n 和 YnY_n 是獨立定義的隨機變數序列,那麼結論不一定成立。

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 3 題

UMVUE does not necessarily exist, but there has to be an efficient estimator.

登入後即可作答並保存紀錄。

這一題的完整詳解

這題考驗對統計推論中估計量性質的理解,特別是 UMVUE (Uniformly Minimum Variance Unbiased Estimator) 和 efficient estimator 的關係。

False (F)。

解釋:

  1. UMVUE (Uniformly Minimum Variance Unbiased Estimator):

    • 定義:一個無偏估計量,其變異數在所有可能的無偏估計量中是最小的,對於所有參數空間中的參數值都成立。
    • 存在性:UMVUE 不一定存在。存在性是需要證明或討論的。例如,對於某些參數空間或某些模型,可能不存在一個統一最小變異數的無偏估計量。
  2. Efficient Estimator (有效估計量):

    • 定義:一個估計量如果達到了 Cramér-Rao Lower Bound (CRLB),則稱其為有效估計量。
    • Cramér-Rao Lower Bound (CRLB):對於一個無偏估計量 θ^\hat{\theta},其變異數 Var(θ^)Var(\hat{\theta}) 必須大於或等於 CRLB。CRLB 的計算依賴於母體的機率密度函數 f(x;θ)f(x;\theta) 的對數似然函數的二階導數(或者說 Fisher Information)。
    • 存在性:一個有效估計量 也不一定存在。
🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 4 題

Both of binomial and negative binomial distributions can converge to a Poisson distribution.

登入後即可作答並保存紀錄。

這一題的完整詳解

這題考驗對機率分佈收斂性質的理解,特別是二項分佈和負二項分佈如何逼近卜瓦松分佈。

True (T)。

解釋:

  1. 二項分佈 (Binomial Distribution) 收斂到卜瓦松分佈 (Poisson Distribution):

    • 二項分佈 B(n,p)B(n, p) 描述了 nn 次獨立伯努利試驗中成功次數。
    • 當試驗次數 nn 趨於無窮大,且單次成功機率 pp 趨於 0,但其乘積 np=λnp = \lambda (一個常數) 時,二項分佈的機率質量函數會趨近於卜瓦松分佈的機率質量函數。
    • 具體來說,若 Xn∼B(n,pn)X_n \sim B(n, p_n) 且 npn→λnp_n \to \lambda 當 n→∞n \to \infty,則 Xn→dPoisson(λ)X_n \stackrel{d}{\rightarrow} \text{Poisson}(\lambda)。
    • 這個情況可以理解為,進行大量獨立的、每次成功的機率都很小的試驗,總的成功次數近似服從卜瓦松分佈。
  2. 負二項分佈 (Negative Binomial Distribution) 收斂到卜瓦松分佈 (Poisson Distribution):

    • 負二項分佈有不同的定義方式。一種常見的定義是:進行一系列獨立伯努利試驗,直到達到 rr 次成功為止,所需要的試驗次數。另一種定義是:進行一系列獨立伯努利試驗,直到達到 rr 次失敗為止,所需要的試驗次數。
🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 5 題

If X is a non-negative random variable, then E(X)=0 only if X is degenerate at 0.

登入後即可作答並保存紀錄。

這一題的完整詳解

這題考驗對期望值和隨機變數分佈之間關係的理解,特別是當期望值為零時。

True (T)。

解釋:

一個隨機變數 XX 是 退化 (degenerate) 在某個值 cc 上的意思是指,該隨機變數幾乎必然 (almost surely) 取值為 cc。也就是說,P(X=c)=1P(X=c) = 1。

題目給定 XX 是一個非負隨機變數,即 X≥0X \ge 0。
並且已知 E(X)=0E(X) = 0。

我們知道期望值的定義(對於離散隨機變數):
E(X)=∑xxP(X=x)E(X) = \sum_x x P(X=x)
對於連續隨機變數:
E(X)=∫−∞∞xf(x)dxE(X) = \int_{-\infty}^{\infty} x f(x) dx

由於 XX 是非負的,所以 XX 的所有可能取值 xx 都是非負的 (x≥0x \ge 0)。
同時,機率 P(X=x)P(X=x) 或機率密度 f(x)f(x) 也是非負的。

如果 E(X)=0E(X) = 0,考慮以下幾點:

  1. 非負性:由於 X≥0X \ge 0,其所有非零的取值 x>0x > 0 都會對期望值 E(X)E(X) 產生正的貢獻(xP(X=x)>0x P(X=x) > 0 或 xf(x)>0x f(x) > 0)。
🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 6 題

The conditional variance is always less or equal to the unconditional variance.

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

本題考查全變異數公式(law of total variance):

Var⁡(X)=E ⁣[Var⁡(X∣Y)]+Var⁡ ⁣(E[X∣Y]).\operatorname{Var}(X) = \mathbb{E}\!\left[\operatorname{Var}(X\mid Y)\right] + \operatorname{Var}\!\left(\mathbb{E}[X\mid Y]\right).

由於兩項皆非負,因此可得

E ⁣[Var⁡(X∣Y)]≤Var⁡(X).\mathbb{E}\!\left[\operatorname{Var}(X\mid Y)\right] \leq \operatorname{Var}(X).

但這只能表示「條件變異數的期望」不超過無條件變異數,不能推出對每一個 Y=yY=y 都有

Var⁡(X∣Y=y)≤Var⁡(X).\operatorname{Var}(X\mid Y=y)\leq \operatorname{Var}(X).

解題方法

題目使用 always,主張條件變異數在所有情況下都不大於無條件變異數。只要構造一個反例即可判斷其錯誤。

令 YY 為 Bernoulli 隨機變數,且

P(Y=0)=P(Y=1)=12.P(Y=0)=P(Y=1)=\frac12.

進一步定義

X∣Y=0∼N(0,1),X∣Y=1∼N(0,9).X\mid Y=0\sim N(0,1),\qquad X\mid Y=1\sim N(0,9).

因為兩種條件分布的平均數皆為 00,所以

E[X∣Y]=0,\mathbb{E}[X\mid Y]=0,

因此

Var⁡ ⁣(E[X∣Y])=0.\operatorname{Var}\!\left(\mathbb{E}[X\mid Y]\right)=0.

條件變異數的期望為

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 Problem 2 題

  1. (15%) Please prove P(Ø)=0 based on the Kolmogorov's Axioms of probability. For any result other than the probability axioms you used in the proof, you will have to prove it as well.

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

本題要求由 Kolmogorov 機率公理直接證明空事件 ∅\varnothing 的機率為 00。

Kolmogorov 公理如下:

  1. 非負性:對任意事件 AA,
    P(A)≥0P(A)\ge 0

  2. 正規化:
    P(Ω)=1P(\Omega)=1

  3. 可列可加性:若事件序列 A1,A2,…A_1,A_2,\ldots 兩兩互斥,即當 i≠ji\ne j 時,
    Ai∩Aj=∅A_i\cap A_j=\varnothing
    則

P(⋃i=1∞Ai)=∑i=1∞P(Ai)P\left(\bigcup_{i=1}^{\infty}A_i\right) =\sum_{i=1}^{\infty}P(A_i)

證明的關鍵是:將每一個事件都取為空事件,再套用可列可加性。

解題方法

令

A1=A2=A3=⋯=∅A_1=A_2=A_3=\cdots=\varnothing

這些事件兩兩互斥,因為對任意 i≠ji\ne j,

Ai∩Aj=∅∩∅=∅A_i\cap A_j =\varnothing\cap\varnothing =\varnothing

而且它們的聯集仍為空事件:

⋃i=1∞Ai=∅\bigcup_{i=1}^{\infty}A_i=\varnothing

因此,由可列可加性,

P(∅)=P(⋃i=1∞Ai)=∑i=1∞P(Ai)=∑i=1∞P(∅)P(\varnothing) = P\left(\bigcup_{i=1}^{\infty}A_i\right) = \sum_{i=1}^{\infty}P(A_i) = \sum_{i=1}^{\infty}P(\varnothing)

設

p=P(∅)p=P(\varnothing)

則

p=∑i=1∞pp=\sum_{i=1}^{\infty}p

由機率的值域為 [0,1][0,1],可知

0≤p≤10\le p\le 1

接著證明 pp 不可能大於 00。

若 p>0p>0,則該無窮級數的前 nn 項部分和為

∑i=1np=np\sum_{i=1}^{n}p=np

由於 p>0p>0,可取正整數 nn 使得

n>1pn>\frac{1}{p}

因此

np>1np>1

然而,無窮級數的和至少不小於其任一個部分和,所以

∑i=1∞p≥np>1\sum_{i=1}^{\infty}p\ge np>1

這與

∑i=1∞p=p≤1\sum_{i=1}^{\infty}p=p\le 1
🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 2 題

Let (X,Y) be a random vector and (R, Θ) be the corresponding coordinate of (X,Y) on the polar coordinates as shown in the figure below, where R ≥ 0, -π ≤ Θ ≤ π. Suppose that (X,Y) is uniformly distributed on a unit disc with radius one centered at the original point (0,0), that is, the range of (X,Y) is Sx,y={(x,y)∣x2+y2≤1}S_{x,y} = \{(x,y) | x^2+y^2 \le 1\}.
Please determine the distribution of (R, Θ) and find the correlation coefficient between R and Θ.

🖼️【此處有附圖,請對照原卷】

🖼️ 本題含圖表,以下為原卷對應頁面:
原卷第 2 頁

登入後即可作答並保存紀錄。

這一題的完整詳解

這題要求我們找出在單位圓盤上均勻分佈的隨機向量 (X,Y)(X,Y),轉換到極座標 (R,Θ)(R, \Theta) 後的聯合機率分佈,並計算 RR 和 Θ\Theta 的相關係數。

1. (X,Y)(X,Y) 的聯合機率密度函數 (PDF)

由於 (X,Y)(X,Y) 在單位圓盤 Sx,y={(x,y)∣x2+y2≤1}S_{x,y} = \{(x,y) | x^2+y^2 \le 1\} 上均勻分佈,其 PDF 為:
fX,Y(x,y)={1Area(Sx,y)if (x,y)∈Sx,y0otherwisef_{X,Y}(x,y) = \begin{cases} \frac{1}{\text{Area}(S_{x,y})} & \text{if } (x,y) \in S_{x,y} \\ 0 & \text{otherwise} \end{cases}
單位圓盤的面積為 π(1)2=π\pi (1)^2 = \pi。
所以,fX,Y(x,y)={1πif x2+y2≤10otherwisef_{X,Y}(x,y) = \begin{cases} \frac{1}{\pi} & \text{if } x^2+y^2 \le 1 \\ 0 & \text{otherwise} \end{cases}。

2. (R,Θ)(R, \Theta) 的聯合機率密度函數 (PDF)

我們知道 X=Rcos⁡ΘX = R \cos \Theta 且 Y=Rsin⁡ΘY = R \sin \Theta。
Jacobian of the transformation:
J=det⁡(∂x∂r∂x∂θ∂y∂r∂y∂θ)=det⁡(cos⁡θ−rsin⁡θsin⁡θrcos⁡θ)=rcos⁡2θ−(−rsin⁡2θ)=r(cos⁡2θ+sin⁡2θ)=rJ = \det \begin{pmatrix} \frac{\partial x}{\partial r} & \frac{\partial x}{\partial \theta} \\ \frac{\partial y}{\partial r} & \frac{\partial y}{\partial \theta} \end{pmatrix} = \det \begin{pmatrix} \cos \theta & -r \sin \theta \\ \sin \theta & r \cos \theta \end{pmatrix} = r \cos^2 \theta - (-r \sin^2 \theta) = r(\cos^2 \theta + \sin^2 \theta) = r。
這裡我們使用 rr 和 θ\theta 作為變數名,對應於 RR 和 Θ\Theta。

轉換後的 PDF fR,Θ(r,θ)f_{R,\Theta}(r, \theta) 為:
fR,Θ(r,θ)=fX,Y(rcos⁡θ,rsin⁡θ)∣J∣f_{R,\Theta}(r, \theta) = f_{X,Y}(r \cos \theta, r \sin \theta) |J|

(X,Y)(X,Y) 在單位圓盤上,所以 x2+y2≤1x^2+y^2 \le 1。
轉換到極座標,即 r2cos⁡2θ+r2sin⁡2θ≤1  ⟹  r2≤1r^2 \cos^2 \theta + r^2 \sin^2 \theta \le 1 \implies r^2 \le 1。
由於 R≥0R \ge 0,所以 0≤r≤10 \le r \le 1。
角度 Θ\Theta 的範圍是 −π≤θ≤π-\pi \le \theta \le \pi。

因此,
fR,Θ(r,θ)={1π⋅rif 0≤r≤1,−π≤θ≤π0otherwisef_{R,\Theta}(r, \theta) = \begin{cases} \frac{1}{\pi} \cdot r & \text{if } 0 \le r \le 1, -\pi \le \theta \le \pi \\ 0 & \text{otherwise} \end{cases}。

3. RR 的邊際機率密度函數 (Marginal PDF of R)

對 θ\theta 積分:
fR(r)=∫−ππfR,Θ(r,θ)dθ=∫−ππ1πrdθ=rπ[θ]−ππ=rπ(π−(−π))=rπ(2π)=2rf_R(r) = \int_{-\pi}^{\pi} f_{R,\Theta}(r, \theta) d\theta = \int_{-\pi}^{\pi} \frac{1}{\pi} r d\theta = \frac{r}{\pi} [\theta]_{-\pi}^{\pi} = \frac{r}{\pi} (\pi - (-\pi)) = \frac{r}{\pi} (2\pi) = 2r, for 0≤r≤10 \le r \le 1.
所以,fR(r)={2rif 0≤r≤10otherwisef_R(r) = \begin{cases} 2r & \text{if } 0 \le r \le 1 \\ 0 & \text{otherwise} \end{cases}。
這是一個 Beta(2,1) 分配,或說 fR(r)∝rf_R(r) \propto r.

4. Θ\Theta 的邊際機率密度函數 (Marginal PDF of Θ)

對 rr 積分:
fΘ(θ)=∫01fR,Θ(r,θ)dr=∫011πrdr=1π[r22]01=1π(122−0)=12πf_\Theta(\theta) = \int_{0}^{1} f_{R,\Theta}(r, \theta) dr = \int_{0}^{1} \frac{1}{\pi} r dr = \frac{1}{\pi} \left[\frac{r^2}{2}\right]_{0}^{1} = \frac{1}{\pi} \left(\frac{1^2}{2} - 0\right) = \frac{1}{2\pi}, for −π≤θ≤π-\pi \le \theta \le \pi.
所以,fΘ(θ)={12πif −π≤θ≤π0otherwisef_\Theta(\theta) = \begin{cases} \frac{1}{2\pi} & \text{if } -\pi \le \theta \le \pi \\ 0 & \text{otherwise} \end{cases}。
這是一個在 [−π,π][-\pi, \pi] 區間上的均勻分佈。

5. (R,Θ)(R, \Theta) 的獨立性

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 3 題

Suppose that we observe a random sample X1,X2,…,XnX_1, X_2, \ldots, X_n from a uniform distribution on the interval (0,θ)(0, \theta), please find
i. (10%) The MLE of θ\theta.
ii. (10%) The best unbiased estimator (UMVUE) of θ\theta.

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

本題考查:

  1. 最大概似估計量(MLE):由概似函數最大化求得。
  2. 不偏估計量:要求估計量的期望等於 θ\theta。
  3. 均一最小變異不偏估計量(UMVUE):利用 Rao–Blackwell 定理與 Lehmann–Scheffé 定理,從完全充分統計量的函數中找出不偏估計量。

令

X(n)=max⁡{X1,…,Xn}.X_{(n)}=\max\{X_1,\ldots,X_n\}.

解題方法

i. θ\theta 的 MLE

因為 X1,…,XnX_1,\ldots,X_n 為來自 U(0,θ)U(0,\theta) 的隨機樣本,單一觀測值的機率密度為

f(x;θ)=1θI(0<x<θ).f(x;\theta)=\frac{1}{\theta}I(0<x<\theta).

因此樣本概似函數為

L(θ;x)=∏i=1n1θI(0<xi<θ)=θ−nI(θ≥max⁡ixi).L(\theta;\mathbf{x}) =\prod_{i=1}^n \frac{1}{\theta}I(0<x_i<\theta) =\theta^{-n}I\left(\theta\geq \max_i x_i\right).

記

x(n)=max⁡ixi.x_{(n)}=\max_i x_i.

則當 θ≥x(n)\theta\geq x_{(n)} 時,

L(θ;x)=θ−n.L(\theta;\mathbf{x})=\theta^{-n}.

由於 θ−n\theta^{-n} 隨 θ\theta 遞減,概似函數在允許範圍的最小值 θ=x(n)\theta=x_{(n)} 時達到最大。因此

θ^MLE=X(n).\boxed{\hat{\theta}_{\mathrm{MLE}}=X_{(n)}}.

ii. θ\theta 的 UMVUE

第一步:求 X(n)X_{(n)} 的期望

最大次序統計量 X(n)X_{(n)} 的累積分布函數為

P(X(n)≤x)=P(X1≤x,…,Xn≤x)=(xθ)n,0<x<θ.P(X_{(n)}\leq x) =P(X_1\leq x,\ldots,X_n\leq x) =\left(\frac{x}{\theta}\right)^n, \qquad 0<x<\theta.

因此其機率密度函數為

fX(n)(x)=ddx(xθ)n=nxn−1θn,0<x<θ.f_{X_{(n)}}(x) =\frac{d}{dx}\left(\frac{x}{\theta}\right)^n =\frac{n x^{n-1}}{\theta^n}, \qquad 0<x<\theta.

計算期望:

Eθ[X(n)]=∫0θxnxn−1θn dx=nθn∫0θxn dx.E_\theta[X_{(n)}] =\int_0^\theta x\frac{n x^{n-1}}{\theta^n}\,dx =\frac{n}{\theta^n}\int_0^\theta x^n\,dx.

所以

Eθ[X(n)]=nθn⋅θn+1n+1=nn+1θ.E_\theta[X_{(n)}] =\frac{n}{\theta^n}\cdot \frac{\theta^{n+1}}{n+1} =\frac{n}{n+1}\theta.

因此 X(n)X_{(n)} 不是 θ\theta 的不偏估計量,但經比例調整後,

θ^=n+1nX(n)\hat{\theta} =\frac{n+1}{n}X_{(n)}

滿足

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 4 題

Suppose that X is a discrete random variable taking values 1,2,3, and 4. The density function of X is f(x;θ), and θ takes values -1, 0, and 1. The density of X is given in the table below:

x1234
f(x;-1)0.530.300.000.17
f(x; 0)0.600.200.100.10
f(x; 1)0.600.220.180.00

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

題目只提供機率質量函數表,未附上第 4 題實際要求的問句,因此無法唯一判定應求最大概似估計量、充分統計量或其他統計量。以下依數理統計最常見的考法,整理此模型的概似函數、充分統計量與單一觀察值下的最大概似估計。

令

Pθ(X=x)=f(x;θ),θ∈{−1,0,1}.P_\theta(X=x)=f(x;\theta),\qquad \theta\in\{-1,0,1\}.

若觀察到獨立同分布樣本 X1,…,XnX_1,\ldots,X_n,記

Nj=∑i=1nI(Xi=j),j=1,2,3,4,N_j=\sum_{i=1}^n I(X_i=j),\qquad j=1,2,3,4,

其中 NjN_j 表示樣本中等於 jj 的次數,且

N1+N2+N3+N4=n.N_1+N_2+N_3+N_4=n.

解題方法:建立概似函數

由獨立性,樣本概似函數為

L(θ;x1,…,xn)=∏i=1nf(xi;θ).L(\theta;x_1,\ldots,x_n) =\prod_{i=1}^n f(x_i;\theta).

分別代入三個可能的 θ\theta:

L(−1)=(0.53)N1(0.30)N2(0)N3(0.17)N4,L(-1) =(0.53)^{N_1}(0.30)^{N_2}(0)^{N_3}(0.17)^{N_4}, L(0)=(0.60)N1(0.20)N2(0.10)N3(0.10)N4,L(0) =(0.60)^{N_1}(0.20)^{N_2}(0.10)^{N_3}(0.10)^{N_4}, L(1)=(0.60)N1(0.22)N2(0.18)N3(0)N4.L(1) =(0.60)^{N_1}(0.22)^{N_2}(0.18)^{N_3}(0)^{N_4}.

因此,樣本資料對 θ\theta 的影響完全透過 (N1,N2,N3,N4)(N_1,N_2,N_3,N_4) 傳遞。依 Neyman–Fisher 因子分解定理,

T=(N1,N2,N3,N4)T=(N_1,N_2,N_3,N_4)

是 θ\theta 的充分統計量。由於四個次數總和固定為 nn,也可寫成

T=(N1,N2,N3)T=(N_1,N_2,N_3)

作為充分統計量,因為 N4=n−N1−N2−N3N_4=n-N_1-N_2-N_3。


最小充分統計量的判定

離散模型中,兩組樣本資料 xx 與 yy 屬於同一個最小充分統計量等價類,當且僅當

L(θ;x)L(θ;y)\frac{L(\theta;x)}{L(\theta;y)}

與 θ\theta 無關。

因此可用三個概似值的比例向量判定:

R(x)=(L(0;x)L(−1;x),L(1;x)L(−1;x)),R(x)= \left( \frac{L(0;x)}{L(-1;x)}, \frac{L(1;x)}{L(-1;x)} \right),

其中分母為 00 時,必須依三個概似值是否同時為零分情況處理。

一般而言,最小充分統計量可表示為

Tmin⁡(x)=(L(−1;x),L(0;x),L(1;x))T_{\min}(x) = \bigl(L(-1;x),L(0;x),L(1;x)\bigr)
🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 i 題

(10%) Find the size-0.2 Likelihood Ratio Test (LRT) for testing
Ho: θ = 0
versus
Ha: θ ≠ 0

登入後即可作答並保存紀錄。

這一題的完整詳解

這題要求我們找出一個顯著水準為 α=0.2\alpha=0.2 的概似比檢定 (Likelihood Ratio Test, LRT) 來檢定虛無假設 H0:θ=0H_0: \theta = 0 對於對立假設 Ha:θ≠0H_a: \theta \neq 0。
我們需要使用題目第 4 題提供的表格中的機率分佈。

1. 建立概似比檢定統計量

概似比檢定統計量 λ\lambda 定義為:
λ=sup⁡θ∈Θ0L(θ∣X1,…,Xn)sup⁡θ∈ΘL(θ∣X1,…,Xn)\lambda = \frac{\sup_{\theta \in \Theta_0} L(\theta | X_1, \ldots, X_n)}{\sup_{\theta \in \Theta} L(\theta | X_1, \ldots, X_n)}
其中 Θ0\Theta_0 是虛無假設下的參數空間,Θ\Theta 是所有可能的參數空間。
在我們的例子中,Θ0={0}\Theta_0 = \{0\},Θ={−1,0,1}\Theta = \{-1, 0, 1\}。
L(θ∣X1,…,Xn)=∏i=1nf(Xi;θ)L(\theta | X_1, \ldots, X_n) = \prod_{i=1}^n f(X_i; \theta)。

假設我們觀測到一個樣本 X=xX = x(這裡我們只有單一觀測值 xx,而不是一個樣本 X1,…,XnX_1, \ldots, X_n)。
那麼概似函數就是 f(x;θ)f(x;\theta)。
λ(x)=sup⁡θ∈{0}f(x;θ)sup⁡θ∈{−1,0,1}f(x;θ)=f(x;0)max⁡(f(x;−1),f(x;0),f(x;1))\lambda(x) = \frac{\sup_{\theta \in \{0\}} f(x; \theta)}{\sup_{\theta \in \{-1, 0, 1\}} f(x; \theta)} = \frac{f(x; 0)}{\max(f(x; -1), f(x; 0), f(x; 1))}。

2. 根據觀測值計算 λ(x)\lambda(x)

我們需要計算對於每個可能的觀測值 x∈{1,2,3,4}x \in \{1, 2, 3, 4\},對應的 λ(x)\lambda(x) 值。

  • 當 x=1x=1:
    f(1;−1)=0.53f(1; -1) = 0.53
    f(1;0)=0.60f(1; 0) = 0.60
    f(1;1)=0.60f(1; 1) = 0.60
    max⁡(f(1;−1),f(1;0),f(1;1))=max⁡(0.53,0.60,0.60)=0.60\max(f(1; -1), f(1; 0), f(1; 1)) = \max(0.53, 0.60, 0.60) = 0.60。
    λ(1)=f(1;0)0.60=0.600.60=1\lambda(1) = \frac{f(1; 0)}{0.60} = \frac{0.60}{0.60} = 1。

  • 當 x=2x=2:
    f(2;−1)=0.30f(2; -1) = 0.30
    f(2;0)=0.20f(2; 0) = 0.20
    f(2;1)=0.22f(2; 1) = 0.22
    max⁡(f(2;−1),f(2;0),f(2;1))=max⁡(0.30,0.20,0.22)=0.30\max(f(2; -1), f(2; 0), f(2; 1)) = \max(0.30, 0.20, 0.22) = 0.30。
    λ(2)=f(2;0)0.30=0.200.30=23≈0.667\lambda(2) = \frac{f(2; 0)}{0.30} = \frac{0.20}{0.30} = \frac{2}{3} \approx 0.667。

  • 當 x=3x=3:
    f(3;−1)=0.00f(3; -1) = 0.00
    f(3;0)=0.10f(3; 0) = 0.10
    f(3;1)=0.18f(3; 1) = 0.18
    max⁡(f(3;−1),f(3;0),f(3;1))=max⁡(0.00,0.10,0.18)=0.18\max(f(3; -1), f(3; 0), f(3; 1)) = \max(0.00, 0.10, 0.18) = 0.18。
    λ(3)=f(3;0)0.18=0.100.18=1018=59≈0.556\lambda(3) = \frac{f(3; 0)}{0.18} = \frac{0.10}{0.18} = \frac{10}{18} = \frac{5}{9} \approx 0.556。

  • 當 x=4x=4:
    f(4;−1)=0.17f(4; -1) = 0.17
    f(4;0)=0.10f(4; 0) = 0.10
    f(4;1)=0.00f(4; 1) = 0.00
    max⁡(f(4;−1),f(4;0),f(4;1))=max⁡(0.17,0.10,0.00)=0.17\max(f(4; -1), f(4; 0), f(4; 1)) = \max(0.17, 0.10, 0.00) = 0.17。
    λ(4)=f(4;0)0.17=0.100.17=1017≈0.588\lambda(4) = \frac{f(4; 0)}{0.17} = \frac{0.10}{0.17} = \frac{10}{17} \approx 0.588。

3. 確定拒絕域 (Rejection Region)

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 ii 題

(5%) Please comment on the test you derive in i. in terms of the power function.

登入後即可作答並保存紀錄。

這一題的完整詳解

這題要求我們評論剛剛推導出來的 LRT 檢定的檢定力的函數 (power function)。

1. 檢定力的函數 (Power Function)

檢定力的函數 P(θ)=P(Reject H0∣θ is the true parameter)P(\theta) = P(\text{Reject } H_0 | \theta \text{ is the true parameter})。
在我們的例子中,H0H_0 是 θ=0\theta=0,HaH_a 是 θ≠0\theta \neq 0。
拒絕域是 R={3,4}R = \{3, 4\}。
顯著水準 α=P(Reject H0∣θ=0)=P(X∈{3,4}∣θ=0)=P(X=3∣0)+P(X=4∣0)=0.10+0.10=0.20\alpha = P(\text{Reject } H_0 | \theta=0) = P(X \in \{3, 4\} | \theta=0) = P(X=3|0) + P(X=4|0) = 0.10 + 0.10 = 0.20。

現在我們要計算檢定力的函數 P(θ)P(\theta) 對於所有可能的 θ\theta 值:θ=−1,0,1\theta = -1, 0, 1。

  • 當 θ=0\theta = 0 (虛無假設):
    P(0)=P(Reject H0∣θ=0)=P(X∈{3,4}∣θ=0)=0.20P(0) = P(\text{Reject } H_0 | \theta=0) = P(X \in \{3, 4\} | \theta=0) = 0.20。
    這是顯著水準 α\alpha。

  • 當 θ=1\theta = 1 (對立假設的一部分):
    P(1)=P(Reject H0∣θ=1)=P(X∈{3,4}∣θ=1)P(1) = P(\text{Reject } H_0 | \theta=1) = P(X \in \{3, 4\} | \theta=1)
    P(1)=P(X=3∣θ=1)+P(X=4∣θ=1)P(1) = P(X=3 | \theta=1) + P(X=4 | \theta=1)
    從表格中:P(X=3∣θ=1)=0.18P(X=3 | \theta=1) = 0.18, P(X=4∣θ=1)=0.00P(X=4 | \theta=1) = 0.00。
    P(1)=0.18+0.00=0.18P(1) = 0.18 + 0.00 = 0.18。

  • 當 θ=−1\theta = -1 (對立假設的另一部分):
    P(−1)=P(Reject H0∣θ=−1)=P(X∈{3,4}∣θ=−1)P(-1) = P(\text{Reject } H_0 | \theta=-1) = P(X \in \{3, 4\} | \theta=-1)
    P(−1)=P(X=3∣θ=−1)+P(X=4∣θ=−1)P(-1) = P(X=3 | \theta=-1) + P(X=4 | \theta=-1)
    從表格中:P(X=3∣θ=−1)=0.00P(X=3 | \theta=-1) = 0.00, P(X=4∣θ=−1)=0.17P(X=4 | \theta=-1) = 0.17。
    P(−1)=0.00+0.17=0.17P(-1) = 0.00 + 0.17 = 0.17。

2. 評論檢定的檢定力

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

第 iii 題

(5%) Can you find a test which is more powerful/reasonable than the test you derive in i.?

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

題幹未提供第 i 題的虛無假設、對立假設與第 i 題所導出的檢定,因此無法指定唯一的改良檢定。合理假設第 i 題已得到一個顯著水準為 α\alpha 的檢定 ϕi\phi_i,本題要求判斷是否存在在相同顯著水準下具有更高 power 的檢定。

檢定的 power 定義為

πϕ(θ)=Pθ(拒絕 H0)\pi_\phi(\theta)=P_\theta(\text{拒絕 }H_0)

比較兩個檢定時,必須在相同的顯著水準下比較其 power。若對所有 θ∈Θ1\theta\in\Theta_1 都有

πϕ∗(θ)≥πϕi(θ),\pi_{\phi^*}(\theta)\geq \pi_{\phi_i}(\theta),

且至少對某個 θ∈Θ1\theta\in\Theta_1 嚴格大於,則稱 ϕ∗\phi^* 比 ϕi\phi_i 更有力。

本題的核心定理是 Neyman–Pearson lemma:

對簡單虛無假設 H0:θ=θ0H_0:\theta=\theta_0 與簡單對立假設 H1:θ=θ1H_1:\theta=\theta_1,固定顯著水準 α\alpha 時,似然比檢定具有最大 power。

似然比為

Λ(x)=fθ1(x)fθ0(x).\Lambda(x)=\frac{f_{\theta_1}(x)}{f_{\theta_0}(x)}.

因此最有力檢定的拒絕域為

Λ(x)>k,\Lambda(x)>k,

其中常數 kk 由

Pθ0{Λ(X)>k}=αP_{\theta_0}\{\Lambda(X)>k\}=\alpha

決定。

解題方法

若第 i 題的檢定不是由 Neyman–Pearson lemma 導出,則可改採似然比檢定。具體步驟如下。

第一步:固定相同顯著水準

第 i 題檢定的顯著水準若為 α\alpha,新的檢定也必須滿足

Pθ0(拒絕 H0)=α.P_{\theta_0}(\text{拒絕 }H_0)=\alpha.

不能只因為新檢定較容易拒絕 H0H_0,便直接宣稱它更有力;若其型一錯誤率也提高,便不是公平比較。

第二步:建立似然比

根據觀察值 xx 計算

Λ(x)=fθ1(x)fθ0(x).\Lambda(x)=\frac{f_{\theta_1}(x)}{f_{\theta_0}(x)}.

當 Λ(x)\Lambda(x) 越大時,代表觀察資料對 H1H_1 的支持程度相對於 H0H_0 越強。因此應在 Λ(x)\Lambda(x) 最大的區域拒絕 H0H_0。

第三步:決定拒絕域

選擇常數 kk,使得

Pθ0{Λ(X)>k}=α.P_{\theta_0}\{\Lambda(X)>k\}=\alpha.

所得檢定為

ϕ∗(x)={1,Λ(x)>k,0,Λ(x)<k.\phi^*(x)= \begin{cases} 1, & \Lambda(x)>k,\\ 0, & \Lambda(x)<k. \end{cases}

其中 ϕ∗(x)=1\phi^*(x)=1 表示拒絕 H0H_0。

依 Neyman–Pearson lemma,對任意顯著水準不超過 α\alpha 的檢定 ϕ\phi,都有

🔒

後續完整解題步驟與【答案】

免費註冊,享三天全站完整詳解閱覽。

免費註冊

其他考古題

109 年成功大學的其他科目

成功大學《數理統計》其他年度

其他學校的統計系考古題