109 年 國立成功大學統計學研究所《數理統計》
第 1 題
True or False (2% × 15 = 30%)
(For the following statements, please answer T if it is true and F otherwise.)
Let be an i.i.d. sample drawn from a population with density function .
Furthermore, let , , be the summation and mean of 's, respectively, and be the sample variance, please answer the following questions:
i. If the population is a normal one with unknown , then is a sufficient statistic for .
ii. If the population is a binomial one, then is a binomial random variable.
iii. If is the moment generating function of , then the MGF of is .
iv. is a sufficient statistic for .
v. If this population follows a Gamma distribution, then so does .
vi. for all .
vii. If this population is a normal one then and are independent, otherwise they are asymptotically independent.
viii. is always an unbiased estimator of the population mean regardless of the population distribution.
ix. If the population follows a standard normal distribution, for all .
x. If the population follows a standard normal distribution, for all .
登入後即可作答並保存紀錄。
這題考驗對統計推論基本概念的理解,包含充分統計量、隨機變數性質、期望值、無偏估計量、獨立性等。
i. True (T)。若母體為常態分配 ,根據費雪-史考特定理 (Fisher-Neyman Factorization Theorem),若參數 已知而 未知,則 是 的充分統計量。即使 未知, 仍然是 的充分統計量。
ii. False (F)。二項分配的隨機變數是獨立重複試驗的成功次數,其參數為試驗次數 和單次成功機率 。樣本平均數 的期望值是 ,但其本身的分配不是二項分配。若母體為二項分配 ,則 。樣本平均數 的期望值為 。然而, 的分配並非二項分配,它是一個連續型的隨機變數(如果 是連續的)或離散型的隨機變數,但其機率分佈不一定是二項的。例如,若 且 ,則 只能是 0 或 1。 可能的值為 0, 0.5, 1。這不是一個二項隨機變數(其值應為整數)。
iii. False (F)。若 的動差生成函數 (MGF) 為 ,則由獨立同分配的性質,樣本平均數 的 MGF 為 。題目寫成 是不正確的。
iv. True (T)。樣本 本身就是母體分佈 的所有資訊來源,因此它必然是參數 的充分統計量。
v. False (F)。若母體為 Gamma 分配,例如 ,則 。樣本平均數 的期望值為 。然而, 的分配不一定是 Gamma 分配。Gamma 分配的尺度參數 (scale parameter) 在樣本平均數的計算中會發生變化,且其形狀參數 (shape parameter) 也會改變。例如,若 ,則 。因此 的分配是 ,這與原來的 Gamma 分配不同(除非 )。
vi. False (F)。只有當 和 是獨立的,或者其中一個是常數時,才會有 。在 i.i.d. 的情況下,對於 , 和 是獨立的,所以 成立。然而,對於 ,我們有 。若 不是常數,則 (因為變異數 )。因此,對於 ,此等式不成立。題目問的是 "for all ",包含 的情況,所以整體為 False。
vii. True (T)。若母體為常態分配 ,則樣本平均數 和樣本變異數 是獨立的。這是常態分配的一個重要性質。對於非常態母體, 和 通常不是獨立的,但根據中央極限定理 (Central Limit Theorem) 和 Slutsky 定理,當樣本數 足夠大時,它們會漸近獨立。
viii. True (T)。無偏估計量的定義就是其期望值等於母數。對於樣本平均數 ,其期望值為 。這個結果對於任何母體分佈都成立,只要母體的期望值存在。
ix. True (T)。若母體為標準常態分配 ,則 且 。
第 2 題
If and , then .
登入後即可作答並保存紀錄。
這題考驗對機率論中隨機向量收斂性質的理解。
False (F)。
敘述的符號 表示一個隨機變數序列 在分佈上收斂到隨機變數 。同理 表示 收斂到 。
題目所問的 實際上是指一個隨機向量序列 在分佈上收斂到隨機向量 。
若 且 ,則 的結論成立,前提是 和 的收斂是聯合的 (jointly convergent),或者 和 是獨立的。
題目中的寫法 和 比較模糊,通常表示的是一個序列的收斂。假設題目指的是:
存在隨機變數序列 和 ,使得 且 。
那麼,是否一定有 ?
答案是不一定。
反例:
考慮一個機率空間 。
令 為一個常數序列, 對所有 ,且 。則 。
令 為一個常數序列, 對所有 ,且 。則 。
此時 ,且 。顯然 。
但是,考慮更複雜的情況。
令 為一個在 上均勻分佈的隨機變數。
令 對所有 。則 。令 。
令 對所有 。則 。令 。
此時 和 是相關的,因為它們都是基於同一個隨機變數 定義的。
。
。
所以 。
關鍵在於序列的定義方式。
標準的定理是:若 且 ,且 與 在某種意義下是聯合的 (jointly defined),則 。
如果 和 是獨立定義的隨機變數序列,那麼結論不一定成立。
第 3 題
UMVUE does not necessarily exist, but there has to be an efficient estimator.
登入後即可作答並保存紀錄。
這題考驗對統計推論中估計量性質的理解,特別是 UMVUE (Uniformly Minimum Variance Unbiased Estimator) 和 efficient estimator 的關係。
False (F)。
解釋:
-
UMVUE (Uniformly Minimum Variance Unbiased Estimator):
- 定義:一個無偏估計量,其變異數在所有可能的無偏估計量中是最小的,對於所有參數空間中的參數值都成立。
- 存在性:UMVUE 不一定存在。存在性是需要證明或討論的。例如,對於某些參數空間或某些模型,可能不存在一個統一最小變異數的無偏估計量。
-
Efficient Estimator (有效估計量):
- 定義:一個估計量如果達到了 Cramér-Rao Lower Bound (CRLB),則稱其為有效估計量。
- Cramér-Rao Lower Bound (CRLB):對於一個無偏估計量 ,其變異數 必須大於或等於 CRLB。CRLB 的計算依賴於母體的機率密度函數 的對數似然函數的二階導數(或者說 Fisher Information)。
- 存在性:一個有效估計量 也不一定存在。
第 4 題
Both of binomial and negative binomial distributions can converge to a Poisson distribution.
登入後即可作答並保存紀錄。
這題考驗對機率分佈收斂性質的理解,特別是二項分佈和負二項分佈如何逼近卜瓦松分佈。
True (T)。
解釋:
-
二項分佈 (Binomial Distribution) 收斂到卜瓦松分佈 (Poisson Distribution):
- 二項分佈 描述了 次獨立伯努利試驗中成功次數。
- 當試驗次數 趨於無窮大,且單次成功機率 趨於 0,但其乘積 (一個常數) 時,二項分佈的機率質量函數會趨近於卜瓦松分佈的機率質量函數。
- 具體來說,若 且 當 ,則 。
- 這個情況可以理解為,進行大量獨立的、每次成功的機率都很小的試驗,總的成功次數近似服從卜瓦松分佈。
-
負二項分佈 (Negative Binomial Distribution) 收斂到卜瓦松分佈 (Poisson Distribution):
- 負二項分佈有不同的定義方式。一種常見的定義是:進行一系列獨立伯努利試驗,直到達到 次成功為止,所需要的試驗次數。另一種定義是:進行一系列獨立伯努利試驗,直到達到 次失敗為止,所需要的試驗次數。
第 5 題
If X is a non-negative random variable, then E(X)=0 only if X is degenerate at 0.
登入後即可作答並保存紀錄。
這題考驗對期望值和隨機變數分佈之間關係的理解,特別是當期望值為零時。
True (T)。
解釋:
一個隨機變數 是 退化 (degenerate) 在某個值 上的意思是指,該隨機變數幾乎必然 (almost surely) 取值為 。也就是說,。
題目給定 是一個非負隨機變數,即 。
並且已知 。
我們知道期望值的定義(對於離散隨機變數):
對於連續隨機變數:
由於 是非負的,所以 的所有可能取值 都是非負的 ()。
同時,機率 或機率密度 也是非負的。
如果 ,考慮以下幾點:
- 非負性:由於 ,其所有非零的取值 都會對期望值 產生正的貢獻( 或 )。
第 6 題
The conditional variance is always less or equal to the unconditional variance.
登入後即可作答並保存紀錄。
核心觀念
本題考查全變異數公式(law of total variance):
由於兩項皆非負,因此可得
但這只能表示「條件變異數的期望」不超過無條件變異數,不能推出對每一個 都有
解題方法
題目使用 always,主張條件變異數在所有情況下都不大於無條件變異數。只要構造一個反例即可判斷其錯誤。
令 為 Bernoulli 隨機變數,且
進一步定義
因為兩種條件分布的平均數皆為 ,所以
因此
條件變異數的期望為
第 Problem 2 題
- (15%) Please prove P(Ø)=0 based on the Kolmogorov's Axioms of probability. For any result other than the probability axioms you used in the proof, you will have to prove it as well.
登入後即可作答並保存紀錄。
核心觀念
本題要求由 Kolmogorov 機率公理直接證明空事件 的機率為 。
Kolmogorov 公理如下:
-
非負性:對任意事件 ,
-
正規化:
-
可列可加性:若事件序列 兩兩互斥,即當 時,
則
證明的關鍵是:將每一個事件都取為空事件,再套用可列可加性。
解題方法
令
這些事件兩兩互斥,因為對任意 ,
而且它們的聯集仍為空事件:
因此,由可列可加性,
設
則
由機率的值域為 ,可知
接著證明 不可能大於 。
若 ,則該無窮級數的前 項部分和為
由於 ,可取正整數 使得
因此
然而,無窮級數的和至少不小於其任一個部分和,所以
這與
第 2 題
Let (X,Y) be a random vector and (R, Θ) be the corresponding coordinate of (X,Y) on the polar coordinates as shown in the figure below, where R ≥ 0, -π ≤ Θ ≤ π. Suppose that (X,Y) is uniformly distributed on a unit disc with radius one centered at the original point (0,0), that is, the range of (X,Y) is .
Please determine the distribution of (R, Θ) and find the correlation coefficient between R and Θ.
🖼️【此處有附圖,請對照原卷】
登入後即可作答並保存紀錄。
這題要求我們找出在單位圓盤上均勻分佈的隨機向量 ,轉換到極座標 後的聯合機率分佈,並計算 和 的相關係數。
1. 的聯合機率密度函數 (PDF)
由於 在單位圓盤 上均勻分佈,其 PDF 為:
單位圓盤的面積為 。
所以,。
2. 的聯合機率密度函數 (PDF)
我們知道 且 。
Jacobian of the transformation:
。
這裡我們使用 和 作為變數名,對應於 和 。
轉換後的 PDF 為:
在單位圓盤上,所以 。
轉換到極座標,即 。
由於 ,所以 。
角度 的範圍是 。
因此,
。
3. 的邊際機率密度函數 (Marginal PDF of R)
對 積分:
, for .
所以,。
這是一個 Beta(2,1) 分配,或說 .
4. 的邊際機率密度函數 (Marginal PDF of Θ)
對 積分:
, for .
所以,。
這是一個在 區間上的均勻分佈。
5. 的獨立性
第 3 題
Suppose that we observe a random sample from a uniform distribution on the interval , please find
i. (10%) The MLE of .
ii. (10%) The best unbiased estimator (UMVUE) of .
登入後即可作答並保存紀錄。
核心觀念
本題考查:
- 最大概似估計量(MLE):由概似函數最大化求得。
- 不偏估計量:要求估計量的期望等於 。
- 均一最小變異不偏估計量(UMVUE):利用 Rao–Blackwell 定理與 Lehmann–Scheffé 定理,從完全充分統計量的函數中找出不偏估計量。
令
解題方法
i. 的 MLE
因為 為來自 的隨機樣本,單一觀測值的機率密度為
因此樣本概似函數為
記
則當 時,
由於 隨 遞減,概似函數在允許範圍的最小值 時達到最大。因此
ii. 的 UMVUE
第一步:求 的期望
最大次序統計量 的累積分布函數為
因此其機率密度函數為
計算期望:
所以
因此 不是 的不偏估計量,但經比例調整後,
滿足
第 4 題
Suppose that X is a discrete random variable taking values 1,2,3, and 4. The density function of X is f(x;θ), and θ takes values -1, 0, and 1. The density of X is given in the table below:
| x | 1 | 2 | 3 | 4 |
|---|---|---|---|---|
| f(x;-1) | 0.53 | 0.30 | 0.00 | 0.17 |
| f(x; 0) | 0.60 | 0.20 | 0.10 | 0.10 |
| f(x; 1) | 0.60 | 0.22 | 0.18 | 0.00 |
登入後即可作答並保存紀錄。
核心觀念
題目只提供機率質量函數表,未附上第 4 題實際要求的問句,因此無法唯一判定應求最大概似估計量、充分統計量或其他統計量。以下依數理統計最常見的考法,整理此模型的概似函數、充分統計量與單一觀察值下的最大概似估計。
令
若觀察到獨立同分布樣本 ,記
其中 表示樣本中等於 的次數,且
解題方法:建立概似函數
由獨立性,樣本概似函數為
分別代入三個可能的 :
因此,樣本資料對 的影響完全透過 傳遞。依 Neyman–Fisher 因子分解定理,
是 的充分統計量。由於四個次數總和固定為 ,也可寫成
作為充分統計量,因為 。
最小充分統計量的判定
離散模型中,兩組樣本資料 與 屬於同一個最小充分統計量等價類,當且僅當
與 無關。
因此可用三個概似值的比例向量判定:
其中分母為 時,必須依三個概似值是否同時為零分情況處理。
一般而言,最小充分統計量可表示為
第 i 題
(10%) Find the size-0.2 Likelihood Ratio Test (LRT) for testing
Ho: θ = 0
versus
Ha: θ ≠ 0
登入後即可作答並保存紀錄。
這題要求我們找出一個顯著水準為 的概似比檢定 (Likelihood Ratio Test, LRT) 來檢定虛無假設 對於對立假設 。
我們需要使用題目第 4 題提供的表格中的機率分佈。
1. 建立概似比檢定統計量
概似比檢定統計量 定義為:
其中 是虛無假設下的參數空間, 是所有可能的參數空間。
在我們的例子中,,。
。
假設我們觀測到一個樣本 (這裡我們只有單一觀測值 ,而不是一個樣本 )。
那麼概似函數就是 。
。
2. 根據觀測值計算
我們需要計算對於每個可能的觀測值 ,對應的 值。
-
當 :
。
。 -
當 :
。
。 -
當 :
。
。 -
當 :
。
。
3. 確定拒絕域 (Rejection Region)
第 ii 題
(5%) Please comment on the test you derive in i. in terms of the power function.
登入後即可作答並保存紀錄。
這題要求我們評論剛剛推導出來的 LRT 檢定的檢定力的函數 (power function)。
1. 檢定力的函數 (Power Function)
檢定力的函數 。
在我們的例子中, 是 , 是 。
拒絕域是 。
顯著水準 。
現在我們要計算檢定力的函數 對於所有可能的 值:。
-
當 (虛無假設):
。
這是顯著水準 。 -
當 (對立假設的一部分):
從表格中:, 。
。 -
當 (對立假設的另一部分):
從表格中:, 。
。
2. 評論檢定的檢定力
第 iii 題
(5%) Can you find a test which is more powerful/reasonable than the test you derive in i.?
登入後即可作答並保存紀錄。
核心觀念
題幹未提供第 i 題的虛無假設、對立假設與第 i 題所導出的檢定,因此無法指定唯一的改良檢定。合理假設第 i 題已得到一個顯著水準為 的檢定 ,本題要求判斷是否存在在相同顯著水準下具有更高 power 的檢定。
檢定的 power 定義為
比較兩個檢定時,必須在相同的顯著水準下比較其 power。若對所有 都有
且至少對某個 嚴格大於,則稱 比 更有力。
本題的核心定理是 Neyman–Pearson lemma:
對簡單虛無假設 與簡單對立假設 ,固定顯著水準 時,似然比檢定具有最大 power。
似然比為
因此最有力檢定的拒絕域為
其中常數 由
決定。
解題方法
若第 i 題的檢定不是由 Neyman–Pearson lemma 導出,則可改採似然比檢定。具體步驟如下。
第一步:固定相同顯著水準
第 i 題檢定的顯著水準若為 ,新的檢定也必須滿足
不能只因為新檢定較容易拒絕 ,便直接宣稱它更有力;若其型一錯誤率也提高,便不是公平比較。
第二步:建立似然比
根據觀察值 計算
當 越大時,代表觀察資料對 的支持程度相對於 越強。因此應在 最大的區域拒絕 。
第三步:決定拒絕域
選擇常數 ,使得
所得檢定為
其中 表示拒絕 。
依 Neyman–Pearson lemma,對任意顯著水準不超過 的檢定 ,都有