113 年 國立臺灣大學農藝研究所生物統計學組《統計理論》
第 1 題13 分
Suppose that are independent binomial , where the are known constants. Let
be estimators of .
(1a) Find the mean squared error (MSE) of , . (5 points)
(1b) Find the mean squared error (MSE) of , . (5 points)
(1c) Which estimator is better? (3 points)
Hint: the arithmetic-geometric-harmonic mean inequality,
登入後即可作答並保存紀錄。
本題主要在考驗對估計量均方誤差 (Mean Squared Error, MSE) 的計算,以及比較不同估計量的優劣。
核心觀念:
- 均方誤差 (MSE):
- 二項分布的期望值與變異數: 若 ,則 且 。
- 獨立隨機變數的期望值與變異數: , (若獨立)。
解題過程:
首先,我們知道 服從二項分布 。
因此, 且 。
令 。
(1a) 計算 的 MSE
首先計算 的偏差 (Bias):
因此, 是 的一個不偏估計量,即 。
接著計算 的變異數 (Variance):
由於 是獨立的,
所以,
最後,計算 MSE:
【答案】
(1b) 計算 的 MSE
仔細觀察,題目中 和 的定義是完全相同的。
第 2 題28 分
Let be independent identically distributed random variables with pdf
where the unknown parameter .
(2a) Prove that is a complete sufficient statistic. (5 points)
(2b) Find the Cramer Rao lower bound (CRLB) for estimating . (10 points)
(2c) Find the uniformly minimum variance unbiased estimator (UMVUE) for . (10 points)
Hint: Find the distribution of .
(2d) Find the maximum likelihood estimator (MLE) of . (3 points)
登入後即可作答並保存紀錄。
核心觀念
本題的關鍵是利用轉換
將原本的分布化為指數分布。之後:
- 以 Neyman–Fisher 因子分解定理證明充分性;
- 以 Laplace transform 的唯一性證明完備性;
- 由 Gamma 分布計算期望、變異數與 Fisher information;
- 由 Lehmann–Scheffé 定理找出 UMVUE;
- 直接最大化概似函數找 MLE。
先求 的分布
令
由於 的機率密度函數關於 對稱,對 有
令
因此,當 時,
代入可得
所以
其中 是 rate parameter。
因此
其密度為
(2a)證明 是 complete sufficient statistic
充分性
樣本聯合機率密度函數為
整理得
令
則
根據 Neyman–Fisher 因子分解定理, 為 的充分統計量。
完備性
由上面的轉換,
假設某個可積分函數 滿足對所有 ,
則
由於 ,可得
左式是函數 的 Laplace transform。由 Laplace transform 的唯一性,
因為 時 ,所以
因此 是完備統計量。
綜合充分性與完備性, 是 的 complete sufficient statistic。
(2b)估計 的 CRLB
Fisher information
單一觀測值的 log-likelihood 為
其一階導數為
二階導數為
因此單一觀測值的 Fisher information 為
個獨立觀測值的 Fisher information 為
欲估計的函數為
因此
對任何不偏估計量 ,Cramér–Rao 不等式給出
代入後,
因此 CRLB 為
快速驗算
因為 ,
第 3 題9 分
Suppose that are iid sample from a normal distribution, , where the population variance is unknown. Let
where and are the sample mean and sample variance, respectively. Show that the distribution of does not depend on and use it to derive a confidence interval for .
登入後即可作答並保存紀錄。
本題主要考驗對卡方分布 (Chi-squared distribution) 的理解,特別是樣本變異數與母體變異數的關係,以及如何利用其分布來建構信賴區間。
核心觀念:
- 卡方分布: 若 是獨立標準常態分布 隨機變數,則 服從自由度為 的卡方分布,記為 。
- 樣本變異數與卡方分布的關係: 若 是 i.i.d. 來自 的樣本,則 ,其中 是樣本變異數。
- 信賴區間 (Confidence Interval): 利用統計量的分布來建構參數的區間估計。
解題過程:
給定 是 i.i.d. 來自 的樣本。
樣本均值 。
樣本變異數 。
我們需要證明 的分布不依賴於 ,並利用此來建構 的信賴區間。
證明 的分布不依賴於 :
根據統計學的標準結果,對於來自 的樣本,統計量 服從自由度為 的卡方分布,即 。
在這個題目中,母體均值 ,所以 。
樣本均值 的分布是 。
是樣本離均差平方和。
標準結果指出,如果 ,則 。
由於 ,所以 。
卡方分布 的參數是自由度 。在這個情況下,自由度是 。
卡方分布的機率密度函數為 ,對於 。
這個密度函數只依賴於自由度 ,而不依賴於 。
因此,統計量 的分布是自由度為 的卡方分布,它確實不依賴於 。
利用 的分布建構 的 信賴區間:
由於 ,我們可以找到一個區間 使得 。
通常,我們選擇這個區間使得區間的兩端是卡方分布的尾部機率。
第 4 題10 分
Let denote a random sample from a population . Suppose that is a UMP test of size for and , where and are two known populations. The power of when is true is denoted by , where . Find a UMP test of size for and .
登入後即可作答並保存紀錄。
本題考驗對 UMP (Uniformly Most Powerful) 檢定的理解,以及在簡單假設檢定中,如何利用已知檢定與其 power 來構造新的 UMP 檢定。
核心觀念:
- UMP 檢定: 在所有犯第一類錯誤機率(Type I error probability)小於或等於 的檢定中,犯第二類錯誤機率(Type II error probability)最小的檢定。
- 簡單對抗 (Simple vs. Simple) 假設檢定: 當虛無假設 () 和對立假設 () 都只對應單一的機率分布時。
- Neyman-Pearson 引理: 對於簡單對抗假設檢定,UMP 檢定是基於概似比 (Likelihood Ratio) 的檢定。
- Power of a test (): 在對立假設為真時,正確拒絕虛無假設的機率。。
解題過程:
我們已知:
- 存在一個 UMP 檢定 ,其 size 為 。
- 此檢定 是用於檢定 對 。
- 當 為真時, 的 power 為 。這表示 。
- 由 UMP 檢定的定義,對於任何檢定 ,若 ,則 。
我們需要找到一個 UMP 檢定,其 size 為 ,用於檢定新的假設:
這是一個對調了原來假設的簡單對抗檢定問題。
令 為在 下的樣本密度函數, 為在 下的樣本密度函數。
根據 Neyman-Pearson 引理,對於檢定 vs ,一個 UMP 檢定是基於概似比 。
若 ,則拒絕 。
這個檢定的 size 是 ,表示 。
其 power 是 ,表示 。
現在我們考慮新的假設: vs 。
我們希望找到一個 UMP 檢定,其 size 為 。
新的 size 定義為 。
我們期望的 size 是 。
新的 power 定義為 。
考慮一個檢定 。
如果我們使用與 相同的決策規則,即拒絕 (或接受 ) 當 拒絕 時。
也就是說,若 ,則我們拒絕 。
這個檢定的 size 是 。
我們已知這個機率等於 。
但是我們需要 size 為 。
關鍵點: Neyman-Pearson 引理指出,對於簡單對抗假設,UMP 檢定是基於概似比的。
對於 vs ,UMP 檢定是拒絕 當 。
其 size 。
其 power 。
現在考慮 vs 。
我們希望找到一個 UMP 檢定,其 size 為 。
第 5 題20 分
Let and denote independent random variables from and , respectively, where are unknown parameters.
(5a) Find an LR test for and under the assumption that . (10 points)
(5b) Find an LR test for and , where is a known constant. (10 points)
登入後即可作答並保存紀錄。
核心觀念
本題考查概似比檢定(likelihood ratio test, LR test):
當 越小,表示觀察資料在虛無假設下越不合理,因此拒絕 。
(5a) 利用兩常態母體「共同但未知變異數」的模型,導出合併變異數的 檢定。
(5b) 利用兩樣本變異數比的 分布,導出變異數比例的概似比檢定。
(5a) 檢定
解題方法
令
因為假設 ,概似函數為
對立假設下的最大概似估計
在 下,
定義組內平方和
因此
虛無假設下的最大概似估計
在 下,兩組資料共用同一個平均數。最大概似估計為
利用平方和分解,
記
則虛無假設下的變異數最大概似估計為
概似比統計量
因此
由於 ,當 很大時, 會變小,所以應拒絕 。
定義合併樣本變異數
則
又因為
故
所以概似比檢定等價於雙尾 檢定。
檢定結論
顯著水準為 時,拒絕域為
其中 表示自由度 的 分布上分位點。
(5b) 檢定
參數條件
由於變異數必須為正,虛無假設具有實質意義時須假設
若 ,則 與 不相容。
令
兩組平均數均未受限制,因此不論在 或 下,都有
對立假設下的最大概似估計
在不受限制的模型下,
虛無假設下的最大概似估計
令
第 6 題20 分
Let denote an multivariate normal random vector, denoted by , where is an constant matrix with rank, is a parameter vector, and is the identity matrix of order . Find an LR test for and , where is an full-row-rank constant matrix, is an constant vector, and .
登入後即可作答並保存紀錄。
核心觀念
本題考查常態線性模型中的:
- 似然比檢定(Likelihood Ratio Test, LR test)
- 線性假設
- 最小平方法估計量
- 受限與非受限殘差平方和
- 分配與一般線性假設檢定
模型為
其中 ,且 為 的滿列秩矩陣。假設 未知,並要求檢定
對抗
需假設 ,使誤差自由度 為正。
解題方法
1. 非受限模型的估計
在不加限制時, 的最大概似估計量就是最小平方法估計量:
定義非受限殘差平方和為
其對應的 最大概似估計量為
2. 受限模型的估計
在限制條件 下,求解
subject to
使用拉格朗日乘數法,令
對 微分並令其為零:
因此
由此可得受限最小平方法估計量
受限殘差平方和為
受限模型下的最大概似估計量為
3. 受限與非受限殘差平方和的差異
可證明
此量代表加入限制 後所增加的殘差平方和。若資料與虛無假設相容,這個增加量應相對較小;若偏離虛無假設,則會較大。
4. 建立似然比統計量
常態線性模型的概似函數為
對固定的 最大化後, 的最大概似估計量為殘差平方和除以 。因此:
- 非受限模型的最大概似值與 成正比;
- 受限模型的最大概似值與 成正比。
故似然比統計量為
因為 ,所以 。當 很大時, 很小,表示資料不支持 ,因此應拒絕 。
第 一 題
(此題為原卷頁碼標示,非正式題目,已忽略)
登入後即可作答並保存紀錄。
好的,這是一題關於估計量性質的題目,主要考驗你對均方誤差 (MSE) 的計算以及比較不同估計量的優劣。我們將一步一步來解析。
(a) 求 的均方誤差 (MSE)
核心觀念: 均方誤差 (MSE) 是衡量估計量準確性的指標,它定義為估計量的偏差平方期望值加上其方差。數學表達式為 ,其中 。
解題過程:
首先,我們需要計算 的期望值和方差。
由於 是獨立的二項分佈 ,所以 且 。
-
計算 :
因此, 是一個有偏差的估計量,其偏差為 。 -
計算 :
由於 是獨立的,
-
計算 :
【答案】
(b) 求 的均方誤差 (MSE)
核心觀念: 同樣是計算均方誤差,需要先求出估計量的期望值和方差。
解題過程:
令 。則 。
-
計算 :
因此, 是一個無偏差的估計量,即 。 -
計算 :
由於 是獨立的,
-
計算 :
【答案】
(c) 哪個估計量比較好?
核心觀念: 在比較兩個估計量時,通常會比較它們的均方誤差 (MSE)。MSE 較小的估計量通常被認為是比較好的,因為它在平均意義下更接近真實參數值。
解題過程:
我們要比較 和 。
我們知道 是無偏差的,而 有偏差。
第 1(a) 題5 分
Find the mean squared error (MSE) of , .
登入後即可作答並保存紀錄。
本題為題組第一部分的子題,
第 1(b) 題5 分
Find the mean squared error (MSE) of , .
登入後即可作答並保存紀錄。
本題為題組第一部分的子題,
第 1(c) 題3 分
Which estimator is better?
登入後即可作答並保存紀錄。
本題為題組第一部分的子題,
第 2(a) 題5 分
Prove that is a complete sufficient statistic.
登入後即可作答並保存紀錄。
本題為題組第二部分的子題,
第 2(b) 題10 分
Find the Cramer Rao lower bound (CRLB) for estimating .
登入後即可作答並保存紀錄。
本題為題組第二部分的子題,
第 2(c) 題10 分
Find the uniformly minimum variance unbiased estimator (UMVUE) for .
Hint: Find the distribution of .
登入後即可作答並保存紀錄。
本題為題組第二部分的子題,
第 2(d) 題3 分
Find the maximum likelihood estimator (MLE) of .
登入後即可作答並保存紀錄。
本題為題組第二部分的子題,
第 3 題9 分
Suppose that are iid sample from a normal distribution, , where the population variance is unknown. Let
where and are the sample mean and sample variance, respectively. Show that the distribution of does not depend on and use it to derive a confidence interval for .
登入後即可作答並保存紀錄。
本題主要考驗對卡方分布 (Chi-squared distribution) 的理解,特別是樣本變異數與母體變異數的關係,以及如何利用其分布來建構信賴區間。
核心觀念:
- 卡方分布: 若 是獨立標準常態分布 隨機變數,則 服從自由度為 的卡方分布,記為 。
- 樣本變異數與卡方分布的關係: 若 是 i.i.d. 來自 的樣本,則 ,其中 是樣本變異數。
- 信賴區間 (Confidence Interval): 利用統計量的分布來建構參數的區間估計。
解題過程:
給定 是 i.i.d. 來自 的樣本。
樣本均值 。
樣本變異數 。
我們需要證明 的分布不依賴於 ,並利用此來建構 的信賴區間。
證明 的分布不依賴於 :
根據統計學的標準結果,對於來自 的樣本,統計量 服從自由度為 的卡方分布,即 。
在這個題目中,母體均值 ,所以 。
樣本均值 的分布是 。
是樣本離均差平方和。
標準結果指出,如果 ,則 。
由於 ,所以 。
卡方分布 的參數是自由度 。在這個情況下,自由度是 。
卡方分布的機率密度函數為 ,對於 。
這個密度函數只依賴於自由度 ,而不依賴於 。
因此,統計量 的分布是自由度為 的卡方分布,它確實不依賴於 。
利用 的分布建構 的 信賴區間:
由於 ,我們可以找到一個區間 使得 。
通常,我們選擇這個區間使得區間的兩端是卡方分布的尾部機率。
第 4 題10 分
Let denote a random sample from a population . Suppose that is a UMP test of size for and , where and are two known populations. The power of when is true is denoted by , where . Find a UMP test of size for and .
登入後即可作答並保存紀錄。
本題考驗對 UMP (Uniformly Most Powerful) 檢定的理解,以及在簡單假設檢定中,如何利用已知檢定與其 power 來構造新的 UMP 檢定。
核心觀念:
- UMP 檢定: 在所有犯第一類錯誤機率(Type I error probability)小於或等於 的檢定中,犯第二類錯誤機率(Type II error probability)最小的檢定。
- 簡單對抗 (Simple vs. Simple) 假設檢定: 當虛無假設 () 和對立假設 () 都只對應單一的機率分布時。
- Neyman-Pearson 引理: 對於簡單對抗假設檢定,UMP 檢定是基於概似比 (Likelihood Ratio) 的檢定。
- Power of a test (): 在對立假設為真時,正確拒絕虛無假設的機率。。
解題過程:
我們已知:
- 存在一個 UMP 檢定 ,其 size 為 。
- 此檢定 是用於檢定 對 。
- 當 為真時, 的 power 為 。這表示 。
- 由 UMP 檢定的定義,對於任何檢定 ,若 ,則 。
我們需要找到一個 UMP 檢定,其 size 為 ,用於檢定新的假設:
這是一個對調了原來假設的簡單對抗檢定問題。
令 為在 下的樣本密度函數, 為在 下的樣本密度函數。
根據 Neyman-Pearson 引理,對於檢定 vs ,一個 UMP 檢定是基於概似比 。
若 ,則拒絕 。
這個檢定的 size 是 。
其 power 是 。
現在考慮新的假設: vs 。
我們希望找到一個 UMP 檢定,其 size 為 。
新的 size 定義為 。
我們期望的 size 是 。
新的 power 定義為 。
考慮一個檢定 。
如果我們使用與 相同的決策規則,即拒絕 (或接受 ) 當 拒絕 時。
也就是說,若 ,則我們拒絕 。
這個檢定的 size 是 。
我們已知這個機率等於 。
但是我們需要 size 為 。
關鍵點: Neyman-Pearson 引理指出,對於簡單對抗假設,UMP 檢定是基於概似比的。
對於 vs ,UMP 檢定是拒絕 當 。
其 size 。
其 power 。
現在考慮 vs 。
我們希望找到一個 UMP 檢定,其 size 為 。
第 5(a) 題10 分
Find an LR test for and under the assumption that .
登入後即可作答並保存紀錄。
核心觀念
設
其中共同變異數 未知。欲檢定
這題考查概似比檢定(likelihood ratio test, LR test)的基本程序:
- 分別在無限制參數空間與 下求最大概似估計量。
- 形成概似比
- 越小,越不支持 ,因此拒絕域應由 的小值構成。
記樣本平均與樣本變異數為
解題方法
一、無限制模型下的最大概似估計
在無限制參數空間中, 與 可分別估計。其最大概似估計量為
共同變異數的最大概似估計量為
令
則
二、 下的最大概似估計
在 下,令共同平均數為 。此時兩組資料合併估計共同平均數,得到
下的殘差平方和為
利用平方和分解公式,
因此, 下共同變異數的最大概似估計量為
三、形成概似比
對於總樣本數 ,常態模型在變異數以最大概似估計量代入後,最大概似值與殘差平方和的 次方成正比。因此
代入 的平方和分解,
第 5(b) 題10 分
Find an LR test for and , where is a known constant.
登入後即可作答並保存紀錄。
核心觀念
本題考察概似比檢定(Likelihood Ratio Test, LR test),以及兩個常態母體變異數比的 分配。
以下採用研究所考試中最標準的設定:
且兩組樣本相互獨立, 未知, 為已知常數。
欲檢定
對立於
令
則
且兩者相互獨立。
解題方法:分別求無限制與受限制的最大概似估計
1. 無限制模型下的最大概似值
在 下, 均可自由估計。其最大概似估計為
因此,無限制模型的最大概似值可寫成
2. 下的受限制最大概似值
在 下,
令
均數的最大概似估計仍為
代入概似函數後,與 有關的部分為
令 ,微分對數概似函數,可得受限制最大概似估計
因此
受限制模型的最大概似值為
概似比統計量
概似比統計量定義為
所以
第 6 題20 分
Let denote an multivariate normal random vector, denoted by , where is an constant matrix with rank, is a parameter vector, and is the identity matrix of order . Find an LR test for and , where is an full-row-rank constant matrix, is an constant vector, and .
登入後即可作答並保存紀錄。
核心觀念
本題考查常態線性模型中的:
- 似然比檢定(Likelihood Ratio Test, LR test)
- 線性假設
- 最小平方法估計量
- 受限與非受限殘差平方和
- 分配與一般線性假設檢定
模型為
其中 ,且 為 的滿列秩矩陣。假設 未知,並要求檢定
對抗
需假設 ,使誤差自由度 為正。
解題方法
1. 非受限模型的估計
在不加限制時, 的最大概似估計量就是最小平方法估計量:
定義非受限殘差平方和為
其對應的 最大概似估計量為
2. 受限模型的估計
在限制條件 下,求解
subject to
使用拉格朗日乘數法,令
對 微分並令其為零:
因此
由此可得受限最小平方法估計量
受限殘差平方和為
受限模型下的最大概似估計量為
3. 受限與非受限殘差平方和的差異
可證明
此量代表加入限制 後所增加的殘差平方和。若資料與虛無假設相容,這個增加量應相對較小;若偏離虛無假設,則會較大。
4. 建立似然比統計量
常態線性模型的概似函數為
對固定的 最大化後, 的最大概似估計量為殘差平方和除以 。因此:
- 非受限模型的最大概似值與 成正比;
- 受限模型的最大概似值與 成正比。
故似然比統計量為
因為 ,所以 。當 很大時, 很小,表示資料不支持 ,因此應拒絕 。