109 年 國立臺灣大學農藝系暨研究所生物統計乙組《統計理論》
第 1 題
Let be a random sample from the Normal distribution with mean and variance , i.e. .
(a) Find the maximum likelihood estimator (MLE) of , if it exists.
(b) Let and let . Find the constant such that is an unbiased estimator of .
(c) Consider the estimator of of the form: , . Find the mean square error (MSE) of in terms of , , and .
(d) Assume that . Find the value of that reaches the smallest MSE.
登入後即可作答並保存紀錄。
核心觀念
本題考查:
- 常態分布下平均數參數的最大概似估計;
- 樣本變異數的無偏估計;
- 估計量的均方誤差:
- 常態樣本中樣本平均數與樣本離均差平方和彼此獨立。
以下假設 ,且 均為固定未知參數。
(a) 的最大概似估計量
樣本的概似函數為
固定 後,對數概似函數中與 有關的部分為
對 微分:
令一階導數等於 :
因此
故最大概似估計量為
由於
所以此臨界點確實使概似函數達到最大值。
(b) 求
令
常態樣本的基本結果為
因為自由度為 的卡方分布期望值為 ,所以
因此
要求 為 的無偏估計量,即
故
得到
因此
(c) 的均方誤差
題目定義
先計算期望值:
所以
相對於目標參數 ,其偏差為
常態樣本中 與 獨立,因此 與 獨立,故
因此
由 MSE 定義,
所以正確的均方誤差為
第 2 題
Let be a random sample from the distribution with pdf , , .
(a) Show that the random variable is an exponential distribution and find a method of moments estimator of .
(b) Find the uniform minimum variance unbiased estimator (UMVUE) of . Be sure to justify your answer.
(c) Find the Cramér-Rao lower bound for the variance of unbiased estimator of .
登入後即可作答並保存紀錄。
本題考察了參數估計的幾個重要概念,包括轉換變數的分布、動差估計量 (Method of Moments Estimator, MOM)、均勻最小變異數不偏估計量 (Uniform Minimum Variance Unbiased Estimator, UMVUE),以及 Cramér-Rao Lower Bound (CRLB)。
(a) 證明 的分布,並求 的動差估計量
首先,我們需要找到變數變換 的機率密度函數 (pdf)。
給定的 pdf 是 ,其中 且 。
這是一個 Beta 分布 的形式。
令 。
則 。
當 時,。當 時,。
所以 的取值範圍是 。
變數轉換的雅可比行列式 (Jacobian) 的絕對值為:
。
將 代入 pdf:
,其中 。
這個 pdf 對於 是指數分布的 pdf,其參數為 。
指數分布的期望值為 。
尋找 的動差估計量 (MOM estimator)
動差估計量是基於將樣本動差與對應的族群動差相等來求解參數。
我們需要計算 的一階動差 (期望值)。
。
樣本的一階動差是 。
令族群動差等於樣本動差:
。
另一種方法是使用 的動差。
。
樣本的一階動差是 。
令族群動差等於樣本動差:
。
這兩種動差估計量是等價的。因為 ,所以 。
。
所以 。
【答案】 , 或 。
(b) 尋找 的 UMVUE
我們需要尋找 的 UMVUE。
根據結果 (a),我們知道 服從參數為 的指數分布,即 。
其 pdf 為 ,。
對於指數分布,其均值是 ,方差是 。
所以,我們正在尋找 的方差的 UMVUE。
根據統計學理論,對於指數族分布,通常可以通過充分統計量來找到 UMVUE。
的 pdf 是 。
樣本的聯合 pdf 為 。
這是指數族形式:。
在這裡, (對於 ),, 。
因此, 是 的一個充分統計量 (sufficient statistic)。
根據 Lehman-Scheffé 定理,如果我們能找到一個統計量 滿足:
- 是 的無偏估計量。
- 是充分統計量。
那麼 就是 的 UMVUE。
在這裡,我們想找到 的 UMVUE。
我們知道 。
所以, 是 的無偏估計量。
也是一個充分統計量(因為它是 的函數)。
因此, 是 的 UMVUE。
現在我們需要 的 UMVUE。
我們知道 。
我們需要尋找一個統計量 使得 。
對於指數分布 ,其 pdf 為 。
。
第 3 題
Let be a random sample from a uniform distribution .
(a) Let . Find the distribution of .
(b) Find the confidence interval for .
登入後即可作答並保存紀錄。
本題主要考驗對均勻分布樣本最大值的分布推導,以及如何基於此建立參數 的信賴區間。
(a) 求 的分布
設 為來自 的隨機樣本。其機率密度函數 (pdf) 為 ,對於 ,否則為 0。
令 。
我們首先推導 的累積分布函數 (CDF),記為 。
當且僅當所有 。
。
由於 是獨立同分布的,
。
對於 ,其 CDF 為 。
因此,
,對於 。
如果 ,則 。
如果 ,則 。
所以, 的 CDF 是:
。
現在我們要求 的分布。
。
令 。
若 ,則 (因為 ),此時 。
若 ,則 ,此時 。
若 ,則 ,此時 。
所以, 的 CDF 是:
。
這是一個 Beta 分布 的 CDF,或者一個 分布的 次方。
的 pdf 為 ,對於 ,否則為 0。
【答案】 的 CDF 為 for 。其 pdf 為 for 。
(b) 求 的 信賴區間
我們使用 的分布來構建信賴區間。
(這句話不準確,應該是 的 CDF 是 for )。
for .
我們需要找到一個區間 使得 。
我們從 的 CDF 導出 。
我們可以選擇一個常數 使得 。
。
所以,。
這意味著 。
這給了我們一個單邊的置信區間。
更常見的做法是構造一個對稱的區間,或者基於 UMVUE。
考慮 。
。
我們也可以利用 的分布。
for .
.
.
為了構造信賴區間,我們通常尋找一個基於 和 的量,其分布不依賴於 。
我們已經找到 具有不依賴於 的分布 for .
我們可以尋找一個區間 使得 。
(注意這裡是指 )。
。
一個常見的方法是尋找使得尾部機率相等的 和 。
例如,我們可以選擇 和 使得 和 。
。
。
那麼 。
所以,我們有:
。
。
。
這給出了一個信賴區間:
。
這個區間是 的信賴區間。
然而,題目問的是 的信賴區間,通常是指標準形式。
另一種常見的構造方法是利用 的 CDF。
.
.
.
我們希望找到 和 使得 。
我們知道 。
我們可以尋找 使得 和 。
第 4 題
Testing the value of the parameter of a Bernoulli distribution with 5 trials. Let be the number of successes, then . To test vs. .
(a) When , reject . Find the significant level .
(b) Find the probability of type II error.
(c) Find the power of the test.
(d) When hypothesis test: vs. with the same significant level given in Question(a), find the rejection region.
(e) When hypothesis test: vs. with the same significant level given in Question(a), find the .
登入後即可作答並保存紀錄。
核心觀念
令 表示 5 次試驗中的成功次數,則
其機率質量函數為
本題涉及:
- 顯著水準 :在 為真時錯誤拒絕 的機率。
- 型二錯誤 :在 為真時未拒絕 的機率。
- 檢定力:在 為真時拒絕 的機率,等於 。
- 對於 的左尾檢定,較小的 值代表較支持 ,因此拒絕域應位於 的左側。
(a) 顯著水準
題目指定當
時拒絕 ,因此拒絕域為
在 下,
故顯著水準為
計算得
因此,
(b) 型二錯誤的機率
本題的對立假設指定為
拒絕域為 ,所以未拒絕 的區域為
型二錯誤是 為真時未拒絕 ,因此
在 下,。利用補事件計算:
其中
以及
因此
故型二錯誤的機率為
(c) 檢定力
檢定力是 為真時拒絕 的機率:
由於 ,因此
也可利用檢定力與型二錯誤的關係:
因此,
第 5 題
True or False
(a) In hypothesis test, , where is empty set.
(b) In hypothesis test, significance level can be set as any value ranged by .
(c) To test whether the means of K populations are equal, if we have 1st and 2nd populations have significant different means by t-test, the F-test of one-way ANOVA will also reject .
(d) In one-way ANOVA, the denominator and the nominator of F test statistic are independent.
(e) In hypothesis test, "do not reject " is equivalent to " is true".
登入後即可作答並保存紀錄。
本題為判斷題,旨在檢驗對假設檢定基本概念的理解。
(a) 判斷 是否正確
在假設檢定中, (虛無假設) 和 (對立假設) 是互斥且窮盡的。
是我們試圖證偽的陳述,而 是我們在拒絕 時採取的陳述。
這兩個假設不能同時為真。如果 為真,那麼 就不為真;如果 為真,那麼 就不為真。
因此, 和 的參數空間是互斥的。
例如,檢定 vs 。
這裡 的參數空間是 ,而 的參數空間是 。兩者沒有交集,所以 。
這句話是正確的。
【答案】 True
(b) 判斷顯著水準 的取值範圍
顯著水準 是拒絕 的機率,當 為真時。
的值必須大於 0,因為如果 ,則永遠不會拒絕 ,這沒有意義。
的值必須小於 1。如果 ,則總是拒絕 ,這也是沒有意義的。
統計上,顯著水準通常取 , , 等值。
因此,顯著水準 必須嚴格介於 0 和 1 之間,即 。
這句話是正確的。
【答案】 True
(c) 判斷單因子變異數分析 (ANOVA) 與 t-檢定之間的關係
對於比較兩組樣本的均值,單因子變異數分析 (ANOVA) 和獨立樣本 t-檢定是等價的。
當比較 個族群的均值時,ANOVA 的虛無假設是 。
如果 ANOVA 的 F 檢定拒絕了 ,這意味著至少有一對族群的均值是不同的。
然而,ANOVA F 檢定本身並不能告訴我們哪一對族群的均值有顯著差異。
t-檢定用於比較兩個族群的均值。
如果我們對每一對族群都進行 t-檢定,可能會有多重比較的 P-value 問題。
題目說「如果我們有 1st 和 2nd 族群有顯著不同的均值 by t-test,則 ANOVA 的 F-test 也會拒絕 」。
這句話的邏輯是反的。
正確的說法應該是:如果 ANOVA 的 F-test 拒絕了 ,則表示至少有一對族群的均值有顯著差異。如果我們對其中的一對族群(例如第 1 和第 2 族群)進行 t-檢定,且該 t-檢定結果顯著,那麼這與 ANOVA 的結果是一致的。
但是,題目描述的是「先用 t-test 發現 1st 和 2nd 族群有顯著差異,然後 F-test 也會拒絕 」。
如果第 1 和第 2 族群的均值顯著不同,那麼 (其中 ) 就很可能被拒絕 (除非 且其他族群的均值恰好非常接近,使得整體 F 檢定不顯著,但這種情況非常罕見)。
一般情況下,如果其中兩個族群的均值差異很大,ANOVA 的 F 檢定通常也會顯著。
然而,這句話的表述方式有點令人困惑。
第 6 題
Let be i.i.d. Poisson(), where , .
To test vs. .
(a) Using Neyman-Pearson Lemma to find the UMP test with significant level .
(b) Find the generalized likelihood ratio test with significant level .
登入後即可作答並保存紀錄。
本題考驗對 Poisson 分布的假設檢定,特別是關於單邊檢定,包括使用 Neyman-Pearson Lemma 尋找最優檢定 (UMP test),以及廣義概似比檢定 (Generalized Likelihood Ratio Test, GLRT)。
給定 for ,且 獨立同分布。
虛無假設 。
對立假設 。
顯著水準為 。
(a) 使用 Neyman-Pearson Lemma 尋找 UMP 檢定
Neyman-Pearson Lemma 用於尋找最優的單邊檢定。
對於單一參數族,當 是單邊的(例如 或 ),UMP 檢定通常存在。
Poisson 分布的機率質量函數 (pmf) 為 。
樣本的聯合 pmf 為:
。
Neyman-Pearson Lemma 告訴我們,最優檢定是基於概似比 (likelihood ratio) 的。
概似比為 ,其中 是 中的一個值。
在這裡, 是 ,所以我們應該考慮一個通用的 。
在這種情況下,我們尋找一個檢定統計量,使得當 偏離 時,統計量的值會增大。
对于單邊檢定 vs ,UMP 檢定是基於概似比 的。
。
這個比值對於 是單調遞增的。
Neyman-Pearson Lemma 表明,存在一個常數 使得當 時拒絕 。
然而,對於單邊檢定,我們通常直接考慮檢定統計量。
一個更直接的方法是考慮充分統計量。
對於 Poisson 分布, 是 的充分統計量。
我們需要找到一個關於 的函數,其值越大表示 越大的可能性越大。
考慮對數概似比:
。
對於 ,這個對數概似比是關於 的遞增函數,也是關於 的遞增函數。
所以,UMP 檢定是基於 的。
我們需要找到一個常數 使得 。
如果樣本總和 大於某個臨界值 ,則拒絕 。
當 ,則 。
在 下,。
所以,UMP 檢定是:拒絕 如果 ,其中 是由 決定的。
【答案】 UMP 檢定是:拒絕 如果 ,其中 是由 決定的。
(b) 尋找廣義概似比檢定 (GLRT)
廣義概似比檢定 (GLRT) 的統計量是:
。
其中 是 下的參數空間, 是所有參數的空間。
我們拒絕 如果 小於某個臨界值。
GLRT 統計量通常寫成 ,其中 是在 條件下 MLE, 是在 下的 MLE。
在這裡,,所以 .
。
我們需要找到 在 下的最大值。
。
為了最大化 ,我們最大化對數概似函數 。
。
令 。
第 7 題
Two populations have equal variance and have means and , separately. We have random sample from population 1 and random sample from population 2.
There are two methods to test vs , one is t-test of two unpaired populations, the other is F test of one-way ANOVA.
(a) Separately write down the test statistics of t-test and F-test.
(b) Which distributions do the test statistics of t-test and F-test separately follow?
(c) Show that , where is the test statistic of t-test and is the test statistic of F-test. (show the deriving detail)
登入後即可作答並保存紀錄。
本題主要考驗對獨立樣本 t-檢定和單因子變異數分析 (ANOVA) 的理解,特別是它們之間的關係,以及在比較兩組樣本均值時的等價性。
假設有兩個獨立的族群,族群 1 的均值為 ,變異數為 ;族群 2 的均值為 ,變異數為 (變異數相等)。
我們從族群 1 抽取樣本 ,樣本均值為 ,樣本變異數為 。
我們從族群 2 抽取樣本 ,樣本均值為 ,樣本變異數為 。
檢定 vs 。
(a) 分別寫出 t-檢定和 F-檢定的檢定統計量
t-檢定 (獨立雙樣本 t-檢定)
當兩個族群的變異數相等時,我們使用合併變異數 (pooled variance) 的 t-檢定。
合併樣本變異數 。
t-檢定的統計量為:
。
在檢定 時,。
所以,t-檢定的統計量為:
。
F-檢定 (單因子變異數分析 ANOVA)
單因子變異數分析用於比較 個族群的均值。在這裡,。
ANOVA 的 F 統計量是組間均方 (MSB) 與組內均方 (MSW) 的比值。
MSB ,其中 是組間平方和。
MSW ,其中 是組內平方和, 是總樣本數。
對於 的情況:
,其中 是總樣本均值。
MSB 。
。
MSW 。
F 統計量為:
。
【答案】
t-檢定統計量: ,其中 。
F-檢定統計量: ,其中 且 。
(b) 說明 t-檢定和 F-檢定統計量各自遵循的分布
t-檢定
在 為真,且族群變異數相等且未知時,t-檢定統計量 遵循自由度為 的 t-分布。
。
F-檢定
在 為真,且族群變異數相等且未知時,F-檢定統計量 遵循自由度為 的 F-分布。
。
第 8 題
If gene frequencies are in equilibrium, the genotypes AA, Aa, and aa occur in a population with frequencies , , and , according to the Hardy Weinberg law.
For a contingency table with observed counts :
(a) If , find the MLE of (in terms of ).
(b) Using Chi-square test to test vs. . What is the statistic test?
(c) What are the dimensions of and , separately? What is the degree of freedom of Chi-square test in Question(b)?
登入後即可作答並保存紀錄。
核心觀念
本題結合三個觀念:
-
Hardy–Weinberg 平衡下,三種基因型的機率為
-
四格計數服從多項分配。題目中的
Multinormal應理解為Multinomial: -
因為 與 只以總和出現,所以檢定時應將兩者合併為雜合子類別:
因此,實際上使用三類資料:
(a) 的最大概似估計量
令
三種基因型的機率分別為
忽略與 無關的常數後,概似函數為
取對數概似:
對 微分:
令導數等於零:
整理得
由於
所以
這正是樣本中 等位基因的比例:同型合子 提供兩個 ,雜合子提供一個 。
因此,
(b)卡方檢定統計量
檢定
對上
在 下,三種基因型的期望次數為
因此 Pearson 卡方統計量為
在大樣本下,若 成立,則