108 年 國立臺灣大學農藝系暨研究所生物統計乙組《統計理論》
第 1 題
Let A, B, C are independent events with , , . Find the following probabilities:
(a) At least one of the 3 events occur. (5 points)
(b) Exactly one of three events occur. (5 points)
登入後即可作答並保存紀錄。
本題主要考驗獨立事件的機率計算。
核心觀念:獨立事件的機率乘法法則,以及事件的聯集與餘集的機率關係。
(a) 求至少一個事件發生的機率。
我們知道 A, B, C 是獨立事件,所以它們的補集 也是獨立事件。
至少一個事件發生的機率,可以透過計算「所有事件都不發生」的機率,然後用 1 減去它來得到。
因為 A, B, C 獨立,所以 也獨立。
(由於獨立性)
【答案】0.82
第 2 題
Suppose that is a random sample of size from an Exponential distribution with pdf
(a) Find the pdf of the minimal order statistic, . (5 points)
(b) Find an unbiased estimator of based on and show whether the estimator is consistent. (5 points)
(c) Find a better estimator than the one in part (b). Prove that it is better. (5 points)
登入後即可作答並保存紀錄。
核心觀念
本題考查以下統計觀念:
- 最小次序統計量的分布:
- 指數分布的尾端機率、期望值與變異數。
- 不偏估計量的定義:
- 一致估計量的判定,可利用變異數是否趨近於 。
- 以完整樣本資訊所構成的估計量,通常會比只使用最小值更有效率。
已知 服從尺度參數為 的指數分布:
因此
且
(a)求最小次序統計量 的機率密度函數
令
先求其累積分布函數。對於 ,
由於 為隨機樣本,彼此獨立,所以
因此
對 微分即可得到機率密度函數:
若 ,由於 ,故密度為 。因此
所以
(b)根據 找出 的不偏估計量,並判定其一致性
第一步:求 的期望值與變異數
由於 為尺度參數 的指數分布,
以及
第二步:構造不偏估計量
考慮估計量
其期望值為
因此 是 的不偏估計量:
其變異數為
第三步:判定一致性
若估計量一致,通常需滿足
由於 不偏,其均方誤差為
此均方誤差不隨 趨近於 ,所以 不具一致性。
也可直接觀察其分布。因為
將 乘以 後,
其分布不會隨樣本數增加而集中到 ,因此:
第 3 題10 分
Suppose that and are independent random variables, each uniformly distributed on the interval . Let and . Find the distributions of and . (10 points)
登入後即可作答並保存紀錄。
核心觀念
本題考查:
- 聯合密度函數的建立;
- 變數變換與 Jacobian;
- 由聯合密度積分求邊際密度;
- 依變數的可行範圍分段處理。
因為 相互獨立,且皆服從 ,所以
因此聯合密度為
也就是在單位正方形 上均勻分布。
解題方法:二維變數變換
定義
由
反解得
Jacobian
計算反變換的 Jacobian:
所以
的可行範圍
由 與 :
等價於
因此 的聯合密度為
在可行範圍內,,故
幾何上,原本的單位正方形經過變數變換後,轉換成 平面上的菱形。接著分別對另一個變數積分即可得到 與 的邊際密度。
的分布
由 、 可知
固定 時,條件 的範圍為
其長度為
因此
所以 的機率密度函數為
亦可寫成
第 4 題
The independent random variables have the common distribution
where the parameters and are positive.
(a) Find the sufficient statistic for . (5 points)
(b) Find the MLEs of and . (5 points)
(c) Assume that is known and equal to its MLE, . Find an upper confidence
limit for with 95% confidence level. (5 points)
登入後即可作答並保存紀錄。
核心觀念
本題考查:
- Neyman–Fisher factorization theorem 判斷充分統計量。
- 由 likelihood function 求最大概似估計量(MLE)。
- 利用最大次序統計量的分布建立信賴上限。
- 辨識「參數未出現在分布中」所造成的不可識別問題。
題目給定的累積分布函數為
因此 服從 ,其機率密度函數為
注意:題目雖列出參數 ,但給定的分布完全沒有出現 。因此 對此分布沒有影響,屬於不可識別參數;以下依題目原文作答。
(a)充分統計量
由於 相互獨立,聯合機率密度函數為
其中
由於觀察值必須滿足 ,且所有 等價於 ,故
依 Neyman–Fisher factorization theorem,可寫成
因此, 是 的充分統計量。
由於 未出現在 likelihood 中,資料對 不提供任何辨識資訊。
(b) 與 的 MLE
的 MLE
likelihood function 中完全沒有 :
因此對所有 ,likelihood 的值都相同。故 的最大概似估計量不唯一:
換言之, 沒有唯一的 MLE;任意正數均可作為 的最大概似估計值。
的 MLE
固定觀察值 ,likelihood 對 為
在允許範圍 上,
因此 likelihood 隨 增加而遞減,最大值會出現在允許範圍的最小值:
第 5 題4 分
State “Neyman-Pearson Lemma”.
登入後即可作答並保存紀錄。
核心觀念
Neyman–Pearson 引理說明:在檢定兩個簡單假設時,固定第一類錯誤機率上限 ,以概似比作為拒絕依據的檢定,能使檢定力最大。
設
且樣本 在兩假設下的機率密度函數分別為 與 。定義概似比
檢定的大小(size)是 為真時拒絕 的機率;檢定力(power)是 為真時拒絕 的機率。
解題方法與引理敘述
Neyman–Pearson 引理的標準形式如下:
對於檢定簡單假設 與 ,在所有大小不超過 的檢定中,最強力檢定(most powerful test)依照概似比 決定拒絕域。也就是存在常數 ,使檢定在
時拒絕 ,在
時不拒絕 ;在概似比等於 的邊界上,必要時以隨機方式拒絕 ,使檢定大小恰為 。此檢定在所有大小不超過 的檢定中具有最大的檢定力。
若概似比的分布在臨界值處沒有機率質量,通常不需要邊界隨機化。若有機率質量,則可令邊界上的拒絕機率為 ,用以達到指定的檢定大小。
為何此檢定最強力
第 7 題18 分
If are identical and independent r.v.’s from normal distribution with pdf
where .
When , and .
(a) Using Neyman-Pearson Lemma to construct the most powerful (MP) test for testing against , at level of significance . (3 points)
(b) Find the power of the MP test of part (a). (3 points)
(c) Explain that the uniformly most powerful (UMP) test for testing against , at level of significance , is the same as the MP test of part (a). (3 points)
(d) Explain that the uniformly most powerful (UMP) test for testing against , at level of significance , is the same as the MP test of part (a). (3 points)
(e) State the “unbiased test at level of significance ”. (3 points)
(f) Construct the uniformly most powerful unbiased (UMPU) test for testing against , at level of significance . (3 points)
登入後即可作答並保存紀錄。
核心觀念
本題考查 Neyman–Pearson 引理、單側檢定的單調概似比,以及無偏檢定與 UMPU 檢定。因為母體變異數已知,樣本平均數是檢定統計量:
因此, 的標準誤為 ,且在 下,
(a) 以 Neyman–Pearson 引理構造 MP 檢定
對觀察值 ,在 與 下的概似比為
概似比隨著 遞增。依 Neyman–Pearson 引理,最強力檢定在 足夠大時拒絕 。
在 下,。題目給定 ,故令檢定大小為 的臨界值為 :
等價地,拒絕域可寫為
(b) MP 檢定的檢定力
在 下,。因此,(a) 的檢定力為
所以此檢定在 時的檢定力約為 。
(c) 為何 對 的 UMP 檢定相同
對任意固定的 ,概似比為
當 時,此概似比隨 遞增。這個一參數常態模型具有單調概似比,因此依單調概似比檢定定理,對 對 ,以大樣本總和作為拒絕依據的檢定是 UMP。
在顯著水準 下,其拒絕域與 (a) 相同:
第 8 題12 分
Let be a sample from with pmf
If is the set consisting of nonnegative numbers that sum to , to test the hypothesis
against :
(a) What are the dimensions of and , respectively? (4 points)
(b) Derive the generalized likelihood ratio statistic . (3 points)
(c) What is the asymptotic distribution of under when is large? (2 points)
(d) Show that is asymptotically equivalent to Pearson’s chi-square test:
where and denote the observed and expected counts, respectively. (3 points)
登入後即可作答並保存紀錄。
核心觀念
本題考查多項分配的概似比檢定、參數空間維度,以及概似比檢定統計量與 Pearson 卡方統計量的漸近關係。
六個機率滿足 ,因此完整參數空間 有 個自由參數。虛無假設把六個機率都固定為 ,所以 是一個單點,維度為 。
概似比統計量定義為
在正則條件成立時,Wilks 定理指出 在虛無假設下漸近服從卡方分配,其自由度為完整模型與虛無模型的維度差。
解題方法與推導
(a) 參數空間的維度
完整參數空間為
六個參數受一個獨立的總和限制,因此
虛無假設指定唯一一組參數:
故
(b) 推導概似比統計量
令觀察到的次數為 ,且 。概似函數為
在完整模型中,多項分配的最大概似估計為
在虛無假設下,。因為兩個概似函數中的多項係數相同,計算比值時會抵消,因此
若 ,相應的概似項依慣例取 ,亦即該項對數貢獻為 。
取負二倍對數,得到
(c) 虛無假設下的漸近分配
兩模型的維度差為
依 Wilks 定理,在 成立且 夠大時,
(d) 與 Pearson 卡方統計量的漸近等價
第 9 題12 分
Let be independent random variables from with pmf
If is the set consisting of nonnegative numbers, to test the hypothesis
against :
(a) What are the dimensions of and , respectively? (4 points)
(b) Derive the generalized likelihood ratio statistic . (3 points)
(c) What is the asymptotic distribution of under when is large? (2 points)
(d) Show that is asymptotically equivalent to Pearson’s chi-square test:
where and denote the observed and expected counts, respectively. (3 points)
登入後即可作答並保存紀錄。
核心觀念
本題考查廣義概似比檢定、參數空間的維度,以及概似比統計量與 Pearson 卡方統計量的漸近關係。廣義概似比定義為
虛無假設限制六個 Poisson 平均數相等,因此虛無模型有一個自由參數;完整模型有六個自由參數。兩者參數個數之差為 ,也是檢定統計量漸近卡方分布的自由度。
解題方法與推導
令觀察值為 ,總計數為 。獨立 Poisson 變數的概似函數為
在完整模型 下,各參數的最大概似估計量為 。在虛無假設 下,令 ,則
因此,虛無模型下每格的期望計數為
(a) 參數空間的維度
完整參數空間 由六個非負參數 組成,因此
虛無假設要求六個參數相等,只剩共同參數 可變,因此
(b) 廣義概似比統計量
將兩模型的最大概似值相除,得到
因為 ,指數項相消,階乘項也相消,所以
當 時,採用慣例 。因此
True or False. (4 points, 1 point for each)
第 6-(a) 題1 分
For a test statistic, when the critical value is adjusted to increase the probability of type I error, the probability of type II error always decreases or remains the same.
登入後即可作答並保存紀錄。
核心觀念
第一類錯誤機率 是虛無假設 為真時,錯誤拒絕 的機率;第二類錯誤機率 是備擇假設 為真時,未拒絕 的機率。檢定力則為 。
對固定的檢定統計量與備擇假設,若調整臨界值會擴大拒絕域,則較容易拒絕 : 會增加,檢定力不會降低,因此 不會增加。
解題方法
設原拒絕域為 ,調整後的拒絕域為 ,且臨界值的調整使拒絕域擴大,即 。則:
而在 為真時,第二類錯誤機率是落在拒絕域之外的機率:
第 6-(b) 題1 分
The -value is dependent with the level of significance .
登入後即可作答並保存紀錄。
核心觀念
值是在虛無假設 成立時,取得「與觀察結果同樣極端或更極端」之檢定統計量的機率。給定資料、檢定統計量及檢定方法後, 值即已決定。
顯著水準 是事先設定的判斷門檻。兩者的關係是:
解題方法
區分「證據的量化」與「決策門檻」: 值量化觀察資料對 的反對證據; 則決定多大的證據足以拒絕 。因此,固定資料與檢定方法時,改變 會改變檢定結論,不會改變已算出的 值。
第 6-(c) 題1 分
If a test rejects at significance level , then the -value is less than or equal to .
登入後即可作答並保存紀錄。
核心觀念
值是:在虛無假設為真時,觀察到目前結果或更極端結果的機率。檢定的顯著水準 是事先設定的拒絕門檻;採用標準決策規則時,當
便拒絕虛無假設。
解題方法
題目指出檢定在顯著水準 下拒絕。依標準決策規則,拒絕代表觀察到的 值不超過該檢定的顯著水準,因此
第 6-(d) 題1 分
The generalized likelihood ratio is never larger than .
登入後即可作答並保存紀錄。
核心觀念
廣義概似比(generalized likelihood ratio, GLR)比較虛無假設下的最大概似值與整個參數空間中的最大概似值。設虛無假設限制的參數空間為 ,完整參數空間為 ,且 ,則
由於 是 的子集合,在 上能取得的最大概似值不會大於在整個 上能取得的最大概似值,因此