115 年 國立臺灣大學農藝研究所生物統計學組《統計理論》
第 1 題10 分
Let and , where and are independent standard normal random variables. Find the joint density function of and . Are and independent?
登入後即可作答並保存紀錄。
核心觀念
本題使用二維變數變換:
- 先由 表示 。
- 計算雅可比行列式。
- 套用聯合密度變換公式:
- 由聯合密度是否能分解為 判斷獨立性。
需先注意:題目給定 ,但 有一半機率為負,因此 並非對所有樣本點都是實數。嚴格而言,原題未指定條件,故不存在定義於全體實數上的 的聯合密度。
以下先求在 上的密度;若將題目理解為條件於 ,再將此密度正規化即可。
解題方法
因為 為獨立標準常態變數,
由
得到
代入後可解得反變換:
其中定義域為
時代表 ,而此時 ,屬於機率為 的邊界。
雅可比行列式
由
可得
因此
另外,
所以在 上, 的聯合密度為
第 2 題10 分
Let and be random variables having the bivariate normal distribution with , and . Find the expected value of .
登入後即可作答並保存紀錄。
核心觀念
利用恆等式
因此
題目給定 ,所以關鍵在於求 的絕對值期望。若 ,則
解題方法與推導
令
因為 與 的聯合分布為二元常態分布,所以 仍為常態分布。其期望值為
其變異數為
故
第 3 題10 分
Let be the order statistics of a random sample from . Find the maximum likelihood estimators of and . Are the maximum likelihood estimators unbiased?
登入後即可作答並保存紀錄。
本題考驗順序統計量、最大概似估計量 (MLE) 的計算,以及估計量的有偏性判斷。
首先,我們需要知道均勻分佈 的機率密度函數 (PDF)。
若 ,則其 PDF 為:
在此題中,樣本來自 。
令 且 。
則 。
因此,PDF 為:
其中 (因為 且 )。
我們有來自此分佈的隨機樣本 。
令 為這些樣本的順序統計量。
順序統計量 和 包含了樣本的最小值和最大值。
對於一個來自 的樣本,其順序統計量的範圍是:
。
因此,我們有:
這給出了參數 和 的約束條件。
所以, 的取值範圍是 。
現在我們來尋找 和 的最大概似估計量 (MLE)。
樣本的聯合機率密度函數 (或稱概似函數 ),考慮到順序統計量,可以寫成:
由於 在 區間內是常數 ,其餘地方為 0。
所以,要使概似函數非零,所有樣本 必須落在 區間內。
這意味著 且 。
如果這個條件滿足,則:
我們需要最大化 對於 和 。
然而,這個函數 僅僅依賴於 。
為了最大化 ,我們需要最小化 。
我們有來自順序統計量的約束:
而且 。
所以, 必須滿足 。
為了最大化 ,我們需要找到滿足約束條件的最小 。
所以,我們應該選擇 ,其中 是一個很小的正數,保證 。
更精確地說,我們需要 且 。
這意味著 。
所以 。
同時,我們也需要 。
最大概似估計量要求最大化 。
對於給定的 和 滿足約束條件: 且 。
。
要最大化此函數,我們需要最小化 。
由 可得 。
由 可得 。
所以, 的最小值必須滿足 。
為了使 最小,我們取 。
然而,我們還需要 。
同時,我們也必須滿足 的約束:。
這意味著 。
所以 。
我們需要同時考慮 和 。
概似函數 在區域 上。
要最大化 ,我們需要最小化 。
最小的 值發生在邊界上。
邊界條件是 或 。
也就是說, 或 。
為了使 最小,我們希望 處於 和 之間。
如果我們選擇 使得 (即 是 和 的中點),那麼 將是最小的。
令 。
此時,。
且 。
所以,最小的 值是 。
這個 值同時滿足 (因為 )。
所以,最大概似估計量是:
接下來,我們需要判斷這兩個 MLE 是否無偏。
首先計算 的期望值。
。
我們知道 是來自 的最小順序統計量。
的 CDF 為 。
。
,對於 。
所以 。
,對於 。
第 4 題10 分
Let be a random sample from a population with density function
where . Find a best unbiased estimator of .
登入後即可作答並保存紀錄。
核心觀念
本題考查:
- 由樣本的聯合密度找出充分統計量。
- 利用最大值的分布計算期望值。
- 以 Lehmann–Scheffé 定理判定最佳不偏估計量(UMVU estimator)。
令
由於樣本必須滿足 ,整個樣本是否落在母體範圍內,只取決於最大絕對值 。
解題方法
一、找出充分統計量
樣本的聯合密度為
整理得
因此
其關於參數 的部分只透過 表示。根據 Neyman–Fisher 因子分解定理,
是 的充分統計量。
二、求 的分布
對於 ,
因為樣本獨立,
而 ,故
所以
微分後得到 的機率密度函數:
三、利用 建立不偏估計量
計算 的期望值:
因此
第 5 題10 分
Let be a random sample from . Consider the estimation of . Find the asymptotic relative efficiency between and .
登入後即可作答並保存紀錄。
核心觀念
本題考查:
- 一致估計量與漸近常態分布。
- Delta method。
- 漸近相對效率(asymptotic relative efficiency, ARE):
此定義建立在兩個估計量皆為 的一致估計量之上。
題目文字的關鍵問題
題目給出的
不可能用來估計 ,因為
故
因此,依題目字面, 不是 的一致估計量,標準意義下的漸近相對效率並未定義。
本題合理的原意應為常見的平均絕對值估計量:
以下依此標準形式計算。
解題方法一:計算 的漸近變異數
令
由於 ,
且
因此
所以
又
由中央極限定理,
代入 :
因此
解題方法二:計算 的漸近變異數
令
則
第 6 題10 分
Suppose that is an iid sample from a distribution with pdf
where is an unknown parameter.
(a) (10 points) Use the Chi-Square distribution table below to find the rejection region for the most powerful (MP) test of against , , at level . (Hint: )
(b) (5 points) If you observe , what is the p-value? What is your decision with the significance level of ?
(c) (5 points) What is the approximate power of the MP test at ?
(d) (10 points) Is the MP test also a uniformly most powerful (UMP) test for testing versus ? Explain it.
登入後即可作答並保存紀錄。
核心觀念
本題為數理統計學(Mathematical Statistics)中典型的「假設檢定(Hypothesis Testing)」與「均勻最強檢定(UMP Test)」綜合題型,涵蓋以下核心理論與定理:
- 伽瑪分配(Gamma Distribution)與卡方分配(Chi-Square Distribution)之關聯:
母體機率密度函數 ()屬於伽瑪分配 (以尺度參數表示)。- 若 ,則其和之分配具可加性:
- 根據尺度轉換性質,樞紐量(Pivotal Quantity)服從卡方分配:
- 奈曼-皮爾森引理(Neyman-Pearson Lemma, NP Lemma):
用於尋找簡單虛無假說對簡單對立假說(Simple vs. Simple)下的「最強檢定(Most Powerful Test, MP Test)」,其拒絕域由概似比(Likelihood Ratio)決定: - 單調概似比性質(Monotone Likelihood Ratio, MLR)與卡林-魯賓定理(Karlin-Rubin Theorem):
單參數指數族(One-parameter Exponential Family)具備單調概似比性質,可用於決定單尾對立假說之均勻最強檢定(UMP Test)。 - 雙尾對立假說下 UMP 檢定之不存在性(Non-existence of UMP Tests for Two-sided Alternatives):
在雙尾對立假說 下,因 與 之最佳拒絕域方向相反,常態族或指數族母體通常不存在 UMP 檢定,需退而求其次尋找「均勻最強不偏檢定(UMPU Test)」。
解題方法與詳細推導
1. 母體模型與充份統計量之分佈
已知樣本數 ,樣本 ,此即 。
定義統計量 :
- 根據伽瑪分配的動差母函數(MGF)或褶積性,。
- 將尺度參數轉換:
(a) 求最顯著水準 下之最強檢定(MP Test)拒絕域
針對假設:
聯合機率密度函數(Likelihood Function)為:
根據 Neyman-Pearson Lemma,最強檢定的拒絕域型式為:
將 代入,且因 ,可得係數 。兩邊取自然對數並移項化簡:
其中常數 由顯著水準 決定:
在 成立下:
因此:
拒絕域為:
(b) 計算 p-value 與檢定決策
已知觀察值 。
-
p-value 之定義:在虛無假說成立下,檢定統計量出現比目前觀察值更極端(偏向對立假說,即右尾)的機率:
-
查卡方分配表評估 p-value:
- 自由度 的卡方分配,其期望值為 。
第 6 題10 分
Suppose that is an iid sample from a distribution with pdf
where is an unknown parameter.
(a) Use the Chi-Square distribution table below to find the rejection region for the most powerful (MP) test of against , , at level . (Hint: )
(b) If you observe , what is the p-value? What is your decision with the significance level of ?
(c) What is the approximate power of the MP test at ?
(d) Is the MP test also a uniformly most powerful (UMP) test for testing versus ? Explain it.
登入後即可作答並保存紀錄。
核心觀念
本題為數理統計學中假設檢定(Hypothesis Testing)的經典題型,評量重點包含:
- 伽瑪分配(Gamma Distribution)與卡方分配(Chi-Square Distribution)的轉換:
- 隨機變數 的機率密度函數為 ,此為形狀參數 、尺度參數 的伽瑪分配,記作 。
- 伽瑪分配的可加性:若 ,則 。
- 伽瑪分配與卡方分配之關係:若 ,則 。
- 紐曼-皮爾森引理(Neyman-Pearson Lemma):
- 用於尋找簡單虛無假設對簡單對立假設下之最強檢定(Most Powerful Test, MP Test)。
- 概似比檢定統計量與拒絕域的決定。
- 值(-value)與統計決策:
- 在虛無假設成立下,觀察到比當前樣本統計量更極端(支持對立假設)事件發生的機率。
- 檢定力(Power of the Test):
- 在特定的對立假設參數值 下,正確拒絕虛無假設的機率 。
- 均勻最強檢定(Uniformly Most Powerful Test, UMP Test)之存在性:
- 雙邊對立假設(Two-sided Alternative)在單參數指數族中通常不存在 UMP 檢定。
解題方法
- 推導充分統計量與抽樣分配:
- 由 ,得樣本總和 。
- 樞紐變量(Pivotal Quantity):
- 應用 Neyman-Pearson Lemma 建構 MP 檢定:
- 計算概似比 ,分析其隨統計量 的單調性,導出拒絕域形式。
- 利用 下的卡方臨界值求出門檻常數 。
- 計算觀察樣本的 值與檢定力:
- 將 代入虛無分配計算右尾機率。
- 將 代入真實分配,標準化為 後查表計算右尾機率。
- 論證雙邊假設 UMP 檢定的存在性:
- 比較 與 之 MP 拒絕域方向,證明兩者拒絕域不一致,故不存在 UMP 檢定。
詳細解答
(a) 求水準 下檢定 vs () 的 MP 拒絕域
步驟 1:寫出概似函數與概似比
樣本 的概似函數為:
考慮檢定 與 (其中 ),概似比為:
步驟 2:決定拒絕域形式
根據 Neyman-Pearson Lemma,MP 檢定的拒絕域為:
因為 ,係數 ,故概似比是 的嚴格遞增函數。
因此,拒絕域等價於:
步驟 3:確定統計量的抽樣分配並求臨界值
已知 ,根據伽瑪分配的可加性:
由伽瑪分配與卡方分配的轉換關係:
在 成立下:
要求顯著水準 :
故 MP 檢定的拒絕域為:
(b) 若觀測到 ,求 值與統計決策
步驟 1:計算 值
本檢定為右尾檢定,在 下,檢定統計量 。
觀察值 ,其 值為:
查卡方分配自由度 之數值表: