115 年 國立成功大學統計學研究所《數理統計(含機率概論)》
第 1 題15 分
Let be a random sample from a population with pdf
Find, if one exists, an uniformly minimum variance unbiased estimator of .
登入後即可作答並保存紀錄。
核心觀念
本題旨在求非正則母體(支撐集依賴未知參數 )參數的「均勻最小變異不偏估計量」(Uniformly Minimum Variance Unbiased Estimator, UMVUE)。涉及的核心觀念包含:
- 充分統計量(Sufficient Statistic):利用奈曼-費雪因式分解定理(Neyman-Fisher Factorization Theorem)找出 的充分統計量。
- 完備統計量(Complete Statistic):檢驗充分統計量的完備性。
- 雷曼-薛費定理(Lehmann-Scheffé Theorem):若 是參數 的完備充分統計量(Complete Sufficient Statistic),且存在某一函數 滿足 ,則 為 唯一的 UMVUE。
解題方法
步驟一:找出 的充分統計量
母體機率密度函數(pdf)為:
隨機樣本 的聯合機率密度函數(joint pdf)為:
因為所有 成立的充要條件是其最大值小於 ,即 ,故聯合 pdf 可改寫為:
令統計量 。根據奈曼-費雪因式分解定理,聯合 pdf 可分解為只含 與 的函數以及不含 的函數之乘積,因此:
步驟二:求 的抽樣分配並驗證完備性
令 。由於 ,利用變數變換或幾何機率易得 的累積分布函數(cdf)為:
即 (獨立同分布,i.i.d.)。
統計量 為其極大順序統計量,其累積分布函數 為:
第 2 題15 分
Find if and are jointly distributed with pdf
登入後即可作答並保存紀錄。
核心觀念
-
二維隨機變數的機率計算:
若連續型隨機向量 具有聯合機率密度函數(joint pdf),則事件 的機率為聯合 pdf 在事件區域上的重積分: -
積分區域的幾何判定與積分順序互換(Fubini's Theorem):
計算雙重積分時,選擇適當的積分次序(先對 積分或先對 積分)能大幅簡化計算難度。本題中,若先對 積分,可直接利用指數函數反導函數的特性,避開複雜的分部積分。 -
高斯型尾端積分與標準常態分佈:
形式為 之積分無初等函數形式,研究所考試中標準表示法為化為標準常態分佈之累積分配函數 、互補誤差函數 ,或不完全伽瑪函數(Incomplete Gamma Function)。
解題方法
步驟一:確定聯合支撐集(Support)與目標事件區域
由題目給定之聯合 pdf:
欲求事件為 。
因為在支撐集內 ,故不等式 兩邊平方等價於:
結合原支撐集的限制條件 與 ,事件區域 可表示為:
步驟二:分析分界點並分割積分區間
比較 與 的大小關係:
- 當 時:,因此 。此時 的範圍為 。
- 當 時:,因此 。此時 的範圍為 。
步驟三:設立雙重積分(先對 積分)
將積分區域依 與 分割為兩部分相加:
分別計算內部對 的積分:
- 第一項之內部積分:
- 第二項之內部積分:
步驟四:計算外部對 的積分
- 計算第一項:
第 3 題15 分
Let be a iid .
(a) Find the Cramer-Rao lower bound (CRLB) for any unbiased estimator.
(b) Find the unbiased estimator based on the maximum likelihood estimator.
(c) Evaluate the variance of (b). Does this variance attain the CRLB? Explain the reason.
登入後即可作答並保存紀錄。
核心觀念
本題探討**非正則統計模型(Non-regular model)**的點估計問題,核心概念涵蓋:
- Cramér-Rao 不等式(Cramér-Rao Inequality)的正則條件(Regularity Conditions):
- 傳統 Cramér-Rao 下界(CRLB)成立的前提之一,為支撐集(Support)不得依賴未知參數 (即 之微積分交換條件成立)。
- 當支撐集與參數有關(如 的支撐集為 )時,正則條件不滿足,CRLB 不存在(或不適用);若形式上硬套微商與 Fisher Information 的定義計算,將得到無效或矛盾的結果。
- 極大概似估計量(MLE):
- 均勻分配 的概似函數為單調遞減函數,其 MLE 發生於邊界點,即最大順序統計量 。
- 順序統計量(Order Statistics)之抽樣分配:
- 設 ,則 的機率密度函數(pdf)為:
- 由此可推導其期望值與變異數,並調整常數建構出不偏估計量(UMVUE)。
解題方法與推導
(a) Find the Cramer-Rao lower bound (CRLB) for any unbiased estimator.
令 。
其支撐集為 ,明顯相依於未知參數 。
因此,積分與微分的對調條件:
不滿足。Cramér-Rao Regularity Conditions 被破壞,故嚴格而言 CRLB 並不存在(Does not exist / Not applicable)。
補充說明(形式推導之陷阱):
若在忽略支撐集相依性下形式套用公式,令單一樣本的 (在 內),則:形式計算之 Fisher 訊息量為:
則「形式上的 CRLB」為:
但必須特別強調:此形式推導在數學上並不成立,標準的數理統計理論認定此題的 CRLB 不適用(Not applicable)或不存在(Does not exist)。在考卷作答時,應同時指出「正則條件不符故不存在」,並附上若命題者疏忽正則條件時可能預期的「形式解 」,方可確保萬無一失。
(b) Find the unbiased estimator based on the maximum likelihood estimator.
-
求 MLE:
樣本的概似函數為:當 時, 為 的嚴格遞減函數;當 時,。
因此,概似函數在邊界點 達到最大值: -
計算 並進行偏誤修正:
令 ,其累積分配函數為:微分得 pdf:
第 4 題15 分
For the three-stage hierarchical model
Evaluate and .
登入後即可作答並保存紀錄。
核心觀念
本題屬於**階層模型(Hierarchical Models)**中條件期望值與條件變異數的經典應用,主要考驗以下三大機率與數理統計核心定理及性質:
-
疊代期望值法則(Law of Iterated Expectations / Adam's Law):
-
全變異數公式(Law of Total Variance / Eve's Law):
-
全共變異數公式(Law of Total Covariance):
-
波氏稀疏性質(Poisson Thinning Property):
若 且 ,則 。 -
Gamma 分布的參數化慣例:
在國內數理統計主流教材(如 Casella & Berger)中, 預設 為尺度參數(Scale parameter),其機率密度函數為 ,此時期望值為 ,變異數為 。(若依率參數 (Rate parameter)定義,則 、)。
解題方法
步驟一:推導 的條件期望值與條件變異數
由題目已知階層結構:
根據疊代期望值法則,給定 下 的條件期望值為:
根據全變異數公式,給定 下 的條件變異數為:
將各項代入:
亦可直接由「波氏稀疏(Poisson Thinning)」性質得知:二項抽樣下的波氏隨機變數 服從 ,故其條件平均值與條件變異數皆直接等於 。
步驟二:計算
再次利用全變異數公式,將對象由條件變異數推廣至無條件變異數:
將步驟一之結果代入:
已知 (以尺度參數 為準):
第 5 題10 分
Let has pdf , . Find the value of that makes a pdf. Then, find the pdf of .
登入後即可作答並保存紀錄。
核心觀念
本題評量數理統計學中兩大基石概念:
- 機率密度函數(Probability Density Function, pdf)的定義性質:
若函數 為連續型隨機變數 的合法 pdf,必須同時滿足下列兩項公理條件:- 非負性(Non-negativity):對所有 ,恆有 。
- 正規化條件(Total Probability):全空間積分必為 ,即 。
- 非單調隨機變數變換(Transformation of Non-monotonic Variables):
當轉換函數 在 的支撐集(Support)上非一對一(非單調)時,無法直接使用單變數變換的 Jacobian 公式,應採用累積分布函數法(CDF Technique):先求出 ,再對 微分求得 。
解題方法與推導步驟
第一部分:求常數
根據機率密度函數的正規化條件:
展開積分計算:
代入上下限:
令全機率為 :
觀念補充與命題剖析:
嚴格依據機率公理檢驗,當 時,;當 時,。由於 在區間內變號,嚴格來說不存在任何實數常數 能保證 於 恆成立(此為歷屆試題常見之命題瑕疵,原題設計僅考量積分為 之幾何代數計算)。考場作答應依命題者原意,取正規化條件解 ,並接續推導後續分布。
第二部分:求 的 pdf
-
確定 與 的支撐集(Support):
- 隨機變數 。
- 因 ,故 的取值範圍為 。
-
區間分割與累積分布函數 的建立:
事件 即 ,其在實數軸上的對應集合為 。將此集合與 的支撐集 取交集:- 當 時,。
- 當 時: 且 , 的積分範圍為 。
- 當 時:,由於 的上限僅到 ,故 的有效積分範圍截斷為 。
- 當 時,。
-
分段計算 並微分求 :
- 情況一:當 時 利用對稱性(奇函數 在對稱區間積分為 ,偶常數 積分為 ): 兩邊對 微分:
第 6 題15 分
Let be a random sample from a population. Consider testing
Show that the test
is not a size test.
登入後即可作答並保存紀錄。
核心觀念
- 檢定之大小(Size of a Test):
設檢定函數為 ,型 I 錯誤機率函數為 ,則此檢定之大小定義為虛無假設參數空間 上的型 I 錯誤機率之上確界(Supremum): 此處虛無假設空間為 。 - 區間虛無假設檢定之棄拒域結構:
題目給定之檢定其拒絕域可拆分為兩個互斥事件的聯集: - Student's 分配之性質:
在常態母體 下,隨機變數 。且機率 隨 嚴格遞增; 隨 嚴格遞減。
解題方法
題目之檢定拒絕域為:
其中
由於 且 、,故:
事件 與 為互斥事件()。因此,對任意母體平均數 ,檢定拒絕 的機率為:
步驟一:計算端點 之拒絕機率
當 時:
- 第一部分之機率:
- 第二部分之機率:
- 情況 A(若 ):
此時問題退化為雙尾檢定 。此時: 因而 ,但題意之假設為區間假設(非單點)。 - 情況 B(若 ):
由於 且 ,故隨機變數 幾乎處處成立。
由於常態母體下 的支持集為 ,該尾端機率嚴格大於 0: 由此可得端點 的型 I 錯誤機率為:
- 情況 A(若 ):
步驟二:分析虛無假設區間 內之機率
同理,在另一端點 處:
第 7 題15 分
Find a confidence interval for , given iid with pdf , .
登入後即可作答並保存紀錄。
核心觀念
- 樞紐量法(Pivotal Quantity Method):
尋找一個包含樣本與待估母數 的隨機變數 ,使得 的機率分配完全已知(不依賴任何未知母數)。利用 反解 ,即可求得其 信心區間。 - 極端值順序統計量(Order Statistics)的分配:
由於母體支撐集(support)的上界由未知母數 決定(),其充分統計量為樣本最大值 。選用以 構造的標準化量作為樞紐量,可得到最短長度或最有效率的信心區間。 - 單一觀察值與最大順序統計量的累積分布函數(CDF):
- 母體 CDF:,。
- 樣本最大值 的 CDF:,。
解題方法
步驟一:求母體累積分布函數(CDF)
由母體機率密度函數(pdf):
可得其累積分布函數(CDF):
步驟二:求最大順序統計量 的分配
令 ,其累積分布函數為:
步驟三:構造樞紐量(Pivotal Quantity)
定義隨機變數:
則 的取值範圍為 ,其 CDF 為:
因為 的機率分配不依賴未知母數 ,故 為一個合法的樞紐量。
步驟四:反解求信心區間
選取分位數常數 ,使得:
即:
將 代入不等式中並反解 :
步驟五:決定常數 與
在統計實務與考試中,常見的選法有兩種:
- 等尾選法(Equal-tailed Confidence Interval):
將型一錯誤率 平均分配在兩端: