112 年 國立臺北大學統計學系碩士班《數理統計(含機率概論)》
第 1 題20 分
Assume that random variables X, Y have a joint probability density function (pdf)
(a) Compute .
(b) Find and .
(c) Find the pdf of .
登入後即可作答並保存紀錄。
核心觀念
本題主要考查:
- 條件期望 的計算。
- 聯合密度函數的幾何積分。
- 變數變換求和 的機率密度函數。
- 由聯合密度的支撐區域判斷積分範圍。
聯合密度為常數 ,其支撐區域為
令
則
且 。由於變數變換的 Jacobian 為 , 在矩形區域 上具有常數密度 。此表示法可大幅簡化幾何計算。
(a) 計算
先求 的邊際密度:
固定 時,必須滿足
因此 的範圍分三段:
給定 後, 在可行區間上呈均勻分布,因此條件期望就是該區間的中點。
當 時:
所以
當 時:
所以
當 時:
所以
因此
端點的定義不影響答案。
(b) 求兩個機率
1. 求
利用 :
在矩形
中,事件 對應到 位於直線 上方。
其面積為
整個矩形面積為 ,且聯合密度為 ,因此
2. 求
由 :
所以事件為
在 平面上分段計算。
當 時:
區間長度為 。
當 時,下界 ,因此:
區間長度為 。
故事件區域面積為
計算得
第 2 題30 分
Let be a random sample drawn from the pdf
and denotes the corresponding distribution function.
(a) Let . Show that is a consistent estimator of .
(b) Let denote the second smallest item from this sample. Find the limiting distribution of .
(c) Find the limiting distribution of .
(d) Find the maximum likelihood estimator (MLE) of .
(e) Find an unbiased estimator of .
(f) Find the MLE of the median of the distribution.
登入後即可作答並保存紀錄。
核心觀念
本題探討具有**平移參數(Location Parameter)**的單參數指數分配(Shifted/Truncated Exponential Distribution),涉及順序統計量(Order Statistics)、極限定理(Limiting Distribution)、點估計(Point Estimation,包含一致性、不偏性、最大概似估計量 MLE)與 MLE 的不變性原理(Invariance Property)。
- 母體分配特性:
- 機率密度函數(pdf):
- 累積分布函數(cdf):,當 ;若 則 。
- 機率積分轉換(Probability Integral Transformation):。
- 順序統計量與均勻分配極限定理:
- 若 ,則其第 階順序統計量 。
- 當固定階數 且 時,。
- 一致性(Consistency):
- 檢驗估計量 是否弱一致(Weakly Consistent):。常用的充分條件為均方誤差(MSE)收斂至 0,即 且 ;亦可直接從極限分布推導機率收斂。
- 範圍與參數相關之 MLE:
- 支撐集(Support)相依於未知參數 (即 ),無法利用微分尋找臨界點,必須透過指示函數限制母數空間,並尋找使概似函數極大之邊界點。
- MLE 的不變性原理(Invariance Property of MLE):
- 若 為 的 MLE,且 為 的函數,則 的 MLE 為 。
解題方法
(a) 證明 為 的一致估計量(Consistent Estimator)
-
推導 的抽樣分配:
由順序統計量之定義,。其生存函數(Survival Function)為:故 的累積分布函數為:
微分可得 的機率密度函數:
這表示變數 ,即尺度參數(scale parameter)為 。
-
計算期望值、變異數與 MSE:
計算 的均方誤差(Mean Squared Error):
因為:
由 MSE 收斂至 0 蘊含機率收斂(Convergence in Probability),得:
故 是 的一致估計量。
(b) 求 的極限分布
-
機率積分轉換與順序統計量:
設 。因為 為連續且嚴格遞增之分佈函數,依據機率積分轉換,。
因此, 為來自 之樣本的第二小順序統計量。 -
求 的機率密度函數:
-
進行變數變換求 之分佈與極限:
令 ,則 ,其 Jacobian 為 。
的機率密度函數為:取 之極限:
此極限 pdf 正好為 (或以形狀參數與尺度參數表示為 )的機率密度函數。
因此,。
(c) 求 的極限分布
- 求 的累積分布函數(cdf):
由 (a) 小題已推得 的 cdf 為 (當 )。
對於 :
第 3 題30 分
Let be a random sample from Bernoulli(). Define (the Mean-Square Error).
(a) Find a minimal sufficient statistic of .
(b) Find the uniformly minimum variance unbiased estimator (UMVUE) of .
(c) Assume that the prior distribution on is beta().
(c-i) Find the posterior distribution of .
(c-ii) Calculate the posterior mean and variance.
(c-iii) Denote to be the posterior mean found in (c-ii). Find such that is constant.
(d) Consider three estimators
(d-i) Find , , and for a fixed .
(d-ii) Find the limiting distribution of and , respectively.
(d-iii) Show that and are the consistent estimators of .
(d-iv) Show that is asymptotically efficient of .
(d-v) Find the asymptotic relative efficiency (ARE) of with respect to .
登入後即可作答並保存紀錄。
核心觀念
本題整合以下概念:
- Bernoulli 隨機樣本的似然函數與最小充分統計量。
- Rao–Blackwell 定理與 Lehmann–Scheffé 定理。
- Beta–Binomial 共軛先驗。
- 貝氏估計量的頻率學派風險函數。
- 最大風險、漸近常態性、一致性與漸近效率。
- 隨機化估計量與漸近相對效率。
令
由於 ,故 。
(a) 的最小充分統計量
聯合機率質量函數為
因此似然函數只透過 依賴樣本:
由 Neyman–Fisher 因子分解定理, 是 的充分統計量。
再利用最小充分統計量的似然比判準,對兩組樣本 ,
此比值與 無關,當且僅當 。故 不僅充分,也是最小充分統計量。
(b) 的 UMVUE
由於
所以
因此 是 的不偏估計量。
又因為 是完整充分統計量:
而 Binomial 族在 下為完整族。由 Lehmann–Scheffé 定理,任何基於完整充分統計量的不偏估計量,都是 UMVUE。
由於 ,故
其變異數為
因為它不偏,所以
(c) Beta 先驗下的後驗分析
(c-i) 後驗分布
假設先驗分布為
其密度與
成正比。
結合似然函數:
因此
故後驗分布為
(c-ii) 後驗平均數與變異數
若 ,則
代入 、,得到後驗平均數:
後驗變異數為
(c-iii) 使風險為常數的
令
後驗平均數可寫為
因為 、,所以
其偏差為
其變異數為
因此風險為
展開分子:
要使風險與 無關, 與 的係數都必須為 :
因為 ,所以
進而
故
此時
且其風險為
這確實與 無關。
(d) 三種估計量的比較
本題中
而 以機率 使用 ,以機率 使用 。
隨機化機率與樣本獨立。
(d-i) 三種估計量的最大風險
1.
已知
由於
所以
2.
由 (c-iii),
因此
3.
隨機化估計量的平方誤差期望為各分支風險的加權平均:
代入 :
注意
因此
故
三者最大風險依序為
第 4 題12 分
Let be a random sample from , where both parameters are unknown.
(a) Find a pivotal quantity of .
(b) Use the pivotal quantity of (a) to find a confidence interval (C.I.) for .
(c) Is your finding in (b) the shortest length C.I.? Prove your claim.
登入後即可作答並保存紀錄。
核心觀念
本題主要測驗常態母體在「母體平均數與母體變異數皆未知」時的**區間估計(Interval Estimation)**理論,涵蓋三大核心觀念:
- 樞紐量(Pivotal Quantity)的定義與建構:樞紐量 是一個包含樣本與待估參數 的隨機變數,其機率分配完全已知,不依賴任何未知母數(包含干擾母數 )。
- Student's 分配的形成條件:若 與 相互獨立,則 。在常態母體下,樣本平均數 與樣本變異數 相互獨立。
- 最短長度信賴區間(Shortest-length Confidence Interval)定理:若樞紐量的機率密度函數(p.d.f.)具備**對稱單峰(Symmetric and Unimodal)**之性質,則在固定信心水準 下,等尾(Equal-tailed)臨界點所構造的信賴區間擁有最短的區間長度(以及最短的期望長度)。
解題方法與推導
(a) 求解 的樞紐量(Pivotal Quantity)
設隨機樣本 ,定義:
- 樣本平均數:
- 樣本變異數:
由常態樣本抽樣分配性質可知:
- 根據 Cochran's 定理(或 Basu's 定理), 與 相互獨立,故 與 相互獨立。
利用 Student's 分配之定義構造隨機變數 :
由於 之機率分配為自由度 的 Student's 分配,記作 ,其分配不含任何未知參數( 或 ),符合樞紐量之定義。
因此, 的樞紐量為:
(b) 利用樞紐量建構 的 信賴區間
令 為 分配的右尾 臨界值,即滿足 。由 分配以 0 為中心對稱的性質,左尾臨界值為 。
建立機率陳述式:
透過不等式進行代數變形以解出 :
各項同減 後同乘 (不等號方向改變):
因此, 的 信賴區間為:
(c) 最短長度信賴區間之證明
【結論】:是的(Yes),(b) 所求得之信賴區間確實為基於該樞紐量下長度最短的信賴區間。
【證明】:
設由樞紐量 所構造之任意 信賴區間對應的常數為 與 (其中 ),滿足:
其中 為 分配的機率密度函數(p.d.f.)。
將不等式展開求 :
第 5 題8 分
Let be a sample of size 1 from a population P.
(a) Find a uniformly most powerful (UMP) test of size for versus , where is and is the double exponential distribution with the p.d.f. .
[Hint: ]
(b) Find the power function of the test in (a).
登入後即可作答並保存紀錄。
核心觀念
本題是「單一觀察值下的簡單假設對簡單假設」:
- ,其中 ;
- ,其中 為雙指數分布。
依據 Neyman–Pearson 引理,最具檢定力的檢定應在「概似比」較大的區域拒絕 :
由於虛無假設與對立假設皆為簡單假設,Neyman–Pearson 檢定同時就是 UMP 檢定。
以下將題目中的 解讀為通常的 。
解題方法:建立概似比
虛無假設下的密度為
對立假設下的密度為
因此概似比為
令 ,考察指數部分
其導數為
所以 在 達到最小值,並且:
- 當 接近 時,概似比較大;
- 當 大於 時,概似比隨 增加而增加;
- ,因為
因此,拒絕域是「中心區域加上尾端區域」的形式;當 較小時,只會取左右兩端尾部。
(a) UMP 檢定
情形一:
題目提示
因此
當 時,拒絕域位於兩端:
其中 由檢定大小條件決定:
因為 ,
所以
此時的 UMP 檢定為
其中 表示拒絕 。
特別地,當 時,,拒絕域為
情形二:
當要求的檢定大小大於 時,只使用兩端尾部仍不足以達到大小 ,因此必須加入中央區域。
拒絕域形狀為
其中
兩個邊界點必須具有相同的概似比:
由於 ,可得
整理為
因為 ,所以
亦即
再利用檢定大小條件:
得到
代入 , 為下列方程式的唯一解:
因此,當 時,UMP 檢定為
第 一 題
Let be a random sample from Bernoulli(). Define (the Mean-Square Error).
(a) Find a minimal sufficient statistic of .
(b) Find the uniformly minimum variance unbiased estimator (UMVUE) of .
(c) Assume that the prior distribution on is beta().
(c-i) Find the posterior distribution of .
(c-ii) Calculate the posterior mean and variance.
(c-iii) Denote to be the posterior mean found in (c-ii). Find such that is constant.
(d) Consider three estimators
(d-i) Find , , and for a fixed .
(d-ii) Find the limiting distribution of and , respectively.
(d-iii) Show that and are the consistent estimators of .
(d-iv) Show that is asymptotically efficient of .
(d-v) Find the asymptotic relative efficiency (ARE) of with respect to .
登入後即可作答並保存紀錄。
核心觀念
本題整合以下概念:
- Bernoulli 隨機樣本的似然函數與最小充分統計量。
- Rao–Blackwell 定理與 Lehmann–Scheffé 定理。
- Beta–Binomial 共軛先驗。
- 貝氏估計量的頻率學派風險函數。
- 最大風險、漸近常態性、一致性與漸近效率。
- 隨機化估計量與漸近相對效率。
令
由於 ,故 。
(a) 的最小充分統計量
聯合機率質量函數為
因此似然函數只透過 依賴樣本:
由 Neyman–Fisher 因子分解定理, 是 的充分統計量。
再利用最小充分統計量的似然比判準,對兩組樣本 ,
此比值與 無關,當且僅當 。故 不僅充分,也是最小充分統計量。
(b) 的 UMVUE
由於
所以
因此 是 的不偏估計量。
又因為 是完整充分統計量:
而 Binomial 族在 下為完整族。由 Lehmann–Scheffé 定理,任何基於完整充分統計量的不偏估計量,都是 UMVUE。
由於 ,故
其變異數為
因為它不偏,所以
(c) Beta 先驗下的後驗分析
(c-i) 後驗分布
假設先驗分布為
其密度與
成正比。
結合似然函數:
因此
故後驗分布為
(c-ii) 後驗平均數與變異數
若 ,則
代入 、,得到後驗平均數:
後驗變異數為
(c-iii) 使風險為常數的
令
後驗平均數可寫為
因為 、,所以
其偏差為
其變異數為
因此風險為
展開分子:
要使風險與 無關, 與 的係數都必須為 :
因為 ,所以
進而
故
此時
且其風險為
這確實與 無關。
(d) 三種估計量的比較
本題中
而 以機率 使用 ,以機率 使用 。
隨機化機率與樣本獨立。
(d-i) 三種估計量的最大風險
1.
已知
由於
所以
2.
由 (c-iii),
因此
3.
隨機化估計量的平方誤差期望為各分支風險的加權平均:
代入 :
注意
因此
故
三者最大風險依序為
第 Problem 3 題30 分
Let be a random sample from Bernoulli(). Define (the Mean-Square Error).
(a) Find a minimal sufficient statistic of .
(b) Find the uniformly minimum variance unbiased estimator (UMVUE) of .
(c) Assume that the prior distribution on is beta().
(c-i) Find the posterior distribution of .
(c-ii) Calculate the posterior mean and variance.
(c-iii) Denote to be the posterior mean found in (c-ii). Find such that is constant.
(d) Consider three estimators
(d-i) Find , , and for a fixed .
(d-ii) Find the limiting distribution of and , respectively.
(d-iii) Show that and are the consistent estimators of .
(d-iv) Show that is asymptotically efficient of .
(d-v) Find the asymptotic relative efficiency (ARE) of with respect to .
登入後即可作答並保存紀錄。
核心觀念
本題整合以下概念:
- Bernoulli 隨機樣本的似然函數與最小充分統計量。
- Rao–Blackwell 定理與 Lehmann–Scheffé 定理。
- Beta–Binomial 共軛先驗。
- 貝氏估計量的頻率學派風險函數。
- 最大風險、漸近常態性、一致性與漸近效率。
- 隨機化估計量與漸近相對效率。
令
由於 ,故 。
(a) 的最小充分統計量
聯合機率質量函數為
因此似然函數只透過 依賴樣本:
由 Neyman–Fisher 因子分解定理, 是 的充分統計量。
再利用最小充分統計量的似然比判準,對兩組樣本 ,
此比值與 無關,當且僅當 。故 不僅充分,也是最小充分統計量。
(b) 的 UMVUE
由於
所以
因此 是 的不偏估計量。
又因為 是完整充分統計量:
而 Binomial 族在 下為完整族。由 Lehmann–Scheffé 定理,任何基於完整充分統計量的不偏估計量,都是 UMVUE。
由於 ,故
其變異數為
因為它不偏,所以
(c) Beta 先驗下的後驗分析
(c-i) 後驗分布
假設先驗分布為
其密度與
成正比。
結合似然函數:
因此
故後驗分布為
(c-ii) 後驗平均數與變異數
若 ,則
代入 、,得到後驗平均數:
後驗變異數為
(c-iii) 使風險為常數的
令
後驗平均數可寫為
因為 、,所以
其偏差為
其變異數為
因此風險為
展開分子:
要使風險與 無關, 與 的係數都必須為 :
因為 ,所以
進而
故
此時
且其風險為
這確實與 無關。
(d) 三種估計量的比較
本題中
而 以機率 使用 ,以機率 使用 。
隨機化機率與樣本獨立。
(d-i) 三種估計量的最大風險
1.
已知
由於
所以
2.
由 (c-iii),
因此
3.
隨機化估計量的平方誤差期望為各分支風險的加權平均:
代入 :
注意
因此
故
三者最大風險依序為
第 4 題12 分
Let be a random sample from , where both parameters are unknown.
(a) Find a pivotal quantity of .
(b) Use the pivotal quantity of (a) to find a confidence interval (C.I.) for .
(c) Is your finding in (b) the shortest length C.I.? Prove your claim.
登入後即可作答並保存紀錄。
核心觀念
本題主要測驗常態母體在「母體平均數與母體變異數皆未知」時的**區間估計(Interval Estimation)**理論,涵蓋三大核心觀念:
- 樞紐量(Pivotal Quantity)的定義與建構:樞紐量 是一個包含樣本與待估參數 的隨機變數,其機率分配完全已知,不依賴任何未知母數(包含干擾母數 )。
- Student's 分配的形成條件:若 與 相互獨立,則 。在常態母體下,樣本平均數 與樣本變異數 相互獨立。
- 最短長度信賴區間(Shortest-length Confidence Interval)定理:若樞紐量的機率密度函數(p.d.f.)具備**對稱單峰(Symmetric and Unimodal)**之性質,則在固定信心水準 下,等尾(Equal-tailed)臨界點所構造的信賴區間擁有最短的區間長度(以及最短的期望長度)。
解題方法與推導
(a) 求解 的樞紐量(Pivotal Quantity)
設隨機樣本 ,定義:
- 樣本平均數:
- 樣本變異數:
由常態樣本抽樣分配性質可知:
- 根據 Cochran's 定理(或 Basu's 定理), 與 相互獨立,故 與 相互獨立。
利用 Student's 分配之定義構造隨機變數 :
由於 之機率分配為自由度 的 Student's 分配,記作 ,其分配不含任何未知參數( 或 ),符合樞紐量之定義。
因此, 的樞紐量為:
(b) 利用樞紐量建構 的 信賴區間
令 為 分配的右尾 臨界值,即滿足 。由 分配以 0 為中心對稱的性質,左尾臨界值為 。
建立機率陳述式:
透過不等式進行代數變形以解出 :
各項同減 後同乘 (不等號方向改變):
因此, 的 信賴區間為:
(c) 最短長度信賴區間之證明
【結論】:是的(Yes),(b) 所求得之信賴區間確實為基於該樞紐量下長度最短的信賴區間。
【證明】:
設由樞紐量 所構造之任意 信賴區間對應的常數為 與 (其中 ),滿足:
其中 為 分配的機率密度函數(p.d.f.)。
將不等式展開求 :
第 5 題8 分
Let be a sample of size 1 from a population P.
(a) Find a uniformly most powerful (UMP) test of size for versus , where is and is the double exponential distribution with the p.d.f. .
[Hint: ]
(b) Find the power function of the test in (a).
登入後即可作答並保存紀錄。
核心觀念
本題是「單一觀察值下的簡單假設對簡單假設」:
- ,其中 ;
- ,其中 為雙指數分布。
依據 Neyman–Pearson 引理,最具檢定力的檢定應在「概似比」較大的區域拒絕 :
由於虛無假設與對立假設皆為簡單假設,Neyman–Pearson 檢定同時就是 UMP 檢定。
以下將題目中的 解讀為通常的 。
解題方法:建立概似比
虛無假設下的密度為
對立假設下的密度為
因此概似比為
令 ,考察指數部分
其導數為
所以 在 達到最小值,並且:
- 當 接近 時,概似比較大;
- 當 大於 時,概似比隨 增加而增加;
- ,因為
因此,拒絕域是「中心區域加上尾端區域」的形式;當 較小時,只會取左右兩端尾部。
(a) UMP 檢定
情形一:
題目提示
因此
當 時,拒絕域位於兩端:
其中 由檢定大小條件決定:
因為 ,
所以
此時的 UMP 檢定為
其中 表示拒絕 。
特別地,當 時,,拒絕域為
情形二:
當要求的檢定大小大於 時,只使用兩端尾部仍不足以達到大小 ,因此必須加入中央區域。
拒絕域形狀為
其中
兩個邊界點必須具有相同的概似比:
由於 ,可得
整理為
因為 ,所以
亦即
再利用檢定大小條件:
得到
代入 , 為下列方程式的唯一解:
因此,當 時,UMP 檢定為