114 年 國立臺灣大學統計與數據科學碩士班《數理統計》
第 1 題
Let be independent Bernoulli random variables with , , such that
where 's are known constants while and are unknown parameters. Please
(a) show that the pmf of can be expressed by
and derive the joint pmf of .
(b) show that the joint pmf forms an exponential family and find a 2-dimensional sufficient statistic for .
登入後即可作答並保存紀錄。
核心觀念
本題考查三個重點:
-
Logistic regression 的機率表示法
由
解出 與 。 -
獨立隨機變數的聯合機率質量函數
若 相互獨立,則聯合 pmf 等於各自 pmf 的乘積。
-
指數族與充分統計量
將聯合 pmf 整理成
的形式,即可辨認其為指數族,並由因子分解定理找出充分統計量。
解題方法
令
題目給定
先將兩邊取指數,再解出 :
因此
所以
得到
同理,
(a)單一 的 pmf 與聯合 pmf
由於 是 Bernoulli 隨機變數,其 pmf 為
代入
可得
因為 只能取 或 ,上式可整理為
再代回 :
這即為題目要求證明的結果。
聯合 pmf
由 相互獨立,
因此
將分子與分母分別整理:
再將指數中的項目展開:
故聯合 pmf 為
其中 ,且每個 。
(b)指數族形式與充分統計量
指數族形式
指數族的一般形式可寫為
本題的聯合 pmf 為
第 2 題
The pdf of is given as
Let be i.i.d. . Please
(a) find the method of moment estimators for ,
(b) show that both and are consistent.
登入後即可作答並保存紀錄。
核心觀念
- 動差法估計量(Method of Moments Estimator, MME):
- 母體動差(Population moments):。
- 樣本動差(Sample moments):。
- 解法依據:令前 階母體動差等於樣本動差(),解出未知母數 的估計式。
- Gamma 分配之動差特性:
- 題目所給為速率參數化(rate parameterization)的 Gamma 分配: 因此二階母體動差為:
- 弱大數法則(Weak Law of Large Numbers, WLLN):
- 若 為 i.i.d. 隨機變數且期望值存在,則樣本平均數依機率收斂至母體期望值:
- 連續映射定理(Continuous Mapping Theorem, CMT) 與 一致性(Consistency):
- 一致性定義:估計量 滿足 。
- 若估計量為樣本動差的連續函數 ,且 在母體動差 處連續,則由連續映射定理可保證其一致性:
解題方法
(a) 求解動差法估計量
設 ,其前兩階母體動差為:
定義一階與二階樣本動差:
樣本變異數(以未校正樣本動差表示)為:
根據動差法,令母體動差等於樣本動差:
將式 (1) 除以式 (2):
將 代回式 (1):
得動差估計量為:
(b) 證明 與 的一致性(Consistency)
因為 為 i.i.d. ,母體前四階動差皆有限存在。
第 3 題
Let and be two i.i.d. random variables from a location-scale family with pdf
where , , and is a known pdf that does not depend on and . Please
(a) given
show that the pdf of does not depend on the parameters and .
(b) derive a confidence interval for using and , the upper and lower th quantiles for the distribution of respectively.
登入後即可作答並保存紀錄。
核心觀念
本題考查兩個重點:
-
位置尺度族的標準化:將 轉換為
可消除未知參數 。 -
樞紐量與信賴區間反解:若統計量的分布不依賴未知參數,即可利用其分位數建立信賴區間。題目中的
即為樞紐量。
解題方法
先將 標準化,再將分位數機率不等式中的 解出。特別要注意 的正負,因為不等式除以此量時可能改變方向。
(a) 證明 的 pdf 不依賴
令
由題目給定的 pdf,
且 為 i.i.d.,其共同 pdf 為已知的 ,因此 的分布完全不含 。
將 代入 :
分子與分母分別化簡為
因此
尺度參數 也消去了,故 的分布只由 決定,與 無關。
若進一步寫出 的 pdf,令 ,則
解出 :
其 Jacobian 為
所以
此式只含已知密度 與變數 ,不含 ,因此證明 的 pdf 不依賴未知參數。
(b) 建立 的 信賴區間
設 的下、上分位數分別為
其中
代入 的定義,令
則
第 4 題
Consider the following hierarchical model:
Please
(a) derive the joint likelihood function for ,
(b) given i.i.d. from the above model, find the MLEs of , and .
(Recall the pmf of Geom(p) is given by for and the pmf of Poisson(), , is given by for .)
登入後即可作答並保存紀錄。
此題考驗對階層模型(Hierarchical Model)的理解,以及如何推導聯合機率函數(Joint Likelihood Function)和最大概似估計量(Maximum Likelihood Estimators, MLEs)。
核心觀念:
- 階層模型:理解條件機率的層次結構,以及如何將其組合成聯合機率。
- 聯合機率函數:根據給定的條件機率分佈,推導出聯合機率函數。
- 最大概似估計量 (MLE):掌握 MLE 的原理,即最大化概似函數,通常透過對數概似函數求導來求解。
- 離散分佈的 pmf:熟悉 Bernoulli, Poisson, Geometric 分佈的 pmf 公式。
詳解:
給定一個階層模型:
- ,表示 ,。
- ,表示當 時, 服從參數為 的 Poisson 分佈。
for - ,表示當 時, 服從成功機率為 的 Geometric 分佈。
Geometric 分佈的 pmf 有兩種定義:一種是定義在 (表示試驗次數直到第一次成功),另一種是定義在 (表示第一次成功的試驗次數)。題目中提供了 for 。
所以,當 時:
for
(a) 推導 的聯合機率函數
聯合機率函數 可以透過條件機率來計算:
由於 (因為 的分佈只依賴於 和相應的參數,與 無關),
且 (因為 的分佈只依賴於 )。
所以,
我們分兩種情況討論 的值:
情況 1:
所以,當 時:
, for
情況 2:
所以,當 時:
, for
將這兩種情況合併,我們可以寫成:
其中 , 。
【答案】
聯合機率函數為:
其中 , 。
(b) 求 的 MLE
給定 個 i.i.d. 的樣本對 。
聯合概似函數 。
由於 的值決定了使用哪個公式,我們需要將樣本分成兩組:一組是 的樣本,另一組是 的樣本。
令 和 。
令 和 。注意 。
第 5 題
Let be i.i.d. Bernoulli random variables with success probability . Let . Please
(a) show that converges in distribution to ,
(b) show that is an unbiased estimator of ,
(c) find the UMVUE of when .
登入後即可作答並保存紀錄。
核心觀念
本題結合三個重要觀念:
- 中央極限定理與 Delta method:處理樣本比例 的函數 。
- 無偏估計量:利用 Bernoulli 變數的獨立性計算期望值。
- 完全充分統計量與 Lehmann–Scheffé 定理:由 建立 UMVUE。
其中
(a) 漸近分布
題目所寫的 並不會收斂至題目所給的有限常態分布;正確的倍率應為 。
由中央極限定理,
令 ,則
由 Delta method,
因此
也可直接由代數分解看出:
因大數法則給出 ,故 。由 Slutsky 定理,
其中
所以
題目原式為何不成立
若使用題目所寫的倍率 ,則
當 時, 具有非退化的常態極限,而 ,前方又多出 ,因此整體不具有限的非退化極限分布。
故本小題應修正為:
(b) 證明 為無偏估計量
因為 為 Bernoulli 變數,
又由獨立性,
因此
是 的無偏估計量。
直觀解釋
乘積
只有在
時才等於 ,其餘情況皆為 。該事件的機率為 ,乘上 後即得到目標參數。
(c) 求 的 UMVUE
第一步:找出充分統計量
樣本聯合機率質量函數為
第 6 題
Suppose are i.i.d. from -dimensional normal , where and is a -dimensional identity matrix, whose pdf is given by
Please
(a) show that the log-likelihood ratio test statistic to test versus is equivalent to , where and is a fixed constant,
(b) assuming for some constant , please derive the power of the likelihood ratio test that rejects when in terms of the cdf for a noncentral chi-squared distribution.
(Recall that given independent normally distributed random variables , , follows the noncentral chi-squared distribution with degrees of freedom and noncentrality .)
登入後即可作答並保存紀錄。
核心觀念
本題使用以下三個觀念:
- 正態樣本的概似函數可透過樣本平均數 化簡。
- 虛無假設 下的最大概似估計量,是將 投影到半徑為 的球面上。
- 因為 所以 服從自由度為 、非中心參數為 的非中心卡方分布。
(a) 概似比統計量
令觀察值為 ,樣本平均數為 。聯合概似函數為
利用平方和分解公式,
故與 有關的對數概似函數為
無限制下的最大概似估計
在 中最大化概似函數等價於最小化 ,因此
下的最大概似估計
在球面 上,使 最小的點,是沿著 方向、長度為 的向量:
因此
概似比為
故標準的概似比檢定統計量為
也就是說,拒絕域應根據 的長度與 的距離決定。
題面所給統計量的說明
題面宣稱等價於
但由
可得
其中 會隨資料改變,所以 並非標準概似比統計量的單調轉換。故題面第 (a) 小題的統計量應有筆誤;正確的概似比統計量是
(b) 正確概似比檢定的檢定力
令
並以 作為拒絕規則。則
題設 等價於
因此兩側拒絕區域皆有意義:
定義
由於
可知
第 7 題
Consider a Bayesian model where the random parameter has a Bernoulli prior distribution such that and with . Given , the data has pdf , and given , has pdf . With a loss function , the Bayes estimator minimizes the posterior expected loss . Please find the Bayes estimator of under
(a) squared error loss ,
(b) loss,
登入後即可作答並保存紀錄。
核心觀念
本題考察「後驗期望損失最小化」的貝氏估計法。給定觀察值 後,先利用貝氏定理計算:
以下均假設分母
貝氏估計量的基本定義為:對每一個觀察值 ,選擇使後驗期望損失最小的決策 。
(a) 平方誤差損失
平方誤差損失為
由於 只能取 或 ,令
則後驗期望損失為
展開得
其中 與 無關,因此後驗期望損失在
時達到最小值。故平方誤差損失下的貝氏估計量為後驗平均數:
雖然 的真實值只能是 或 ,但平方誤差損失下的決策 可以取介於 與 的數值,因此答案是後驗機率,而不是單純的 或 。
(b) - 損失
- 損失定義為
在此損失下,決策 取 或 。
選擇
此時只有 時會發生錯誤,因此後驗期望損失為
選擇
此時只有 時會發生錯誤,因此後驗期望損失為