115 年 國立臺北大學統計學系碩士班《數理統計(含機率概論)》
第 I. A. 題5 分
A. Let be independent and follow normal distributions , , , respectively.
(a) Compute , where .
登入後即可作答並保存紀錄。
這題主要在考驗對常態分配性質的掌握,特別是線性組合的分配。
核心觀念:
若 且 為獨立隨機變數,則線性組合 。
解題步驟:
- 定義新的隨機變數 。
- 根據常態分配的線性組合性質,計算 的期望值與變異數。
- 計算 的期望值與變異數。
- 將所求機率轉換為標準常態分配的機率。
- 查詢標準常態分配表(題目提供)求得機率值。
計算過程:
已知 ,故 。
已知 ,故 。
已知 ,故 。
我們要求 ,這等價於 。
令 。由於 和 是獨立的,
的期望值為 。
的變異數為 (因獨立) 。
因此,。
現在我們考慮 。
這是一個常態分配的線性組合:。
其期望值為 。
其變異數為 (因 與 獨立,故 與 獨立)
。
因此,。
我們要求 。
令 。我們要求 。
將 標準化:
。
令 ,則 。
我們需要計算 。
第 I. A. (b) 題10 分
(b) Use the moment generating function technique to find the joint distribution of , , and .
登入後即可作答並保存紀錄。
核心觀念
題目片段未提供 的分布。以下採用此類題目的標準設定:
令
使用聯合動差生成函數
多變量常態分布的聯合 MGF 為
因此只要將 化為此形式,即可辨識 的聯合分布。
解題方法
先展開指數中的線性組合:
由於 相互獨立,聯合 MGF 可以分解為三個邊際 MGF 的乘積。標準常態變數的 MGF 為
故
展開平方項:
相加後得到
第 I. A. (c) 題5 分
(c) Compute , where .
登入後即可作答並保存紀錄。
這題是延續上一題的結果,計算一個線性組合的機率。
核心觀念:
若一個隨機向量 服從多元常態分配 ,則其任何線性組合 也服從常態分配。
若 ,則 且 。
解題步驟:
- 將所求機率 轉換為 。
- 定義新的隨機變數 。
- 利用上一題得到的 和 ,計算 的期望值 和變異數 。
- 將 標準化,轉換為標準常態分配的機率。
- 查閱標準常態分配表求解。
計算過程:
從上一題,我們知道:
我們要求 ,即 。
令 。
這個 可以寫成 的形式,其中 。
計算 的期望值:
。
計算 的變異數:
。
第 I. B. 題
B. Let be a random sample drawn from the pdf
and denotes the corresponding distribution function.
登入後即可作答並保存紀錄。
此題是一個關於均勻分佈的統計推論問題。首先需要理解均勻分佈的機率密度函數 (pdf) 和累積分布函數 (cdf),然後針對不同的統計量(最大值、次小值、參數估計、一致性、不偏估計量、中位數)進行分析。
核心觀念:
- 均勻分佈: 的 pdf 為 對於 ,cdf 為 對於 。
在本題中,,所以 pdf 為 對於 ,cdf 為 對於 。 - 順序統計量 (Order Statistics): 若 為樣本 的順序統計量,則 且 。
- 極值統計量 (Extreme Value Statistics): 的 cdf 為 。 的 cdf 為 。
- 極限定理: 如中央極限定理、棣莫弗-拉普拉斯定理、Slutsky定理等,用於求統計量的極限定律。
- 點估計: 最大概似估計 (MLE)、矩量估計 (Method of Moments) 等。
- 估計量的性質: 不偏性 (Unbiasedness)、一致性 (Consistency)。
- 中位數: 分配的中位數 滿足 。
在開始詳細解答各小題之前,先確定 和 的形式:
for , and otherwise.
for , and for , for .
第 I. B. (a) 題5 分
(a) Let . Find the limiting distribution of .
登入後即可作答並保存紀錄。
這題要求最大值統計量 的極限定律。
核心觀念:
求極限定律通常有兩種方法:
- 直接求統計量的 cdf,然後看當 時 cdf 的極限。
- 利用已知的極限定理(如 Gnedenko 定理、Fisher–Tippett–Gnedenko 定理)來判斷極限定律的類型。
解題步驟:
- 確定 的 cdf。
- 計算 的 cdf。
- 計算 的 cdf。
- 計算 的 cdf。
- 判斷極限定律。
計算過程:
已知 。
。
的 cdf 為 。
由於 獨立同分佈, 。
對於 , 。
所以, for 。
現在我們看 。
令 。
。
由於 的值域是 ,所以 的值域也必須在 內,即 。
for 。
所以 的 cdf 是 for 。
接著我們看 。
令 。
第 I. B. (b) 題5 分
(b) Let denote the second smallest item from this sample. Find the limiting distribution of .
登入後即可作答並保存紀錄。
這題要求第二小順序統計量 的極限定律。
核心觀念:
求極限定律的方法與上一題類似,即計算統計量的 cdf,然後求極限。
對於順序統計量的極限定律,有時會用到 Cramér-Wold device 或其他高級工具,但對於簡單的分配,直接計算 cdf 即可。
解題步驟:
- 確定 的 cdf。
- 計算 的 cdf。
- 計算 的 cdf。
- 判斷極限定律。
計算過程:
已知 。
for 。
是樣本中的第二小值。
的 cdf 為 。
。
的意思是樣本中最多只有一個值小於或等於 。
。
所以,。
我們要求 的極限定律。
令 (假設 )。
我們需要 的 cdf。
對於 :
。
現在考慮 。
令 。
。
這裡 的範圍是 。
。
。
這是 的 cdf,適用於 。
現在我們要求 的極限定律。
。
由於 的 cdf 是 ,
第 I. B. (c) 題5 分
(c) Find the maximum likelihood estimator () of .
登入後即可作答並保存紀錄。
這題要求求出參數 的最大概似估計量 (MLE)。
核心觀念:
最大概似估計法的步驟:
- 寫出樣本的聯合機率密度函數 (likelihood function)。
- 取對數得到對數概似函數 (log-likelihood function)。
- 對對數概似函數對參數求偏微分,並令其等於零,解出參數。
- (可選)驗證二階導數是否為負,以確認是最大值。
解題步驟:
- 寫出樣本 的聯合 pdf。
- 寫出概似函數 。
- 寫出對數概似函數 。
- 計算 。
- 令偏微分等於零,解出 。
計算過程:
已知 , pdf 為 。
樣本的聯合 pdf 為:
。
。
這個 指示函數要求所有的 都必須大於 0 且小於 。
因此,為了使 ,必須滿足 對於所有 。
這意味著 必須大於所有的 。
所以,。
同時,由於 的值域是 ,所以 必須大於 0。
因此,概似函數為:
第 I. B. (d) 題5 分
(d) Prove that is a consistent estimator of .
登入後即可作答並保存紀錄。
核心觀念
一致性(consistency)的定義是:對任意 ,
亦即,
因此,本題的目標是證明估計量 與真實參數 的差距,超過任意固定正數 的機率會隨樣本數 增加而趨近於零。
題目片段未提供前面小題對 的具體定義;以下採用統計學中最常用的證明方式:若能證明估計量的均方誤差趨近於零,即可直接推出一致性。
解題方法
若
則由 Chebyshev 不等式,對任意 ,
由假設,
因此,
這正是一致性的定義,故
所以 是 的一致估計量。
常用的均方誤差分解
證明均方誤差趨近於零時,通常使用
其中:
第 I. B. (e) 題5 分
(e) Find an unbiased estimator of .
登入後即可作答並保存紀錄。
這題要求找一個參數 的不偏估計量 (unbiased estimator)。
核心觀念:
一個估計量 對於參數 是不偏的,如果 。
解題步驟:
- 考慮一個基於樣本的統計量,例如樣本平均數、最大值、最小值等。
- 計算該統計量的期望值。
- 調整該統計量,使其期望值等於 。
計算過程:
我們知道 。
其期望值為 。
樣本平均數為 。
。
所以 的期望值是 ,而不是 。
為了得到一個不偏估計量,我們可以將 乘以 2。
令 。
。
因此, 是一個不偏估計量。
還有其他可能的選擇嗎?
我們知道 的 cdf 是 for 。
第 I. B. (f) 題5 分
(f) Find the MLE of the median of the distribution for this sample.
登入後即可作答並保存紀錄。
這題要求找出均勻分佈 的中位數的 MLE。
核心觀念:
- 中位數: 一個分佈的中位數 滿足 。
- MLE 的轉換性質: 如果 是參數 的 MLE,則 是 的 MLE。
解題步驟:
- 找出 分佈的中位數。
- 將該中位數表示為 的函數。
- 利用 MLE 的轉換性質,將 的 MLE 轉換成中位數的 MLE。
計算過程:
對於 ,其 cdf 為 for 。
中位數 滿足 。
第 II. A. (a) 題7 分
A. Let be a random sample from a population.
(a) Consider versus and define . Show that
is a uniformly most powerful (UMP) test of size .
登入後即可作答並保存紀錄。
核心觀念
本題考查三個重點:
- 次序統計量最大值 的分布。
- 檢定的大小(size)與檢定力(power)。
- 利用 Neyman–Pearson 引理,分別比較 與 時的概似比,證明同一個拒絕域對所有 都是最強力,因此為 UMP test。
由於 ,其密度為
最大值 的累積分布函數為
因此
解題方法
題目所給拒絕域為
令
因為 ,所以 。拒絕域可寫成
這個拒絕域的直觀意義是:
- 太小,表示 可能小於 ;
- 大於 ,則在 下不可能發生,應直接拒絕 。
第一步:證明檢定大小為
在虛無假設 下,由於 幾乎必然成立,因此
另一方面,
代入 :
所以
因此 是一個大小為 的檢定。
第二步:考慮 的情形
此時替代假設為 ,而 的可能範圍只有 。
由於 ,事件 不可能發生,因此
若 ,則 幾乎必然成立,所以
若 ,則
接著用 Neyman–Pearson 引理說明其最強力性。
在觀察值 下,聯合密度為
當 時,概似比為
因此,概似比最大的區域是 ,而在這個區域內概似比為常數。為了使檢定在 下的機率不超過 ,最適當的拒絕方式是優先拒絕較小的 。
對 而言,
所以 正好是大小為 的最強力拒絕域。
第 II. A. (b) 題7 分
(b) Find the uniformly most accurate (UMA) confidence interval. Prove your claim.
登入後即可作答並保存紀錄。
資訊說明
題目缺少第 II. A 題前半所給的樣本分配、未知參數與觀測統計量,因此無法唯一決定信賴區間的具體形式。以下依數理統計中最常見的設定,假設
其中 已知,要求母平均數 的 UMA 信賴區間。
核心觀念
本題的核心是將「UMA 信賴區間」轉換為「最強檢定的反演」。
由於
因此
若要構造雙側 信賴區間,取標準常態分配的臨界值 ,使得
這個樞紐量的分配不含未知參數,故可直接反解 。
在常態位置族中,對每一個固定的 ,統計量 具有單調概似比性質;針對雙側假設所得到的等尾檢定,其反演所形成的信賴區間即為標準意義下的 uniformly most accurate unbiased confidence interval。
解題方法
考慮假設
在 下,
以等尾方式建立大小為 的檢定,拒絕域為
因此,不拒絕 的條件為
乘以 ,得到
整理 :
將所有未被拒絕的 收集起來,即得信賴區間
其中 滿足
第 II. A. (c) 題7 分
(c) Is your finding in Problem b the shortest length confidence interval (C.I.)? Prove your claim.
登入後即可作答並保存紀錄。
這題要求證明在 II. A. (b) 中找到的信賴區間是「最短長度」的信賴區間。
核心觀念:
- 最短長度信賴區間 (Shortest Length Confidence Interval): 對於給定的顯著水準 ,一個 信賴區間 被稱為最短長度 CI,如果對於任何其他的 CI ,其長度 對於幾乎所有 成立。
- UMA 與最短長度 CI 的關係: UMA CI 通常具有最短長度。對於單參數指數族分佈,如果存在 UMP 檢定,則由其導出的 CI 通常是 UMA 且具有最短長度。
解題步驟:
- 確定 II. A. (b) 中的信賴區間的長度。
- 討論該長度是否為最短。
- 提供證明。
計算過程:
在 II. A. (b) 中,我們找到的 信賴區間為 。
該信賴區間的長度為 。
證明最短長度:
對於 分佈, 是參數 的一個充分統計量 (sufficient statistic)。
此外, 的分佈族具有單調似然比性質(或者更準確地說,是單調的)。
對於單參數指數族分佈,如果存在一個 UMP 檢定,則由該 UMP 檢定導出的信賴區間是 UMA 且具有最短長度。
我們在 II. A. (a) 中已經證明了基於 的檢定是 UMP 的。
因此,由該 UMP 檢定導出的信賴區間 必須是 UMA 且具有最短長度。
更具體的證明思路:
一個最短長度 CI 的存在性通常與充分統計量和分佈的單調性有關。
令 為一個 CI。
我們需要證明 對於幾乎所有 。
這通常需要證明 或 的形式。
考慮 。
令 。
信賴區間的覆蓋機率是 。
第 II. B. (a) 題7 分
B. Suppose that the random variables satisfy
where are fixed constants, and are iid with unknown.
(a) Find a two-dimensional sufficient statistic for .
登入後即可作答並保存紀錄。
核心觀念
本題考查:
- 充分統計量的定義;
- Neyman–Fisher 因子分解定理;
- 常態模型的概似函數整理。
若統計量 對參數 充分,則聯合密度可寫成
其中 不含未知參數。
解題方法
由
可知
且彼此獨立。因此,樣本聯合密度為
整理得
將平方項展開:
因此
第 II. B. (a) 題7 分
(a) Find a two-dimensional sufficient statistic for .
登入後即可作答並保存紀錄。
核心觀念
在通常假設 為獨立同分布樣本,且
其中 、,本題要求找出關於參數 的二維充分統計量。
使用的判準是 Neyman–Fisher 因子分解定理:若聯合機率密度可寫成
則 為 的充分統計量。
解題方法:寫出聯合概似函數並因子分解
由於樣本獨立同分布,聯合密度為
將平方項展開:
因此
樣本資料與參數共同出現的部分,只透過
呈現。因此令
則聯合密度可表示為
第 II. B. (b) 題7 分
(b) Find the MLE of , and show that it is an unbiased estimator of .
登入後即可作答並保存紀錄。
題目資訊與合理假設
目前僅提供第 II. B. (b) 小題,未包含前文所定義的母體分配,因此單憑這一句無法唯一決定 的 MLE。以下採用此類題目最常見的設定:
核心觀念
本題考查:
- 最大概似估計法(Maximum Likelihood Estimation, MLE)。
- 聯合概似函數與對數概似函數。
- 利用一階導數求得概似函數的極值。
- 無偏估計量的定義:
對 Poisson 分配而言,
因此樣本平均數具有直接驗證無偏性的優勢。
解題方法
先寫出樣本的聯合概似函數,再取對數並微分求解。由於 同時出現在機率質量函數中,必須以 為變數進行最大化。
一、建立概似函數
單一觀察值 的機率質量函數為
因為 相互獨立,聯合概似函數為
整理得
二、取對數概似函數
令
則
對 微分:
令一階導數等於零:
因此
三、確認確實為最大值
二階導數為
當 時,
第 II. B. (c) 題7 分
(c) Find the UMVUE of .
登入後即可作答並保存紀錄。
這題要求找出參數 的 UMVUE (Uniformly Minimum Variance Unbiased Estimator)。
核心觀念:
- UMVUE: 一個估計量 對於參數 是 UMVUE,如果它是無偏的,並且對於任何其他無偏估計量 ,其方差 。
- Cramér-Rao Lower Bound (CRLB): 對於一個無偏估計量 ,如果它達到了 CRLB,那麼它就是 UMVUE。CRLB 的計算依賴於 Fisher Information。
- Rao-Blackwell Theorem: 如果 是充分統計量, 是 的無偏估計量,則 也是 的無偏估計量,且 。這意味著 UMVUE(如果存在)必須是充分統計量的函數。
- Basmann-Bose Theorem: 對於一個線性迴歸模型,如果誤差項是獨立同分佈的,並且存在一個充分的統計量,使得某個參數的 MLE 達到了 CRLB,那麼該 MLE 就是 UMVUE。
解題步驟:
- 確認充分統計量。
- 計算 Fisher Information。
- 計算 CRLB。
- 檢查 II. B. (b) 中找到的 MLE 是否達到了 CRLB。如果是,則它就是 UMVUE。
計算過程:
-
充分統計量:
根據 II. B. (a),一個二維充分統計量是 。
另一個常用的充分統計量是 ,記為 。
其中 且 。 -
Fisher Information:
對於參數 ,Fisher Information 矩陣 的元素由 給出。
我們只關心與 相關的部分。
。
。
。
。CRLB 對於 是 。
-
檢查 MLE 的方差:
在 II. B. (b) 中,我們找到 。
計算其方差:
。
第 II. C. 題8 分
C. Feller Weak Law of Large Numbers
Suppose that are iid random variables and define . If
then
where is an indicator function.
Let be a symmetric distribution and suppose
Suppose that is an iid sequence of random variables with common distribution . Show that the sample mean converges in probability to 0.
登入後即可作答並保存紀錄。
核心觀念
本題的核心為**費勒弱大數法則(Feller Weak Law of Large Numbers, WLLN)**及其截斷技術(Truncation)。
-
費勒弱大數法則的充分必要條件:
設 為獨立同分布(iid)之隨機變數,其部分和為 。若且唯若存在常數序列 ,使得:
(註:題幹中式子之截斷門檻一般標準形式為 ;題幹寫作 亦同理對應其截斷門檻)。
-
對稱分布之性質:
若 的機率分布 對原點對稱(Symmetric about 0),則對任意常數 :- 尾端機率具對稱性:,故 。
- 截斷隨機變數 亦對稱於 0,其期望值恆為 0,即:
解題方法
題目欲證明樣本平均數 。證明分為兩大關鍵步驟:
步驟一:驗證 Feller WLLN 之極限條件
由題意, 為對稱分布,因此對任意 :
代入題目給定的尾端機率公式:
計算極限值: