114 年 國立臺北大學統計學系碩士班《數理統計(含機率概論)》
第 1 題10 分
Let X and Y be two random variables with the joint probability density function
(a) Let . Find the probability density function of Z.
(b) Let . Find the probability density function of W.
登入後即可作答並保存紀錄。
本題主要考驗聯合機率密度函數的轉換與邊緣機率密度函數的計算。
(a) 求 Z = X + Y 的機率密度函數
核心觀念:聯合機率密度函數的變數轉換。
給定聯合機率密度函數 ,定義域為 。
我們令 ,(或其他輔助變數,例如 )。
由 和 ,我們可以得到反向轉換:,。
計算 Jacobian:
因此,
所以,新的聯合機率密度函數為 。
接下來需要確定新變數 的定義域。
原始定義域:。
代入 , :
綜合以上不等式:
。
同時,我們知道 。由於 ,所以 。
但更精確的範圍可以由 推導:
最小 (當 )。
最大 (當 )。
然而,由於 ,所以 。
且 。
更進一步,考慮 的範圍。
若 ,則 。
且 。
從 和 ,我們可以得到 。
同時 。
所以 。
又因為 ,所以 。
所以 。
為了使此區間有意義,必須 。
若 (即 ),則 。
若 (即 ),則 。
所以 的範圍是 。
現在我們需要計算 的邊緣機率密度函數 ,方法是積分 的範圍。
。
對於給定的 ,積分範圍為 。
我們需要分情況討論 的範圍:
Case 1:
此時 。積分範圍為 。
此時, 的最大值為 。
Case 2:
此時 。積分範圍為 。
此時, 的最小值為 , 的最大值為 。
綜合以上,Z 的機率密度函數為:
驗證積分是否為 1:
第 2 題5 分
Let Y be uniformly distributed on the interval (0, 1). Conditionally on Y=y, let X be uniformly distributed on the interval (0, y).
(a) Find the probability density function of X.
(b) Find E(X) and Var(X).
(c) Find P(X < 0.3).
登入後即可作答並保存紀錄。
本題主要考驗條件機率、聯合機率密度函數、邊緣機率密度函數以及期望值與變異數的計算。
給定 Y~U(0, 1),其機率密度函數為 for ,否則為 0。
條件機率密度函數為 X|Y=y ~ U(0, y),其機率密度函數為 for ,否則為 0。
(a) 求 X 的機率密度函數
核心觀念:利用聯合機率密度函數的定義來求邊緣機率密度函數。
首先,計算 X 和 Y 的聯合機率密度函數:
此時的定義域為 且 。
這可以寫成 。
接著,計算 X 的邊緣機率密度函數 ,透過對 Y 進行積分:
對於一個給定的 ,y 的範圍必須滿足 。
因此,積分範圍為 。
這個積分需要考慮 的範圍。由於 ,所以 的範圍是 。
所以,X 的機率密度函數為:
否則 。
驗證積分是否為 1:
使用分部積分法:令 ,。則 ,。
計算邊界項:
。
。令 ,當 ,。
。
使用 L'Hopital's Rule: 。
所以 。
總積分為 。驗證通過。
(b) 求 E(X) 和 Var(X)
核心觀念:利用機率密度函數計算期望值和變異數。
期望值 :
使用分部積分法:令 ,。則 ,。
邊界項 :
。
。
第 3 題5 分
Let be the joint probability function of two random variables X and Y. Suppose that the joint moment generating function is
(a) Find the joint probability function of X and Y.
(b) Find the marginal distribution of X and the marginal distribution of Y.
登入後即可作答並保存紀錄。
核心觀念
聯合動差生成函數(joint moment generating function, MGF)定義為
若 為離散型隨機變數,且
則
因此,只要將 MGF 展開成各項 的線性組合,即可直接讀出聯合機率。
此外,任何合法的 MGF 必須滿足
題目給定的式子在 為
所以題目中的係數 應為排版誤植。以下依合理修正,將其視為
進行作答。
解題方法
令
則
將平方展開:
分別計算各項:
因此
與
逐項比較,即可得到聯合機率。
(a) 聯合機率函數
非零的聯合機率如下:
故聯合機率函數可表示為
快速驗算所有機率總和:
(b) 與 的邊際分配
的邊際分配
對每個固定的 ,將所有可能的 加總:
當 時,
第 1 題5 分
Let be a random sample from Binomial(k, θ), where k is known and θ is unknown.
(a) Find a complete sufficient statistic of θ.
(b) Find the uniformly minimum-variance unbiased estimator (UMVUE) of .
登入後即可作答並保存紀錄。
核心觀念
本題使用三個重要定理:
- Neyman–Fisher 因子分解定理:判斷充分統計量。
- 完全性:若統計量的期望對所有參數值皆為零,則該函數必須幾乎處處為零。
- Rao–Blackwell 定理與 Lehmann–Scheffé 定理:對某個不偏估計量取充分統計量的條件期望,可得到 UMVUE;若充分統計量同時完全,則此不偏估計量即為唯一的 UMVUE。
令
由於每個 ,所以
(a) 求 的完全充分統計量
第一步:寫出聯合機率質量函數
對 ,
因此聯合機率質量函數為
寫成 後,
其中與 有關的部分只透過 出現,故由因子分解定理,
是 的充分統計量。
第二步:證明完全性
因為
設 。若某函數 滿足對所有 ,
則
除以 ,並令
得到
左側是關於 的多項式,若在所有 皆為零,則其每一個係數皆為零。因此
進而 。所以 是完全統計量。
(b) 求 的 UMVUE
第一步:寫出目標函數
由 ,
第 2 題5 分
Let be a random sample from a population with pdf
where .
(a) Find the method of moments estimator (MME), .
(b) Find the asymptotic variance of .
(c) Find a consistent estimator of θ. Prove your claim.
登入後即可作答並保存紀錄。
本題主要考驗機率分佈的識別、動差法估計量 (MME) 的計算、漸近變異數的求解以及一致性估計量的證明。
給定的機率密度函數 (PMF) 是 for 。
這是一個 Poisson 分佈,其中 。
Poisson(θ) 的期望值為 ,變異數為 。
(a) 求動差法估計量 (MME),
核心觀念:動差法估計量是將樣本動差與對應的理論動差相等,然後解出參數。
對於 Poisson 分佈,我們使用一階動差。
樣本一階動差為 。
理論一階動差為 。
令樣本動差等於理論動差:
因此,動差法估計量為:
(b) 求 的漸近變異數 (Asymptotic Variance)
核心觀念:利用大數法則和中央極限定理來求估計量的漸近變異數。
我們知道 。
根據中央極限定理,當 n 很大時, 近似服從均值為 0、變異數為 的常態分佈。
。
。
所以,。
我們可以將其寫成 。
兩邊同時除以 :
。
這表示 的分佈近似為 。
估計量的變異數是 。
漸近變異數 (Asymptotic Variance, AV) 是指當 n 趨近於無限大時,n 乘以估計量的變異數。
。
另一種方法是使用 Cramer-Rao Lower Bound (CRLB) 來求得 UMVUE 的漸近變異數。
首先,計算 Fisher Information 。
。
。
。
。
對於樣本總和 ,Fisher Information 是 。
第 3 題5 分
Let , , be i. i. d. bivariate normal with unknown and . Let be the parameter of interest (). Define .
(a) It is known that are i. i. d. with . Find and .
(b) Find a pivotal quantity of .
(c) Use the pivotal quantity of (b) to find a confidence set, , for .
(d) Find a condition such that is a finite interval.
登入後即可作答並保存紀錄。
核心觀念
本題考查:
- 線性組合的常態分配。
- 二元常態樣本的線性轉換。
- Student’s 統計量與樞紐量。
- Fieller 定理:分子、分母皆含未知參數之比值的信賴集合。
令
表示真實參數值,並令樣本平均與樣本共變異數為
其中
(a) 求 與
定義
由期望值的線性運算,
又因為
所以
因此
由於 為獨立同分布, 也是獨立同分布。
(b) 求 的樞紐量
當 時,
因此
的平均數為 ,變異數為
樣本平均滿足
其中
由於 未知,使用 的樣本變異數:
二元常態分配下,樣本平均與樣本變異數獨立,且
故樞紐量為
並且在真實參數 下,
(c) 求 信賴集合
令
表示自由度為 的 分配上 右尾臨界值。由
得到信賴集合
第 4 題5 分
Let be the logistic location pdf
Based on one observation, X, find the most powerful size test of versus .
登入後即可作答並保存紀錄。
本題主要考驗最優似然比檢定 (Most Powerful Likelihood Ratio Test, MPLRT) 的應用,特別是對於包含位置參數的單參數指數族分佈。
給定的機率密度函數 (pdf) 是 ,這是一個 Logistic 分佈的位置尺度族 (location family)。
我們需要對 進行假設檢定: vs 。
基於一個觀察值 X。
核心觀念:最優似然比檢定 (MPLRT)。
對於簡單對簡單假設檢定(Simple vs Simple Hypothesis Testing),最優檢定(最優似然比檢定)是基於似然比統計量。
似然比統計量為:
MPLRT 的原則是,如果似然比大於某個臨界值 ,則拒絕 而接受 。
。
這等價於 。
令 。
讓我們嘗試對 pdf 進行變換。
令 。則 。
.
.
當 , . 當 , .
.
令 。那麼 。
. 。
. 。
似然比:
。
我們需要找到拒絕域 。
(假設 )
令 。