115 年 國立臺灣大學經濟學系碩士班《統計學(A)》
第 1 題5 分
Comment on the following statement concerning the Central Limit Theorem.
"For independent and identically distributed random variables with finite mean and variance , the sample average converges in distribution to a normal distribution with mean and variance as the sample size increases."
You need to provide an explanation for why the statement is TRUE or FALSE.
登入後即可作答並保存紀錄。
這個題目在考驗對中央極限定理 (Central Limit Theorem, CLT) 的理解。CLT 的核心在於說明,當樣本數 夠大時,來自任何分布(只要其一階與二階動差存在)的獨立同分布隨機變數的樣本平均值,其分布會趨近於一個常態分布。
CLT 的標準敘述是:
設 為獨立且同分布(i.i.d.)的隨機變數,具有有限的期望值 和有限的變異數 。則樣本平均值 的標準化形式,當 時,會趨近於標準常態分布 。
即:
其中 是標準常態分布的累積分布函數。
從上述標準敘述,我們可以推導出 的分布:
由於 ,
這意味著 。
進一步,這表示 。
第 2 題15 分
Let i.i.d. .
(a) Define . Find the distribution of .
(b) Define . Find the distribution of .
(c) Consider the following two statistics: and is the range of the random sample . Show that and are independent.
登入後即可作答並保存紀錄。
核心觀念
本題考查三個重點:
- 兩個獨立常態變數之比的分布。當分子、分母皆為零均值時,比例服從標準 Cauchy 分布;均值不為零時,通常不是標準 Cauchy 分布。
- 常態變數的線性轉換,以及獨立常態變數之比的密度推導。
- 常態樣本中,樣本平均數與離均差向量獨立;而樣本全距只依賴離均差,因此可證明其與樣本平均數平方獨立。
以下假設 ,並以 表示標準常態分布的累積分布函數。
(a) 的分布
解題方法
使用變數轉換
因此
Jacobian 的絕對值為
由於 獨立且皆服從 ,
所以
代入並整理指數項:
完成平方後,可得 的機率密度函數:
因此, 服從「兩個同變異數、同均值常態變數之比」的 ratio-normal 分布。
特別地,若 ,上式化為
故
(b) 的分布
解題方法
令
由獨立常態變數的線性組合仍為常態分布,
再計算共變異數:
因為 為聯合常態,且共變異數為零,所以 與 獨立。
現在
令 ,則
Jacobian 的絕對值為 ,故
代入 與 的密度,整理後得到
第 3 題15 分
Let be a random sample from , .
(a) Find the method of moments estimator for , denoted by . Is a consistent estimator for ?
(b) Use to propose a test statistic to test vs. at significance level . Specify the rejection region.
(c) Given the realization of the random sample , construct a 95% confidence interval for , and determine whether you can reject the null hypothesis at significance level in part (b).
登入後即可作答並保存紀錄。
此題考驗對均值矩估計法 (Method of Moments, MOM)、一致性估計量、假設檢定與信賴區間的理解與應用,特別是針對均勻分布。
核心觀念:
- 均值矩估計法:令樣本動差等於母體動差,解出待估參數。
- 一致性:當樣本數趨近無限大時,估計量會趨近真實參數。
- 假設檢定:根據檢定統計量的值,判斷是否拒絕虛無假設。
- 信賴區間:給定信賴水準,參數落入該區間的機率。
- 均勻分布 的性質:期望值、變異數、CDF、PDF。
(a) 尋找 的矩估計量 ,並判斷其一致性。
均勻分布 的機率密度函數 (PDF) 為:
步驟 1:計算母體的一階動差 (期望值)。
。
步驟 2:計算樣本的一階動差。
樣本的一階動差是樣本平均值:
。
步驟 3:令樣本一階動差等於母體一階動差,解出 。
解出 :
因此, 的矩估計量為 。
步驟 4:判斷 的一致性。
一個估計量 對於參數 是一致的,如果 對於任意 。
這等價於 且 。
-
檢查期望值:
由於 是來自 的樣本平均值,其期望值為母體的期望值:。
所以,。
,所以 是漸近無偏的 (asymptotically unbiased)。 -
檢查變異數:
。
樣本平均值的變異數為母體變異數除以樣本數:。
均勻分布 的變異數為:
。
。
所以,。
。
。
由於 且 ,根據弱大數法則 (Weak Law of Large Numbers), 是一致的。
結論: 的矩估計量為 ,且 是一致估計量。
(b) 針對 vs. ,以 建立檢定統計量與拒絕域。
我們使用的估計量是 。
在虛無假設 下,我們假設 。
因此,在 為真時,
。
根據中央極限定理 (CLT),當 夠大時, 的分布近似於常態分布:
。
我們可以構造一個標準化的檢定統計量 :
在 為真時,。
這是雙尾檢定,顯著水準為 。
我們需要找到標準常態分布的臨界值 ,使得 。
對於 ,。
查標準常態分布表,累積機率為 的 值是 。
所以,。
拒絕域:
我們在 時拒絕 。
即 。
檢定統計量:
。
當 時,拒絕 。
注意: 題目只給了 的樣本,這是一個非常小的樣本數。CLT 的近似可能不夠準確。然而,在沒有其他資訊或更精確的分布資訊時,通常會基於 CLT 來進行。如果 是常態分布,那麼 也是常態分布,此時 的分布是精確的標準常態分布。但這裡 是均勻分布,所以 CLT 的應用是近似。
(c) 給定樣本 ,建構 95% 信賴區間,並判斷是否拒絕 。
步驟 1:計算樣本平均值 。
步驟 2:計算 的值。
步驟 3:建構 95% 信賴區間。
信賴區間的公式為:
其中 。
但是,信賴區間的建構通常是基於估計量本身的變異數。當我們建構 的信賴區間時,我們使用 的變異數。
我們知道 。在建構信賴區間時,我們需要估計這個變異數。
一個常見的做法是將 用其估計量 取代。
所以,我們使用 作為變異數的估計。
。
95% 信賴區間為:
其中 (因為 )。
。
。
信賴區間 =
=
=
=
=
信賴區間的下限:
信賴區間的上限:
所以, 的 95% 信賴區間是 。
另一種建構信賴區間的方法:
有些教材會直接使用 的漸近分布 。
在建構信賴區間時,我們需要估計 。
一種方法是使用 。
另一種方法是使用 plug-in estimator for variance: 。
。
這與上面計算的結果相同。
第 4 題15 分
Let be a random sample from a continuous distribution with distribution function and probability density function . Assume that is invertible. Define , and . Find the limiting distribution of .
登入後即可作答並保存紀錄。
核心觀念
本題考查:
-
機率積分轉換:若 為連續分布函數,則 。
-
最大順序統計量 的分布:
-
極限公式:
題目中的 衡量樣本最大值右側尾端機率的放大結果,因此其極限將呈現指數分布。
解題方法
由於 可逆且連續,令
根據機率積分轉換,
又因為 為遞增函數,
記
則
對任意固定的 ,因為 ,所以
對任意固定的 ,當 時,
第 5 題25 分
Consider the model
where . We run the OLS regression of on and , and obtain the predicted value of for any value of the independent variables:
Let be the residual term for .
(a) Find .
(b) Find .
(c) Find a consistent estimator for the predicted value of , , in terms of and , where is a consistent estimator for .
(d) If we know that is not normally distributed, find a consistent estimator for the predicted value of , , in terms of and .
登入後即可作答並保存紀錄。
此題考驗對線性迴歸模型中,對數轉換與指數轉換的期望值計算,以及估計量的性質,包含一致性估計量。
核心觀念:
- 對數轉換: 當應變數對數轉換後,模型變成線性模型,但誤差項的分布會影響原始應變數的分布。
- 常態分布的性質: 當 時,其值為 。
- 條件期望值: 的計算。
- OLS 估計量: 樣本迴歸線的預測值。
- 一致性估計量: 當樣本數趨近無限大時,估計量趨近真實參數。
- 殘差項: 實際值與預測值之間的差異。
模型設定:
其中 。
令 。則 。
令 。
由 可知。
。
(a) Find .
我們已知 。
根據常態分布的性質,。
在這裡,, 且 。
因此,
。
由於 對所有 都是常數 ,所以其無條件期望值也為 。
。
【答案】 。
(b) Find .
我們有 。
這意味著 。
。
令 。
則 。
我們需要計算條件期望值 。
由於 是關於 的函數,它對於條件期望值 來說是常數。
。
從 (a) 的結果,我們知道 。
所以,
。
【答案】 。
(c) Find a consistent estimator for the predicted value of , , in terms of and , where is a consistent estimator for .
預測值 通常是指基於樣本估計出來的參數,代入模型計算出來的預測值。
根據 (b) 的結果,真實的條件期望值是 。
將真實參數 用其 OLS 估計量 取代,我們可以得到 的預測值。
。
題目要求用 和 來表示。
我們知道 是 OLS 對 的預測值。
所以,
。
說明一致性:
OLS 估計量 是 的一致估計量,因為誤差項 的條件期望為零且滿足其他標準假設。
是 的一致估計量。
是 的一致估計量。
由於 是一個連續函數,根據連續函數保持一致性 (Slutsky's theorem or properties of consistent estimators), 是 的一致估計量。
同理, 是 的一致估計量。
而 。
所以, 是一個一致估計量。
【答案】 。
(d) If we know that is not normally distributed, find a consistent estimator for the predicted value of , , in terms of and .
模型為:
我們需要找到 的一致估計量。
從 。
。
在這一部分,我們不知道 的分布,只知道 。
我們不能再使用 。
我們需要用樣本資訊來估計 。
一個一致的估計量 應該基於 OLS 預測值 和對 的估計。
第 6 題10 分
Suppose that you are interested in estimating the ceteris paribus relationship between and . For this purpose, you collect data on and , and two control variables and . Let be the simple regression estimate from on , and let be the multiple regression estimate from on , and .
(a) If is almost uncorrelated with and in the sample, and and are highly correlated, would you expect and to be similar or very different? Explain.
(b) If is highly correlated with and , and and have small partial effects on , would you expect or to be smaller? Explain. (se(.) is standard error)
登入後即可作答並保存紀錄。
此題考驗對迴歸分析中,多重共線性 (multicollinearity) 與控制變數 (control variables) 對估計量標準誤與係數估計的影響。
核心觀念:
- 簡單迴歸 (Simple Regression): 。 是 對 的簡單迴歸係數。
- 複迴歸 (Multiple Regression): 。 是 對 的複迴歸係數。
- Ceteris Paribus: 在其他條件不變的情況下。複迴歸的係數 試圖捕捉 對 的 ceteris paribus 效應。
- 多重共線性: 自變數之間高度相關。
- 標準誤 (Standard Error, SE): 衡量迴歸係數估計量變異性的指標。較小的標準誤表示估計量較精確。
(a) If is almost uncorrelated with and in the sample, and and are highly correlated, would you expect and to be similar or very different? Explain.
解釋:
- 簡單迴歸 : 估計的是 對 的總效應,其中包含了 直接對 的影響,以及 間接通過 和 對 的影響(如果 與 相關的話)。
- 複迴歸 : 估計的是 對 的 ceteris paribus 效應,即在控制了 和 的影響後, 對 的直接影響。
題目給定:
- 與 幾乎不相關。
- 與 高度相關。
分析:
當 與 幾乎不相關時,在複迴歸模型中,將 加入迴歸式,對 的係數 的影響會很小。
這是因為 無法很好地解釋 的變異。
標準迴歸理論告訴我們,複迴歸係數 可以看作是 對 的迴歸殘差,對 的迴歸殘差進行迴歸的係數。
如果 與 無關,那麼 對 的影響,在簡單迴歸和複迴歸中,基本上是相同的。
也就是說,控制 的動作,並不會顯著地改變 對 的估計效應,因為 並沒有「解釋」或「混淆」(confound) 對 的關係。
和 高度相關(即多重共線性)主要會影響 和 的標準誤,並可能使它們變得很大,但對於 的係數 的影響,取決於 與 的關聯度。
結論:
因為 與 幾乎不相關,所以 和 應該是相似的。
加入 和 作為控制變數,並不會顯著改變 對 的 ceteris paribus 效應的估計。
(b) If is highly correlated with and , and and have small partial effects on , would you expect or to be smaller? Explain.
解釋:
- : 簡單迴歸中 係數的標準誤。
第 7 題15 分
Consider the probit model , where is a continuous variable, is independent of and , and . Moreover, and are observed but is not. is c.d.f. of .
(a) Find .
(b) Find .
[Some useful N(0,1) probabilities]
,
,
登入後即可作答並保存紀錄。
此題考驗對機率模型 (Probit Model) 的理解,以及條件機率的計算,特別是涉及隱藏變數 (latent variable) 的情況。
核心觀念:
- Probit 模型: 應變數 是一個二元變數 (0 或 1),其發生機率由一個標準常態分布的 CDF 給出。
- 條件機率: 的計算。
- 隱藏變數 (Latent Variable): 模型中的 是一個未被觀測到的變數。
- 常態分布的性質: 兩個獨立常態變數的線性組合也是常態變數。
- 全機率法則 (Law of Total Probability): 。
模型設定:
其中 獨立。
可觀測, 不可觀測。
(a) Find .
我們需要計算在給定可觀測變數 的條件下, 的機率。
由於 是未知的,我們需要將其邊緣化 (marginalize out)。
我們使用全機率法則:
其中 是 的機率密度函數 (PDF)。
由於 獨立,其 PDF 為 。
將模型代入:
令 。
則積分變為:
這是一個期望值的形式。令 。
則 。
由於 , 。
是關於 的常數。
所以, 是關於 的一個線性組合。
由於 , 是一個常態隨機變數。
。
。
所以,。
我們需要計算 ,其中 。
這個期望值 的結果是 。
在這裡, 且 。
所以,
。
證明這個結果:
令 且 獨立。
我們想計算 。
令 。 。
。
這是一個標準結果:如果 ,則 。
在這裡, 是我們上面定義的 。
所以,。