108 年 國立臺灣大學流行病學與預防醫學研究所乙:生醫統計組 :生醫統計組《基礎統計學》
第 1 題
第一大題 (9 小題,共 50 分)
癌症病人接受化學治療常有副作用 (如疼痛),假設疼痛分數可以使用問卷得到,而且假設其分數是遵循常態分佈。某研究機構提出一新方法可降低疼痛,也就是將病人之足穿戴特殊厚毛襪 (以 表示),此可能可以使得接受化療的病人疼痛緩解。研究人員為證明此想法,將病人左右腳隨機選取一腳穿 (),而另一腳未穿 (),並測量兩腳在穿 () 與未穿 () 其介入前後疼痛的改善分數,以 表示,今得到 50 位病人資料如下:
(20, -5), (15, 5), (-5, 5), ..., (20, -7) 共 50 對。且
其中 亦可以 表示。
(1) 請自行設定符號敍述統計虛無假說及對立假說以驗證穿戴特殊厚毛襪 () 是否可以改善疼痛的假說,並寫出使用何種統計檢定方法? (5 分)
登入後即可作答並保存紀錄。
本題主要在考驗對統計假設檢定的基本觀念,包括如何根據問題情境設定虛無與對立假說,以及選擇合適的統計檢定方法。
核心觀念: 假設檢定、配對樣本 t 檢定。
解題過程:
題目提到研究人員將病人左右腳隨機選取一腳穿 ,另一腳未穿 ,並測量兩腳介入前後疼痛的改善分數,這是一種配對設計 (paired design)。我們關心的是穿戴特殊厚毛襪 () 是否能「改善」疼痛,這表示我們希望 會比 來得小(因為分數是「改善」分數,改善越多,分數越負)。
(1) 設定假說:
我們要驗證的是穿戴特殊厚毛襪 () 是否可以「改善」疼痛。
令 為配對差異分數 的母體平均數。
-
虛無假說 (): 穿戴特殊厚毛襪對疼痛沒有改善效果,或者效果比不穿更差。也就是說,平均差異分數 不大於 0。
-
對立假說 (): 穿戴特殊厚毛襪可以改善疼痛。也就是說,平均差異分數 小於 0。
*註:題目中給的資料是 ,且 。這裡的「改善分數」定義的確切方向很重要。如果「改善分數」越大代表越改善,那麼我們應該是 。但題目範例數據 (20, -5), (15, 5) 顯示 (20, 15) 相對於 (-5, 5) 似乎是「疼痛程度」,數字越大代表疼痛越嚴重。若如此,則「改善」疼痛應是 ,即 。
若題目範例數據的定義是「改善程度」,例如 為穿著襪子後疼痛減輕的程度,那麼 越大代表越改善。此時,我們應檢定 ,即 。
第 2 題
(2) 敍述使用何種統計檢定量來檢定並說明須要何種訊息才能得知檢定量在 之下的臨界值 (critical value)? (5 分)
登入後即可作答並保存紀錄。
本題接著考驗對統計檢定中檢定量 (test statistic) 的理解,以及如何確定臨界值。
核心觀念: 統計檢定量、臨界值、自由度。
解題過程:
承接上一小題,我們使用配對樣本 t 檢定。
(2) 統計檢定量 (Test Statistic):
對於配對樣本 t 檢定,統計檢定量是基於樣本平均差異值與母體平均差異值(在虛無假說下)來計算標準誤。
令 為樣本平均差異。
令 為樣本差異分數 的樣本標準差。
則統計檢定量 的公式為:
其中 是虛無假說下的母體平均差異值。在我們的假說 中,我們通常取邊界值來計算檢定量,所以 。
因此,檢定量為:
第 3 題
(3) 假設兩組疼痛改善相差 的變異數已知為 ,依上述資料檢定後距離平均值有多少標準誤?根據此訊息在不查表情況下自行判定是否應推翻或接受虛無假說? (5 分)
登入後即可作答並保存紀錄。
本題提供母體變異數,這將改變統計檢定的方法,並要求根據計算結果自行判斷是否拒絕虛無假說。
核心觀念: Z 檢定、標準誤、判斷假說。
解題過程:
題目給定兩組疼痛改善相差 的變異數已知為 。這表示我們知道母體變異數 。當母體變異數已知時,我們應使用 Z 檢定,而不是 t 檢定。
(3) 統計檢定量 (Z-statistic):
由於 已知,母體標準差 。
統計檢定量 的公式為:
其中 是樣本平均差異, 是虛無假說下的母體平均差異值 (這裡取 0), 是母體標準差, 是樣本數 (50)。
計算標準誤:
標準誤 (standard error, SE) 是指樣本統計量 (這裡指 ) 的標準差。
所以,樣本平均差異 距離母體平均差異值 0 (根據 ) 有約 1.414 的標準誤。
自行判定是否推翻或接受虛無假說:
題目給了 。
樣本平均差異 。
現在計算 Z 檢定量:
判斷:
我們進行的是左尾檢定 ()。
我們的計算結果是 。
- 臨界值: 在 的左尾檢定下,Z 分配的臨界值 是負值,大約是 -1.645。
第 4 題
(4) 解釋此種檢定統計方法是 One-sample 或 Two-sample test,其統計檢定之充分統計量為何? (5 分)
登入後即可作答並保存紀錄。
本題要求區分單一樣本檢定與雙樣本檢定,並識別充分統計量。
核心觀念: 單一樣本檢定、雙樣本檢定、充分統計量。
解題過程:
(4) 檢定方法的分類:
我們進行的檢定是基於配對差異值 的平均數 。我們將樣本差異值 視為一個單一樣本,並檢定其母體平均數 。
因此,這種檢定方法是單一樣本檢定 (One-sample test)。
雖然資料來源是兩組配對的測量值 ,但我們將它們轉換為一個單一的差異變數 ,然後對這個差異變數的平均值進行檢定。
統計檢定之充分統計量 (Sufficient Statistic):
充分統計量是指一個統計量,它包含了樣本中關於待估母數的所有資訊。對於母體平均數的檢定,充分統計量通常是樣本平均數。
-
在 t 檢定的情況下 (小題 1, 2):
當母體變異數 未知時,我們使用配對 t 檢定。檢定統計量是 。
此處的充分統計量是樣本平均差異 和樣本差異標準差 。然而,在許多統計理論中,對於檢定母體平均數 (或 ),當 未知時,樣本平均數 和樣本標準差 共同構成了檢定所需的充分資訊。如果僅考慮檢定統計量本身,它依賴於 和 。但如果僅問「充分統計量」為何,通常是指能完全代表樣本資訊的統計量。在此情境下,通常指樣本的均值和變異數。
若僅考慮檢定統計量 的計算,它直接依賴於 。 -
在 Z 檢定的情況下 (小題 3):
當母體變異數 已知時,我們使用 Z 檢定。
第 5 題
(5) 寫出上述虛無及對立假說下之檢(定)力函數 (Power Function)。(5 分)
登入後即可作答並保存紀錄。
本題要求寫出統計檢定的檢定力函數 (Power Function)。
核心觀念: 檢定力函數、第二類錯誤、對立假說。
解題過程:
檢定力函數 (Power Function),通常記為 ,是指在對立假說為真時,正確地拒絕虛無假說的機率。
是第二類錯誤 (Type II error) 的機率,即當對立假說為真時,未能拒絕虛無假說的機率。
我們在小題 1 設定的假說為:
檢定方法是配對樣本 t 檢定,且是左尾檢定。
檢定力函數 是 的函數,可以寫成 。
在左尾檢定中,我們拒絕 當檢定統計量 。
所以,檢定力函數為:
其中 是在顯著水準 下,自由度 的左尾 t 分配的臨界值。
我們將 的公式代入:
當 為真實的母體平均差異時, 遵循 t 分配,其自由度為 。
所以,
這個公式的表達式有點問題,因為 是變數。
標準的檢定力函數表達方式:
檢定力函數是關於真實母體參數 (這裡是 ) 的函數。
在我們的左尾 t 檢定中,我們拒絕 (即 ) 當 某個臨界值 。
這個臨界值 是由 所定義。
但 是變數,所以更精確的表達是基於檢定統計量。
在這裡, 的計算是以真實的 為中心來標準化。
當我們計算檢定力時,我們假設一個特定的 值(在對立假說範圍內)。
這實際上是計算一個非中心 t 分配 (non-central t-distribution) 的機率。
非中心 t 分配的參數是自由度 () 和非中心參數 (non-centrality parameter, NCP)。
NCP 通常定義為 。
在我們的例子中,NCP = (如果 已知) 或 (如果 未知)。
由於我們使用 t 檢定, 未知,所以 NCP 是基於真實 和 。
簡化表達:
通常在基礎統計學中,要求寫出檢定力函數,是希望表達出其形式,而非精確的計算。
檢定力函數 是真實母體平均差異 的函數。
其中 是基於 導出的拒絕域的臨界值。
對於左尾 t 檢定,我們拒絕 當 。
第 6 題
假設吾人有興趣的是疼痛分數是否改善超過 5 分, 也就是 或 (以 + 表示) 或 (以 - 表示),如果得到 50 人的四組資料以 (+,+), (+,-), (-,+), (-, -) 分別代表 改善且 改善, 改善但 未改善, 未改善但 改善, 及兩組皆未改善, 其樣本數對數分別為 10, 20, 10 及 10。
(6) 請自行設定符號以驗證虛無假說及對立假說, 寫出使用何種統計檢定方法及充分統計量為何, 並在不查表情況下自行判定當 時是否應推翻或接受虛無假說? (5 分)
登入後即可作答並保存紀錄。
本題將問題從檢定平均差異轉變為檢定類別變數的關聯性,並要求設定假說、選擇檢定方法、識別充分統計量,並根據計算結果做判斷。
核心觀念: 獨立性檢定、卡方檢定、列聯表、充分統計量。
解題過程:
題目描述了四種情況,並且給了樣本數,這暗示了我們需要檢定這四種情況的發生頻率是否與某種獨立性假設相符。
「疼痛分數是否改善超過 5 分」這個敘述,以及後面的四種組合 (+,+), (+,-), (-,+), (-,-),表示我們將疼痛改善的狀態(是否超過 5 分)分為兩個類別:改善 (+) 和未改善 (-)。
這樣我們就有了兩個二元變數:
- 穿戴襪子組 () 的改善情況 (是/否)
- 未穿襪子組 () 的改善情況 (是/否)
我們有 50 個樣本,分成四組,樣本數分別是 , , , 。
總樣本數 。
設定假說:
題目沒有明確說明要檢定什麼。一般來說,當有這種四格表時,最常見的檢定是檢定兩個變數之間是否獨立。
在這裡,我們檢定「穿戴襪子情況 ()」與「疼痛是否改善超過 5 分」這兩件事是否獨立。
- 虛無假說 (): 穿戴襪子 () 與疼痛是否改善超過 5 分這兩件事是獨立的。也就是說, 的使用對疼痛改善沒有影響。
- 對立假說 (): 穿戴襪子 () 與疼痛是否改善超過 5 分這兩件事是相關的(不獨立)。也就是說, 的使用對疼痛改善有影響。
統計檢定方法:
檢定兩個類別變數的獨立性,最常用的方法是卡方獨立性檢定 (Chi-squared test of independence)。
我們需要建構一個列聯表 (contingency table)。
建構列聯表:
我們需要根據題目給的四種組合來建構 2x2 的列聯表。
題目給的組合是 , , , 。
這裡的 "+" 代表「超過 5 分改善」,"-" 代表「未超過 5 分改善」。
令:
- : 改善 (超過 5 分)
- : 未改善 (未超過 5 分)
- : 改善 (超過 5 分)
- : 未改善 (未超過 5 分)
題目給的組合與樣本數為:
- :
- :
- :
- :
然而,這個表格的表達方式有點奇怪。通常,我們將一個變數放在列,另一個變數放在行。
例如,我們將「穿襪子組的改善情況」設為列變數,將「未穿襪子組的改善情況」設為行變數。
但是,題目給的樣本數是 , 等。這表示我們是直接觀察到每個病人的兩組情況。
重新理解題目:
「疼痛分數是否改善超過 5 分」是我們關注的結果。
我們將每個病人分為四類:
- 改善且 改善 (++, 10人)
- 改善但 未改善 (+-, 20人)
- 未改善但 改善 (-,+ 10人)
- 未改善且 未改善 (--, 10人)
這裡的「改善」是指「疼痛分數改善超過 5 分」。
我們應該檢定的是「穿著襪子組的改善情況」是否與「未穿著襪子組的改善情況」之間有關聯。
建構列聯表:
我們需要將這四種情況整理成一個 2x2 的列聯表。
通常,我們將一個變數(例如穿襪子組的結果)作為列,另一個變數(未穿襪子組的結果)作為行。
令:
- 列變數:穿襪子組 () 的結果
- 改善 (超過 5 分)
- 未改善 (未超過 5 分)
- 行變數:未穿襪子組 () 的結果
- 改善 (超過 5 分)
- 未改善 (未超過 5 分)
根據題目給的樣本數,我們需要將其對應到這個 2x2 表格中:
- : 改善 且 改善
- : 改善 且 未改善
- : 未改善 且 改善
- : 未改善 且 未改善
列聯表如下:
第 7 題
(7) 請依此資料排列成聯列表並計算 相對於改善達 5 分以上的倍數及 95% 信賴區間。(5 分)
登入後即可作答並保存紀錄。
本題要求計算比值 (odds ratio, OR) 及其信賴區間,這是對上題卡方檢定結果的進一步分析,常用於 2x2 列聯表。
核心觀念: 比值 (Odds Ratio, OR)、信賴區間、2x2 列聯表。
解題過程:
在上一小題中,我們建構了如下的列聯表:
| 改善 (+) | 未改善 (-) | 列總計 | |
|---|---|---|---|
| 改善 (+) | 10 | 20 | 30 |
| 未改善 (-) | 10 | 10 | 20 |
| 行總計 | 20 | 30 | 50 |
這裡的 "+" 代表「疼痛分數改善超過 5 分」,"-" 代表「疼痛分數未改善超過 5 分」。
我們需要計算 相對於改善達 5 分以上的倍數,這通常是指比值比 (Odds Ratio, OR)。
比值比衡量的是在某個暴露組 (這裡指 穿戴襪子組) 中,事件發生的比值與在對照組 (這裡指 未穿襪子組) 中,事件發生的比值的比例。
計算比值 (Odds):
-
穿襪子組 () 的比值 (Odds of improvement):
Odds() = (總計是 30 vs 20)
Odds() = -
未穿襪子組 () 的比值 (Odds of improvement):
Odds() = (總計是 20 vs 30)
Odds() =
計算比值比 (Odds Ratio, OR):
第 8 題
(8) 上述哪二組訊息對於改善疼痛並無助益?自行設定符號下使用條件機率描述其他兩組有用訊息下之任何一足疼痛改善的機率。 (5 分)
登入後即可作答並保存紀錄。
核心觀念
本題考查兩個觀念:
- 以條件機率判斷某組訊息是否有助於疼痛改善。
- 計算「至少一足疼痛改善」的聯集機率。
設未接受任何訊息時,左、右足疼痛改善事件分別為 、;第 組訊息為 。則:
- :接受第 組訊息後,左足疼痛改善的機率。
- :接受第 組訊息後,右足疼痛改善的機率。
- 「任何一足改善」表示 。
因此,
減去交集項是為了避免左、右足同時改善的情況被重複計算。
解題方法
判斷某組訊息是否有助益,應比較接受訊息後的疼痛改善機率與未接受訊息時的基準機率。
若第 組訊息滿足
則該組訊息對改善疼痛沒有助益;若
則可視為有助於改善疼痛。
本題題幹只提供第 8 題,未附「上述」各組訊息及其疼痛改善資料,因此無法依原始組別名稱直接判定哪二組無助益。若將四組訊息依序記為 ,則應依前題資料計算四個機率:
再與基準機率 比較。低於或等於基準值的兩組,即為對改善疼痛無助益的兩組。
其他兩組有用訊息下的條件機率
假設比較後確認有用的兩組訊息為 、,則:
在第 組有用訊息下,任何一足疼痛改善的機率為
第 9 題
(9) 若使用羅吉斯迴歸方程式來估計穿戴特殊厚毛襪 的迴歸係數,將其模式型表示如下:
其中 對, 改善/未改善, : 截距項, : 迴歸係數。
利用上述條件機率引導下,使用羅吉斯迴歸方程式導出任何一對中其中一足疼痛改善超過 5 分的機率之數學方程式和 及 2 分別代表左腳和右腳]相關但和截距項無關之函數關係,並利用題 (7) 推論迴歸係數估計值約為多少? (10 分)
登入後即可作答並保存紀錄。
核心觀念
本題考查「配對資料的條件式羅吉斯迴歸」。對每一對受試者雙腳,令:
- :左腳是否穿著特殊厚毛襪;
- :右腳是否穿著特殊厚毛襪;
- :疼痛改善超過 分;
- :疼痛未改善超過 分。
羅吉斯迴歸模型為
其中 。
羅吉斯迴歸的勝算為
因此 的意義是: 增加 單位時,改善超過 分的勝算乘上 。
解題方法:對每一對條件化
題目要求「任何一對中其中一足疼痛改善超過 分的機率」。因此考慮某一對中恰有一足改善,亦即結果為:
- 左腳改善、右腳未改善:;
- 左腳未改善、右腳改善:。
欲求在「恰有一足改善」條件下,左腳改善的機率:
由羅吉斯模型,
所以
同理,
因此條件機率為
代入上式並約去共同因子,得
再將 約去:
分子分母同除以 ,可寫成
這就是所求的機率方程式。
第 10 題
第二大題 (5 小題, 共 50 分)
吾人想探討某「單核苷酸多態性」(single-nucleotide polymorphism, 簡稱 SNP) 與飲酒 (分為有、無這兩種) 之間是否存在交互作用 (interaction) 會影響舒張壓, SNP 可能出現的「基因型」(genotype) 有 TT, TC, CC 這三種, 已知年齡 (連續型數值) 與性別是兩個需要調整的解釋變數, 請回答以下五小題, 每小題 10 分:
(1) 舒張壓為一連續型的反應變項 (response variable), 請根據研究目的寫出迴歸模式 (regression model), 該迴歸模式是否有任何假設, 並寫出虛無假說與對立假說。
登入後即可作答並保存紀錄。
本題要求根據研究目的,建立一個包含交互作用項的迴歸模型,並闡述該模型的假設以及對應的虛無與對立假說。
核心觀念: 多元迴歸模型、交互作用項、模型假設、假設檢定。
解題過程:
研究目的: 探討 SNP 基因型、飲酒、年齡、性別對舒張壓的影響,並特別關注 SNP 與飲酒之間是否存在交互作用。
反應變數 (Response Variable): 舒張壓 (Diastolic Blood Pressure, DBP),為連續型變數。
解釋變數 (Predictor Variables):
- SNP 基因型:TT, TC, CC (類別變數)。
- 飲酒:有, 無 (類別變數)。
- 年齡:連續型數值。
- 性別:男, 女 (類別變數)。
- SNP 與飲酒的交互作用項。
建立迴歸模式:
-
處理類別變數:
- SNP 基因型: 有三種基因型 (TT, TC, CC)。我們可以將其轉換為虛擬變數 (dummy variables)。假設我們選定 TT 作為參考組 (reference group)。
- : 1 如果基因型是 TC,0 否。
- : 1 如果基因型是 CC,0 否。
- 飲酒: 假設我們將「無飲酒」設為參考組。
- : 1 如果有飲酒,0 否。
- 性別: 假設我們將「男性」設為參考組。
- : 1 如果是女性,0 否。
- SNP 基因型: 有三種基因型 (TT, TC, CC)。我們可以將其轉換為虛擬變數 (dummy variables)。假設我們選定 TT 作為參考組 (reference group)。
-
建立模型:
反應變數是舒張壓 (DBP)。
解釋變數包括年齡 ()、虛擬變數 ,以及交互作用項。
交互作用項是 SNP 基因型與飲酒的交互作用。由於 SNP 有三種基因型,飲酒有兩種,他們的交互作用會產生 種組合。
若我們使用虛擬變數編碼,交互作用項的設計需要小心。
假設我們將 SNP 基因型編碼為 (參考組為 TT),飲酒編碼為 (參考組為無飲酒)。
交互作用項包括:- : TC 基因型且有飲酒。
- : CC 基因型且有飲酒。
(其他組合,如 TT 基因型與飲酒,或 TC/CC 基因型與無飲酒,可以透過參考組來推斷。)
多元迴歸模型 (General Linear Model):
其中:- : 截距項 (Intercept)。
- : 年齡的迴歸係數。
- : TC 基因型相較於 TT 基因型,在其他條件相同下,對 DBP 的影響。
- : CC 基因型相較於 TT 基因型,在其他條件相同下,對 DBP 的影響。
- : 有飲酒相較於無飲酒,在其他條件相同下,對 DBP 的影響。
第 2 題
(2) 承上小題, 請說明如何在您的迴歸模式中檢查 SNP 與飲酒之間是否存在交互作用, 交互作用的迴歸係數值該如何解釋。
登入後即可作答並保存紀錄。
本題接著考驗如何檢定模型中的交互作用項,以及如何解釋這些交互作用項的迴歸係數。
核心觀念: 交互作用檢定、迴歸係數解釋。
解題過程:
承接上一小題建立的迴歸模型:
(2) 檢查 SNP 與飲酒之間是否存在交互作用:
檢查交互作用是否存在,就是對交互作用項的迴歸係數進行顯著性檢定。
- 虛無假說 (): 且 (無交互作用)。
- 對立假說 (): 或 (存在交互作用)。
我們可以使用 F 檢定來檢定這兩個係數是否同時為零。這通常是透過比較包含交互作用項的模型與不包含交互作用項的模型 (即只包含主效應的模型) 的擬合優劣來進行。
或者,我們也可以分別對 和 進行 t 檢定。如果其中任何一個的 p-value 小於我們設定的顯著水準 (例如 ),我們就可以拒絕虛無假說,認為存在顯著的交互作用。
在實際應用中,通常會進行一個聯合檢定 (joint test) 來同時檢定 和 是否為零。
交互作用的迴歸係數值如何解釋:
迴歸係數的解釋取決於它所對應的變數組合。
- ( ):
這個係數衡量的是,當 SNP 基因型為 TC 時,飲酒對 DBP 的影響,相較於 TT 基因型有飲酒時的影響,或者相較於 TC 基因型無飲酒時的影響。
更精確的解釋是:
代表「SNP 基因型為 TC 時,飲酒對 DBP 的效應 (相對於無飲酒時)」,與「SNP 基因型為 TT 時,飲酒對 DBP 的效應」之間的差異。
換句話說,它是 TC 基因型組飲酒效應的「額外」效應,相較於 TT 基因型組的飲酒效應。
第 3 題
(3) 若將反應變項改為高血壓與否 (1 或 0), 請寫出 logistic 迴歸模式, 並說明如何探討 SNP 與飲酒之間是否存在交互作用, 交互作用的迴歸係數值該如何解釋。
登入後即可作答並保存紀錄。
本題將反應變數從連續型改為二元類別變數,要求建立 logistic 迴歸模型,並解釋其交互作用項。
核心觀念: logistic 迴歸、連結函數 (logit)、交互作用項解釋。
解題過程:
當反應變數為二元類別 (高血壓與否,1=高血壓, 0=無高血壓) 時,我們應使用 logistic 迴歸模型。
1. Logistic 迴歸模型:
logistic 迴歸模型假設反應變數 (是否高血壓) 的 log odds 與解釋變數之間存在線性關係。
其中:
- 是該名受試者發生高血壓的機率。
- 是 log odds of high blood pressure。
- 解釋變數的編碼方式與前一題相同: (年齡), (SNP 基因型虛擬變數, TT 為參考組), (飲酒狀態, 無飲酒為參考組), (性別, 男性為參考組)。
- 是迴歸係數。
2. 探討 SNP 與飲酒之間的交互作用:
探討交互作用的方法與線性迴歸模型相同,即檢定交互作用項的係數 和 是否顯著不為零。
- 虛無假說 (): 且 (SNP 與飲酒之間無交互作用)。
- 對立假說 (): 或 (SNP 與飲酒之間存在交互作用)。
檢定方法通常是使用似然比檢定 (Likelihood Ratio Test) 或 Wald 檢定,或者比較模型擬合優劣。
3. 交互作用迴歸係數的解釋:
在 logistic 迴歸中,迴歸係數代表 log odds 的改變量。
- ( ):
這個係數代表,當 SNP 基因型為 TC 時,飲酒 (相較於無飲酒) 對 log odds of high blood pressure 的影響,與 TT 基因型時飲酒對 log odds of high blood pressure 的影響,之間的差異。
第 4 題
(4) 承上小題, 請寫出該 logistic 迴歸模式各參數的「最大概似估計值」(maximum likelihood estimates, 簡稱 MLE) 如何求解, 以及 MLE 的變異數如何估計, 需有計算過程。
登入後即可作答並保存紀錄。
本題要求說明 logistic 迴歸參數的最大概似估計 (MLE) 的求解方法,以及如何估計這些 MLE 的變異數。這涉及了數值優化和信息矩陣的概念。
核心觀念: 最大概似估計 (MLE)、似然函數、數值優化 (例如 Newton-Raphson)、信息矩陣、變異數估計。
解題過程:
logistic 迴歸模型為:
其中 是第 個觀測值發生高血壓的機率, 是第 個觀測值的解釋變數向量 (包含截距項和所有主效應及交互作用項), 是待估計的迴歸係數向量。
。
令 為第 個觀測值的高血壓狀態 (1 或 0)。
第 個觀測值產生 的機率為 ,產生 的機率為 。
該觀測值對似然函數的貢獻為 。
1. MLE 的求解方法:
最大概似估計 (MLE) 是尋找使樣本數據的似然函數 (likelihood function) 最大化的參數 值。
對於 logistic 迴歸,似然函數 是所有觀測值貢獻的乘積:
通常,我們最大化對數似然函數 (log-likelihood function) ,因為它更易於處理:
將 代入,得到:
這個函數通常沒有解析解 (closed-form solution),因此需要使用數值優化方法來求解。最常用的方法是:
-
Newton-Raphson 演算法 (或稱為 Iteratively Reweighted Least Squares, IRLS):
該方法通過迭代逼近最大值。在每一次迭代中,我們計算對數似然函數關於 的梯度 (score vector) 和海森矩陣 (Hessian matrix) 。
更新公式為:
迭代過程從一個初始的 值開始 (例如,所有係數設為 0),直到 的值收斂 (即前後兩次迭代的差異很小)。-
梯度 (Score vector):
其中 。 -
海森矩陣 (Hessian matrix):
海森矩陣是負定矩陣 (negative definite),其元素為:
其中 是 中第 個元素。
計算過程概要:
- 初始化 (例如,全為 0)。
- 計算 和 。
-
第 5 題
(5) 承上小題, 請從「概似函數」(likelihood function) 開始, 推導出「概似比檢定」(likelihood ratio test)、「Wald's test」以及「分數檢定」(score test) 的形式, 需有計算過程。
登入後即可作答並保存紀錄。
核心觀念
本題資訊省略「承上小題」的樣本模型與參數設定,以下以一般正則參數模型說明,並假設檢定
其中 可為一維或 維參數,樣本為 。
三種檢定的共同基礎為:
- 概似函數 ;
- 對數概似函數 ;
- 最大概似估計量 ;
- 虛無假設下的限制估計量 ;
- 分數函數與費雪資訊量。
在虛無假設成立且滿足正則條件下,三種統計量的大樣本分布皆為卡方分布:
若檢定的是 個限制,則漸近分布為 。
解題方法:由概似函數建立基本量
設樣本的聯合機率密度或機率質量函數為
因此概似函數為
若樣本獨立,則可寫成
取自然對數得到對數概似函數:
最大概似估計量
最大概似估計量 使概似函數最大,也等價於使對數概似函數最大:
在內點解的情況下,需滿足概似方程式
其中 稱為分數函數:
資訊量
觀察資訊量定義為
費雪資訊量定義為
大樣本下,最大概似估計量具有近似分布
若將樣本數明確寫出,通常為
其中 是單一觀測值的資訊量。
一、概似比檢定
概念
概似比檢定比較:
- 不受虛無假設限制的最大概似值;
- 在 成立時的最大概似值。
若 ,則虛無假設下的限制估計量就是
概似比定義為
由於 是不受限制的最大概似估計量,因此
所以
當 很小,表示虛無假設下的概似值遠小於完整模型下的概似值,因而傾向拒絕 。
檢定統計量
通常使用
利用 ,可寫成
根據 Wilks 定理,在 成立時,
因此在顯著水準 下,拒絕域為
若 為一維參數,則
計算流程
實際計算時依序進行:
-
寫出概似函數 ;
-
取對數得到 ;
-
解 得到 ;
-
計算 與 ;
-
代入
-
與卡方臨界值比較。
二、Wald 檢定
概念
Wald 檢定只使用不受限制的估計量 ,檢查 距離虛無假設值 有多遠。
若 為真,則
因此,將估計誤差以其變異數標準化後,得到 Wald 統計量。
一維參數
若 為一維參數, 的近似變異數為
或使用
因此 Wald 統計量為
使用資訊量表示為
在 成立時,
也可以先寫成標準常態統計量:
則
多維參數
若 為 維向量,則
使用資訊矩陣表示為
在 成立時,
一般限制形式
若虛無假設為
其中 為 維函數,令
則 Wald 統計量為