115 年 國立政治大學輔導與諮商碩士學位學程《測驗與統計》

本題主要在探討測驗效度的概念演進，特別是 Messick (1989) 的統合觀點，以及信度與效度之間的關係。

Messick (1989) 的效度統合觀點 vs. 傳統三位一體效度

傳統上，效度常被區分為內容效度、效標關聯效度（包括同時效度與預測效度）以及建構效度。然而，Messick (1989) 認為這些傳統的效度類別並非獨立存在，而是建構效度概念下的不同面向。他主張效度是一個單一、統合的概念，其核心在於評估測驗分數的使用與解釋是否具有足夠的證據支持，特別是關於測驗結果的推論（inferences）是否恰當。

• Messick 的觀點 (Unified Concept of Validity):
  • 核心： 證據的積累與評估。效度不是測驗本身的屬性，而是關於測驗分數用途的推論（inferences）的恰當性、有意義性與有用性。
  • 證據來源： Messick 強調效度是透過一系列不同來源的證據來支持的，這些證據可以涵蓋傳統的各類效度，但更強調這些證據如何共同支持特定用途的推論。
  • 層次：
    1. 內容證據 (Content Evidence): 測驗內容是否與欲測量之領域（如學科知識、技能）相符。
    2. 關係證據 (Relations to Other Variables Evidence): 測驗分數與其他相關變項（如其他測驗分數、學習成就）的關係。這包含了傳統的效標關聯效度（效標預測或同時關聯）和建構效度（與理論預期之變項的關聯）。
    3. 內部結構證據 (Internal Structure Evidence): 測驗內部題目之間的關聯性是否符合預期之理論結構。
    4. 反應過程證據 (Response Processes Evidence): 測驗者在作答時所採取的心理歷程是否與測量目標一致。
    5. 測驗後果證據 (Consequences Evidence): 測驗的使用是否會產生預期中的正面結果，且無不良後果。Messick 認為，若測驗的預期後果未能實現，或產生不良後果，則可能影響其效度推論。

本題旨在比較古典測驗理論 (CTT) 與試題反應理論 (IRT) 在參數不變性、測量標準誤及適性測驗適用性上的差異。

1. 參數的不變性 (Invariance)

• 古典測驗理論 (CTT):

  • CTT 的參數，例如題目難度（p 值，即答對的比例）和題目鑑別度（r 值，題目得分與總分相關），是依賴於受試者樣本的。
  • 例如，同一份試題，在一個程度較高的樣本中施測，其答對率 (p 值) 可能較低；在一個程度較低的樣本中施測，答對率則可能較高。同樣地，題目的鑑別度也可能因樣本特質而異。
  • 總分得分（或稱估計的量表分數）也依賴於受試者樣本和試題樣本。
  • 結論： CTT 的參數不具備樣本不變性。

• 試題反應理論 (IRT):

  • IRT 的核心優勢之一是其參數的「局部統計獨立性」(locally statistically independent)。
  • 題目參數 (Item Parameters): 如題目難度 (b 值)、區辨度 (a 值) 和猜測參數 (c 值)，理論上是獨立於受試者能力水準的。也就是說，一個題目的難度 b 值，在任何能力水準的受試者樣本上估計，都應該是相同的（在理論上）。
  • 受試者參數 (Rasch Model 中的能力值 θ): 受試者的能力值 θ，理論上是獨立於所施測的試題樣本的。也就是說，一個受試者的能力值，無論是用哪一套具有相同能力量表的試題來評估，都應該是相同的（在理論上）。
  • 結論： IRT 的參數（題目參數與受試者能力參數）在理論上具備樣本不變性，這使得不同樣本的題目參數可以互相比較，不同試題集的受試者能力參數也可以互相比較。

2. 測量標準誤 (Standard Error of Measurement, SEM)

• 古典測驗理論 (CTT):

  • CTT 的 SEM 通常被視為一個固定值，假設其對於量表上的所有分數水準都相同。
  • SEM 的計算公式為： $SEM = SD \sqrt{1 - r_{xx}}$，其中 $SD$ 是總分的標準差，$r_{xx}$ 是測驗的信度係數。
  • 由於 SEM 被視為固定值，它暗示測量的精確度在量表的兩端（非常高或非常低的能力水準）和中間是相同的。
  • 結論： CTT 的 SEM 通常是固定值，不隨能力水準而變動。

• 試題反應理論 (IRT):

  • IRT 的測量標準誤是能力水準的函數，稱為「測量標準誤曲線」(Standard Error of Measurement Curve, SEMC) 或「資訊函數

本題主要探討實驗研究設計中，因子設計（Factorial Design）的概念，特別是雙因子變異數分析（Two-way ANOVA）的應用，以及交互作用的解釋與後續分析方法。

1. 此研究應採用何種統計設計？

此研究探討兩個自變項（教學法、學習動機）對一個依變項（數學解題能力）的影響，並且兩個自變項各有兩個以上的類別。這符合實驗研究中「因子設計」（Factorial Design）的特徵。

• 自變項 (Independent Variables, IVs):

  • 教學法 (Teaching Method): 有三個類別（啟發式、講述式、分組合作）。這是一個類別變項（Categorical Variable）。
  • 學習動機 (Motivation Level): 有兩個類別（高、低）。這也是一個類別變項。

• 依變項 (Dependent Variable, DV):

  • 數學解題能力 (Math Problem-Solving Ability): 這通常是一個連續變項（Continuous Variable），可透過測驗分數來衡量。

由於此研究有兩個類別自變項，且我們想同時探討它們對依變項的影響，以及它們之間是否會產生交互作用，最適合的統計設計是雙因子變異數分析 (Two-way Analysis of Variance, Two-way ANOVA)。

統計設計的說明：

• 因子設計 (Factorial Design): 允許研究者同時操弄或測量兩個或更多自變項，並檢驗它們的主效果（Main Effects）和交互作用（Interaction Effects）。
• 雙因子變異數分析 (Two-way ANOVA): 是一種統計方法，用於分析兩個類別自變項對一個連續依變項的影響。它可以檢驗：
  • 教學法的主效果： 在控制學習動機的影響後，不同的教學法對數學解題能力是否有顯著影響。
  • 學習動機的主效果： 在控制教學法的影響後，不同的學習動機水準對數學解題能力是否有顯著影響。
  • 教學法與學習動機的交互作用： 教學法對數學解題能力的影響，是否會因為學習動機的高低而有所不同，反之亦然。

研究架構：
此研究的因子設計可以表示為 3 (教學法) x 2 (學習動機) 的因子設計。總共會有 $3 \times 2 = 6$ 個實驗條件組合，例如：

1. 啟發式教學法 + 高學習動機
2. 啟發式教學法 + 低學習動機
3. 講述式教學法 + 高學習動機
4. 講述式教學法 + 低學習動機
5. 分組合作教學法 + 高學習動機
6. 分組合作教學法 + 低學習動機

研究者需要將學生隨機分配到這 6 個條件中的一個，或者在觀察性研究中，將具有不同動機水準的學生，分別採用不同的教學法，然後測量他們的數學解題能力。

2. 什麼是「交互作用」(interaction effect)?若統計結果顯示交互作用達顯著水準,研究者該如何進行後續的「簡單主效果分析」(simple main effects analysis)?

• 交互作用 (Interaction Effect):
  • 交互作用是指一個自變項對依變項的影響，會因為另一個自變項的不同水準而有所改變。換句話說，兩個自變項的聯合效果，不同於它們各自獨立效果的總和。
  • 用更直白的話來說，就是「A 的效果取決於 B」，或者「B 的效果取決於 A」。
  • 在上述研究中，如果教學法與學習動機之間存在顯著的交互作用，意味著：

核心觀念

本題考查量表編製中的兩種因素分析方法：

• 探索性因素分析（Exploratory Factor Analysis, EFA）：用於探索潛在因素的數目與題項歸屬。
• 驗證性因素分析（Confirmatory Factor Analysis, CFA）：用於驗證事先提出的因素結構是否符合實際資料。

二者的核心差異在於：EFA 著重「從資料發現結構」，CFA 著重「以資料檢驗既定結構」。

---

一、EFA 與 CFA 在研究目的及基本假設上的區別

（一）研究目的不同

1. EFA：探索量表的潛在結構

EFA 適用於下列情境：

• 新編量表，理論架構尚未明確。
• 題項來源複雜，研究者不確定題項究竟屬於哪一個因素。
• 希望探索潛在因素的數目。
• 希望判斷各題項應歸屬於哪些因素。

EFA 會根據題項間的相關或共變異情形，估計潛在因素。例如，研究者可能從 30 題中探索出「焦慮」「自我效能」與「人際適應」三個因素。

EFA 的基本概念可表示為：

$$\mathbf{x}=\mathbf{\Lambda}\mathbf{f}+\boldsymbol{\varepsilon}$$

其中：

• $\mathbf{x}$：觀察到的題項分數；
• $\mathbf{\Lambda}$：因素負荷量矩陣；
• $\mathbf{f}$：潛在因素；
• $\boldsymbol{\varepsilon}$：各題項的獨特誤差。

在 EFA 中，因素數目、題項歸屬及因素負荷量主要由資料估計，而非完全由研究者事先固定。

2. CFA：驗證理論或既定模型

CFA 適用於下列情境：

• 已有明確理論架構。
• 既有量表需要進行跨樣本或跨文化驗證。
• 研究者已事先決定因素數目。
• 研究者希望檢驗題項與因素的對應關係。
• 研究者希望比較不同理論模型，例如一因素模型與三因素模型。

例如，理論預測量表由三個因素組成，且第 1 至第 8 題測量因素一、第 9 至第 16 題測量因素二、第 17 至第 24 題測量因素三，研究者便可用 CFA 檢驗此三因素模型是否能合理解釋資料。

CFA 的模型通常可寫成：

$$\mathbf{x}=\mathbf{\Lambda}\boldsymbol{\eta}+\boldsymbol{\delta}$$

其中因素數目、各題項所測量的因素，以及哪些因素之間可以相關，均須在分析前由研究者依據理論指定。

---

（二）基本假設不同

比較面向	EFA	CFA
因素數目	由資料探索	事先依理論指定
題項歸屬	通常不事先完全固定	事先指定
因素負荷量	多數負荷量由資料估計	通常指定主要負荷量，非所屬負荷量固定為零
交叉負荷	通常允許存在	通常先假設為零
因素間關係	可依模型設定獨立或相關	需事先指定因素是否相關
研究功能	發現結構	驗證結構
模型限制	相對較少	相對較多

1. EFA 的假設

EFA 通常不要求研究者事前確定每一題只屬於某一因素。題項可同時在多個因素上具有負荷量，研究者再依據因素負荷量、共同性及理論意義判斷題項品質。

常見判斷依據包括：

• 因素負荷量是否足夠；
• 題項共同性是否過低；
• 是否出現明顯交叉負荷；
• 因素是否具有清楚且合理的心理或理論意義。

2. CFA 的假設

CFA 具有較強的先驗模型假設。例如：

• 每一題主要負荷於特定因素；
• 非所屬因素的負荷量固定為零；
• 誤差項通常彼此獨立；
• 因素間相關是否存在，需由理論決定；
• 題項分數與潛在因素之間具有指定的線性關係。

因此，CFA 並非單純尋找「最符合資料」的模型，而是檢驗一個具有理論根據的測量模型。

---

二、CFA 整體適配度不佳時的模型修正步驟

CFA 適配度不佳，表示目前設定的理論模型與觀察資料之間存在落差。修正模型時，應依循「先診斷、再依理論修正、最後交叉驗證」的原則，不宜單純為了提高適配度而任意增加參數。

（一）先確認資料與估計程序是否適當

在修改模型前，應先排除資料與分析程序造成的問題。

1. 檢查資料品質

包括：

• 遺漏值處理是否適當；
• 是否存在極端值；
• 題項是否有嚴重偏態或峰度；
• 題項是否幾乎沒有變異；
• 是否有反向題未正確反向計分；
• 樣本數是否足以支撐模型估計；
• 題項尺度是否被正確設定。

若資料本身有編碼錯誤，直接修改模型會掩蓋真正問題。

2. 檢查估計方法與分配假設

若題項為 Likert 類別資料，且分布明顯偏離常態，應考慮使用適合序位資料的估計方法，例如加權最小平方法。若採最大概似估計，也應視資料特性使用具穩健性的估計程序。

此外，應檢查：

• 模型是否識別；
• 是否出現負誤差變異；
• 是否有標準化因素負荷量大於 $1$；
• 是否存在高度相關因素造成估計不穩定。

---

（二）檢查個別題項的測量品質

整體適配度不佳，可能是少數題項造成。研究者可檢查：

1. 因素負荷量

題項的標準化因素負荷量過低，表示該題與所屬潛在因素的關聯不足。實務上常將約 $0.50$ 視為可接受參考值，$0.70$ 以上通常代表較理想的測量關係，但仍須考量題項內容及理論重要性。

2. 題項的 $R^2$

題項的 $R^2$ 代表潛在因素能解釋該題項變異的比例。若 $R^2$ 很低，表示該題主要由誤差或其他未納入因素解釋。

3. 題項內容

若題意含糊、與其他題項測量內容不同、翻譯不佳，或受試者可能以不同方式理解，便可能造成低因素負荷量。此時可考慮刪除題項或重新修訂題目，但刪題必須有內容效度與理論依據。

---

（三）檢查模型修正指標

模型修正指標（Modification Indices, MI）用來估計：若釋放某一個原本固定的參數，模型的卡方值預期可下降多少。