112 年 國立政治大學輔導與諮商碩士學位學程《測驗與統計》

本題主要在測驗考生對測驗理論中幾個基本名詞的理解程度。

1. Rasch measurement (Rasch 測量)
   Rasch measurement 是測量理論中的一個重要模型，屬於項目反應理論（Item Response Theory, IRT）的一個分支。其核心概念是，一個人的潛在特質分數（如能力、態度）與其在測驗項目上表現的機率，可以透過一個數學模型來描述。Rasch 模型假設潛在特質分數和項目難度是獨立的參數，並且模型對數據有嚴格的適配性要求。其主要特點包括：

   • 單一維度性 (Unidimensionality)：假設測驗只測量一個潛在特質。
   • 局部獨立性 (Local Independence)：在相同潛在特質分數的條件下，受試者對不同項目的反應是獨立的。
   • 項目參數與受試者參數獨立 (Parameter Separation)：項目參數（如難度）不因受試者群體的特質分數分佈而改變，受試者參數（如能力）也不因測驗項目集而改變。
   • 項目反應機率的描述：模型的公式通常為 $P(X=1|\theta, \beta) = \frac{e^{\theta - \beta}}{1 + e^{\theta - \beta}}$，其中 $P(X=1)$ 是在潛在特質分數為 $\theta$ 的受試者答對項目機率，$\beta$ 是項目的難度參數。
     Rasch 測量強調測量必須符合特定統計模型，若數據不符合模型，則測量結果的解釋就需謹慎。

2. parameter invariance (參數不變性)
   參數不變性是項目反應理論（IRT）中一個重要的假設，指的是測驗項目的參數（如難度、區辨度、猜測機率）在不同的受試者群體中保持穩定，不受受試者特質分數分佈的影響。反之，受試者的能力參數也不受其所施測的項目集影響。

   • 項目參數不變性：例如，一個題目的難度（b參數）應該是固定的，無論是高能力群體或低能力群體來作答，這個題目的難度不應改變。
   • 受試者參數不變性：例如，一個受試者的能力分數（$\theta$）應該是固定的，無論他作答的是難度較高的題目集還是較低的題目集，他的能力分數應該是相同的。
     參數不變性是 IRT 相較於古典測量理論（CTT）的一大優勢，它使得測驗結果的解釋更為客觀和標準化。例如，可以用不同測驗項目集對同一群體進行評量，或是用同一測驗項目集對不同群體進行評量，並能獲得有意義的比較。

3. item characteristic curve (項目特徵曲線)
   項目特徵曲線（ICC）是項目反應理論（IRT）中的一個核心概念，它描繪了受試者在某個潛在特質分數下的正確反應機率與該潛在特質分數之間的關係。

   • 橫軸 (X軸)：通常代表受試者的潛在特質分數（如能力、知識水平）。
   • 縱軸 (Y軸)：代表受試者答對該項目的機率。
   • 曲線的形狀：不同的 IRT 模型（如 Rasch 模型、2PL 模型、3PL 模型）會產生不同形狀的 ICC。

本題旨在比較古典測驗理論 (CTT) 與試題反應理論 (IRT) 在信度 (Reliability) 與標準誤 (Standard Error, SE) 這兩個概念上的異同。

核心觀念：
CTT 將測量誤差視為隨機誤差，並假設誤差與真實分數、觀察分數獨立。信度是測量結果一致性或穩定性的指標。標準誤則衡量單一測量分數的精確度。
IRT 則將誤差視為潛在特質分數的函數，並提供更精確的誤差估計。信度在 IRT 中通常被視為一種資訊的函數。

信度係數 (Reliability Coefficient)

• CTT 的觀點：

  • 定義：信度係數 ($\rho_{XX'}$) 被定義為測量分數的真實分數變異數佔總變異數的比例。$\rho_{XX'} = \frac{\sigma_{T}^2}{\sigma_{X}^2}$，其中 $\sigma_{T}^2$ 是真實分數變異數，$\sigma_{X}^2$ 是觀察分數變異數。
  • 性質：信度係數是一個單一數值，代表整個測驗的總體一致性，不隨受試者能力而改變。它是一個範圍在 0 到 1 之間的數值，越高表示測量越穩定、誤差越小。
  • 估計方法：可透過再測信度、複本信度、內部一致性信度（如 Cronbach's $\alpha$、split-half 信度）等方法估計。
  • 限制：CTT 的信度估計是整體性的，無法提供在不同能力水平上的信度訊息。

• IRT 的觀點：

  • 定義：IRT 不直接使用傳統的信度係數定義，而是關注「資訊量」(Information)。測量資訊量越大，代表對潛在特質分數的估計越精確，這相當於 CTT 的高信度。
  • 測量標準誤 (Standard Error of Measurement, SEM)：IRT 的核心是項目資訊函數 (IIF) 和測試資訊函數 (TIF)。TIF 是所有 IIF 的總和，反映了在不同潛在特質分數水平上，測驗提供總體資訊的多少。SEM 是 TIF 的倒數的平方根：$SEM(\theta) = \sqrt{1 / TIF(\theta)}$。
  • 性質：IRT 的 SEM 是潛在特質分數 $\theta$ 的函數，這意味著在不同的能力水平上，測量的精確度（即 SEM 的大小）是不同的。通常，在測驗最能區辨能力的區間，SEM 最小，信度最高；在能力過低或過高的區間，SEM 較大，信度較低。
  • 優勢：IRT 能夠提供能力帶狀的信度訊息，更細緻地描述測量的精確度。

• 異同總結：

  • 相同點：兩者都旨在描述測量的一致性或精確度，都認為信度越高越好。
  • 不同點：
    • CTT 視信度為一個整體、固定的指標；IRT 則將信度視為能力水平的函數，提供更動態和精確的描述。

核心觀念

本題屬於「同一批受試者前後測的二分類資料」，研究者比較的是每位學生實驗前、後數學成績是否及格，因此資料彼此相關，不能使用獨立樣本的卡方檢定。

適用方法為：

• McNemar 檢定：檢驗成對二分類資料在前、後測的比例是否改變。
• 虛無假設為：實驗前後「及格與不及格的轉換機率相同」。
• 對立假設為：前後測的轉換機率不同。

McNemar 檢定只使用「前後測結果不一致」的學生：

• 實驗前及格、實驗後不及格：$b=4$
• 實驗前不及格、實驗後及格：$c=16$

同時，及格率由

$$\frac{22}{40}=55\%$$

提升為

$$\frac{34}{40}=85\%$$

表面上增加 $30$ 個百分點，但仍須進行統計檢定。

解題方法

一、建立前後測轉換表

實驗前／實驗後	不及格	及格	合計
及格	4	18	22
不及格	2	16	18
合計	6	34	40

其中：

• $18$ 人前後均及格；
• $2$ 人前後均不及格；
• $4$ 人由及格變為不及格；
• $16$ 人由不及格變為及格。

前後均相同的 $18+2=20$ 人不提供「改變方向」的資訊，因此不納入 McNemar 檢定的主要計算。

二、計算 McNemar 檢定統計量

採用具有連續性修正的 McNemar 卡方統計量：

$$\chi^2 = \frac{(|b-c|-1)^2}{b+c}$$

代入 $b=4$、$c=16$：

$$\chi^2 = \frac{(|4-16|-1)^2}{4+16} = \frac{(12-1)^2}{20} = \frac{121}{20} = 6.05$$

自由度為 $1$。

在顯著水準 $\alpha=.05$ 下，卡方分配自由度 $1$ 的臨界值為：

$$\chi^2_{.05,1}=3.841$$

由於：

$$6.05>3.841$$

因此拒絕虛無假設，表示前後測的及格狀態有顯著差異。

亦可使用精確二項檢定。$b+c=20$ 位發生改變的學生中，若前後轉換沒有方向差異，則每位學生往「及格變不及格」或「不及格變及格」的機率皆為 $0.5$。觀察到其中一方向僅有 $4$ 人，雙尾精確 $p$ 值約為：

核心觀念

本題考查簡單迴歸中的三個關係：

1. 以 $X$ 預測 $Y$ 的迴歸係數：

$$b_{Y|X}=\frac{\operatorname{Cov}(X,Y)}{\operatorname{Var}(X)}$$

2. 以 $Y$ 預測 $X$ 的迴歸係數：

$$b_{X|Y}=\frac{\operatorname{Cov}(X,Y)}{\operatorname{Var}(Y)}$$

3. 簡單迴歸的決定係數等於相關係數平方：

$$R^2=r_{XY}^2$$

其中相關係數為：

$$r_{XY}=\frac{\operatorname{Cov}(X,Y)}{S_XS_Y}$$

必須注意：$X$ 預測 $Y$ 的迴歸係數，與相關係數並不相同。只有在變項皆標準化時，標準化迴歸係數才會等於相關係數。

解題方法

已知：

$$b_{Y|X}=0.40,\qquad S_X=10,\qquad \operatorname{Cov}(X,Y)=40$$

先計算 $X$ 的變異數：

$$\operatorname{Var}(X)=S_X^2=10^2=100$$

依照迴歸係數公式：

$$b_{Y|X} =\frac{\operatorname{Cov}(X,Y)}{\operatorname{Var}(X)} =\frac{40}{100} =0.40$$

這只能確認題目所給的迴歸係數與共變數、$X$ 的變異數彼此一致，並不能求出 $Y$ 的變異數。

若改成以 $Y$ 預測 $X$，其決定係數仍為相關係數平方：

$$R^2=r_{XY}^2$$

而

$$r_{XY} =\frac{40}{10S_Y} =\frac{4}{S_Y}$$

因此：

$$R^2 =\left(\frac{4}{S_Y}\right)^2 =\frac{16}{S_Y^2} =\frac{16}{\operatorname{Var}(Y)}$$

由此可知，反向迴歸的決定係數需要知道 $Y$ 的標準差或變異數。題目並未提供 $S_Y$，所以無法得到唯一的數值答案。

為何正向與反向的決定係數相同

在簡單迴歸中：

$$R^2_{Y|X} =b_{Y|X}\frac{\operatorname{Cov}(X,Y)}{\operatorname{Var}(Y)}$$

代入迴歸係數公式後：