與UCAT一樣,MCAT的終止規則一般有兩種:一種是定長(Fixed Length),即當被試完成了事先規定的m題(如m=25)則結束測試;另一種是不定長(Variable Length),即當被試的測量誤差(或測量信度)達到了事先規定的要求則結束測試,這種規則的特點是被試的測量誤差(或測量信度)相近,但每個被試使用的題量不等。
一、定長MCAT中測驗長度的確定方法
定長MCAT中,測驗長度的確定,需要滿足:這種測驗長度下,不同能力的被試測量的精度(或誤差)在一個可接受的合理範圍內(如整體測驗誤差要小於0.20),但不必要求所有被試的測量誤差都一樣或相近。那麽如何來確定這種測驗長度?通常做法是,預先調查題庫中項目難度及區分度的分布情況,並根據已建好的MCAT題庫中的實有項目參數,通過Monte Carlo 方法模擬不同能力被試在MCAT上的作答,並考查其在MCAT不同測驗長度下的測量誤差,同時根據大多被試可接受的測驗長度等因素,共同確定相應的測驗長度。
二、不定長MCAT終止規則
(一)基於項目信息量的終止規則
IRT中用信息量來反映測量的誤差,因此UCAT一般是通過固定信息量的取舍來實現不定長測試。但在MIRT中,由於信息矩陣不再是一個標量,因而需要對信息矩陣作一步處理。
Wang,Chang(2013)和Wang(2014)分別提出給後驗期望KL距離和能力後驗分布連續熵設定一個上限e1和e2(該上限即為測量精度),則一旦它們低於上界值時意味著能力的後驗概率分布集中於一定區域,即能力估計的方差低於某一給定值。於是,在此基礎上構建了K-規則和CEM-規則。
(二)基於能力估計誤差的終止規則
1.D-規則和E-規則
E-規則表示為
λj,min表示Fisher信息矩陣的最小特征值。