首頁 計算機化自適應測驗:理論與方法

第二節 可修改答案的計算機化自適應測驗設計與方法

字體:16+-

一、基於測試設計視角的RCAT

針對RCAT的兩個缺陷:一是被試使用“作弊”策略,二是測驗效率的下降,有研究者從測驗設計的角度入手針對性地提出了一些解決方案。為了防止被試使用“作弊”策略,研究者提出通過控製被試修改作答的方式來控製。另外,Waddell和Blankenship(1994)研究發現在一次測驗中被試修改的題目數隻占總題量的很少部分(平均隻有5.1%)。因此,如果隻允許被試修改一定數量的題目,一定程度上可以提高RCAT測驗的效率。目前有關RCAT的測驗設計主要包括:Stocking的限製被試修改機會的設計;優化的Stocking設計;題目口袋設計;區塊題目袋方法;重新安排題目順序的設計。接下來分別從測驗設計的基本思想、優缺點以及它們之間的關係進行闡述。

(一)Stocking的限製被試修改機會的設計

1.限製被試修改機會的三種設計方案

Stocking(1997)提出了三種RCAT設計。

設計一:允許被試修改固定數量的題目。在作答前主試會告知被試作答完所有題目後,可以返回檢查並修改固定數量的題目。

設計二:允許被試修改單獨限時題目單元內的答案。在測驗過程中將題目按照先後順序劃分為固定長度的題目單元。題目單元長度根據實際需要而規定。並以題目單元的形式呈現給被試作答,被試可以在單元內對題目進行檢查並修改,計算機根據被試當前單元的作答來選擇下一個單元,提交答案後的單元不允許再次返回修改。

設計三:隻允許被試修改單獨限時屬於共同刺激物(表格、圖畫、閱讀材料等)組成的題目單元,題目單元的長度隨著測驗內容的變化而變化,因此每個被試作答的題目單元的內容和長度是因人而異的。

2.三種設計方案的比較與評價

為了驗證這三種設計在對抗Wainer策略中是否有效,Stocking(1997)通過模擬和真實的數據研究,發現在設計一中當隻允許修改2個題目時(定長28題),能力估計精度和傳統CAT很接近。但是隨著可修改題目數的增加,由Wainer策略導致的誤差也會隨之增加,換句話說設計一並不能有效對抗Wainer策略。