一、RCAT優勢分析
計算機化自適應測驗(CAT)研究始於20世紀七八十年代,並在過去的20年得到了快速的發展。現在,美國的許多大型考試,如學術能力測驗(SAT)、托福等大型測驗已經實行了計算機化自適應測驗。CAT 大致可以分為兩類,一類是以項目反應理論為基礎的傳統CAT,另一類是以認知診斷為基礎的CD-CAT。相對於傳統紙筆測驗,CAT 的目的在於為每個被試建構一個最優測驗,可以給出難易程度與被試能力水平相匹配的題目,既保證估計精確度的同時又能節省答題數。
然而,伴隨著CAT的快速發展,CAT本身的一些弊端也逐漸暴露了出來。例如,從被試的角度出發,CAT較之紙筆測驗的一個主要的區別就是:不允許被試修改答案。對於習慣了測驗中可以修改答案的被試來說,不允許修改答案的CAT(簡稱傳統CAT)是一個難以接受的測驗形式。
可修改答案CAT(RCAT)的優點顯而易見,首先,從被試的角度出發,允許修改答案的測驗形式更符合他們的測驗習慣。Stocking(1997)指出在傳統的紙筆測驗中考生可以任意修改答案,不允許修改答案無疑剝奪了考生犯錯的權利。Vispoel,Henderickson和Bleiler(2000)調查發現有85%的被試表示希望在測驗中擁有修改答案的機會,如果是高風險的測驗這一比例會更高。盡管在測驗中被試修改的題量是很有限的,但是提供可修改的機會本身就會減少被試的考試焦慮,人在高度的緊張焦慮狀態中犯錯的機會往往也更大。Olea,Revuelta,Ximénez和Abad(2000)比較了兩組參加CAT的被試前後焦慮水平的變化,實驗發現參加RCAT後被試平均焦慮水平下降了0.91。參加傳統CAT後,被試平均焦慮水平上升了0.51。而且參加RCAT一組被試的答對比例顯著高於另外一組。
其次,從主試的角度出發,檢查並修改題目後的CAT更能夠反映被試真實的能力水平(Steven & Wise,1999)。陳平和丁樹良(2008)指出不允許被試修改答案將會增加測驗的誤差。例如,一些高水平的被試答錯了本來完全有能力答對的題目,由於沒有修改答案的機會他們的能力會被低估;相反,如果某個被試沒有能力答對某個題目但卻猜對了,又不允許修改,他的能力會被高估。最後從人類認知的角度來看,因為人類總是經過反複的觀察和實踐,才能最終認識到事物的本質,所以允許修改答案的測驗更符合人類認識事物的習慣。