首頁 計算機化自適應測驗:理論與方法

第二節 單維二級評分模型下的在線標定

字體:16+-

一、試測題選題法

試測題選題法決定了如何將不同的考生和測試題搭配起來。目前文獻中存在的試測題選題法可歸為三大類:隨機選題法、以考生能力值為中心的選題法、以試測題參數值為中心的選題法。

(一)隨機選題法

隨機選題法的定義是:在正式的CAT過程中,當一位考生前進到某個預先指定的試測題嵌入題目位置時,計算機隨機從試測題庫中抽取出一道測試題呈現給考生。這個選題法是最容易執行的,並且生成的樣本最具多樣性和對總體的代表性。當考生總體能力值呈正態分布時,這種選題法也將會為每道試測題生成一個大致呈正態分布的樣本。

然而一個潛在的問題是,在CAT中試題的難度理論上一般會呈現逐漸升高或降低的平穩軌跡,而一道隨機選出的測試題可能會在周圍平穩過渡的題目之中表現出明顯不同的難度,而這個情況有可能會給考生帶來不必要的困惑或焦慮感(Kingsbury,2009),或者也可能會使考生察覺到這是一道不計入總分的試測題,於是不努力作答,從而影響到作答數據的質量。

(二)以考生能力值為中心的選題法

以考生能力值為中心的選題法的定義為:在正式的CAT過程中,當一位考生前進到某個預先指定的試測題嵌入題目位置時,計算機采用與正式CAT的選題法相同的方法選取試測題(Chen,Xin,Wang & Chang,2010;Kingsbury,2009)。由於正式CAT的選題法大多以優化考生能力值估計為目標,所以在這裏我們將這種用同一方法選取試測題的設計稱為以考生能力值為中心的選題法。然而正是因為這種選題以優化考生能力值估計為目標,所以它的缺點也在於,它並不是為優化試測題參數估計而設計的。

Kingbury(2009)討論了在1PL模型下的用此選題法的在線標定設計。這種選題法在1PL模型下是比較合理的,因為根據1PL模型的特點,CAT最常用的最大信息量選題法,將通過選取其難度參數值最接近被試能力估計值的題目來優化考生能力值估計。而用這種方法選擇測試題,也會達到將題目難度參數值與考生能力估計值相搭配的效果,從而優化試測題參數標定的效率。