首頁 計算機化自適應測驗:理論與方法

第一節 計算機化多階段自適應測驗簡介

字體:16+-

計算機化多階段自適應測驗(MST)並不是一個全新的概念。早在CAT出現之前,就已經有了非計算機形式的MST(Mead,2006)。但是這種MST卻因CAT的出現而暗淡失色。如今在使用CAT的過程中,暴露出越來越多的問題。比如,在CAT中測驗組卷有時無法達到最佳狀態,因此必須放棄一些複雜的內容要求。軟件設計的漏洞和缺陷也會導致不理想的組卷結果。此外,還有一些考試內容要求難以量化。而MST組卷的特殊性,能夠有效解決這些問題,因此又出現在人們的視野裏。

一、什麽是MST

什麽是MST?MST是預先構建好題目集合,以集合作為單元進行管理和評分,這些集合被稱為模塊(Module)或題組(Testlet)(Luecht & Nungester,1998;Wainer & Kiely,1987)。這些模塊是較短的線性測驗,並提供一定比例的測驗信息量,以此減小測量誤差。模塊中的題目可圍繞一個或幾個共同題幹(如文章和圖表),也可彼此互不關聯。

MST的自適應點出現在題目集合水平上,是基於被試的累積表現選擇下一個模塊的。這使它的自適應點少於CAT,但又多於傳統紙筆測驗。MST結合了紙筆測驗的元素和CAT的自適應特性,綜合了兩者的優點,克服了許多缺點,是兩者的妥協者。MST測驗形式已經被運用到大型評價考試中,如美國的注冊會計師統一考試和研究生入學考試。

下麵用一個簡單的三階段MST來示例多階段測驗過程(圖4-1-1)。MST通常從一個較短的階段一測驗或路由測驗(Routing Test)開始,該測驗用來估計被試的能力初值,為之後的能力估計和題目選擇做準備。此階段的題目難度應該足夠廣,才能適合各種能力的被試。當被試做完階段一的題目後,初步估計出被試的當前能力,然後為其選擇隨後階段中與之能力匹配的模塊。當被試的能力被估計為較低時,給其分配模塊1(容易)的題目;當被試能力被估計為中等時,給其分配模塊2(中等)的題目;以此類推給其分配模塊3(困難)的題目(Hendrickson,2007)。階段二測驗中每個模塊的難度劃分更為精細,可對被試進行更精確的區分。階段二測驗結束後,估計出較精確的能力值,再根據這個能力值為被試選擇階段三的模塊。