計算機化自適應測驗的開發是一項龐大複雜的工程,它至少涉及以下五個基本過程:準備階段、題庫建設、CAT算法確定、信度與效度驗證以及正式使用與題庫維護更新等(圖2-3-1)。
圖2-3-1 CAT開發流程
一、準備階段
為了更好地開發CAT係統,相關的先期準備與調研工作顯得十分必要。
(一)技術團隊準備
良好的技術團隊是保障CAT開發工作順利開展的前提條件。CAT開發的技術團隊應包括:心理與教育測量專家、題目內容領域專家以及計算機專家等。心理與教育測量學家主要負責測量模型(IRT模型)的開發或選用、等值設計與組卷、參數估計與等值算法、CAT算法等;題目內容領域專家主要負責CAT擬測量的潛在特質及其結構、試題開發、測量結果的解釋等;計算機專家負責數據庫開發、CAT測試係統開發、題庫的維護等。因此,開發一個CAT係統前,應保證具有以上相關技術團隊。
(二)實驗性預分析:可行性分析及IRT模型的選用
在CAT開發前,應對要開發的CAT的具體領域進行調查與實驗性預分析,從而判斷該CAT的可行性以及為具體IRT模型的選用提供基礎。例如,要開發大學生英語能力的CAT係統,那麽應先對現有大學英語能力測驗數據進行相關分析,如測驗維度分析、項目相依性分析、項目質量分析、計分方式分析、項目功能差異分析(DIF)、信度分析以及模型-資料擬合檢驗分析等,從而判斷是否適合采用IRT模型來指導CAT開發?如果適合,那麽結合實際情況,應具體采用哪種IRT模型(如單維模型VS多維模型、二級評分模型VS多級評分模型、題組反應模型VS項目反應模型、計時模型VS非計時模型等)。
二、題庫建設
大型題庫是CAT的基礎,也是CAT開發的難點所在。CAT的題庫不是簡單地將試題拚湊在一塊(這個稱為“題集”或“題堆”)。CAT對題庫的要求較高,它應具備以下特征: