首頁 計算機化自適應測驗:理論與方法

第一節 概述

字體:16+-

一、在線標定的概念

近二十年來,隨著電子信息技術的突飛猛進,與新型電子科技結合的考試越來越多,很多傳統的考試也都正向計算機化與自適應化方向發展。隨著考試設計越來越複雜、計算機自動化成分越來越多,考試的測量學模型也逐漸從傳統的經典測量理論(CTT)轉為了項目反應理論(IRT)。與CTT相比,IRT可以為題目質量分析提供更多的具體信息。更重要的是,IRT中估計考生能力水平的算法可以支持CAT中實時為每個考生選擇不同考題的模式,而CTT無法支持這一模式。這使IRT成了現代計算機化考試的必需。

當使用IRT創建和分析考試時,題目參數標定(Item Calibration)是一個必不可少的環節。題目參數標定指的是將某一選定的IRT模型與考生作答數據擬合,隨後通過統計上的算法估計出題目參數的值。現代考試很多都依賴大型題庫,而題庫中的每一道題,在使用和正式考試之前,都必須完成參數標定。參數標定的準確性直接影響著被試能力估計(Scoring)、等值(Equating)、項目功能差異分析的準確性,從而影響了考試的信度與效度。

對於長期施測的考試,隨著時間的推移,題庫中的一部分題目可能會出現過度曝光、內容過時陳舊或其他問題,而這部分題目需要被置換。每隔一段時間,考試開發方會開發一部分新題,用於補充題庫,而這些新題也需要完成參數標定。那些大型的、高利害的考試對題庫的質量要求相對較高,題庫置換(Item Bank Replenishment)的需求也相應較高。對於這類考試,如何高效地、準確地完成參數標定,是一個重要的問題。

傳統上,IRT參數估計需要通過專門的試測階段完成。考試開發方組織專門的試測,潛在考生自願參與,獲得的考分與正式成績無關,收集的作答數據僅用於標定題目參數。這種試測形式在開發一項新的考試時是必要的,然而在首輪考試正式啟用後,後續的新題則可以嵌入正式考試中,用以收集數據。美國的SAT考試一直使用這種嵌入式的試測模式。每一次正式考試,都有一部分新題試測。這些新題被分為若幹等分,每一等分則被嵌入一部分考生的考卷中,這些新題的分數不計入考生的總分。考生無法判斷哪部分是試測題,因此收集的作答數據更接近於真實考試的數據。然而,這也並不是最高效的參數標定模式。