本節主要介紹具有CD-CAT技術在二級英語聽力理解中的應用(Liu,You,Wang,Ding & Chang,2013),主要介紹題庫建設、選題策略、參數估計、真實題庫下模擬實驗和真實測試效度驗證等。
一、題庫建設
一個成功的具有認識診斷功能的自適應測試,需要一個優質、大型的題庫。建設一個題庫需要做一係列工作。對於基於二級英語認知診斷的題庫建設大約分以下幾步來完成:第一,所有的試題命製基於課程標準,體現課程標準的基本理念和要求,注重考查學生對核心知識、技能的理解和掌握;第二,由學科專家確定測試考查的屬性,界定屬性,甚至給出屬性層次結構,再由測量專家根據屬性層次結構給出命題藍圖;第三,學科專家由命題藍圖命製試題,並給定每個項目屬性,得到測驗Q陣;第四,選取代表性學生樣本進行預測;第五,數據分析和整理,進行參數估計、等值、模型擬合檢驗,甚至Q陣修正等;第六,題目入庫。
對於二級英語測試,學科專家給出8個屬性,分別是:A1~A8共8個屬性,見表10-2-1。共編製了352道試題,其中包括聽力對話、短文聽力、語法詞匯題和閱讀理解題,題型均為選擇題。共編製13份試卷,收集到38722個有效被試數據。采用3PLM和DINA模型進行參數估計,並進行了參數等值,從而得到統一在同一量表上的題庫參數。
表10-2-1 二級英語聽力屬性
為驗證專家指出的Q陣的結構效度(Construct Validity),本文采用屬性對難度(3PLM的難度)的回歸方法(Yang & Embretson,2007),或者說是屬性對難度的預測或解釋能力(決定係數R2=0.455,僅列出一份試卷的分析結果,其他試卷結果類似)。表10-2-2列出了線性回歸模型的標準化和非標準化回歸係數,除了A1,A4和A7,其他屬性均顯著。除了A1,其他屬性的斜率參數都較大,表明屬性預測難度的權重較大。從以上實驗結果來看,一般來說,項目屬性能夠較好地預測項目難度。