一、認知診斷考試的在線標定
與單維二級評分模型下的在線標定相比,對於CD-CAT情境下的在線標定的研究還比較稀少。套用認知診斷模型的考試,與套用單維IRT模型的考試相比,二者的不同是,後者隻給出一個總體能力水平估計值,而前者則可以提供每位考生在不同被考量方麵(Attribute,又常翻譯為屬性)的掌握情況(二項結果:掌握或未掌握)。與多維度IRT模型相比,二者都可以給出多個考量方麵的測量結果,但多維度IRT給出的結果是各維度上的連續分數,而認知診斷模型給出的是二項結果。正因如此,多維度IRT的參數估計程序複雜,需要的考試題目較多,而認知診斷模型的參數估計程序簡單,可以從非常短的考試中較準確地分析出結果。而把CAT技術應用在認知診斷考試中,更進一步縮短了考試的長度,使得CD-CAT成為信息化課堂內對短期學習內容得力的快速診斷工具。
Chen等人(2012)開創性地討論了DINA模型題目參數(失誤參數s和猜測參數g)的在線標定算法。文章重點提出了由Stocking-A,OEM,MEM三種方法衍生出的CD-Method A,CD-OEM和CD-MEM三種參數估計法。在其他的設計因素方麵,他們使用了隨機選題法和以考生能力值為中心的試測題選題法,將試測題隨機嵌入全卷中,而他們並沒有使用任何試測終止規則。他們的模擬研究發現,當題目中的真實猜測度參數和失誤參數都較小時,CD-Method A對題目參數的估計比CD-OEM和CD-MEM更精準;當真實猜測度參數和失誤參數都較大時,CD-Method A不如CD-OEM和CD-MEM精準。
上述研究假定Q矩陣是已知的,而Chen,Liu和Ying(2015)提出了將Q矩陣和題目參數一起在線標定的算法。具體來說,他們的算法分為兩步,第一步先為每一種可能的Q矩陣算出使似然值最大化的題目參數,第二步再比較不同Q矩陣生成的最大似然值,找到使這個最大似然值最大化的Q矩陣。