首頁 中國托幼機構教育質量評價研究

三、基於項目反應理論多側麵Rasch模型的分析[28]

字體:16+-

(一)研究目的

本研究采用多側麵Rasch模型,對28位評分員在運用《量表》進行托幼機構教育質量評價中的評分員偏差進行了分析,一來為培訓評分員、修訂項目、提高測評的科學性提供佐證;二來為使用項目反應理論(IRT)探討托幼機構教育質量評價的測量學屬性(psychometric property)拓展思路。

(二)概念框架

經典Rasch模型考慮被評價對象和評價項目兩個變量對測評結果的影響。[29]多側麵Rasch模型[30]認為除這兩個影響因素外,還受評分員等測評情景變量的影響。多側麵Rasch模型將這些影響因素或變量稱為測量側麵。多側麵Rasch模型的一般表達式為:

Pnijk是受評者n在項目i上被評委j評定為k等的概率;

Bn是受評者n的能力參數(n=1,2,…,N);

Di是項目i的難度參數(i=1,2,…,L);

Cj是評委j的寬嚴程度(j=1,2,…,J);

Fk是分部評分模型(Partial Credit Model)中被試得分從k-1到k的等級難度,每個項目均有K級評分(k=1,2,…,K)。

多側麵Rasch模型提供每個測量側麵的參數估計值,估計標準誤和fit值等。fit值用於描述實際測評值與模型估計值差異的統計量。具體而言,fit統計量包括infit和outfit,它們的計算公式分別為:

Z2ni表示受評者n在項目i上的標準化殘差的平方;Wni為權重,其大小為項目i的方差;infit考慮了項目方差,受極端值影響小;fit值範圍為(0,+∞)。如果多名評分員對受評者測評結果相差很大或是過於一致性,fit值都會呈現這種差異。實際測評時,不同評分員對同一受評者的評價意見不可能完全一致,總是會有一定的差異。MFRM認為隻要這個差異在某個正常範圍內即可。實際工作中,fit值具體采用哪個取值範圍通常根據測評目的和需要來確定。