——基於多元概化理論與項目反應理論的分析
本章概要
研究背景：《量表》第一版是借鑒國際知名評價工具（如ECERS-R、CLASS）的概念框架，在大量本土化實證研究的基礎上，為中國托幼機構教育質量的測量而研發的班級觀察評價工具。但如何控製評價誤差來源、減小測評誤差、提高測量信度，是提高托幼機構質量評價科學性、權威性迫切需要解決的問題。基於現代測量理論的多元概化理論和項目反應理論超越了傳統測量理論的局限，能夠為《量表》的測量學特性分析提供新的技術和視角。
研究一：基於多元概化理論的分析
研究目的：研究者試圖在多元概化理論（MGT）框架下，檢驗《量表》的測量信度，並探索最佳測評方案。
研究設計與方法：選取浙江省6個地市91所幼兒園的176個幼兒園班級，采用《量表》對其進行了空間與設施、保育、課程計劃與實施、集體教學、遊戲活動、語言推理、人際互動、家長與教師8個維度的質量評價。采用mGENOVA軟件，基於多元概化理論分析數據，進行G研究（絕對決斷的概化信度研究）和D研究（最優化測評方案決策研究）。
研究結果：G研究結果顯示：（1）不同的子量表在“測量目標”上的方差分量不同；相對而言，樣本班級在空間與設施質量上差異最大，在語言推理質量上差異最小。（2）子量表之間的相關係數最低為0.65，這表明《量表》的8個質量維度之間密切相關，在此基礎上構成了一個複雜的量表。D研究結果顯示：（1）在原測量情境下（兩位評分員一個班級），在總量表及8個子量表上均表現出優秀的測量信度水平。（2）在評分員數量變化情境下，一位評分員與兩位評分員之間的信度水平增幅最大，多於兩位評分員的情境中信度增幅減緩並出現“邊際效益遞減”效應。