(一)研究目的
《量表》是在借鑒國際權威的托幼機構教育質量評價工具(如ECERS-R、CLASS等)的質量概念和框架結構的基礎上,基於中國情境為測量中國托幼機構教育質量而研發的班級觀察評價工具。在其被我國的學前教育研究者和實踐者大規模應用之前,對該工具的測量學特性進行係統性評估是當務之急。作為整個研究項目的一部分,本研究致力於《量表》測量學特性的拓展性研究。具體說來,本研究試圖在多元概化理論(MGT)框架下檢驗《量表》的測量信度。
(二)概念框架
多元概化理論包括了評分者間信度、內部一致性信度、組內相關等信度方法,並提供了全麵統一的框架,[17]特別是針對複雜的測量情境。
1.相對決斷與絕對決斷
經典測驗理論關注常模參照性分數的解釋,也就是說,信度是關於分數相對排名的一致性,而不是實際分數的一致性。在多元概化理論的框架下,這種解釋被稱為“相對決斷”。標準參照的分數解釋是關於個體相對排名和實際得分的一致性,因此多元概化理論稱其為“絕對決斷”。這兩種類型的概化(信度)係數相當於這兩種類型的決斷:相對決斷概化係數ρ2和絕對決斷概化係數φ [18]。我們通常對評分者間信度係數熟悉,它是一個“相對決斷”的信度估計。但是在使用量表時,不僅要關注評分的相對一致性,也應該關注實際評分的一致性,因為這些分數代表托幼機構的質量差異。因此,最恰當的信度係數應該是“絕對決斷”的概化係數φ。
2.製訂最優化測評方案
傳統的信度方法通常是進行事後檢驗,也就是測量信度依據事實基礎進行計算。但是在製訂最優化的測評方案上,多元概化理論可以充分發揮作用。多元概化理論包括兩個階段:G研究和D研究。G研究充當先行的研究用來提供信息(如不同來源的方差成分)並規劃未來測量研究。在D研究中,來自G研究的信息被用於規劃最佳測評方案的信息,這樣可以實現最好的信度並平衡其他因素(如成本和效果)。這種便利性和預測能力在傳統信度估計方法中一般無法實現。[19]