對於一個測量工具而言，可靠的信度是其科學性與有效性的重要基礎。目前，托幼機構教育質量評價的信度指標常常采用經典測驗理論（CTT）中的克隆巴赫α係數進行分析與報告。[1][2]在《量表》的初步效度驗證研究中，研究者計算了克隆巴赫α係數和Kappa係數作為《量表》的內部一致性和評分者間一致性信度的證據。[3]但是，托幼機構教育質量評價是一種主觀評價活動，通常采用評分員班級觀察的方法進行測評（如EOERS、ECCOM量表）。[4]評分員、評價情境（如幾個評分員評價一個班級等）、評價工具等都將是評價誤差的重要來源。[5]如何控製評價誤差來源、減小測評誤差、提高測量信度，是提高托幼機構質量評價科學性、權威性迫切需要解決的問題。
運用經典測驗理論（CTT）中的克隆巴赫α係數無法分解評價中各種誤差的來源，難以考察測量情境關係變化所引起的誤差相對變化，而且沒有一個綜合統一的評價指標對多維度的評價活動進行信度分析。正因如此，當實踐中麵對多個評分員進行多維度測評活動時，運用多元概化理論（Multivariate Generalizability Theory，MGT）將可以進行更深入、精確的分析。[6]
概化理論運用實驗設計的思想，采用方差分析的統計分析技術，分析測評中的各種變異來源，並進行分解、估計與控製。近幾十年來，概化理論應實踐需要從單變量概化理論發展到多元概化理論。[7]單變量概化理論主要用於針對單個維度的測評和分析，多元概化理論主要用於同時對多維度的測評工作。尤其是麵對現實中多維度的複雜測量與評價情境，多元概化理論對其測評誤差來源的分析與估計，對提高測量與評價的精度，改進測量與評價的質量具有重要的意義。
雖然GT對各誤差源的方差分量進行了估計，用概化係數作為評價測評結果信度的指標，並為進一步測評方案的設計提供了信息，但是GT並沒有改良CTT的項目參數係統，它更多的是從整個測驗的宏觀結構及其與外部測驗條件的關係上做了深入的計量分析。[8]有關CTT 存在的諸如測評結果對樣本的依賴性問題等，同是隨機抽樣理論的GT並沒有從根本上解決。項目反應理論（Item Response Theory，IRT）克服了以上不足之處，為解決這些問題提供了新的思路和方法。近來，托幼機構教育質量評價的IRT研究漸成國外相關研究的熱點和前沿。這些研究主要采用分步評分模型、等級反應模型和邏輯斯蒂克模型對評價班級的質量、項目的屬性（如區分度和難度）以及記分係統等展開IRT分析。[9]托幼機構教育質量評價常常是多人參與的多維評價活動，評分員是影響評價準確性的重要原因之一。雖然評分員的嚴格培訓是減少評價誤差的重要手段，但是評分員偏差依然存在。[10]忽略評分員偏差的相關分析是不妥當的，其結果也是不準確的。