MST設計涉及以下幾個技術環節:階段數的確定、每個階段中模塊數的確定、每個模塊的項目長度、統計目標與定性規範約束、計分方法(能力估計)、自適應策略與過程、組卷等。現對以上技術環節一一展開。
一、階段數的確定
構建MST時,首先考慮需要構建多少個階段。大多數研究和應用中,通常使用3~4個階段。更多的階段或每一階段內更多樣化的模塊難度會使測驗的自適應性和靈活性更佳。但是增加階段數會提升組卷的複雜性,卻對測驗最終的精度沒有很大提升(Luecht & Nungester,1998)。當測驗所含階段數較少時也會出現問題。例如,兩階段測驗,僅有一個階段一和一個階段二。由於隻有一個自適應點,當被試得分處於劃界分數附近時,就有更大的可能出現路徑錯誤。兩階段測驗應考慮建立一個“恢複路徑(Recovery Routine)”,即被試從前一階段到下一階段出錯時,應及時改正錯誤,減少下一階段模塊選擇的錯誤。使用更多的階段可以減少出現這種錯誤的可能性。Patsula和Hambleton(1999)比較了多種不同的MST設計,他們發現這些設計之間僅有很小的差別。但是這些測驗設計在測量精度和效能方麵表現出較大的差別。測驗的階段數越多就越接近於CAT。
因此構建測驗時,測驗開發者應選擇合適的階段數。階段數過少無法精確測量出被試能力。階段數過多不但無法提升測量精度還會加大組卷難度和題目浪費,並麵臨和CAT同樣的問題,如路由出錯、多自適應點增長測驗時間等。
二、每個階段中模塊數的確定
大多數研究和應用是階段一使用一個模塊,在隨後的階段中增加模塊數量。通常情況,每一階段的模塊數不超過8個,平均值為5個。隨著階段數的提升,增加更多難度的模塊數,可使測驗更具有自適應性和靈活性。同樣,增加模塊數也增大了組卷複雜性,並對測驗最終精度沒有很大提升(Luecht & Nungester,1998)。一般情況下,每一階段最多4個模塊,並且每個模塊3個平行水平,這樣的組合比較合適(Armstrong,Jones,Koppel & Pashley,2004)。