幾乎所有的研究生招生機構都要求申請人提供推薦信[24,87,88]。推薦信在研究生選拔過程中之所以重要,主要有三方麵的原因[89]。首先,也是最主要的原因是推薦信提供了申請人過去的績效和表現,而研究發現過去的績效和表現是未來成功良好的預測變量[90]。其次,推薦信可以提供錄取過程中通過其他評估方法無法獲得的信息,從而具有相對於其他方法的增益效度[91]。最後,作為推薦人的導師或其授課教師往往有機會觀察申請人的典型表現而不僅僅是其最優表現;研究表明,測量最優表現的方法可能並不能準確預測申請人在未來情境中的典型表現[92]。
(一)傳統推薦信的預測效度
盡管推薦信在研究生選拔過程中應用廣泛,但是,傳統推薦信的預測效度並不理想。研究表明,推薦信的內容往往與未來績效的相關性很低[93]。Reilly等[94]對10個推薦信效度研究(總樣本量為5718個)結果的元分析表明,推薦信和總體效標之間的平均相關為0.14。Berman[95]的研究考查了推薦信等錄取變量對臨床心理學專業研究生的學業成績和職業能力的預測作用,結果表明,推薦信並不能有效預測上述效標。Zeleznik等[88]研究了推薦信的推薦程度與研究生績效之間的關係,該研究收集了236名醫學院研究生的本科GPA、推薦人對申請人的推薦程度以及研究生階段的學業績效指標(包括研究生GPA、全國醫學委員會測驗成績等),結果表明,盡管推薦程度與上述研究生學業績效指標之間存在微弱相關,但在多元回歸分析中推薦程度對於研究生學業績效的預測並無顯著貢獻;該研究質疑了研究生選拔中以推薦人對申請人的推薦程度作為錄取決策依據的意義,並提出應該對傳統推薦信的形式和方法進行改進以提高其預測效度。Vannelli等[96]的元分析發現,推薦信與教師對研究生的評價之間的相關係數為0.25,與研究生GPA之間的相關係數為0.14,與研究生的研究成果之間的相關係數為0.10。