衢州府有五個縣，其中西安、龍遊、江山三縣內均可見陽明講會的活動，常山和開化兩縣內雖不見陽明講會的記載，亦有不少理學家，如常山縣內明初有鄭協，謁吳與弼（1391—1469）門下，又從薛瑄學；鄭伉，曾見吳與弼，折中於朱子；徐汝晉曾遊徐用檢之門，對於良知學有所證悟；徐鳴騮，潛心理學，且講學於南屏；徐仕升，從錢德洪得良知宗旨，與許孚遠、徐用檢等名儒切磋。[87]《開化縣誌》和《常山縣誌》都明言邑境聚朱子講學地近，儒學風範，學者多紹洛閩之正脈，師友淵源可溯，而陽明心學的影響，亦使縣內理學傳承曆代不絕。[88]不過若以陽明學者的講會活動言，則西安、龍遊、江山三縣較為明顯。
西安縣內有一些王陽明及身門人，並且在嘉靖前期即有活躍陽明講會活動和書院的興建，王璣（1529年進士）、欒惠是當地的重要學者，李遂則是鼓勵支持講會的地方官員。王璣是嘉靖八年（1529）進士，曆任兵科給事中、江西參議、山東副使兵備天津、僉都禦史等職。王璣年輕時心儀陳獻章之學，曾渡江親從王陽明學，與王畿友善，又與當地學者欒惠、黃彥綱、王修易、鄭禮等同倡良知學。致仕歸鄉後致力地方教化工作，捐地十畝，建構衢麓講舍，又多行睦族賑貧之義舉。[89]《王陽明年譜》記載：王陽明去世後，西安縣門人諸生追憶師教卻莫知所寄，於是王畿和錢德洪與應典、王璣商量，訂定每歲講會的日期，又因李遂為知府，遂修建衢麓講會，設師位，歲修祀事。[90]
衢麓講舍，又稱克齋講舍，根據《衢州府誌》，講舍大約興建於嘉靖十三年至十九年（1534—1540），由知府李遂主導，堂共五間，中為教思堂，立李遂像，堂後為四賢祠，祀朱熹、呂祖謙、張栻、王陽明四人，堂前為歸仁堂、東西書樓、號舍，門外有墨池，規製宏敞壯觀。書院建成當時設有兩名管理員，門屋地隙地租稅之收入亦規劃為維修書院建設之需，四賢祠的致祭費又另編有專款，是從江山縣接待、實成二寺入官田地解到縣的租稅銀中來支付，但後因豪強唆使，僧徒將租典於富家，縣司督賦不得，祭銀遂無著落，[91]當時講舍僅靠貢生杜珠和耆民鄭鐸之捐助，並不敷使用，終於導致書院傾圮、祀事寢廢。直到嘉靖四十三年（1564），知府鄭伯興與同知薛應元重修之，又得巡撫禦史兵部右侍郎趙炳然益田，祀事方得再興。[92]