中國教育會成立於1902年春。先是，蔡元培與葉瀚、蔣智由、王季同、汪德淵、黃宗仰、王慕陶等人於4月15日商議籌組中國教育會。4月27日，由在滬同人選舉蔡元培擔任事務長（即總理），王慕陶、蔣智由、戢元丞、蒯壽樞等任幹事，陳仲謇為會計。隨即函邀江浙各地同誌赴滬，於5月4日召開成立大會。[1]入會者“或為學校師，或為編譯員，或為新聞記者，或為學生”[2]，“都是海上及內地頂有名望的人，總共也聚了一百多人”[3]。新型知識分子構成該會的主體。中國教育會的出現，表明在上海這個中西交匯的新興大都市中，新知識群體已經聚合發展，形成獨立的社會力量，具有相對固定的角色地位，並要求通過自己的社團組織與活動，進一步擴大社會影響。
關於中國教育會的緣起與性質，馮自由說是因為當時“譯本教科書多不適用，非從新編訂完善，不足以改良教育。因聯絡海上有誌之士，發起中國教育會為策動機關。倡議諸子，均屬熱心民族主義之名宿，故此會不啻隱然為東南各省革命之集團”[4]。中國教育會的重要骨幹蔣維喬則極力肯定該會“表麵辦理教育，暗中鼓吹革命”[5]。而吳稚暉又對蔣說表示否定，[6]因而仍是一樁懸案。
事實上，中國教育會的確從一開始就存在一個秘密革命核心，他們立會的意圖，是想憑借當時最為風行的興辦教育的名義，以學校為培養革命力量的基地，展開宣傳組織活動，並不拘泥於發展教育。1904年4月3日，蔣維喬曾在一封致中國教育會諸君書中明確指出：“原設會之本意，諸君子固別有宗旨，不過借教育為表麵。”“窺諸君子之用意，蓋以中國垂危，教育之效終嫌緩不濟急，故恒持虛無共產主義為救急第一良策。”不知底細者“固抱一教育普及之念而來，一入其中，微聞其內容則駭而走耳。此所以入會者前後有百餘人，至今十不存一也。”有鑒於此，他提議：“諸君子欲達目的，則宜秘密者應另組織一秘密之部，而教育會自以普及教育為宗旨”，使“名實相符，可期發達，不致蹈前此之弊，與誘人入會無異”[7]。值得注意的是，當該會機關報《警鍾日報》將這封信刊出時，卻把其中涉及秘密宗旨的內容全部刪除。[8]可見是有意加以隱蔽，以防意外。