義務教育在中國的政府文件中，最早見於1902年的《欽定學堂章程》，又叫《壬寅學製》。其中有雲：“兒童自六歲起受蒙學四年，十歲入尋常小學堂修業三年；俟各處學堂一律辦齊後，無論何色人等，皆應受此七年教育，然後聽其任為各項事業。”由此可以看出，《壬寅學製》中的確是有勸行“義務教育”的文字，此學製是清政府在學製上公布的第一個文件，具有絕對權威性。但是，《壬寅學製》雖然是我國頒布的第一個學製，但是其並未具體實施。1904年，清政府頒布實施《癸卯學製》，其中也有強製推行義務教育的規定，明令“除廢疾、有事故外，不入學者罪其家長”。這是中國第一個實施的學製，義務教育也由此興辦。
義務教育在清代實施的具體時段為1904年至1911年。其間，中央至地方雖然進行了多方努力，但因清政府腐敗的政治及薄弱的經濟基礎，義務教育在這段時間雖然取得了一定的成績，但總體來說基礎薄弱，難以實現當時許多人所提倡的教育救國理念。
1904年後，學部及一些地方督撫提出並實施了一些推廣義務教育的保證措施，將義務教育製度進一步法令化、規範化。例如，1905年署理兩江總督周馥、盛京將軍趙爾巽奏設簡易識字學堂，希望義務教育階段的識字教育能收到良好的效果。同年直隸、湖北、湖南、甘肅等省為解決義務教育師資奇缺的問題，設立了優級師範、速成師範等。1906年1月，學部通電各省設半日學堂，這是專收貧寒子弟的學校，不收取學費，亦不拘年齡。半日學堂為普及教育，方便兒童就學的重要教學組織形式。4月，學部通電各省速將省城師範名額盡力擴充，至少設一年卒業之初級簡易科生500人，以養成小學教習。7月23日，學部通行第一次審定初等小學暫用書目。這一時期，大約8年時間，清政府的義務教育取得了一定的成就。