義務教育是一個近代概念，最早的名稱頗為不一，有的稱之為“強迫教育”，有的謂其為“普及教育”，也有人叫它“免費教育”等。之所以關於義務教育的稱謂有這麽多，原因就是對英語“Compulsory Education”的翻譯有所不同，中國沿用日本的翻譯方法，稱之為義務教育。
義務教育的具體指向也有時代性。民國時期的義務教育僅指初等小學階段，學製4年，隻有強迫教育的含義，不包括免費的內容。從1949年到1978年，義務教育主要指小學教育，學製5—6年。改革開放以後，隨著經濟的迅速發展，我國將義務教育確立為小學6年及初中3年。在《中華人民共和國義務教育法》的指引下，我國義務教育的普及率逐年提高，並穩步鞏固義務教育普及率。義務教育發展的水平和質量，成為衡量全體國民整體素質和現代社會文明程度的基本標誌，也成為我國實現從人口大國提升為人才強國宏偉目標的根本標誌。
40年來，我國的教育改革是逐步深化的。從1977年到1985年，重點是解放思想、實事求是，撥亂反正、正本清源，揭露和批判“四人幫”的罪行和謬論，平反冤假錯案，解除知識分子和廣大教師的政治包袱和思想束縛，樹立尊重知識、尊重人才、重視教育、尊敬教師的政策導向和社會風尚，明確了教育優先發展的戰略地位和發展方向，理順教育管理體製，為全麵推進改革開放奠定思想理論基礎，落實製度保證。主要標誌是“全國科學大會”“全國教育工作會議”的召開和《中共中央關於教育體製改革的決定》的發表及鄧小平的一係列重要談話，特別是1983年為景山學校題詞：“教育要麵向現代化、麵向世界，麵向未來”，最集中地表明了中國現代教育的特征、目標和方向，成為整個教育領域改革開放的指導性綱領。這一階段偏重於解決教育的宏觀問題，創造教育改革開放的條件。