義務教育的根本特征之一就是強製性，實施義務教育，僅僅依靠社會宣傳和教育管理上的一些措施遠遠不夠，還必須依靠教育立法來推行義務教育。諸多國家實施義務教育的成功經驗表明，通過立法程序，把國家關於實施義務教育的方針政策、製度措施、實現目標等用法律的形式固定下來，使之成為整個國家的意誌和整個社會遵循的準則，進而得到有效的實施，是實施義務教育的根本保障。從英、美、德、日、法等發達國家的發展來看，他們都是一開始就重視製定教育法令，並且不斷加以補充修改，隨時提出新的要求，以保證義務教育的實施。
改革開放以來，我國製定了相關法律，用來保障義務教育的實施。1980年12月，黨中央和國務院頒布《關於普及小學教育若幹問題的決定》，明確指出，“我們的社會主義現代化建設，不僅要建設高度的物質文明，還要建設高度的精神文明。沒有文化教育事業的充分發展，就不可能有完全的社會主義。”而“小學教育是整個教育的基礎，要提高教育質量，提高全民族的科學文化水平，必須從小學抓起”。鑒於這樣的認識，普及小學教育的任務被確定下來：“在80年代，全國應基本實現普及小學教育的曆史任務，有條件的地區還可以進而普及初中教育。”“經濟比較發達、教育基礎較好的地區，應在1985年前普及小學教育，其他地區一般應在1990年前基本普及。”1982年通過的《中華人民共和國憲法》規定“國家舉辦各種學校、普及初等義務教育”，這是新中國首次以法律的形式規定了義務教育的普及任務。但是，當時仍沒有一部專門的義務教育法。1983年，教育部發布《關於普及初等教育基本要求的暫行規定》，明確了普及初等教育的基本指標：學齡兒童入學率達到95%；在校學生的年鞏固率達到97%；畢業班學生的畢業率，城市達到95%，較發達地區的農村達到90%，其他地區達到80%；12至15周歲少年兒童中初等教育的普及率達到95%。這些指標的公布充分表明了改革開放後黨和政府普及義務教育的決心，也為後來義務教育法的製定提供了理論依據。