新中國開展義務教育是在原解放區教育的基礎上展開的。中華人民共和國成立以前，我國基本上存在著兩種性質不同的教育：一種是中國共產黨領導下的解放區的人民教育；一種是國民黨統治區的教育。解放區的教育是在中國共產黨領導下的新民主主義教育。到1949年中華人民共和國成立，解放區的教育事業隨著根據地麵積的不斷擴大而擴大。幾十年的教育實踐中，形成了新民主主義教育的方針政策，為新中國教育建設奠定了政策基礎。
新中國成立後，基於解放區原有教育基礎和普及教育的經驗，普及小學教育開始在全國廣泛開展。1950年下半年小學招生人數達1086.2萬人。1951年3月，教育部召開了第一次全國初等教育及師範教育會議。會議提出，1952—1957年爭取全國平均有80%的學齡兒童入學，從1952年開始，爭取10年內基本上普及小學教育，並提出5年內培養百萬名小學教師的規劃。這就是新中國第一個普及小學教育的計劃。
《1956年到1967年全國農業發展綱要》提出了新中國成立後第二個普及小學教育的計劃，它提出“從1956年開始，按照各地情況，分別在7年或者12年內普及小學義務教育”。1956年9月，劉少奇在中國共產黨第八次全國代表大會的工作報告中指出，在財政力量許可的範圍內，逐步擴大小學教育，以求12年內分區分期地普及小學義務教育。1949年至1957年，這一時期的普及小學教育有了較大發展。1949年，全國有小學34.68萬所，在校生2439.1萬人，到1957年，小學增長到54.73萬所，在校學生達到6428.3萬人。
盡管普及小學教育有了較大發展，但仔細分析，這一時期普及小學教育的計劃都存在著忽視中國國情和急於求成的問題。
首先，教育經費投入不足。普及教育是需要人力、物力、財力保障的，特別是要在短時期內實現這一目標，所需物資保障更多、更大。新中國成立後，盡管經濟恢複且發展速度很快，但因基礎太薄，難以為教育提供足夠的財力支持；同時，當時國家正處於大規模經濟建設時期，其戰略重點是優先發展耗資巨大的重工業，而將其他方麵，特別是文教衛生等放到次要位置，逐步形成資金安排時“一工交，二財貿，剩下一點給文教”的狀態。顯而易見，在這種形勢下，國家不可能為普及教育提供必要的物質保證。