我國高等教育自學考試製度醞釀於1978年，當年，教育部頒布《關於業餘高等教育的考核辦法》，提出“建立定期的考核製度，自學的人們可以到國家指定的高等學校或其他單位參加考核，證明已經達到國家規定的大學畢業水平的，由高等學校發給證書，各單位使用時應按同等畢業生對待，用其所學”。1979年，教育部出台《自學考核辦法》，提出自學考試製度的概念與實施辦法，意味著高等教育自學考試製度的萌芽。1981年，國務院批轉教育部《關於〈高等教育自學考試試行辦法〉的報告》，高等教育自學考試製度正式建立。《高等教育自學考試試行辦法》對考試對象、報考手續、考試辦法、組織領導、畢業生的使用和待遇等做出了原則性規定，並決定在北京、上海、天津試行。
1983年，國務院批準成立全國高等教育自學考試指導委員會，規定了全國高等教育自學考試指導委員會任務、人員組成等。同時，全國高等教育自學考試指導委員會全體會議通過了《關於設立專業委員會的意見》和《關於製定專業考試計劃的意見》。此外，1986年，國家教委轉發全國考委《關於開考本科階段自學考試有關問題的幾點意見》。高等教育自學考試製度的建設，進一步滿足了當時人們的學習需求，1981年高等教育自學考試報考人數為4 000人，而到了1986年，全國高等教育自學考試報考者共計300萬人。在高等教育自學考試相關政策製度的推動下，相關實踐逐步推進，辦學體係基本形成，到1986年全國30個省、直轄市、自治區先後建立了省一級的高等教育自學考試委員會。
為進一步推動高等教育自學考試發展，1988年，國務院頒發《高等教育自學考試暫行條例》，以國家最高行政立法的形式確立了高等教育自學考試製度，對高等教育自學考試的性質、任務、考試機構、開考專業、考試辦法、考籍管理、社會助學、畢業生使用與待遇、考試經費、獎懲等都做出了明確的規定。1989年，國家教委發出《關於在軍隊舉辦自學考試的批複》，同意成立中國人民解放軍自學考試委員會，負責全軍的高等和中等教育自學考試工作。1995年，國家教委印發《關於高等教育自學考試社會助學工作的意見》，推動自學考試社會助學工作的健康發展。1999年1月1日，《中華人民共和國高等教育法》開始施行，其中第二十一條明確規定：“國家實行高等教育自學考試製度，經考試合格的，發給相應的學曆證書或者其他學業證書”，以法律的形式確立了高等教育自學考試製度，以及它在我國高等教育基本製度中的重要地位。