研究生教育與學位製度的建立是聯係在一起的。學位源於中世紀的大學，早於研究生教育。當時大學畢業就可以獲得一個學位——碩士或博士，它表明一種職業資格，而且碩士和博士沒有本質的區別。到15世紀末，碩士和博士在等級上才出現區分，博士學位授予高級學科（神學、法學、醫學）的學生，碩士學位則授予低級學科（文科）的學生。到18世紀初，博士學位才授予傳統自然科學和人文科學知識的文科學生，取名為哲學博士（Ph. D），並要求注重純學理的科學研究及學術探究。
現代意義的學位製度產生於19世紀初，1810年普魯士教育大臣威廉·馮·洪堡創立柏林大學，把科學研究引入傳統大學，實行教學與科研統一的原則。大學任務的改變，導致了研究生教育重心的轉移，即要獲得博士學位，不僅要學習大學的課程，而且要從事科學研究，並完成對科學發展有所貢獻的學術論文。柏林大學的改革對世界各國的高等教育起了巨大的影響。
美國研究生教育開始於19世紀20年代。當時美國哈佛學院進行改革，為已經取得學士學位並願意繼續學習的畢業生開設課程。它可稱為美國研究生教育的開端。1847年，耶魯學院開設博士研究生課程，新建哲學與人文科學係，給獲得學士學位的人“講授從未講授過的高級人文科學和自然科學以及自然科學在人文科學中的應用之類問題”。同時，還仿照德國大學，建立了應用化學研究所。1861年該係授予第一個哲學博士學位。[2]密執安大學則於1858年開設碩士研究生課程。1876年約翰斯·霍普金斯大學的成立，標誌著美國研究生教育製度的確立和完善。霍普金斯大學校長吉爾曼和全體教師幾乎全部曾留學於德國，受德國大學的影響甚深。大學一成立就宣布實施研究生教育是它的最重要的使命，該校隻設研究生院，不招收大學本科生，是美國曆史上第一所以研究生為主的大學。之後，哈佛、耶魯、康乃爾大學也都效仿霍普金斯大學成立專門的研究生院。