史官家族第二階段“發祥於漢”，經曆了從杜陵侯到溧陽侯的轉變。這時，他們已經逐漸不擔任史官工作，家族中有的也不以史官為職業了。這一變化應從西漢年間，漢宣帝授予史晨的孫子、中郎將史恭為杜陵侯，並出任涼州刺史說起。此事起因於史恭，他有個妹妹叫史節，元鼎四年入為良娣，是太子衛的妃子，她就是後來漢宣帝劉詢的祖母。漢武帝末年，誣陷事起，幼年劉詢遭人陷害。史恭之母貞君雖已年老體衰，見到孩子孤苦無援，“甚哀之”，就決定一手將其撫養成人。之後，劉詢“登之高位”，是為漢宣帝，即位以後，他非常感激史氏家族對於自己的幫助，感念他們的恩惠。這時貞君和史恭都已死，就決定追封史恭為杜陵侯，漢宣帝還賜他以“仁”的諡號，並封賜史恭的三個兒子。這樣，史恭的後人就把家從魯濟北遷居到杜陵（陝西長安）。這時，史氏家族開始得到封侯授爵的待遇，由史官轉為杜陵侯，史官家族就轉變為史氏家族。
史恭有三個兒子：史高、史曾和史玄，他們都因其父舊恩和外戚的關係而得到了照顧。長子史高，字子長，漢宣帝患病期間，拜為大司馬、車騎將軍，領尚書事，帝崩後被封樂陵侯，食邑二千三百戶。史高有兩個兒子：史丹和史術。史丹，字君仲，中庶子，後遷駙馬都尉、侍中。建始九年，擢長樂衛尉，遷左將軍，光祿大夫。為人足知愷悌，愛人貌若儻**，尤其得信於上。受爵，為武陽侯，食邑三百戶。史丹之子名史邯，字信侯，尚書駙馬都尉，繼承其父爵，世襲為武陽侯。其子名獲，字君寵，世襲為武陽侯。史術，字君仲，侍中左將軍，嗣爵樂陵侯，有二子：史宗和史淑，史宗，字胤嗣，嗣爵樂陵侯，無子；史淑又無子，以侄史岑過繼，也世襲樂陵侯爵位；史岑，字寂甫，因遇王莽建立新朝，世爵因此而斷絕。