漢武帝劉徹為富國強兵，完成抗擊匈奴的偉大事業，用人不拘傳統。“舉賢不避親”“用賢不避仇”，重用外戚衛青、霍去病更是神來之筆，改變了漢軍精神麵貌。劉徹一生致力於抗擊匈奴，但始終未降伏匈奴，臨死前將未竟事業交給了外戚霍去病的弟弟霍光。霍光忠心報國，成為漢朝數十年的定海神針，順利完成漢武帝的未竟事業。
公元前82年，劉徹死，他年僅8歲的小兒子劉弗陵繼位，由霍光、上官桀、桑弘羊共同輔政。霍光盡心盡職，輔佐幾位皇帝完成劉徹的未竟事業，將漢朝帶到頂峰時代。霍光是霍去病同父異母的弟弟。霍去病二十幾歲就病死了。劉徹非常優待他的親屬。而霍光又才幹突出，辦事盡心盡力，有霍去病某些特質。劉徹下令霍光輔政，有“內安朝政，外懾匈奴”的意味。
霍光確實非平凡之輩。在其輔政後，上官桀聯合桑弘羊，企圖另外冊立皇帝，被挫敗。此後幾十年，霍光成為漢朝實際決策者。劉弗陵年幼，完全信任霍光。霍光獨攬大權，繼承漢武帝後期“外防禦匈奴，內與民生息”的政策。在內政方麵，霍光多次推動大赦天下，鼓勵農業生產，使漢朝經濟迅速得到恢複；在對外方麵，霍光主張恢複和親，不主動向匈奴進攻，以積蓄漢朝實力為首要目標。
不過，霍光大權獨攬也是艱難的。公元前74年，劉弗陵病死時沒兒子，霍光擁立劉弗陵侄子輩中的昌邑王劉賀繼位。劉賀繼位不到30天，做了1100多件荒唐事。霍光感到異常痛苦。他以大局為重，頂著千古罵名的壓力，報請皇太後，廢掉了**無道的劉賀，改立前太子劉據的孫子劉病己。劉病己後改名劉詢。
劉詢當時已經成年了，霍光按照傳統禮製，將執政權交給他。劉詢曾長期流落民間，雖然已經成年，但在朝廷中沒根基、沒人脈，更沒執政經驗，暫時無法獨當一麵，便挽留霍光繼續攝政，並下令朝廷所有事都先經霍光過問，再稟報皇帝。霍光隻好盡心盡力，繼續攝政。當然，對帝王來說，大權旁落無疑十分令人焦慮痛苦。劉詢與霍光常常同坐在一輛馬車裏，以示君臣親密無間，但常有“芒刺在背”的感覺。不過，令劉詢更難受的是霍光的家人。霍光家人任性跋扈，甚至做出一些逼迫皇帝的舉動。劉詢是遺腹子，還沒出生，他父親已死，母親下獄，他是在監獄中出生長大的。在稱帝前，劉詢依靠許廣漢家族生活，娶了許廣漢的女兒許平君。稱帝後，群臣請求冊立霍光女兒霍成君為皇後，但劉詢認為做人不能忘本，堅持冊立許平君為皇後。霍光同意了。劉詢想依例給許廣漢封侯。因許廣漢曾受過宮刑，霍光堅決反對給沒資格封侯的許廣漢封侯。劉詢隻好作罷。君臣之間有了些隔閡，但相互各讓一步，還算克製。