某一日，鉤弋夫人隨口笑道：“你們衛家可是了不得，外朝有丞相，內朝有霍君，皇上麵前的紅人全讓你們占盡了。”
霍光聽後，不由得出了一身冷汗。他早看出了鉤弋夫人的勃勃野心，但她的話著實令他恐懼。因為在她的眼中，自己是霍去病的弟弟，斷然是衛太子一方的人了。多年來，他努力，不偏向任何一方，甚至婉拒皇後、太子的多番好意，目的就是想在宮廷爭鬥中獨善其身。他早看出了皇帝對太子的不滿，當然要跟衛氏保持距離，他也早覺察到了皇帝對幼子劉弗陵的鍾愛，理所當然地對其母鉤弋夫人表示尊敬。然而事實證明，多年來的努力還是改變不了血緣紐帶，盡管他隻是霍去病同父異母的弟弟，跟姓衛的並沒有直接關係。然而到了這種時候，他要自保，就必須得站到太子一方。
恰好機會就來了。這一日劉徹和鉤弋夫人坐在建章宮中，看著寵臣金日磾的兩個孩子和劉弗陵玩耍。三個孩子肆無忌憚，追逐中一齊攀到皇帝背上。鉤弋夫人很是不滿，厲聲斥責，金日磾惶恐不已，劉徹卻沒有計較。幾日後，皇帝得知金日磾竟然自己殺了兩個親生孩子［1］，很是詫異，問霍光原因。霍光支吾道：“嗯，這個……不好說。”
劉徹立即明白過來，道：“難道是鉤弋夫人不喜麽？”霍光隻是不應，他這種反應令劉徹更加深信自己的判斷，見後妃居然能令外廷大臣畏不敢言，當即怒“哼”了一聲。
雖然皇帝並未因此事訓斥責罰鉤弋夫人，但霍光知道芥蒂已經在皇帝心中種下了，在合適的時候，它就會生根發芽長出來。
然而，還不等霍光再次尋到機會，京師發生了巫蠱案，衛太子一方急遽失勢。
最先卷入的是丞相公孫賀。公孫賀的兒子公孫敬聲驕奢**，揮霍無度，曾經私自挪用北軍軍費一千九百餘萬。案發，公孫敬聲被逮捕下獄。公孫賀知道皇帝痛恨橫行京師的長安大俠朱安世，遂主動請命逐捕朱安世為兒子贖罪。他四下散布消息，稱朱安世就是當年向官府告發關東大俠郭解藏身在李延年家的人，朱安世在民間的俠義名聲遂敗，不久後即被公孫賀屬吏捕捉，劉徹便下旨赦免了公孫敬聲。不料朱安世卻是臨死也要拉個墊背的，居然設法從廷尉獄中上書，向皇帝告發了三件事：一是公孫敬聲與皇帝的女兒陽石公主通奸；二是公孫賀曾暗中庇護公孫敖，助他逃脫死罪；三是公孫賀本就是匈奴內奸，心懷不軌，一直暗中用巫蠱之術詛咒皇帝。