李岫以李林甫之名奏請遣楊昭赴蜀,皇帝對李林甫本隻有些許微詞。誰知貴妃聽到這個消息竟對皇帝大哭大鬧,怒斥那上奏章的人歹毒心腸,竟想害她兄長。李林甫平白就被扣了個大帽子,加上聽說皇帝允諾楊昭回朝後以他為相,氣得肺疾加劇,咳出血來。
十月皇帝駕幸驪山華清宮,李林甫也跟著搬到昭應縣的宅第養病。他的情況一日不如一日,到十一月裏已經是昏睡的時候多、清醒的時候少,出氣多、進氣少了。楊昭和貴妃的這一出雙簧更加深了皇帝和右相之間的溝壑,李林甫生命垂危,皇帝也隻偶爾派個小黃門來問一聲。
李林甫見皇帝對自己如此疏冷,知道自己是聖眷不再,加上楊昭臨行前皇帝說的那些話,明白皇帝就指著他兩腿一蹬把這個相位讓給楊昭了。他窩著一口氣,心裏煩悶,偏偏自己又病成這個樣子,每回閉了眼就不知道還能不能睜開,憂懣地不知怎麽辦好。愈是抑鬱病就愈加重,尤其是肺疾,都到了無痰可咳、隻會喀血的地步,人人都知道他是熬不過這個冬天了。
李林甫一倒下,他那些年輕姬妾和幼小兒女全都亂了陣腳,家裏頭成日淒風苦雨,一幹事情全都由幾個成年了兒子扛著。李岫在李林甫二十五個兒子裏也算大的了,有幾個在外任職的哥哥還沒趕回來,其它的這時候都想著怎麽趁機把當家的權給抓在手裏。李岫素來不喜與人爭搶,事父又孝順,便日日守在父親病榻前。
一開始還有官員來探望,慢慢的客人也少了,哥哥嫂嫂們又忙著在長安那邊爭家當,李林甫到臨終時竟落個無人搭理的下場。李岫看人情涼薄如此,見父親奄奄一息的樣子,不禁悲從中來,又想起辭世的母親和早夭的妹妹,縱是男兒有淚不輕彈,這段時間也不知掉了多少傷心淚。