安祿山返回範陽,朝中掌握大權說一不二的人依然是李林甫。李林甫此人妒賢嫉能心胸狹窄,無容人之量,雖位居右相,一人之下萬人之上,仍時時擔憂著會不會有人超越他的地位,奪了他的權勢。因此凡朝臣功高名勝、有可能為宰相的都會加以阻撓,甚至誣陷迫害。先前有裴寬、盧絢、韋堅等,都是因此而被李林甫所害。
皇甫惟明獲罪,王忠嗣接替其任,治軍有方功名日盛,兼任河東、河西、隴右、朔方四鎮節度使,是西部鎮守邊陲的重將。李林甫怕他入朝為相,屢進讒言。
安祿山築雄武城,大貯兵器,假借討伐契丹之名請王忠嗣帶兵助役,想從他手下奪取兵力。王忠嗣先於安祿山約定之期到,查探兵情,未見安祿山麵就離開,並以所見進言安祿山潛蓄異誌意圖謀反。皇帝哪裏聽得進去,反對王忠嗣生出不滿。李林甫更趁機進讒,讓皇帝疏遠王忠嗣。王忠嗣心知自己功高受李林甫猜忌,四月自請解除河東、朔方節度使之職,皇帝準許了。王忠嗣於是專心經營河西、隴右兩鎮,抗拒吐蕃。
李林甫仍不放心,又攛掇皇帝下令王忠嗣攻吐蕃石堡城。石堡城險固,易守難攻,吐蕃又派重兵把守,王忠嗣認為攻石堡必會損傷大批兵馬,得不償失,不願攻城,讓皇帝心有不快。將軍董延光為立戰功自請領兵攻石堡,皇帝命王忠嗣分兵相助。王忠嗣不得已而派兵,但並未盡遂董延光心意,董延光心有怨言。
過了預定期限,董延光仍未能攻下石堡,便歸罪王忠嗣,說他不盡力協助,阻撓軍計,皇帝大怒。李林甫趁機令濟陽別駕魏林告發王忠嗣,說王忠嗣幼年養在宮中,與忠王交情甚密,欲擁兵尊奉太子。皇帝愈怒,征王忠嗣入朝,令刑部、大理寺、禦史台三司會審鞫查。王忠嗣因而下獄,其隴右、朔方兩鎮節度使之職也分別由哥舒翰、安思順取代。