華山金礦一事後,李適之漸失皇恩。此前,李適之與刑部尚書韋堅過從甚密。韋堅之妻薑氏,父薑皎,與李林甫有姑表親,李林甫本與韋堅甚親昵。韋堅初為陝郡太守、江淮租庸轉運使,掌有實權,因興修水利、疏通漕運而受到皇帝寵信,既而有入朝為相之誌。李林甫見他想和自己平起平坐,漸生厭惡。天寶四年九月,李林甫奏請遷韋堅為刑部尚書,其諸使職務則由他的親信禦史中丞楊慎矜代替,看似升官,其實奪取了韋堅實權。
皇帝議立太子時,李林甫與武惠妃勾結,互為表裏,欲立惠妃子壽王李瑁為太子,未能成功,長子忠王得立,即為當今太子。李林甫因而與太子有過節,韋堅又是太子妃兄,也為李林甫所惡。
至此,韋堅李適之二人,一個失權,一個失恩,又都是受李林甫之害,愈發相親密,結為一黨,共與李林甫為難。
天寶五月正月,隴右節度使皇甫惟明因破吐蕃,入朝獻捷,見李林甫把持朝政,意有不平,入宮見駕時,勸皇帝削減宰相權勢。太子為忠王時,與皇甫惟明友善,韋堅李適之等趁機交結皇甫惟明,共排李林甫。
正月十五,元宵燈會,太子攜太子妃同出遊賞燈會,韋堅趁機同往。太子常年居住禁中,鮮少遊這等民間集會,韋堅為他導引,太子遊玩甚歡。
“韋卿,這盞燈好稀奇,四周圖案旋轉,但燈座似乎未動。”太子又看見一盞未曾見識過的燈,很是好奇。
韋堅回道:“此燈燈座與燈紗不連,內部以輪軸構造,搖柄可以自轉,不必圍繞一周便可見八方圖案,因此名為‘走馬燈’。”
太子定睛一看,果然見燈旁有一小童在搖手柄,每搖一周,燈可轉三四圈,不由讚歎:“果然構造精密!”又見燈架雕刻精細,圖案栩栩如生,心中喜愛,於是讓仆人將此燈買下,遞給韋妃,喜道:“愛妃,你看這燈,甚是精巧,你可喜歡?”