此後韋堅黨羽雖然仍有殘喘掙紮,但已無法與李林甫相抗衡,不過是以卵擊石。韋堅貶黜後半年,其弟將作少匠韋蘭、兵部員外郎韋芝為兄訴冤,並援引太子言為證,觸怒龍顏。太子懼怕連累自身,上表請求與太子妃韋氏離婚,以表示要與韋家人劃清界限,不以親而廢法。七月丙子,再貶韋堅為江夏別駕,韋蘭韋芝皆貶往嶺南荒蠻之地。皇帝素知太子孝順,處事謹慎,因而不曾遷怒責怪,太子逃過一劫。
李林甫趁機進言說韋蘭韋芝有人支持,才敢翻案上訴,必是韋堅與太子少師李適之等人結為朋黨,李適之相助韋氏兄弟。數日後,韋堅流放臨封,李適之貶為宜春太守。太常少卿韋斌、嗣薛王李琄、睢陽太守裴寬、河南尹李齊物等人素來與韋堅親善,都貶官降職。韋堅親黨因此而被流放、貶官者達數十人,凡有些權位的都被李林甫拔除。
然而李林甫並未就此罷手,非斬草除根不可。天寶六年初,又奏請賜死皇甫惟明及韋堅兄弟。派遣出京執行的官員羅希奭是有名的酷吏,又受李林甫暗托,一路從青州至嶺南,途中殺貶謫官員,地方郡縣官員皆驚駭恐慌。羅希奭尚未到宜春,排馬牒先到,李適之憂心恐懼,擔心自己落於羅希奭之手要多受苦處,竟先服毒自殺。江華司馬王琚,也是因李林甫嫌惡而遭貶,聽聞羅希奭來臨,也服毒自盡,未死,又自縊。羅希奭繞道至安陸,安陸別駕裴寬向羅希奭叩頭求生,才免於一死。一時人人自危。
李適之子李適迎父喪至東京洛陽,李林甫使人誣告他,將李適杖死於河南府。李林甫還不解恨,因韋堅以通漕水利有寵,遂派遣使臣沿黃河及江、淮州縣搜集韋堅罪狀,逮捕漕運官吏及船夫,牢獄充滿,冤者無數。
蓮靜望著遙遠的天幕,歎了一口氣。韋堅李適之等,雖為李林甫所惡而惹禍上身,身死則事罷,但這些無辜臣民,株連災禍,恐怕李林甫有生之年也不會窮盡。