支持武則天的勢力暗流湧動，反對她的大臣也開始逐步集結。這一派的首領是元老重臣長孫無忌。此外，還包括唐太宗任命的另一位顧命大臣，長孫無忌的忠實追隨者褚遂良，以及剛剛在立宸妃問題上投過反對票的來濟和韓瑗。兩派人馬都在暗中發展勢力，中央的政治風雲開始變得波詭雲譎，並且逐漸向下波及。
風乍起，吹皺一池春水。立武則天為後的事，一時間成為大家關注的中心話題。長安縣令裴行儉私下找到長孫無忌和褚遂良，議論說，武昭儀心術不正，她要是立為皇後，國家可就要遭殃了。這種私下議論馬上被武則天的情報網探聽到了，禦史中丞袁公瑜迅速把這件事匯報給武則天的母親楊氏，楊氏再傳達給武則天，武則天再推動高宗作出反應。很快，裴行儉被貶為西州都督府長史，也就是被貶到今天新疆的吐魯番，遠遠地離開了政治中心。此後不久，武則天的首席支持者許敬宗升遷為禮部尚書。皇帝的巨手終於顯示出了威力：順我者昌，逆我者亡。
隨著兩派官員的或升或降，原本看起來鐵板一塊的外廷官僚隊伍逐漸分化。每個人都在觀察，考慮自己的立場以及可能引發的後果。就在這緊張的氣氛之中，永徽六年（655年）九月，唐高宗和武則天終於決定攤牌了。
據《唐會要》記載，這天，唐高宗在退朝之後單獨留下了四位宰相，說要跟他們到內殿商量一件事。這四位宰相是誰呢？第一位是太尉、同中書門下三品長孫無忌，第二位是司空、同中書門下三品李勣，第三位是左仆射、同中書門下三品於誌寧，第四位是右仆射、同中書門下三品褚遂良。唐朝的宰相製度比較複雜。首先，有一些官職是法定宰相，比如尚書省的長官尚書令，中書省的長宮中書令，門下省的長官門下侍中。在這之中，尚書令是正二品，中書令和侍中都是正三品。但是，因為尚書令權力過大，從太宗朝開始，尚書省不再設尚書令，所以，尚書省的副職左右仆射就成為宰相，都是從二品。此外，還有一些人不擔任三省長官，但是也可以經由皇帝的任命成為宰相。這些人要成為宰相，一般要加“同中書門下三品”，或是“同中書門下平章事”等名號，就是說他們也和中書、門下兩省的長官一樣擁有決策權力。長孫無忌和李勣就都屬於這種情況。