當胡惟庸昂首闊步地走進中書省時，劉伯溫辭職了。他的理由是，自己年老又得了很嚴重的疾病，不能履行監察百官的職責。朱元璋表示同意。一方麵，劉伯溫的確越老越糊塗了，很多事情已經依仗不了他；另一方麵，中書省顯然已經歸於平靜，也不需要劉伯溫再做什麽了。
劉伯溫辭職後，朱元璋繼續著他治理天下的大業。對外，他不停地向蒙古人發動實質性的打擊；對內，他用各種小動作玩弄群臣於股掌之上，時刻監控著群臣的動向——即使睡覺時，他也有一隻眼睛不會閉上。在這種變態般的警惕中，他終於發現了一個潛在的叛徒，這個叛徒就是廖永忠。
大多數人都知道廖永忠不是個省油的燈。楊憲在中書省上躥下跳時，最先勾結的對象就是廖永忠。按李善長的說法，廖永忠既不屬於安徽幫，也不屬於浙江幫，而屬於巢湖幫。這個幫派成員以水軍將領為主，他們緊緊地團結在老大廖永忠的周圍，對安徽幫和浙江幫的鬥爭采取“觀虎鬥”的策略。不過1370年楊憲進入中書省後，巢湖幫的理念發生了一點改變，廖永忠積極地和楊憲合作，希望能“剛”掉以李善長為首的安徽幫。
廖永忠本來想抱緊安徽幫這棵大樹，可李善長和那些陸軍將領卻特別反感水軍，這也是朱元璋自創建水軍以來形成的政治特色，由於和陳友諒的水戰中出力最多的是巢湖幫的水軍，所以朱元璋當時對巢湖幫的成員大肆封賞，從而引起了安徽幫那些陸軍將領的嫉妒和反感。
當然，最讓安徽幫反感廖永忠的，則是他殺掉了韓林兒——這等於是弑君，不但罪大惡極，而且毫無品德。廖永忠抱不上安徽幫的大腿，就想去抱浙江幫劉伯溫的大腿，可劉伯溫向來剛正不阿，雖然告誡朱元璋不要把韓林兒當回事，卻從沒有說過要殺了韓林兒。廖永忠頓時跌入了姥姥不疼、舅舅不愛的尷尬境地，這時候，楊憲雪中送炭，給他帶來了溫暖，他自然而然地投入了楊憲的懷抱。