呂惠卿、曾布圍繞《市易法》的內訌丟了王安石的臉，唐埛鬧殿打擊了王安石的威信，“宣德門落馬”動搖了王安石的地位，現在安上門吏鄭俠遞上一張《流民圖》，徹底撼動了王安石在朝廷的根基，而神宗皇帝當著王安石的麵點出 “三不足”的謠言，等於一柄鐵錘，把這塊曾經受皇帝庇護而穩如泰山的“安石”砸了個粉碎。
王安石不是傻子，他知道自己眼下該做什麽。回到府裏就寫了一個劄子，請求辭去宰相之職。
《三國演義》小說裏寫出一個“三顧茅廬”的故事，傳為美談，其實這隻是帝王們玩厭了的小把戲。自古以來君臣之間“三顧三請”、“三辭三留”的典故多到無數！今天神宗皇帝對王安石已經不假辭色，趕他走的意思十分明白，可王安石久獲聖寵，在他罷相之時，君臣間仍然要做一個“三辭三留”的樣子給天下人看，所以神宗接了王安石請辭的劄子根本沒有回複，於是王安石又上一本請求辭職。這次神宗下了詔命：不準！
王安石的劄子一遞進，整個朝廷都吃了一驚，不管王安石的政敵還是他那些“三司係”親信大多又驚又喜。對政敵來說，剛愎自用、禍國殃民的王介甫早該滾蛋了！對親信們來說，被皇帝嫌棄的王安石也早就失去了利用價值，不值得繼續追隨了。現在王安石要走，這些人正好趁機擺脫這塊剛直廉潔、孤倔無趣的“硬石頭”，去找一個更容易巴結的新主子。
也在這個時候，秘閣校理王安國、直舍人院王安禮到兄長府上登門拜訪來了。
王家石的父親王益娶了兩位夫人，第一位夫人徐氏生子王安仁、王安道，第二位夫人吳氏生了王安石、王安國、王安上、王安世、王安禮五兄弟。這兄弟七人中王安仁、王安道、王安世隻做了地方小官，成就也不大。王安石如今是個要倒台的宰相；王安國熙寧元年考中狀元，如今做秘閣校理；王安禮仁宗嘉祐六年進士出身，現在擔任直舍人院，這兩位都是皇帝身邊的親信侍臣，也都對王安石主持的變法持反對態度，為此鬧得兄弟失和，多年不相來往。另一個弟弟王安上擔任太常寺太祝，掌管朝廷祭祀，平時比較超脫，對朝廷變法之爭幾乎不發表意見。