在青神縣住了二十天，蘇軾夫婦回到眉山。這時候程夫人的喪事已經辦完，蘇家也差不多傾家**產了。
這年十一月，中書省發下一道劄子，命蘇洵進京赴“舍人院試”。蘇洵知道這又是熱心的歐陽永叔在京城舉薦的結果，可“舍人院試”本非正途，就算考中了也不如進士及第來得風光，萬一再考不中，外人豈不要笑話蘇洵無能？在兩個兒子麵前也抬不起頭來。想到這裏，蘇老泉終於把牙一咬，拒絕進京應試。
隻因為爭強好勝，蘇洵的人生道路越走越窄，最後竟被自己的兒子逼到角落，已經失去了入科場一搏的勇氣。
拒絕進京應試以後，蘇洵的脾氣越發暴躁，在父親麵前蘇軾兄弟嚇得話都不敢說了。就這麽一直熬到嘉祐四年七月，母喪已滿，蘇軾、蘇轍收拾行裝準備進京做官，令人意外的是蘇洵忽然決定賣掉蘇家僅有的房屋產業舉家遷往京師。
此時的蘇老泉已經不戀故土了。在他想來，苦讀二十多年還當不上一個像樣的官，甚至連兩個兒子都比不上，在眉山這塊地方已經丟盡了臉，再也混不下去了。
鑽進牛角尖的蘇洵竟看不到，蘇軾、蘇轍都是他一手教養成才，兩個兒子的成績就是他的成績，何況蘇洵以文章成名還在兩子之先，其所著《權書》、《衡論》、《幾策》天下人爭相傳抄，京城裏歐陽修、韓琦、梅堯臣這些大人物說起蘇洵誰不佩服？後世也把“三蘇”並列，誰敢輕看他蘇老泉？世上把蘇老泉看扁了的隻有一個人，就是蘇老泉自己。
現在蘇洵要把紮在故鄉的根子整個撥去，棄家出走，永不回頭，兩個兒子誰敢說個“不”字？於是蘇家五口賣掉產業乘船東去。臨行前蘇洵留詩一首：
“岷山之陽土如腴，江水清滑多鯉魚。古人居之富者眾，我獨厭倦思移居。