作為李淵父子的發跡之地，竟然旦夕之間陷落，李淵禁不住驚呼：“晉陽強兵數萬，食支十年，興王之基，一旦棄之。”
十月，宋金剛攻陷晉州後，李淵方寸大亂，發出了放棄河東之地，堅守關中平原的戰略。
秦王李世民和李靖、房玄齡、杜如晦等人商量後，覺得這樣不妥，於是勸諫李世民上書李淵，堅決出兵，收複失地。
李世民於是上表說：“太原，王業所基，國之根本；河東殷實，京邑所資，若舉而棄之，臣竊憤恨。願假臣精兵三萬，必冀平殄武周，克複汾、晉。”
李淵同意了李世民的建議，命他再次出征，並且親自送行到長春宮。
十一月，正是隆冬季節，天寒地凍，黃河上結了厚厚的一層冰，足有一尺厚，人馬可以在冰上渡河。於是，李世民帥軍在龍門渡河，紮營於柏壁（今山西新絳西南），並同固守絳州的唐軍形成犄角之勢，進逼宋金剛軍。
當時黃河以東的州縣遭搶劫後，沒有糧倉，老百姓懼怕侵擾，紛紛聚居在城堡中，大軍征集不到東西，軍隊缺糧。
李世民發布公告曉諭百姓，百姓聽說李世民率軍前來，紛紛前來歸順，由近及遠，絡繹不絕。隨著歸附的老百姓越來越多，唐軍逐漸也能征集到糧食了，軍糧因此充足。
李世民和李靖商量之後，仍然決定堅守不出，於是休兵喂馬，不時派出小股騎兵四處襲擾宋金剛大軍的後勤運輸隊伍，大軍則深溝壁壘，養精蓄銳，堅壁不戰。
曾經有一次，李世民親自帶輕騎兵去偵察敵情，隨從的騎兵四下分散，李世民隻和一名穿鎧甲的士卒登上山丘，他們見四下裏沒有人，李世民感到有些瞌睡，於是就躺在草地上睡覺。
不久，宋金剛的士卒就發現了李世民這支小股部隊，於是就派騎兵從四下裏包圍了二人，開始兩人毫無知覺，繼續鼾聲如雷。