經此一戰，李淵得到了眾人的擁護和愛戴，很快就建立了軍事、政治機構，也為改朝換代做好了初步準備。李淵心係天下，當然不會滿足於隻得到太原。大業十三年（617年），李淵任命李元吉留守太原，自己則帶著李建成和李世民，率領大軍從太原出發，一路南下。自此，李淵父子踏上了建立大唐的征程。
在中原地帶，李密率領的瓦崗軍實力最強。李密原本想把各路起義軍都收入麾下，擁護他為首領，共同反隋。毫無疑問，李淵作為起義軍的後起之輩，也收到了李密的消息，但是李淵始終沒有給李密任何回信。直至大兵出發前，為了避免腹背受敵，被瓦崗軍襲擊，李淵才假意給李密回信，表示願意擁護李密為王。其實，他是為了讓李密繼續反隋，而不要對他們開戰。果不其然，李密接到了李淵的來信後喜出望外，馬上回信給李淵說瓦崗軍絕不進犯太原。由此一來，李淵就解除了後顧之憂，不再擔心太原的安危了。
隋煬帝得知李淵起兵南下的消息後，心急如焚，派出重兵阻止李淵南下。這個時候，因為連日降雨，道路泥濘，李淵隻好命令全體將士原地駐紮，等到天氣轉晴之後再繼續南下。然而，他們的糧草馬上就要消耗光了，天氣卻依然陰雨連綿，李淵急得如同熱鍋上的螞蟻一樣團團亂轉。這個時候，晉陽告急，原來劉武周和突厥勾結起來攻打晉陽。這樣一來，李淵後院起火，情勢變得更加危急。裴寂建議李淵火速趕回晉陽平定後方，擇機再揮師南下，然而，李世民卻堅決反對退兵。他向李淵分析了當下的情勢，認為一旦退兵就會導致軍心渙散，此外他還建議李淵不要忌憚劉武周和突厥的兵力，因為劉武周和突厥是麵和心不和，更不要忌憚李密，因為李密根本無暇攻打他們。在李世民的再三勸諫下，李淵最終改變了退兵的主意，繼續揮師南下。