大業十一年（615年），李淵主動申請出任太原留守。其實，隋煬帝一直器重李淵，倒是沒有過多地懷疑李淵，反而認為李淵墨守成規，謹小慎微，是很難成事的。在當時，隋煬帝為北方的防守而煩心，又想到李淵平定叛亂向來給力，因而同意了李淵的請求，讓李淵出任太原留守。當然，隋煬帝也並非對李淵完全放心，所以還特意任命高君雅和王威為副留守，暗中監視李淵的一舉一動。李淵帶著李世民火速趕赴太原上任，因為李世民有實戰經驗，關鍵時刻可以助他一臂之力。為了保證大兒子李建成和小兒子李元吉的安全，李淵特意拜托他人代為照顧家眷。
到了太原沒多久，李世民就和李淵一起與兵力強勁的起義軍魏刀兒展開了激戰。在這次戰鬥中，李淵隻有五六千兵力，而魏刀兒卻有兩萬兵力。雖然敵我雙方兵力懸殊，但是李淵因為有兒子李世民的拚死相助，所以和兒子一起打敗了魏刀兒。這場戰鬥使李世民一戰成名，聲名遠播，從此之後李淵也更加信任和器重李世民。在太原期間，李世民帶著隊伍擊潰了很多股起義軍，不僅施展了自己的軍事才能，也積累了豐富的實戰經驗。然而，李世民深知起義軍是民心所向，根本不可能真正鎮壓下去，所以他為此憂心忡忡，在父親麵前說道：“起義軍是永遠也征討不完的。我們不管付出多少力氣，冒著多麽大的危險，與起義軍奮力拚殺，有朝一日起義軍卷土重來，或者威脅到皇帝的安危，皇帝一定還會拿我們問罪。”李淵何嚐不知道這樣的困局呢，但是他也知道此時時機未到，所以對於李世民所說的話，他並沒有做出回應。對於李世民而言，這樣的想法一旦在心中生根，就是很難抹除的，這也為他後來率兵叛變奠定了基礎。
李淵和李世民誰都沒想到的是，他們從大業十二年（616年）到達太原，命運就發生了轉折，他們的人生從此之後徹底改變。