正在李淵遲疑不定的時候，一件極其糟糕的事情促使李淵下定了決心，起兵謀反。原來，大業十二年（616年），東突厥又來侵犯，李淵派出的人被突厥打敗了。看到下屬對抗突厥不利，李淵很擔心自己也會因此而受到牽連，因而每時每刻都很擔心。李世民抓住這個好機會，再次勸說李淵：“父親，您很明白，您早晚有一天會因為征戰失利而被問罪，因為您不能保證自己百戰百勝。如今，內憂外患，情勢緊張，我們與其等著被治罪，還不如占據主動，舉兵起義。將來有朝一日您成為皇上，還有誰敢治您的罪呢？”李世民果然料事如神，不久後，隋煬帝就因為這次對抗突厥失敗，免除了李淵及其下屬的職務，並且下令讓人押解李淵及其下屬到江都。李淵知道自己一旦到了江都，也許就沒有活命的機會了，因而趁此機會又去詢問李世民和裴寂對這件事情的態度。李世民和裴寂抓住這個機會勸說李淵舉兵起義，李淵卻擔心眾人不服。
李世民和裴寂紛紛勸說李淵，幫助李淵鼓舞信心。在他們的一番分析之下，李淵終於下定決心舉兵起義。難道李淵此前從未有謀反之意，隻是因為李世民和裴寂的勸說，才有了謀反之心嗎？當然不是。李淵雖然謹慎，卻並非沒有膽識和謀略。實際上，他早在大業七年（611年）就有了謀反之意，隻是時機未到，所以一直韜光養晦而已。大業十一年（615年），好友夏侯端也勸說過李淵謀反，李淵完全讚同夏侯端的主張，下定決心要謀反。接下來，他一直在等待合適的時機舉兵。擔任太原留守期間，李淵廣納人才，招兵買馬，名義上是為了守住太原，實際上是借著公務的機會發展自己的勢力。後來，他更是借著李世民和裴寂一起勸說他的機會，順水推舟地答應舉兵。
李淵盡管已經下定決心要舉兵，卻深知謀反要想成功是非常困難的。這個時候，不僅李淵在廣納賢才，李世民也結交了很多英雄豪傑，還培養了對他忠心耿耿的死士。至此，他們形成了效忠於李淵的一個組織結構，體係嚴密，紀律森然。後來，這些人成為了李淵起兵的重要軍事力量和政治力量。等到李淵正式建立唐朝後，他們都成為了開國功臣，也成為了當朝元老。