隋朝轟然倒下，天下進入群雄逐鹿時期，但並未分裂太久。關隴集團另一個大貴族李淵崛起，經過幾年南征北戰，建立一統天下的唐朝。
李淵與隋朝皇室有千絲萬縷的聯係。李淵母親與隋朝的獨孤皇後是親姐妹。李淵7歲喪父，襲爵唐國公。他性格開朗，待人寬容。無論貴賤的人，都很喜歡他。隋朝建立後，姨夫楊堅非常器重和親近他。他小時經常進出隋朝皇宮，對隋朝內爭心知肚明。
在隋朝，李淵大多數時間是當閑散國公。直到公元613年6月，楊玄感造反，李淵奉命鎮守弘化郡，兼督關右諸軍事，才開始涉足軍事。這期間，李淵跟天下豪傑廣交朋友，遭到楊廣的猜忌。楊廣曾經問宮中女官李淵外甥女王氏：“你舅舅為什麽遲遲不來覲見？”王氏回答說病了。楊廣接著問：“病得要死了嗎？”李淵得知此消息，非常恐懼，開始貪酒好色，收受賄賂，以消除猜忌，保全性命。
公元615年，李淵出任河東撫慰使，負責鎮壓河東起義軍。李淵為人寬厚，並不將那些起義軍往死裏逼，往往是“先將其擊敗、再將其收編”，然後以預防突厥進攻為名，挑選善騎射的人模仿突厥騎兵進行訓練。突厥侵犯邊境時，李淵多次將其擊退。
公元617年，李淵出任太原留守、晉陽宮監，負責防禦突厥和鎮壓轄區內的起義軍。李淵兒子李世民參與過雁門解圍，見過皇帝楊廣，預料隋朝必亡，暗中招納逃亡之人，網羅各種人才，與裴寂等人秘密策劃起義。
公元617年2月，李淵轄區內的鷹揚府校尉劉武周發動兵變，殺死馬邑太守王仁恭，自稱皇帝。不久，劉武周率軍攻破了婁煩郡，占領汾陽宮。王仁恭是楊廣安排協助李淵防禦突厥的人。楊廣得知消息大怒，召李淵去江都解釋。李淵不願意去送死。李世民趁機說：“事情緊急，可以舉事了。”李淵打著防禦劉武周和突厥的旗號，派李世民、劉文靜、劉弘基等人到各地招兵買馬。太原副留守王威懷疑李淵父子要造反，密謀將他們騙到晉祠殺掉，被識破。李淵先發製人，以勾結突厥的罪名將王威殺掉。