在李世民鏟除了竇建德和王世充之後，大唐王朝的地位越來越穩固。這個時期，地方割據勢力中隻有蕭銑實力稍強，不過他安居江南，不足為患。李淵看到統一天下有望，趕緊宣布大赦天下。然而，竇建德的餘黨又形成了反唐勢力，且漸成氣候。
原來，李世民宅心仁厚，在鏟除了竇建德之後，並沒有徹底清剿餘黨，而是把他們遣送回原籍，並且叮囑地方官善待這些人。結果，地方官對這些餘黨恨之入骨，不但沒有善待他們，反而還抓捕他們，對他們施加重刑。為此，竇建德的餘黨無心生活，對大唐王朝的怨氣越來越大，最終又開始起義，並且推舉劉黑闥為首領。
劉黑闥和竇建德從小一起長大，他有勇有謀，先是參加了瓦崗軍起義，後來投奔到王世充的麾下，最後又為竇建德效力。竇建德很器重劉黑闥，封劉黑闥為東漢公。看到竇建德兵敗，劉黑闥回到故鄉潛伏起來，伺機而動。後來，大家一致推舉他當起義軍的首領，他也就順水推舟，率領起義軍開始對抗大唐。劉黑闥率領的起義軍隊伍勢如破竹，很快就殺死了唐朝的一些官員，還占領了很多州縣。原本，劉黑闥率領的起義隊伍隻是星星之火，卻在快速發展的過程中形成了燎原之勢。
為了盡快壯大隊伍，劉黑闥還暗中向對大唐王朝投降之後被封為魯國公的徐圓朗求助。徐圓朗下定決心要反抗大唐王朝，因而突襲了李淵的大將盛彥師。盛彥師對大唐忠心耿耿，拒絕了徐圓朗的邀請。徐圓朗為了爭取民心，沒有殺害盛彥師，後來盛彥師逃出了徐圓朗的隊伍，回到大唐王朝，成為州刺史。
在劉黑闥的影響下，竇建德的老部下們都蠢蠢欲動，他們聯合起來殺害了很多唐朝的官員。因為人心很齊，劉黑闥帶領竇建德的老部下們，隻用了幾個月的時間就從大唐搶回了原本屬於竇建德的地盤。李淵才剛剛鬆了一口氣，現在看到劉黑闥的起義軍隊伍不斷發展壯大，心急如焚。他再次派李世民和李元吉率領大軍趕赴山東。在大唐建立之初統一北方的戰爭中，這是李世民指揮的最後一次大規模戰役。