楊玄感兵敗，謀主李密被捕，和其餘十多名欽犯一起被押送東都。途中，李密把身上帶的金子全部交給押解他們的使者，並請求他們代辦棺柩，使押解使者放鬆了戒備。到魏郡石梁驛時，李密等十餘欽犯乘防守的人醉臥夢鄉之機，鑿牆穿洞，逃了出去。李密脫險後，為了躲避官府緝捕，變姓易名，轉輾山村，四處亡命。後來他往來於外黃王當仁、濟陽王伯當、韋城周文舉、雍丘李公逸等結寨聚義的群雄之間，鼓動他們下山取天下。
李密經過觀察，認為翟讓最強，就在大業十二年約了王伯當，投奔瓦崗寨。李密上山初，翟讓因聽說他是楊玄感的亡命將軍而不信任他，把他軟禁在營外。李密靠了王伯當的幫助，去見翟讓獻策說：“如今昏君巡遊江都，精兵集於遼東，這個形勢如同過去項羽、劉邦奮起奪取天下的時機一樣。足下雄才大略，瓦崗士馬精勇，正可以席卷二京（長安、洛陽），誅滅暴虐，成就滅隋大業。”翟讓因此對李密刮目相看。
李密見瓦崗人馬愈來愈多，而糧草不敷供應，感到如果曠日持久，勢必人馬困疲，一旦強敵降臨，就會渙然離散，於是向翟讓又獻一計，勸翟讓下山奪取滎陽，養精蓄銳，然後大幹一場。翟讓稱好。
程咬金搬兵圖
十月，秋高馬肥，瓦崗軍浩浩****下山，神速進軍，攻破金堤關，攻克滎陽諸縣。滎陽曆來是兵家必爭之地，要隘虎牢關在郡境內。因此隋煬帝特派河南道討捕大使張須陀為滎陽通守，全力對付瓦崗軍。張須陀是鎮壓義軍的老手，帶著兩萬精兵，殺氣騰騰從東南方撲來。
大海寺一仗，瓦崗軍大獲全勝，初振軍威。河南郡縣聞風喪膽，登封（今河南臨汝）、密縣（今河南密縣）等地，未動一刀一槍都被瓦崗軍占領。翟讓高興得讓李密建立軍旗，別統所部，號蒲山公營。李密加以整頓，嚴格訓練，使它很快成為瓦崗軍中一支生氣勃勃的勁旅。