大業十二年(616年)七月，楊廣因北方多事，不顧群臣反對，離開長安前往江都巡幸，杜伏威部正好就在江都眼皮子底下，為了保障皇帝巡幸的安全，隋派出虎牙郎將公孫上哲率軍前往鎮壓，雙方戰於鹽城(今江蘇鹽城)，公孫上哲軍隊被全殲，隨後，隋朝又派大將陳棱帶八千精銳討伐杜，陳、杜多次交手，畢竟陳棱的軍隊訓練和器械遠強於杜，杜伏威軍連連失利。但陳棱兵力不多，想剿滅杜伏威也不容易，雙方打成僵持狀態。
同年十二月，隋煬帝車駕到達江都，護駕驍果十餘萬人，聲威赫赫。按理隋軍應該軍心大振，杜伏威難逃滅亡，不料正是楊廣的到達給了杜伏威崛起的機會。
當年正好是大荒之年，老百姓本來就已走投無路，再加上被官府如此壓榨，終於造成了一場大饑謹。據記載，老百姓先是吃樹皮樹葉，後煮土為食，“諸物皆盡，乃自相食”。又弄到了人吃人的程度，於是大量百姓揭竿而起，杜伏威乘機吸收了大批手下，勢力迅速膨脹。
這時杜伏威與陳棱強弱之勢已經倒轉，於是主動向陳挑戰。陳棱也知道戰局不利，因此龜縮不出，任由杜伏威自己去耀武揚威。
杜伏威於是就用激將法，派使者給陳送了一套婦女衣裳，並給陳棱起了一個外號叫陳姥(就是陳老太太的意思)，到處宣揚，刺激陳棱。
陳棱怒火中燒，果然帶領全軍出戰。這一仗打得十分激烈，杜伏威親自上陣，不小心被一員隋將暗箭射中，杜怒吼說：“不殺了你，箭矢不拔！”
然後就直衝過去，把那嚇呆了的射手斬於馬下，又拿著那個弓箭手的首級連續殺了幾十人，隋軍士氣大挫，被打得幾乎全軍覆沒，陳棱單騎逃回江都去了。
杜伏威趁勢擴大戰果，占據了高郵、曆陽等重鎮，並在曆陽自稱總管，封輔公祏為長史。