江南大營潰敗後，浙江巡撫王有齡向曾國藩求救，曾國藩垂涎浙江財富已久，一口答應。並於鹹豐十年，奏請李元度為浙江溫處道，讓李元度回平江募勇。但是王有齡卻遲遲不給軍餉，曾國藩一怒之下改變主意，將李元度奏留皖南，改任徽寧池太道。
同治即位，朝廷銳意進取，讓兩江總督曾國藩節製浙江。當時浙江隻有綠營四萬人，王有齡向朝廷上奏，說可調李元度入浙江作戰，免於追究徽州失守之罪，擬任浙江按察使。
李元度率軍進至龍遊，被太平軍攔截，遂堅守龍遊，等待適當機會進杭州。
李元度率軍打仗時，士卒“嗬嗬”聲一片，顯得十分勇敢。
席寶田譏笑李元度不懂兵法，說：“士兵呼喝，秦代、漢代常用，到今天哪還用這種方法讓敵人膽怯的道理？”席寶田深得兵法精髓，用兵審時度勢，見機而行。
太平軍加緊對杭州的進攻，王有齡計窮力竭。李元度在龍遊征戰不利，準備退守常山。
淳安縣令陳鍾英建議說：“大軍不宜回師衢州，衢州有守軍，江西不供應衢州守軍糧餉，不如去江山。江山是浙江進入福建的咽喉地帶，大軍可以駐守江山，守住糧道，與衢州呼應，長毛必不敢來犯。即使江山守不住，退路也不會被長毛封死，這是上策。”
李元度認為陳鍾英說得很有道理，領軍退往江山。此時，浙江全境隻有湖州、衢州沒有落入太平軍之手。
李世賢率五萬人馬攻打湖州，湖州知府趙景賢率軍民死守。趙知府是湖州本地人，非常重視名節，表示要與湖州共存亡。
李世賢圍攻三個多月，大小戰鬥四五十次，沒有撼動湖州。李秀成聞之，又增派五萬人馬，由譚紹光率領出蘇州，經太湖進入湖州地麵，助李世賢攻城。
湖州城內糧食吃光了，趙景賢就去摘菜、捕鼠充饑。朝廷不忍讓趙景賢落入長毛之手，將他調離湖州，任福建糧道，廷寄到湖州之日即自行離開湖州。趙景賢接到聖旨，叩謝皇恩，從莫幹山間小路潛入杭州。