1861年10月，李秀成自率主力自嚴州沿錢塘江，經桐廬、臨安北上。10月21日，攻占餘杭，取道閑林埠、古**。10月28日，攻占武林門外賣魚橋，向杭州城進發。
此是李秀成再次進攻杭州。上有天堂，下有蘇杭。他要兩地兼收，由是誌在必得，得而底定，再也不作輕易放棄了。
杭州是東南重鎮。浙江各處清軍聞訊趕來保衛杭州。失去杭州，大清皇帝責問下來怕誰都承擔不了。先後率軍前來的有：副將楊金榜、布政使林福祥、總兵米興朝、提督饒廷選、提督張玉良。其中林福祥曾有光榮的抗英記錄。鴉片戰爭初期，他是廣州城郊的開明紳士，組織民眾，領導社學武裝抗英。饒廷選亦曾在江西守城，抗禦太平天國有功。浙江巡撫王有齡和杭州將軍瑞昌亦分別率領綠營和駐防八旗枕戈以待。
11月3日，太平軍發起向杭州城行進。一支人馬由賣魚橋進入嶽墳、孤山走蘇堤向南屏山，意圖包抄。途中受到西湖水師炮船前後夾攻，將士在堤上無用武之地，進退失據，損失甚重，退至九裏鬆。
4月，扶朝天軍主將童容海軍自清泰門至羅木營，擊敗林福祥軍。
5月，李秀成親率陳炳文等攻鳳山門外饅頭山。他的各路人馬分紮杭州十門外，對全城實施合圍。
王有齡等在城裏有十萬兵丁，但多數乃是由各地聚集的潰軍敗將，畏敵如虎。每日為迎戰，隻得派出幾百名兵丁，勉為其難，裝作出戰的姿勢。
杭州已是一個孤城。外無援兵，內缺糧食。民眾日漸無糧。
王有齡雖是讀書人，此時此刻隻有虔求佛道，把所謂靈驗度極高的天竺觀音像移奉城內吳山海會寺，朝夕登山拈香膜拜；又於洞真觀設壇，恭拜玉皇大帝，還招聘學宮秀才前來朗誦玉皇懺，每月發給每人四千文。
王有齡多次以快遞專件向安慶、上海索取救兵。但曾國藩誌在集中兵力、圍攻天京，王有齡又非是他的派係，為他日獲得浙江地域和財餉，還有意坐視王的敗局。上海當局也愛莫能助，獨有英法當局通過吳煦供應了軍火，僅一次就有洋炮四十尊，重萬斤；還有一次供應了洋槍二百五十六杆。