祁門是徽州一府六縣之一，位於黃山西麓，皖贛兩省交界之處，有“九山半水半分田”之說，是個閉塞的小縣城。此地是沿長江南岸陸路進入江西的必經之地，在此駐軍，既可阻止太平軍南進江西，又可北顧安慶，一旦曾國荃安慶圍城部隊受到威脅，可北上馳援。同時東接徽州，可溝通浙江。另外，駐軍此地，還可以應付朝廷詢問，說是為將來收複蘇常作準備。
鹹豐十年陰曆五月十五日，李鴻章等幕僚陪同曾國藩由宿鬆大營起程，行軍二十餘天，於六月十四日到達祁門。祁門還是第一次接待品位如此高的大員，整個縣城出現了亙古未見的盛況。當天下午，曾國藩就巡視了祁門形勢，安排部隊防守。當時，跟隨他到達祁門的隻有朱品隆和唐義訓的兩千人及楊鎮魁的一千人。
祁門四周皆山，城如釜底。全縣隻有兩條道路溝通外界，一條向南，可連景德鎮，一條向東，可至休寧、徽州，除此之外別無他途。一旦兩條大道被封鎖，此地頓成甕中之鱉。從軍事上看，此乃絕地，湘軍大營駐紮於此，更是兵家大忌。因此，見到實際情況後，李鴻章首先向曾國藩建議道：“老師，這個地方如在釜底，是兵家所謂絕地，大軍最好能及早撤離，另選他地駐紮。”
“剛剛駐紮，豈有走的道理？”曾國藩有些不願意。
其他幕僚也相勸，朱品隆、唐義訓和楊鎮魁三位帶兵的武將也都來勸，三人承擔護衛老營的職責，而以他們的兵力，實在不能確保安全。曾國藩一概不聽。他之所以不聽，並非不懂兵略，當初選擇祁門，隻是在地圖上看到這個地方位置特殊，因此圈定此地，誰料此地會是這種地形？一到祁門，曾國藩就看出了此處的問題。可他剛剛奏報朝廷自己駐節祁門，既可策應安慶，又可東顧江浙，如果剛入駐沒幾天就又走，這怎麽說得過去？如果明說此地不宜駐節，那朝廷會問當初選定此地時為什麽如此草率？所以曾國藩無論如何要在此地駐紮一些時日。李鴻章以心腹自居，因此屢次去勸諫，最後曾國藩不勝其煩道：“你們誰要怕就明說，誰願走就走，反正曾某人不走。”