1161年九月，完顏亮下令大舉攻宋，親率大軍六十萬，號稱百萬，分四路水陸並進。一路自大散關入侵川陝，一路進攻光化軍，一路水師，自東部沿海南下。主攻部隊則由完顏亮親自統率，自汴京南下，經淮陰、信陽，渡淮河而南，欲直取臨安。
南宋建康府都統製王權，正屯兵在昭關（現安徽含山縣小峴山），此地兩山相峙，乃戰略要衝。可王權聞金軍將至，竟然不戰而走。
消息傳至宋廷，趙構大驚，急忙派知樞密院事葉義問前往督視長江軍馬。
中書舍人，權直學士院虞允文做為參謀軍事，隨同葉義問一同前往建康犒師。
此時宋軍主力劉錡部，卻被先行進攻光化軍的蕭琦部所迷惑，率大軍直驅淮陰阻擊金軍。
蕭琦所部實是牽製之軍，進攻滁州，直逼揚州，欲截劉錡之後，以防劉錡回軍來攻。
蕭琦攻占滁州之後，便長驅南下，如入無人之境。
劉錡聞訊大驚，急忙率軍而回，退守鎮江一線。
此時南宋的江淮防線已然陷入全線崩潰的狀態。
十月下旬，完顏亮麾軍攻取和州（現安徽和縣）直趨采石磯（現安徽馬鞍山市長江東岸）欲從這裏的楊林渡渡江。
時趙構罷免了王權，委派李顯忠為諸軍都統製，代替王權負責建康一帶的長江防務。
可是李顯忠尚在蕪湖。王權罷職回臨安，采石磯的駐軍一時沒有了統帥。
可完顏亮大軍已經蜂擁而至，到達了楊林渡。
趕巧虞允文自建康奔赴采石磯犒師，見王權的兵馬皆坐於地，無心抗敵。
虞允文的隨從見狀道：“虞參謀，看來采石已難以據守，咱們速回建康，報告這裏的情況吧。”
虞允文略一躊躇，道：“放棄采石，無異於等於放棄了長江天塹。待金兵渡江後，戰局益發難以收拾，我得留在這裏，號召諸軍死守。”