與人物畫相比，魏晉南北朝的山水畫尚處於獨立化的孕育階段。不過隨著時間的推移，尤其到了晉宋以降，原來作為人物畫背景或者人物性格襯托的山水樹石逐漸從附屬地位中解脫出來，開始走向藝術的“前台”。從曆史文獻的記載來看，顧愷之在《畫雲台山記》圖解葛洪《神仙傳》中的道教天師張道陵傳，其中言及“清天中，凡天及水色，盡用空青”，顯示使用的是石青材料，當為設色的青綠山水。另外，在顧愷之的《論畫》篇中也談道：“畫人最難，次山水，次狗馬，台閣一定器耳，差易為也。”自此可見山水畫已初顯芽芒。當然，如以後世山水畫標準去審視顧愷之所畫的《廬山圖》、戴逵的《吳中溪山邑居圖》抑或夏侯瞻的《吳山圖》等作品，其山水樹石的置陳布勢與形態體貌無疑還是很幼稚的。譬如畫麵強調“人大於山，水不容泛”，山巒“則群峰之勢若細飾犀櫛”，樹石“則若伸臂布指”，畫法也唯用線條勾勒輪廓，無皴點、暈染等技巧的自覺運用。顧、戴等人的山水畫實驗，可以被視為後繼山水畫科獨立的先聲。
檢討山水畫之所以能在晉宋時突起，大抵基於兩個方麵的原因。一是南方地理位置優越，多水、多花、多色，山清水秀，自然風景秀美，無形中能為人們提供踏跡自然、接受自然大美洗禮的條件與契機。其二，晉宋適逢亂際，文人士大夫們多不滿於時政，企求避隱山林，於是對超現實、超功利的自然美的藝術觀照必然成為他們日常生活中不可或缺的一部分。根據現有的圖像與文獻資料，這一時期山水畫的藝術特征可以歸納為以下幾點：一、尚奇石，多透空表現，不重視對山石質感的描寫；二、相對於人物有白描，山水突出以設色為主；三、相對而言，畫幅中樹木表現的雜度要高於山水；四、比例上，人大於山；五、初具表現遠方的空間意識；六、山水多為神仙或理想世界，具有強烈的文人畫品格。