唐乾元元年（758年）4月，史思明造反。58歲的李白被流放夜郎。人到中年，流放在外，對於李白來說無疑是件痛苦的事。他可以忍受生活條件的艱苦，卻難以忍受生活的不自由。
次年關中大旱，對於百姓來說是件不幸的事，對於李白來說卻算得上是一件幸事。朝廷為顯仁政，宣布天下大赦，將被判死刑的人改為流放，並赦免了全部正在流放的人，李白也因此重新恢複了自由身。
結束了長期的流放生活，重新呼吸到自由的空氣，李白心情大好。他順長江而下，賞美景、訪好友。途經江夏時，受老友良宰之邀，李白在此多停留了一段時間。隨後，他決定啟程前往潯陽，重遊廬山。
經曆了數次磨難，又在實現抱負的道路上一再遭受打擊，李白對建功立業、實現理想之類的事已全然沒了興趣，對求仙學道的渴望則變得更加強烈。隻是，他放得下功名利祿，卻放不下對塵世間的美好風物的留戀，舍不得讓自己徹底與現實隔絕，再也不問世事。唐上元元年（760年），李白在前往廬山的途中給好友盧虛舟寫了一首詩，表達了自己這種矛盾的情感。
在《廬山謠寄盧侍禦虛舟》一詩中，李白通過錯綜複雜的筆勢、不停轉換的詩韻描繪出了一幅極美的畫卷，寫出了自己的真性情，寫出了對美好自然風貌的喜愛，也寫出了他對飛升成仙的渴望。
廬山謠寄盧侍禦虛舟 我本楚狂人，鳳歌笑孔丘。 手持綠玉杖，朝別黃鶴樓。 五嶽尋仙不辭遠，一生好入名山遊。
春秋時期的“楚狂人”陸通，不滿政治現狀，吟唱著鳳歌去勸孔丘不要做官。如今的我正如他一般，手中拿著一根仙人常用的綠玉杖，一早便從黃鶴樓離開。我一生都喜好走訪名山，四處仙遊。為了尋仙，我願攀登五嶽，從不覺得路途遙遠。