漢武帝是個具有高度文化素養的皇帝，從小就接受了很好的文化教育，對文學藝術和其他文化事業有著十分濃厚的興趣。同時，他還是一位酷愛文化典籍的皇帝，非常重視搜集圖書典籍。
由於秦始皇焚書坑儒，古代流傳下來的文獻圖書受到了嚴重損毀，社會上流傳的圖書因此變得很少，私人藏書都不肯拿出來。因此，漢朝初年曾下詔令，廣事收羅書籍篇章，廣開獻書之路。可是，直到漢武帝即位之後，所收集的圖書還是不多，而且，大多數收集出來的文獻都是殘缺的，不是文字缺少就是竹簡脫漏。
有一次，漢武帝在皇家成書處看到這些費了很大勁才收集起來的零亂散落的竹簡，喟然長歎了一聲，說：“朕真痛心啊！”於是，他便下定決心要把經過秦火燔炙的古代文化典籍，盡可能地搜集、整理、保藏起來。因此，他向全國下令，繼續在各地征集圖書。
同時，他在太常府、太史府和博士官辦公地點建設藏書樓，在皇宮內增設了辟延閣、廣內、秘室府等藏書樓，專門保管、整理搜集來的圖書。他還下令設置抄寫圖書的專職官員，翻抄包括經書和諸子百家在內的圖書典籍。
在漢武帝的直接關心和支持下，搜集的圖書一天天多起來。每當收到一種好書，將其送到漢武帝手上的時候，他都十分高興。在保存、整理和流傳古代文化典籍方麵，漢武帝十分有遠見、有魄力，同時做出了巨大的貢獻。漢武帝從青年時代就十分喜好文學，漢賦的成就，在當時的文化收獲中最為輝煌奪目。賦，是從騷體演變而來的散文和韻文並用的文體。賦的成就，繼承了先秦諸子散文巧文多智的特色。漢賦，是當時文學的主流。
其中最為著名的就是大文學家司馬相如。有一次，漢武帝讀到《子虛賦》時，被文章中那和諧的音調、華麗的辭藻、奇特的構思深深吸引，讚不絕口。當他看到作者的名字是“司馬相如”時，他感慨萬千地說：“真是遺憾啊，我沒有跟這樣的人生活在同一個時代！”