曆史文獻在其積累過程中，由於社會的與自然的原因會出現散失的情況。早在春秋末年，孔子就發出了“文獻不足征”的感歎，他說：“夏禮，吾能言之，杞不足征也；殷禮，吾能言之，宋不足征也。文獻不足故也。足，則吾能征之矣。”[8]孔子說的“文獻”包括曆史記載和當時賢者；因為這兩方麵的“不足”，他無法用杞和宋來證明他對夏禮、殷禮的認識。孔子在另一個地方又說過：“吾猶及史之闕文也。”[9]“文獻不足”和“史之闕文”，或許就反映了曆史文獻散失的情況。
當曆史文獻積累愈來愈多的時候，這種散失的情況有時是很驚人的。隋朝初年，牛弘在上書請開獻書之路時講到，自孔子至南北朝，書籍有五次厄運：秦的焚書，使“先王墳籍，掃地皆盡”，“此則書之一厄也”。“及王莽之末，長安兵起，宮室圖書，並從焚燼，此則書之二厄也”。東漢末年，獻帝移都，“吏民擾亂，圖書縑帛，皆取為帷囊。所收而西，裁七十餘乘，屬西京大亂，一時燔**。此則書之三厄也”。西晉末年，“劉、石憑陵，京華覆滅，朝章國典，從而失墜。此則書之四厄也”。南北朝時，江表圖書，盡萃於後梁，及北周滅後梁，後梁蕭繹“悉焚之於（郢之）外城，所收十才一二。此則書之五厄也”。[10]牛弘主要是從社會方麵的原因，總結了圖書散失的嚴重情況。正如牛弘所指出的，圖書在每遭到一次厄運之後，總是會引發人們對圖書進行搜集、整理的熱情。
曆史文獻的整理，也還有其他一些原因。如人們在轉抄、刊刻文獻的過程中往往會出現訛誤、脫漏，不同抄本和刻本的流傳造成的歧異，由於時代的久遠後人對前人撰述的費解，也有後人對曆史文獻的臆改造成的錯誤，還有後人假托前人之名而作偽的著作，等等。所有這些，都促使人們為社會的需要而不斷開展對曆史文獻的整理。孔子是中國曆史上整理曆史文獻的第一人。司馬遷記其事曰：