李賀的出身很不平凡，要論起他的高祖，那可是響當當的大人物，大鄭王李亮，也是高祖皇帝李淵的八叔，李賀和李唐王室同宗同族、關係匪淺。按照常理來說，這樣的出身不說是平步青雲吧，也要富貴閑散的過一輩子，可李賀出生時，大唐已經沒落。因為武則天在位時廝殺李氏子孫，打壓李氏宗族子弟，所以到了李賀父親李晉肅時，早已經是家道中落、名聲甚微，不誇張的說，已經窮到吃飽飯都是問題，李賀幼時住在山上，隻有一兩畝地，趕上下大雨的日子，家裏都要漏雨，還要人幫忙修繕屋子，可見日子真的有點兒捉襟見肘。李賀父親李晉肅僅僅是個小縣官，也不能在仕途上幫助李賀，所以“李”這個姓氏並不能帶給他一點榮光，反而因為父親李晉肅的名字，讓李賀差點徹底斷送了前途。
不過到底是李氏子孫，心智和常人不同，小小年紀就能出口成章，對詩文音律的掌握爐火純青。七歲時，李賀已經是洛陽小有名氣的神童，韓愈聽說李賀的名聲，專門和朋友一起去一探虛實，此時的李賀又瘦又小，他牽著父親的手出來見客，可神情中絲毫不見慌張，為了考驗李賀，韓愈讓他現場作詩一首，李賀轉著眼珠子想了想，脫口而出一首《高軒過》，韓愈聽後大喜過望，狠狠的誇讚了一通李賀，不過據後人考察，這首《高軒過》應該是李賀成年時的作品，並不是七歲所做，這個故事應該是當時的謠言，不管在唐朝，還是現在，八卦新聞一直都有，但李賀的才學和天賦確實是真的。
十五歲時，李賀在國子監當旁聽生，沒有學籍，沒有正兒八經的位置，吃住都要靠自己，連書本都要借，即便在這樣艱苦的環境下，李賀還是通過自己的努力，獲得了考進士的名額。因為他的才名遠揚，在國子監也是名類前茅，所有人都覺得李賀可以高中進士，大家翹首而盼一位天才的崛起，但天不遂人願，那一年大唐發生罕見的旱災，所以取消了科舉考試。李賀出師不利，隻能安慰自己多等一年更有把握些，但是禍不單行，僅僅一個月後，李賀的父親去世，李賀隻能按照規定守孝三年，不能參加考試。時間一天天過去，三年的孝期也終於結束了，李賀從悲痛中緩解出來，並且默默苦讀，他還是想著金榜題名，而後一鳴驚人。就在李賀不分日夜的苦讀時，朝廷發生著八級地震般的動**，雖然此時和李賀沒關係，但這就和蝴蝶效應一般，會影響每一位入仕的才子。