劉邦是生在秦朝時的沛郡（今江蘇沛縣），家裏貧窮，自己又沒有學習工商的職業，便在鄉裏中供吏役的奔走，後來補得一個泗（sì）水亭長，這亭長的職務，便是掌管逐捕盜賊的。他雖然沒有大學問，然而他的器度很大，誌氣很高；他異常好酒好色，沒錢沽（gū）酒，便去酒店中賒（shē）貸，有了錢時，常加倍還給，用錢如揮土一般，不作絲毫窮措大寒酸的氣態。一次，他因著公務，到了長安，遇著秦始皇出遊，見了皇帝的儀從，聲勢煊（xuān）赫，他歎息說道：“大丈夫不當是這樣嗎？”
單父人呂公和沛令（縣官）是很好的朋友，因避仇人從單父遷居到沛郡，沛中的豪吏聽得是沛令的重客，便都醵（jù）錢往賀。蕭何時為沛吏，代理呂公主辦一切受賀的事宜。當開筵受賀的時候，蕭何令諸賀客道：“賀錢不滿一千的，請坐在堂下。”劉邦是素來心裏輕視沛中諸吏的，這次隨著諸吏來賀，便寫了一個賀帖說他的賀錢是一萬，其實他並沒持一錢，呂公見了他賀帖，便大驚異，忙出門迎接。呂公本是善相人之術的，及見劉邦的狀貌，大為敬重，就引入尊他上坐，劉邦也毫不謙遜地上坐了。筵宴畢後，呂公獨留著劉邦，對他說道：“我少年時候，就喜研究相人之術，相人很多，都不及你的相貌。望你自己愛惜，不要自棄了。我有一女，願給你做一個執箕帚的妻妾。”劉邦去後，呂公的妻子呂媼（ǎo）埋怨呂公道：“你常以此女有貴相，當配貴人，怎麽妄自許與劉邦呢？”呂公回說：“這不是你女子們所知道的。”於是劉邦娶了呂公的女兒為妻子。
秦始皇是最愛建築的，他在活著時，便於驪山（在陝西臨潼縣）建築他的墳墓，工程浩大，令國中各郡縣選了徒役送至驪山，可憐一班農民，要拋棄他們家中的父母妻子和田中的工作，來做這種苦工。沛縣不是例外，自然也要選送徒役的。於是由沛令強迫選了農民數百人，命了劉邦護送至驪山。