在劉邦新政權有“內憂”的同時，“外患”也出現了——北方的匈奴南下，開始威脅漢王朝的統治。
早在夏王朝時，匈奴就在北方漸漸發展起來，且因為匈奴民族的遊牧習性，他們擅長騎馬射箭、遊擊，“神龍見首不見尾”，難以捉摸。秦統一六國後，曾派蒙恬大將軍率兵三十萬攻擊匈奴，收複了河套一帶。
秦末漢初到楚漢爭霸這些年，匈奴人休養生息、發展壯大，漸漸勢力強大起來。冒頓單於殺死了其父頭曼單於，自立為單於，並且統一了匈奴和部，使匈奴達到了前所未有的強盛。匈奴很快占領了河套平原的一些郡縣，到漢初，甚至已經開始威脅到漢王朝的統治。
前麵，我們提及韓王信曾投降匈奴。其實，劉邦在為韓王信劃封地時就後悔了，因為韓王信的封地是戰略要地，一旦失守，就會危及中原。於是，劉邦便以防禦匈奴為名，將韓王信的封地遷至太原郡，以晉陽（今山西省太原市）為都。
不久，韓王信上奏，說晉陽離邊疆太遠，不利於守禦，請求將王都遷到更北方的馬邑（今朔州），得到劉邦批準。
韓王信與匈奴交戰，敗多勝少。漢高祖六年（公元前201年）秋，冒頓單於親率軍隊，以十萬鐵騎圍攻馬邑，韓王信隻得多次派使者與匈奴求和。
劉邦懷疑韓王信暗通匈奴，致書責備韓王信，韓王信擔心會被誅，便與匈奴約定共同攻漢，以馬邑之地請降。隨後韓王信與匈奴揮師南下，攻下太原郡。
由於漢軍節節勝利，產生了麻痹輕敵的思想。劉邦到達晉陽後，聽說匈奴駐兵於代穀（今山西省繁峙縣至原平市一帶），於是先派人偵察冒頓虛實。而冒頓將其精銳士兵、肥壯牛馬等隱藏起來，隻顯露出年老弱小的士兵和瘦弱的牲畜，派去的十餘批使臣回來都說匈奴可以攻擊。劉邦派劉敬（婁敬）再去出使匈奴，他回來報告說：“兩國交兵，這時該炫耀顯示自己的長處才是。現在我去那裏，隻看到瘦弱的牲畜和老弱的士兵，這一定是故意顯露自己的短處，而埋伏奇兵來爭取勝利。我以為匈奴是不能攻打的。”這時漢朝軍隊已經越過了句注山，二十萬大軍已經出征。劉邦聽了劉敬的話非常惱怒，罵劉敬道：“齊國孬種！憑著兩片嘴撈得官做，現在竟敢胡言亂語阻礙我的大軍。”就用鐐銬把劉敬拘禁起來押在廣武縣，準備凱旋後進行處罰。