在楚漢戰爭時期，匈奴冒頓單於乘機擴張勢力，控製了中國東北部、北部和西部廣大地區，建立起統一的奴隸主政權和強大的軍事機器。
西漢初年，匈奴冒頓單於征服西域，設僮仆都尉，向各國征收繁重的賦稅。匈奴還以西域作為軍事上的據點和經濟上的後盾，經常侵占漢朝的領土，騷擾和掠奪中原居民。
西漢王朝的統治者在同匈奴鬥爭的過程中，逐漸認識到西域的重要性，特別是在漢武帝即位之後。建元二年（前139 年），繼位剛滿三年的漢武帝更是雄心勃勃，在發會稽兵經略東越的同時，和謀臣們計議如何對付強敵匈奴，報複雪恥，改變屈從的地位。
這時，漢武帝從匈奴降人的口中得到一個使他振奮的消息。他聽說在二三十年前，敦煌和祁連山一帶有一個以遊牧為業的月氏國，人口多達四十餘萬。由於人多勢眾，國力強大，所以一向不把匈奴人放在眼裏。而匈奴的冒頓單於在很小的時候就曾經在月氏做過人質，後來冒頓率兵打敗了月氏。冒頓單於死後，繼任的老上單於更是一不做二不休，不僅再次擊敗月氏，而且還殺死了月氏王，並且把他的頭顱做成酒器以飲酒揚威。
被逼無奈的月氏人有一部分被迫離開世代生活的居住地，心裏充滿了怨恨，但他們無能為力，隻好含著眼淚朝西長途跋涉。到了天山北麓的伊犁河流域，月氏人才停頓下來，得以重整旗鼓，重建家園。這部分月氏人被稱作大月氏，而留在敦煌祁連山故地的月氏人被稱作小月氏。
可是好景不長，大月氏受到了匈奴支持的烏孫人的攻擊，大月氏人隻好再次向西南遷到媯水流域。在那裏，他們征服了大夏國並定居下來。西遷的大月氏有報匈奴世仇之意，但一直苦於無人相助。
漢武帝聽後躍躍欲試。他決定溝通與西域的聯係，想聯合大月氏夾攻匈奴，“斷匈右臂”。所謂西域，是指後來的敦煌以西、蔥嶺內外的廣大地區。後來由於交通益廣，在蔥嶺以西、今中亞細亞一帶，也概稱西域。西域當時有36 國，人口最多的60 萬，最少的隻有幾萬人。