對於成吉思汗而言，他的少年時期是不幸的。在得知父親也速該的死訊後，他便匆忙地趕回了部落。但是很快，他們孤兒寡母的處境就開始惡化了。也速該在未死之前，憑著他個人的威望，曾經把若幹同種的氏族團結在乞顏部的周圍。可是他一死，泰赤烏人就企圖恢複他們的首領俺巴孩一度享有的權力。
在也速該死去一年後的春天，蒙古人像往常一樣祭祀他們的祖先，在祭祀的最後會有一個儀式，把祭祀時用的祭肉分給部族中參加祭祀的每一個人，按照身份的不同，分得的祭肉自然也有多寡之分。訶額侖作為也速該的女人，鐵木真的母親，乞顏部當時實際上的領導者，本應分到屬於她和她的家人的那一份祭肉。俺巴孩的兩個寡婦，斡兒伯和莎合台作為部族中的兩位長者主持了這次祭祀，而她們卻沒有通知訶額侖，並以缺席為由沒有分給訶額侖祭肉。目的非常明顯，她們在排擠訶額侖。訶額侖知道後，明白自己的處境，她憤怒地說：“也速該是死了，但是你們以為他的兒子們就長不大了嗎？你們不請我來，不通知我，你們是不是要起營，並將我拋下？”事實正是如此，他們確實決定將訶額侖母子拋下。第二天破曉的時候，泰赤烏族卷起營盤，遺棄了訶額侖母子。
這一時期，鐵木真在他堅強的母親訶額侖的帶領下，同他的弟弟妹妹們一起住在斡難河一帶，日子過得非常窮困，甚至要靠采集野果、釣魚捕鼠為生。在艱苦的環境中，鐵木真和他的兄弟們過早地成熟起來，也懂得了生活的艱苦和團結的重要。
但當時的鐵木真畢竟還是一個孩子，作為長子，他懂得權力的重要，但卻並不清楚應該如何團結他的兄弟們。鐵木真有五個弟弟和一個妹妹，其中別克帖兒和別勒古台並不是訶額侖所生，而是也速該的一個妾室的兒子。當時他們的牲畜都已經被部眾帶走了，沒有了牛羊馬匹，兄弟幾人每抓到一條魚，捕到一隻草原鼠，對於一家數口人來說都是寶貴的。在這種情況下，別克帖兒和別勒古台兄弟兩人卻經常搶奪盜取鐵木真兄弟們捕獲的獵物。不過別克帖兒和別勒古台兄弟兩人也隻是孩子，他們隻是因無法忍受饑餓做出了不應該做的事情，需要的是正確的教育。可惜的是當時的鐵木真還不明白這些，十歲就成為一家之主的他，實行了他幼稚且無情的懲罰——他用弓箭射死了別克帖兒，他同父異母的兄弟。