很多人對勃拉姆斯的印象是建立在畫像上的。在作曲家的肖像中，勃拉姆斯總會被一眼認出。他蓄有濃密美髯，神情冷靜而毫不妥協，目光中含有堅毅與憂鬱。勃拉姆斯是浪漫主義進步藝術卓越代表，舒曼極為推崇的天才，但是，他也同時被視為音樂史上性格最為複雜的作曲家之一。
勃拉姆斯1833年出生於德國漢堡。他的家庭並不富裕，父親是個樂手，會演奏多種樂器，母親是個裁縫，主要從事女傭和縫紉的工作。勃拉姆斯的家庭其實並不幸福，母親曾在逝世之前寫的一封信裏向年幼的勃拉姆斯講述自己的一生。在信中，母親將自己坎坷的一生娓娓道來，向勃拉姆斯講述了自己戀愛結婚，如何艱難撫育勃拉姆斯姐弟三人長大成才，“我們結婚時，你父親工資少得可憐，我們隻能租一個又熱又小的房子住。我則做些針線活貼補家用，但我辛苦掙下的100馬克卻被你父親拿去買彩票賭輸了，你要知道，我要做多少精細的針線活才能掙到這些錢啊！但我從來不說他什麽。”“那是一段多麽艱難的生活啊，你父親因窮困經常發火責罵家人，我和你經常在晚上相擁而坐傷心落淚，這個情景曆曆在目，仿佛就像剛剛發生一樣。”“你問我，爸爸為什麽如此暴躁發火，我告訴你，父親希望你們離開這個世界，他不想養你們了。你聽了十分難過，我們抱在一起痛哭……”
幼年時的經曆給勃拉姆斯留下了心靈上的烙印，家庭貧困，父母不和，也是勃拉姆斯性格內向、孤僻的重要原因。雖然在這樣的環境中度過童年，但父母卻仍然給了勃拉姆斯良好的教育。為了給勃拉姆斯找到很好的學校，他們全家特地搬到房租較貴的住宅區，與藝術家為鄰，並且為他聘請了當地威望很高的音樂教師。回顧一下當時的情況，1847年時，德國漢堡城裏的麵包師一年的工資是156馬克，農場工人一年的工資是110馬克，而勃拉姆斯一家的房租一年就是300馬克，勃拉姆斯每年的學費是60至80馬克。加之勃拉姆斯還要學習鋼琴和大提琴，這個並不富裕的家庭幾乎是傾其所有讓勃拉姆斯讀書、學習音樂。