一九三七年的一天，江津中山鎮一戶姓雷的人家把九歲的女兒雷德明嫁到山頂常樂村一戶張姓人家做童養媳。出嫁的那一天，在去婆家的路上，雷德明第一次見到村頭那棵枝繁葉茂的百年桂花樹，第一次聞到了滿樹的桂花香。
嫁到張家後，雷德明過得很不好，不僅要幹很多活，而且稍微做得不好還要挨打。那個年代，童養媳跟粗使丫鬟是差不多的。雷德明抽空跑回娘家訴苦，但“嫁出去的女兒潑出去的水”，她的境遇也沒有得到娘家人的同情。從娘家回來的路上，雷德明路過桂花樹下又聞到了桂花的清香，她停了下來，把一肚子的悲傷都對著桂花樹說了一遍，然後心裏就好受多了。從那以後，她隻要受了委屈或者挨了打，就會來到這棵桂花樹下哭訴。在張家做童養媳的那些年，桂花樹成了雷德明唯一的傾訴對象和心靈依靠。
有一個秋天的晚上，雷德明又偷偷跑到了桂花樹下訴說自己的委屈。過了一會兒身後傳來一個小夥子溫柔的聲音：“妹妹，不要哭了嘛。”她邊擦淚邊轉過頭去，一個年輕人微笑著遞給她一塊手巾。
小夥子叫陳在良。雷德明後來才知道，陳在良已經悄悄地注意她很久了。每次雷德明在桂花樹下說話的時候，陳在良就躲在不遠處的老屋裏偷偷看她，並悄悄地喜歡上了這個漂亮又可憐的女孩。陳在良長得英俊，有文化，人也和氣，還是村裏的會計。後來，雷德明每次來跟桂花樹說話，陳在良都會在一旁陪著她，安慰她。
兩個年輕人就這樣在桂花樹下相愛了，他們在桂花樹下約會，傾訴。很多年後，雷德明對別人說，他很少對我說甜言蜜語，也沒有送過我禮物。他們的愛很簡單。他們最喜歡在秋天，桂花掛滿枝頭的時候坐在樹下，聞著花香，看花粒飄落。