1925年，陳香梅出生於北京。她的家族，是真正的書香門第。父親陳應榮十三歲就留洋，先是在英國牛津大學獲得法學博士，之後又在美國哥倫比亞大學獲得哲學博士。回國後，陳應榮在北京師範大學當教務長兼英文係主任。
陳香梅的母親廖香詞與陳應榮是指腹為婚，同樣來自真正的大戶人家。陳香梅的外祖父廖鳳舒，曾擔任中國駐古巴公使。廖家“住的是軒門巨宅，用的是進口歐美家具，踏的是厚厚的中國地毯，起居室玻璃櫃中陳列著中國的古玩。家規很嚴，吃晚飯時都需穿戴整齊如赴宴一般”。廖香詞曾在英國、法國和意大利讀音樂和繪畫。在陳香梅的記憶中，母親就是一位淑女。
陳香梅的童年，也有著優渥的生活條件。她在北京住的是中西合璧的四合院，家裏有用人、車夫、門房、廚子、聽差，以及專門負責打掃和洗熨衣服的老媽子。
她的名字，是外祖父取的。陳家一共有六個女兒，陳香梅排行第二。姐妹六人，她的性格受母親影響最大。學識淵博的母親常常告訴陳香梅：“淑女應該居心仁厚。”母親還說：“一個人的出身和成就，都是次要，要緊的是能把握人生的真諦。”隻不過，那時的陳香梅還太小，不能體會這句話的含義。
1937年盧溝橋事變爆發後，日軍全麵侵華，陳廖兩家的家產幾乎**然無存，陳香梅跟隨家人從北平流亡到香港避難。在北平時，一家人的生活還能勉強應付。陡然搬到高消費的香港，生活很快就變得捉襟見肘。
父親此時去了美國作外交官，母女七人留在香港銅鑼灣居住。沒過多久，廖香詞罹患子宮癌，很快便病故了。那時的陳香梅還不到十四歲，大姐還不到二十歲，最小的妹妹才六歲。失去了母親，父親又不在身邊，六姐妹在生活上十分無助。陳香梅是姐妹中最有見解和最有能力的，自然就成了姐妹中的主心骨。