國家樓層之上是總統和家人居住休息的地方，也用來招待重要貴賓，世界各國領袖或王公貴族都以住過白宮為榮。1943年蔣介石的夫人宋美齡訪問白宮時，曾是小羅斯福總統的座上嘉賓，並在此住宿過，蔣夫人的許多中國式的規矩也讓美國人大開了眼界。
據說，從海斯夫人開始，在各個房間懸掛總統及夫人畫像成為白宮新舊主人的共同愛好。目前在藍室掛有4位早期總統畫像：亞當斯、傑斐遜、蒙羅和泰勒，國宴室則懸掛林肯畫像，東室有華盛頓畫像——這是喜愛社交的麥迪遜夫人多莉對白宮唯一的功績。200多年時光彈指流逝，隻有華盛頓的畫像一直屹立在這裏，注視著由他一手創立的國家。
1799年12月14日，華盛頓溘然辭世，成為唯一沒在白宮辦公的總統。1800年5月15日，第二任總統約翰·亞當斯下令政府各部從臨時首都費城遷往新首都華盛頓。
落成伊始的白宮，生活條件顯然不能與今天同日而語，以至於到現在還流傳著一個笑話：由於當年這座辦公建築物裏“連最起碼的柵欄、院落或者其他可以使用的東西都沒有”，亞當斯夫人隻好在東大廳裏拉起晾衣繩，將洗好的衣服晾在那裏陰幹。對於搬進這座“光禿禿的、巨大而醜陋的建築”，亞當斯夫人心有不快，在寫給女兒的信中，她牢騷滿腹地說：“這座房子經過修整，看上去是可以住人了……但在這座巨大的建築中，居然連一個召喚仆人的鈴鐺都找不到。”由於沒有足夠的人手去砍伐和搬運木材，在這座剛剛落成、尚有潮氣的宮殿裏，取暖成了大問題。直到1853年安裝了水暖設備後，白宮才告別寒冷的冬天。
20世紀之前，白宮是完全向公眾開放的，這是第三任總統托馬斯·傑斐遜民主思想的具體體現。第四任總統詹姆斯·麥迪遜和夫人多莉沿用了傑斐遜的做法。入住白宮期間，他們每周都要為外交使團中的高級代表舉辦一次國宴，使白宮成為上流社會的娛樂場所。麥迪遜執政時期，英美兩國爆發戰爭。1814年8月，總統夫婦在英軍進入華盛頓的最後一刻才撤離。臨走時，機智的多莉還不忘從牆上摘下了華盛頓的肖像，帶走了《獨立宣言》的原件和一批曆史檔案。在發出最後通牒後，英軍縱火焚燒了白宮。大火將官邸的牆壁熏得黝黑，隻是由於暴雨突至，白宮才沒有化為灰燼。戰爭結束之後，麥迪遜請來當年的設計者霍本重修白宮。