抗日戰爭爆發時，潘素和張伯駒神仙眷侶般的日子遭到了衝擊。當時張伯駒出於工作原因，每周要去上海一趟。1941年，張伯駒在上海遭遇綁票。
因為掌管鹽業銀行上海分行，張伯駒阻擋了李祖萊的升遷之路。於是，李祖萊勾結“76號”機構特務綁架張伯駒，讓潘素準備二百萬元來贖人，否則就撕票。
換作尋常女子，早就嚇得不知所措，潘素卻異常冷靜。她知道張伯駒愛收藏甚於性命，張伯駒曾說，如果為了救他而賣掉一件藏品，他就算死都不肯出去。有人建議潘素賣畫，她一口拒絕。為了救丈夫，她決定賣掉自己所有值錢的首飾。
當年張伯駒救她，是求助了好友孫曜東；這次她救張伯駒，則求助孫曜東的妻子吳嫣。孫曜東得知這件事，直接把事情捅到周佛海那裏。綁架張伯駒，本就是周佛海手下幹的事。周佛海命令手下立刻破案，不過孫曜東擔心小混混們如果撈不到好處會撕票，還是讓潘素給了二十根金條。
張伯駒被關了近八個月，潘素一天安心的日子都沒有過過。她四處打點，四處奔走，終於把張伯駒救了回來。
經過這次綁架事件，潘素和張伯駒夫婦誓死保護國寶的名聲傳開了，人人讚揚。他們並不願意出這個名，這意味著人人都知道他們手中有值錢的藏品。於是，他們整個下半生都在為保護國寶而忙碌。
他們多次往返於西安和北京之間，將國寶不斷偷偷轉移。這樣的日子雖奔波勞碌，潘素卻以此為榮。當他們將前半生最珍貴的八件藏品捐獻給故宮博物院時，政府要獎勵二十萬元，被他們夫婦婉拒了。他們說：“我隻要畫，不要官，也不要錢。”
精神上的滿足，戰勝了物質上的貧瘠。日子雖苦，他們的精神是富有的。張伯駒最喜歡擺弄自己的藏品，潘素也喜歡和他學習如何鑒賞藏品。他們一起欣賞李白唯一的真跡《上陽台帖》、陸機的《平複帖》，偶爾他寫詩，她便在一旁作畫。