在那段特殊的政治年代，楊絳被披上了“隱身衣”。工作沒她的份，升職更和她沒有半點兒關係。然而，與生俱來的從容，讓楊絳在那段時期，依然能夠淡定度日，並從苦難中搜尋點滴的歡樂。
楊絳說：“隱身衣的料子是卑微。身處卑微，人家就會視而不見，見而不睹。”可楊絳偏偏不在乎，她覺得，別人眼睛裏沒有她，心上不理會她，她剛好可以保其天真，成其自然，專心致誌完成自己能做的事情。並且，身處卑微的人，不需要拋頭露麵，這樣最能看到世態人情的真相。
於是，楊絳一個人潛心翻譯《堂吉訶德》，即便無人理會，見到旁人時，她依然保持著慣有的和顏悅色，講起話來依然慢條斯理，絲毫不見萎靡或急躁。
因為楊絳受委屈，錢鍾書對她更是關心備至。楊絳隨一夥老知識分子下鄉鍛煉，錢鍾書每天寫來一封信，字裏行間透出綿綿的情意，又有許多幽默的語言哄楊絳開心。在下鄉的同伴中，隻有楊絳每天都能收到一封信，她覺得，這是錢鍾書一輩子寫得最好的情書。每封信讀過之後，她都妥帖地收藏在衣袋裏。衣袋裏裝不下，又藏進提包裏，直到藏都無處藏的時候，因為害怕被發現，隻好咬咬牙燒掉。
在鄉下，無論男女老幼，都要幹農活。從沒幹過農活的楊絳學會了推獨輪車，用獨輪車運秫秸，能把秫秸堆得高過自己的腦袋，還能穩穩地推著獨輪車上坡、下坡，從不翻車。走路向來輕快的楊絳，幹這些活兒時每天都會磨破襪子，露出腳後跟，卻依然能和同伴、老鄉們談笑風生。
許多下鄉的知識分子在老鄉們的印象中都是“清高”“不愛搭理人”，唯有楊絳讓他們願意親近。他們都喜歡和楊絳說心裏話，因為她是一個懂得傾聽的人，能了解他們心中的苦，也能夠同情他們。