曹雪芹在右翼宗學的歲月是他長大成人後生活最穩定的階段，隨著一些變故發生，也行將結束了。乾隆十五年（1750 年），內務府對右翼宗學實行改組，不但人事方麵要進行調整，校址也將遷到宣武門內絨線胡同新址。
曹雪芹與敦敏、敦誠兄弟們日日剪燭快談、聯吟結社的事，終於引起了宗學的注意。試想，一個當差的內務勤雜人員，竟吸引了那麽多位學生在他周圍，這豈不是跟宗學的正統教育分庭抗禮嗎？再說，皇室子弟崇拜一個包衣奴才成何體統。
此外，恐怕還有一個原因，曹雪芹孤傲狂放，他的詩文談吐，確比不少有功名、有頭銜的教師高明得多，這樣下去，其他教師還會有臉麵嗎？如此種種，宗學終於借了個因由，把曹雪芹掃地出門了。
曹雪芹失業了，沒有了正當的職業，就意味著沒有飯吃了。
曹雪芹從此進入了十分困難的流浪的時期，這種處境也是他後半生的基本狀況。
他是一個公子哥兒出身的人，不懂得生計的事，也無經營之門路，甚至連衣食也不能自理，是需要人服侍的廢物。這就是他自謂的天下無能第一了。
他很快就陷入了缺衣少食、舉目無援的困境。在極端的困窘折磨著他的時候，他發出了“富貴不知樂業，貧窮難耐淒涼”
的感慨。
當時潦倒的曹雪芹，所能想出來的辦法就是求親告友，忍辱負重地求一個寄食借住之地，暫且勉強苟活。
平郡王府是第一處可以托身寄命的所在。姑母會疼憐他，收容他。平郡王府多一個半個吃閑飯的窮親戚，原算不得一回事。有些難堪之言，遭受下邊人的白眼……這些世態炎涼的人間相，曹雪芹領會了。
不幸的是，平郡王福彭早在乾隆十三年（1748 年）便去世了。福彭死後，府中情況已大不如前。曹雪芹在平郡王府勉強住了一段時間，眼看無法再住下去，隻好向姑母辭行，來到了嶽父母家。