曹家被抄家的第二年，即雍正六年（1728 年）的秋天，禁不住新任江寧織造隋赫德的再三催逼與驅趕，曹雪芹陪著祖母、母親和嬸娘，以及嬸娘的兒子曹震，丫鬟錦兒、秋月、夏雲等，帶著僅有的一些衣物行李，終於灑淚告別江寧，登程北上了。
這回被遣返北京，走的是漫漫水路。從江寧水西門外秦淮河邊上船，循江而東。船兒在滾滾東流的江水裏行進，搖晃顛簸。曹雪芹不免心事浩渺，時時湧起被抄家的餘悸。
船要行到瓜州渡口，再轉入大運河逆水北上。沿途所見，金山的寶塔，揚州的瘦西湖，都是曹雪芹曾經遊曆流連過的舊地，如今物是人非，再沒有當年的心境了。
這次出行不是出外探親，更不是隨父輩家人升遷赴任，而是被抄了家，攆出了世居的江寧，怎能不叫人觸景傷懷、悵惘悲切呢？何況父親曹頫尚待罪京中，審察未結，此一去命運如何，恐怕是凶多吉少了！
曹雪芹立在船頭，望著漸行漸遠的石頭城，無端吟誦出唐代詩人杜牧的《泊秦淮》來：
煙籠寒水月籠沙，夜泊秦淮近酒家。
商女不知亡國恨，隔江猶唱**。
他覺得這首詩很符合他此刻的心境，雖然他此刻有的隻不過是亡家之恨。皇上將曹家召回北京，是有來由的。因為曹雪芹的曾祖曹璽出任第一任江寧織造，就是從京城派去的，曹家在京中原有舊宅。
曹雪芹一行回京城以後，才弄清楚父親曹頫因“騷擾驛站”
案獲罪，現正“枷號”在押。
所謂的“騷擾驛站”案，就是有人告發曹頫於雍正四年（1726年）的秋天，奉命押送江寧、蘇州、杭州三處織造的龍衣進京，在途經山東長清縣等地方時，向當地官員索取夫馬、程儀、騾價等銀兩超過規定，並引起了很大的影響。
且不必說這個事實到底如何，即使確有這等小小的揩油行為，在當時天下烏鴉一般黑的腐敗官場裏，豈不隻是小事嗎？