次日，李客再次回到李家與母親拜別後，回到自己房中，拿起臨吉先前收拾好的包袱和長劍，便要出門卻發現臨吉站在房門外一言不發，眼中淚水快要奪眶而出。
“小吉子，少爺我今天便走了，以後少爺不在，可別讓其他人欺負了你。”李客看著傷心的臨吉說道。
“少爺，臨吉自小便跟隨在少爺身旁，少爺若是走了，臨吉還真不知道該如何是好，沒了少爺在身邊，我留在李家也沒有什麽意義，不如少爺將我也帶走吧。”臨吉滿眼期待地看著李客。
李客沉思良久，自知此次被逐出家門，前路茫茫，自己也不知該去向何處，實在不忍帶著臨吉吃苦受累，於是拍了拍臨吉的肩膀說道：“小吉子，少爺我知道你對我情深義重，但此次不同以往，你還是繼續留在李家，至少有個庇護之所，少則三五月，多則三五年，等少爺我發達後自會來信予你，到時你再投奔少爺我也不遲。”
臨吉聽聞此話，原先快要奪眶而出的淚水一下子如開了閘的堤壩，傾瀉不止。他明白少爺是為了他著想，不想自己跟著奔波受苦，更不想他離開這個他生活了多年的地方。於是說道：“少爺的心思我明白，少爺對我的情分我也銘記在心，少爺不在的日子裏，我會好好將少爺的房間好好打掃收拾著，萬一哪天少爺便回來了。若是少爺在外麵有了歸宿，一定要告知臨吉，不論山高海深，臨吉自會奔赴而來。”
李客見臨吉一臉委屈的模樣，心中愈發不舍，但事已至此，長路將行，便一人，也將大道無前，遂留下臨吉，出了李家門去，從此再無半點牽扯。
出了李家的李客並沒有立即離開晉陽城，而是去找了好友修明，修明知道李客的事，並未多言，隻是招呼著李客酒食，還要安排李客在自己家中住下。