且說王飛虎和李達在武林盟養傷，兩個多月方痊愈，王飛虎和李泰李達兄弟在武林盟呆久了，便四處混得廝熟。王飛虎是個不喜清閑的人，他每日除了白天練武，夜裏便時常聚眾跑馬射箭、吃酒賭博等，眾人喜他性格豪爽，便不分年齡輩分和他稱兄道弟起來，一時便弄得武林盟烏煙瘴氣，如同玩樂場。林因明看在眼裏，他早就想找借口把王飛虎和李泰李達兄弟驅離武林盟，此番正好抓到了他們的不是了。
在武林盟裏，眾人怕林因明更甚於劉代天。劉代天雖為盟主，但不拘小節、待人寬厚。而林因明則反之，他長期負責處理具體事務，自然養成小心謹慎、嚴格認真的習慣，甚至近乎吹毛求疵，因此眾人在他麵前都是小心翼翼的，不也擅越雷池一步。但王飛虎卻不吃這一套，他又不在武林盟裏任職管事，任是林因明聲色俱厲，他都不放在眼裏。
於是，林因明便把狀告到劉代天那裏，誰知劉代天道：“年輕人好玩，那也沒什麽，我們年輕時不也是這麽玩過來的嗎？”林因明無話可說，隻好嚴厲約束在武林盟裏任職的人。
不過，武林盟本雖是以昂義山莊為基礎建立起來的，但昂義山莊仍是昂義山莊，隻不過劃了些房屋和場地作為武林盟總舵辦公場所而已，昂義山莊的人也有一部分沒在武林盟掛職。特別是劉代天的那些老友、門客等，這些人大多曾跟劉代天出生入死過，資曆老、架子大，散淡自由，一言不合就拍桌子、摔杯子，打架鬥毆的事也沒少幹過，個個跟天王老子似的，隻有劉代天才能勸住他們，他們名義上是吃住在山莊，雖平時不參與武林盟事務，卻又愛對武林盟的是非對錯指指點點。對於這些人，林因明也拿他們沒辦法，他也曾設法拉攏討好他們，但這些人個個都是喂不熟的白眼狼，他們眼裏隻有劉代天一人。因此，後來王飛虎發現武林盟的人叫不動了，就專門隻找昂義山莊的人去玩。