來到大胡子的家裏，李靖夫婦才發現，這大胡子真個是家大業大，院落的房子就有幾百間，雕梁畫棟，一看就是個超級大財主，氣派得很。家裏仆人、家丁都養了幾百人，像個武裝割據的小政府。
李靖不解，就問大胡子：“哥哥，你這是多大的攤子啊？怪不得你要起事，感情你是準備好了的！”
大胡子一笑說：“這算什麽？東南地方，我還有上萬人馬，現在都讓一個叫杜伏威的兄弟替我照看著，隻要我一聲令下，他們那些人馬就可以立即殺向江都，直接就要了楊廣那老兒的性命。為此，我都準備了二十年了。”
李靖問：“哥哥祖上是什麽人，怎麽有如此根基？”
大胡子說：“既然兄弟你問到這裏，哥哥我也就打開窗戶說亮話了，我祖上實是北周朝的武將，我爺爺不滿楊堅篡位，就托疾辭官回家避禍，告戒後世子孫，好生讀書務農，不得做官，所以我和父親都在這荒郊野嶺之外，打獵種田，置辦產業，經過幾十年，也頗有些家財，但生逢亂世，尤其是近年來兵荒馬亂，盜賊遍野，我就是再想清淨，過那些世外桃源的日子，也不可能了，於是才想起來造反，反正他楊家的天下來得本來就不正當，現在又碰到楊廣那樣無道的昏君，天下早晚有一天要重新洗牌，我也就想乘機分一杯羹。”
李靖說：“原來如此，哥哥真是個有心人哪！”
大胡子說：“我就希望兄弟你這樣的人才來入夥，我的大業才成。”
李靖說：“哥哥，聖人雲，死生有命，富貴在天，天下方亂，但天命到底何歸，現在一時還看不清楚，你我兄弟如果不自量力，貿然行事，可能凶多吉少，望哥哥三思。”
大胡子說：“好吧，你既然這樣謹慎，自有你的道理，我也就不勉強，你我隻做好兄弟，其他的事情等等再說。”