怎麽改變身份呢？經過一番考慮，武士彠決定走從軍這條路。從軍大概是科舉製實行以前，寒門子弟最主要的起家途徑了。首先，從軍不需要家世背景，隻要勇敢、身強體壯就可以；其次，從軍周期短，打一場勝仗後，就可能得到提拔。當時有很多從軍起家的故事，最著名的比如唐朝的薛仁貴，他本來就是一個普通農民，既沒錢，也沒什麽背景，在唐太宗征高麗的時候白衣從軍，因為作戰勇敢受到唐太宗的賞識，一下子就提拔為五品的將領。後來，他在西北戰場大顯身手，留下了“將軍三箭定天山，壯士長歌入漢關”的佳話。
這樣的故事在當時非常具有典型性，武士彠也想走這條路。可是他和薛仁貴不同，他有錢。薛仁貴沒錢，所以從一個士兵做起；武士彠有錢，有錢能使鬼推磨，當然不用從普通士兵做起了。從軍伊始，他就當了一個小小的武官，這個官職的名稱叫鷹揚府隊正，是隋朝府兵製體係下所有常任軍官中最低級的官員，管五十個人，相當於我們現在說當排長了。
武士彠當官的地方，是在他的家鄉文水。就在這任職務上，他結識了後來的大唐帝國開國皇帝—唐高祖李淵。這是在隋煬帝大業十一年（615年），李淵奉煬帝之命討伐反叛，路過武士彠當官的地方。武士彠一看，有大人物經過，這以後有利用價值啊，趕緊巴結，他又有錢，所以好酒好肉款待李淵，賓主盡歡，給李淵留下了很好的印象。但是，李淵隨即離開了。又過了兩年，大業十三年（617年），天下大亂，群雄蜂起，許多人都預感到隋朝大廈將傾，想推翻隋煬帝的統治。當時的隋煬帝，正在江都（就是現在的揚州）巡遊，故都難回，怎麽辦呢？北邊總得有人鎮守，於是隋煬帝就派李淵擔任太原留守—整個太原地區的軍政第一把手，防守整個北方地區。李淵到了太原以後，不由得想起了武士彠當年的熱情款待。現在有條件了，提拔他一下吧。於是提拔他當了行軍司鎧參軍，掌管武器兵仗。武士彠當上行軍司鎧參軍之後，跟李淵的來往就頻繁了。他很快就發現李淵這個人雄心勃勃，想趁天下大亂當皇帝。頂頭上司圖謀造反，武士彠該怎麽辦呢？經過一番思考和權衡，他決定力挺李淵。力挺當然得用行動表現出來，武士彠為此做了三件大事。