史萬歲死後，李藥王就跟隨舅舅韓洪作戰。
隋仁壽元年（601），突厥又來侵犯北方邊境，隋文帝命李藥王隨代州總管韓洪（韓擒虎之弟）、蔚州刺史劉隆領步騎一萬鎮守恒安，可是不敵突厥十萬大軍，將士多死。事後被免官除爵。此後就一直生活在東都洛陽，隋煬帝大業九年正月十九日，死於東都之尚善裏舍，時年四十七歲。
朝廷處罰李藥王，作為弟弟，自然李靖的仕途發展也非常不順利。多年在正處級的位子上徘徊不前。雖然年年的考核李靖都是第一，但就是沒有升官的機會。
所以時間長了，李靖就覺得特別沒勁，一肚子的怨氣，覺得不值得為大隋朝的皇帝賣命，他們太他媽的糟蹋人才了，於是也就有了消極怠工的想法，一天到晚喝酒玩樂，公務都是應付了事。就那年年考核，自然還是名列前茅。個人能力實在是太突出了，治理區區一個小縣，對於他來說，不費吹灰之力。
作為縣令，有職有權，自然找他辦事的人也不少，一天到晚吃香的喝辣的，雖然他為人正直，不敢貪汙，不敢受賄，但吃喝嫖賭、風花雪月的事情，他也不少幹。因為那個時候社會風氣開放，大家都是這樣幹的，見怪不怪，你在官場上混，約定俗成，大家都是這樣幹的。你要不幹，你就是異類，是個怪人，就立馬被大家孤立，除非你自己主動辭職，要不然混不下去的。
那個時候李靖心裏也苦悶，也樂得借酒消愁，既然有人請客，那就順其自然，與民同樂吧，於是，隔三差五，經常出入酒樓茶肆，酒足飯飽之後，還要光臨當地的青樓、夜總會之類的娛樂場所，找幾個頭牌的小姐，釋放一下自己的**。
那個時候李靖年輕，精力充沛，又沒有成家，老婆沒有，女朋友不談，那怎麽辦？精力總要有發泄的途徑嘛！