唐太宗登上王位之後，亟須整頓最高決策集團。這是因為當時的決策機構已經不能順應形勢，隻有及時調整，才能促進唐朝的發展。要想進行調整和改組，唐太宗就要罷免很多老臣。首先，他罷免了裴寂。對待裴寂，唐太宗給予了很優厚的待遇，但是他卻剝奪了裴寂的實權，使得裴寂不能繼續參與政事。後來，因為抓住了裴寂與法雅往來的證據，唐太宗決定處死裴寂。但雖然證據確鑿，他最終還是免裴寂一死，而是把裴寂發配到了邊地，從而使得裴寂和當朝的大臣都心服口服。李世民不僅對李淵時期的老臣進行罷免，對於追隨自己、對自己忠心耿耿的人，唐太宗也會罷免。他罷免這些人隻有一個原因，那就是他們的思想因循守舊，不能做到與時俱進，對朝廷和國家的發展不利。唐太宗雖然罷免了這些舊臣的職務，但是並沒有削減他們的待遇。例如，他經常會慰問對自己忠心追隨的陳叔達，在宇文士及患了重病的時候還親自去看望等。在此過程中，唐太宗提拔了很多優秀的人才，把他們分配到重要的崗位上，其中就有他從東宮爭取過來的人才。唐太宗任人唯賢，他並不因為這些人曾經效忠東宮，就對他們冷眼看待，反而會對他們委以重任。
唐太宗曆時幾年終於完成了對唐朝最高決策層的改組，唐朝呈現出煥然一新的局麵。在完成了對朝廷官員的改組後，唐太宗又開始改革官製。中國封建社會經曆了幾百年的動亂時期，從來沒有真正實現繁榮。唐太宗深刻總結了隋朝滅亡的經驗，認識到如果君主昏庸，政治體製不完善，那麽朝代必然會很快滅亡。為了順應社會發展的需要，唐太宗製定了改革的方針。
首先，他沿用魏晉時期形成的三省製度，並且對三省製度進行了改革。其次，他還改革了各地的郡縣。因為舊的郡縣設置很不利於朝廷的統治。最後，他還根據山川的形勢對全國進行劃分，把全國分為十道，這就使得朝廷對地方的控製更加嚴密。