其幕僚生涯的第二波，1917年後，他和蔣介石都到廣州，為中華民國軍政府參軍。隨後被派往四川，他的老家，聯係護法力量。在重慶，他和楊森、夏之時等成立川事維持會。
廣州軍政府方麵，南方軍閥排斥中山先生，先生往上海。廣州軍政府則以岑春煊為總裁。岑春煊為政學係宿將，李烈鈞邀張群參與軍政府事，遂與岑春煊結識。此際，軍政府為政學係把持，政學係骨幹章士釗為軍政府秘書長，楊永泰為廣東省省長。
這是張群與政學係的淵源，後來張群被視為新政學係的領袖，即源出於此。
1924年，馮玉祥在黃郛的策動幫助下，發動北京政變，黃郛出麵組攝政內閣，為總理。張群則出任河南省警務處長。吳佩孚1926年反撲，張群返回上海。
蔣介石在1922年，當陳炯明叛變時，應中山先生之命，從浙江老家趕回廣州，任東路討賊軍參謀長，隨後又任大本營參謀長。1925年，東征奏捷。1926年，他任國民黨中央常務委員會主席、軍事委員會主席、國民革命軍總司令，決定率師北伐。北方軍閥加起來有七八十萬人，北伐軍隻有幾萬人，差不多為十分之一比例。所以，必須戰鬥與瓦解其內部同時運用。張群擔任分化孫傳芳的工作。
張群受蔣之邀，從上海返回，從此被蔣先生倚為股肱智囊。
叔孫通式的人物
劉文島可算一個善於拍馬，官運亨通的幕僚，也是典型的叔孫通式的人物，曾為唐生智的政治部主任，後來更任唐生智駐廣東代表；他和唐生智係保定軍校同期同學，後來留學法國，派頭洋氣。北伐前期，他已活躍於湘鄂之間。
唐生智派他到廣東，對李濟深和李宗仁竭盡奉承之能事。對他的隨員，則常常因小事予以嗬斥。“一次紀念周演說，要求唐生智的部下孝順唐總指揮，像兒子孝順父親一樣。台下文武官員兩千餘人哄堂大笑，唐生智本人在台上全副戎裝，怡然自得。會議後何鍵、李品仙等說，你要做兒子盡管去做，我們可沒有資格領受這個榮銜。”（《李宗仁回憶錄》，第二十章）