韋應物的家族是關中的世家大族，正所謂城南韋杜去天尺五，意思就是韋家和杜家距離天子很近，是很強大的貴族。且家族中三十多位成員和皇室成婚，還有一百多位在曆史上留有姓名的才子，更有二十多位宰相，以上種種都可以說明他家族富貴逼人，絕對的上層人士。
但富不過三代的定律在門閥世家中一樣有效，韋應物的爺爺算是四品官員，到了他父親就是七品官員，家族徹底開始走向頹敗之勢。而韋應物還不如他的父親，從小就調皮，和猴子差不多，讓他讀書他不肯，整天和人在一起胡作非為，不是打架就是爬樹下河。家裏人見韋應物這樣不爭氣也沒辦法，隻能厚著臉皮上書請求恩蔭。唐朝的門蔭製度非常完善，隻要父親是從五品以上官員，孩子都可以從八品小官做起。但如果要蔭孫子，就要再降一級從九品小官開始做起。如果你的功勞很大，不用你說，朝廷都會為你的子孫考慮。如果沒做出突出的貢獻，你的子孫就要通過考核後才能上崗。考核分為一下四種，衛官、學館、齋郎和挽郎。齋郎就是負責祭祀和宗廟活動的辦事員，挽郎就是在皇後和皇帝，還有皇子出殯的時候哭喪的人，這兩個項目都需要懂得禮法，而且專業強度高，很明顯不適合韋應物。而學館很好理解了，就是去崇文館，弘文館，太學等公立學校讀書，通過考試進入仕途，這一條路韋應物更不行了。他連認字都費勁，要是能讀書，何必靠祖父輩的門蔭，所以隻能去做衛官。衛官就是給皇帝、王爺和皇子等人做侍衛，這個位置就是專門給官員們不爭氣的孩子準備的。十五歲的韋應物直接成了右千牛，混了今年後又成了玄宗李隆基的貼身侍衛，韋應物的家族實在強大，韋應物這樣的小混混都能成天子近臣，簡直不可想想。