從常山求回一場雨來，足見老天爺賞臉，“密州四害”大概都除盡了。到這時蘇太守才想起修房子的事來。
密州府太窮了，窮到連知府的住處都是破窗爛瓦，冬不遮風夏不蔽雨，剛到密州的時候二十七娘就在抱怨，可惜蘇學士忙著公事，沒功夫動這個腦子。現在最艱難的時候大約過去了，夫人這裏催了又催，怨了又怨，蘇軾也不能再裝糊塗。就把餘主簿找來，跟他商量動用十貫“公使錢”把府衙的房子修一修。
一聽這話餘主簿犯了難，吭哧好半天才大著膽子對蘇太守說：“大人，如今咱府裏已經沒有‘公使錢’了。”
大宋朝厚待文臣，皇帝特意在地方上設置了一個“公使錢”，規定府縣收支上交國庫之後仍有盈餘就算做“公使錢”，等於是給官員的補貼。然而“公使錢”有個區別：越富裕的地方官府盈餘越多，“公使錢”也就足用，那些貧窮的府縣交清賦稅之後所餘不多，“公使錢”就少得可憐。而密州府剛遭大旱又遇蝗災，已是窮到極點，官府根本沒有“公使錢”可用。
沒有“公使錢”，蘇太守住的房子也得自己花錢修了。蘇軾隻得回來和夫人商量，拿出俸祿買了一批屋瓦，叫衙役們幫忙到山上砍了幾棵樹，花了一個月功夫認真把住處收拾一遍，好歹算是不透風、不漏雨了。
收拾了住處，蘇軾又動起心思，想把院裏的一片荒地整頓成菜園子，自家種些青菜吃。等人們砍去亂樹撥光雜草，蘇軾才注意到園子北邊有一個三丈多高的廢土堆，看院子裏平展展的，也沒有池塘一類的東西，想不出這一大堆土從何而來，蘇軾是個愛琢磨的人，專門查了縣誌，這才知道原來唐朝密州的城牆從此經過，這個大土堆是古城牆留下的一個墩台。眾人都問太守是不是把這堆廢土移走？蘇軾卻有自己的打算，一溜歪斜爬上堆頂四下望去，東是盧山，南有常山，往北看，濰水隱約在望，風景著實不錯。