從徽宗開始，宋朝在位的皇帝會找個借口退下位來，把皇位讓給自己的兒子。到了南宋，這更像是成了一個傳統。
高宗自己沒有兒子，可皇位不能沒人繼承，於是高宗決定從皇族中挑選幼子作為養子。於是他在朝上對大臣說：“當初太祖以神武定天下，可是他的子孫卻不能享福，現在又遭此國難，四處飄零，甚是可憐。朕如果不來振興這一係，難以告慰太祖在天之靈。”高宗命人從太祖的後裔中選了十名幼子入宮，幾經篩選之後，還剩下兩個，一個胖的，一個瘦的，最終決定留下那個胖小孩。高宗說：“把他們兩個叫來，我再看一看。”兩個孩子並肩站到皇帝麵前，這時忽然有一隻貓從旁邊經過，那個胖孩子抬腳踢了它一下。高宗一看，皺起了眉頭，說：“一隻貓偶然經過，就要踢它，如此輕浮，怎麽當得大任。”於是，又改留那個瘦孩子，將他改名為趙昚。
紹興三年（1133），金軍又開始謀劃進攻宋朝。高宗年輕時曾在金人營中做過俘虜，後來又顛沛流離，吃了許多苦頭，才終於在南方安穩下來，享了二十年的福。他看現在金軍又要來打宋朝，不想自己的晚年不得清靜，就萌生了退意。趙昚英武聰慧，他知道滿朝文武都是高宗的人，自己又不過是個養子，所以當高宗提出要禪位時，他推辭再三，直到清楚高宗確實是厭倦了政事，才做出不得已的樣子坐上皇位，史稱孝宗。舉行禪位儀式的那天，天下起了大雨，儀式完了，高宗便遷往德壽宮。孝宗扶著高宗的轎子，冒雨送出宮門，仍不停步，直到高宗命左右把他拉住，才回到宮中。高宗見他殷勤，非常滿意，說：“我托付的這個人很孝順，現在沒什麽可遺憾的了。”
孝宗的確是孝順。高宗雖然退位，但他的太上皇又做了二十多年，還時不時地過問軍國政事，孝宗一是畏懼，另外也對高宗心存感激，畢竟自己出身平民，現在卻做上了皇帝，所以對高宗百依百順。他還每月至少四次去德壽宮拜見高宗，知道高宗喜歡字畫古玩，總是不惜高價買來送給他。雖然孝宗事事小心，但還是免不了因為政事惹怒高宗，每當這個時候，他隻能委屈自己，順著高宗的意思來辦。孝宗一共在位二十七年，其中倒有二十四年是在太上皇的威嚴之下戰戰兢兢度過的。