宋徽宗共有三十一個兒子，其中六個早夭，長子趙桓，即宋欽宗。靖康之難時，徽宗、欽宗被俘，皇子們也幾乎被金兵逮了個幹淨。他們曾經在皇宮中養尊處優，經此大難，早已經被嚇得魂不附體，許多人在押解途中就死去了，沒有死的也被金人流放到荒漠窮邊，最終病死在那裏。隻有皇九子康王趙構在這次劫難中幸存了下來。
趙構這個人雖然長在深宮中，卻像他的祖先——宋朝的開國君主趙匡胤那樣，能夠挽強弓，騎烈馬，很有些膽量。東京第一次被圍時，趙構和丞相張邦昌被送入金營做人質，臨行時，張邦昌忍不住哭了起來，趙構卻表現得慷慨激昂，他說：“這是男兒應為的事情，丞相不能夠這樣子。”
進入金營以後，張邦昌徹底被金兵嚇垮了，隻要有金兵對他一瞪眼睛，他就會被嚇得立即哭起來。趙構在金營中仍然是鎮靜自若，麵不改色。過了二十多天，金人以為趙構能有這樣的表現，肯定不會是生長在深宮中的皇子，他們懷疑這個康王是宋朝派人假冒的，就要求另換一個親王過來。欽宗派肅王前去頂替，趙構被金人放回。後來金人撤退時，沒有放肅王回來，而是把他劫持到漠北，最終肅王死在了那裏。
關於這件事，民間有“泥馬渡康王”的傳說：他在金營做人質時，金兵把他押解北上，中途趙構乘機逃脫。當逃到磁州（今河北磁縣）的時候，夜裏睡在崔府君廟。在夢中，有神人告訴他金兵快要來了，於是趙構驚醒，趕緊跑到廟外，看見廟門口竟然有一匹馬正等著他。他乘馬往南狂奔，後麵隱隱約約聽到金兵追趕的呐喊聲。當到達黃河邊時，趙構一看沒船，心下想這可完了，沒想到座下這匹馬竟然直跳入河中，將他安然送到對岸，擺脫了金兵的追捕。過河後那匹馬就現出了原形，原來它是崔府君廟門前的泥塑之馬。