天水的趙源，父母很早就死了，也沒有娶妻。元仁宗延祐年間，他遊學到了錢塘，寄宿在西湖邊的葛嶺上，而居所旁邊就是宋代權臣賈似道的舊居。
趙源一個人居住，覺得很是無聊，曾經在晚上的時候在門外散步，看到一個女子從東邊過來，穿著綠衣，梳著兩個圓圓的發髻，十五六歲的年紀，雖然沒有濃妝豔抹，但是容貌遠遠超過一般人，趙源盯著她看了很久。
第二天晚上，趙源出門，又碰到了這位女子，這樣一連有好幾次，每天一到晚上，這女子就會過來。
趙源開玩笑地問她道：“你家住在哪裏，天天晚上到這裏來？”女子笑著行了個禮，說道：“我家與郎君您是鄰居，隻是郎君自己不認識罷了。”趙源試著挑逗她，女子欣然地回應了，趙源就留她住下，兩人極盡歡愛親昵。第二天早晨，女子告辭而去，但到了晚上就又來了。
這樣過了一個多月，兩人十分恩愛。趙源問她的姓名、住址，那女子說道：“郎君隻要得到一個美婦就夠了，何必一定要知道我的姓名、住址呢？”趙源一直追問，女子隻好說：“我常常穿綠衣服，你就叫我‘綠衣人’好了。”始終不告訴趙源自己住在什麽地方。趙源以為她是大戶人家的侍妾，夜裏出來私奔到此，恐怕事情彰顯，所以不肯說出姓名、住址。趙源相信了這個推斷，也不再懷疑，對她更是疼愛。
一天晚上，趙源喝醉了酒，開玩笑地指著她的衣服說：“這真是‘綠兮衣兮，綠衣黃裳’啊。”女子臉上有慚愧的神色，接著好幾個晚上都沒來。等她再來，趙源問她緣故。女子說：“我本來想同你白頭到老，但你為什麽像對婢女侍妾那樣看待我，讓人感到羞愧不安，所以我好幾天不敢侍奉在你身邊。但是郎君既然已經知道我的底細，現在我也不再隱瞞了，請讓我詳細地告訴你吧。我與郎君是舊相識，如今如果不是被深情感動，我不可能來到這裏。”趙源問她緣故，女子淒涼地說道：“說出來你能不為難我嗎？我實在不是現在的人，但也不是要禍害你，這大概是命運使然，以前的緣分沒有完的緣故。”