袁紫衣托信給胡斐，送給他和程靈素鳳凰一對，并表明從此后會無期。胡到處找袁紫衣，均無蹤跡，胡、袁、程三人均非常痛苦。程靈素告訴胡斐，袁紫衣會去北京參加掌門人大會，胡斐認為這是一個再見紫衣的機會。田歸農要去參加掌門人大會，卻苦于手中拮據，晚上又做噩夢，始終與南蘭手中的藏寶圖有關。南蘭見田青文和和田歸農的小徒曹云奇被人在背后議論，找田青文談，反被田青文諷刺，傷心不已。
苗人鳳決定去北京掌門人大會，一是希望碰見胡斐，二是要找到石萬嗔，弄清胡一刀之死。胡斐在街上碰見當年商家堡的王英杰和劉元鶴，與他們去酒樓喝酒，又巧碰見汪鐵鶚們在玩牌九，胡斐與他們一起玩，汪一直輸，最后竟然輸給胡斐一座大宅院。胡斐覺得其中必然有陰謀，便將計就計，請各位去宅子喝酒，酒間，眾差役為一人求情，原來此人便是鳳天南，一路上的所有贈物全是鳳天南所為。胡斐不為所動，執意要殺鳳天南，卻再次被袁紫衣救下。袁紫衣在胡斐的追問下，道出心中苦楚，稱自己比胡斐更想也更有理由殺鳳天南。原來鳳天南竟然是袁紫衣的親生父親，袁慢慢回憶了過去的往事。袁紫衣的母親袁銀姑一家靠打漁為生，一天銀姑向鳳家送魚，在門口等收錢的時候被鳳天南撞見，鳳騙銀姑進屋并qj了她。銀姑回到家中，非常痛苦，因為要照顧父親，并沒有尋死。
不久，銀姑父親見銀姑身懷身孕，打罵銀姑，銀姑含淚說出原委。銀父到鳳府找鳳天南，反被鳳天南打成重傷，不久死去。見袁銀姑的父親已死，銀姑的叔嫂強行霸占其房屋，將銀姑趕了出來。銀姑無處可去，去找原來投靠在自己家現在已搬出去的平四，不巧平四回滄州祭奠胡一刀去了。袁銀姑只得四處流浪，并在一破廟中生下袁紫衣。銀姑帶著小孩繼續流浪，遇見掃墓歸來的平四，與平四住在了一起，并與平四結為夫婦。鳳天南聽說平四娶了銀姑，派人追殺平四，銀姑與平四走失，又不敢回佛山，只能帶著孩子到處流浪。一日在一飯店碰見一幫無賴，被湯沛救下，并安頓在府中。可湯沛并不是正人君子，他以小孩做要挾占有了銀姑。