1932年，臺灣安平港。
狂風暴雨，雷電劃空。
這天是鴛鴦繡坊主人世賢和主人淑華的結婚紀念日，淑華歷經無比的痛苦，終于生下兒子小杰，兩歲的女兒小君和剛出生的小杰展露著可愛的笑容，這個家充滿著濃濃郁芳的天倫之樂。
突然，店內闖進不速之客，是李勇他們之三名彪形大漢，雖然他們稱呼世賢是少爺，也對世賢有幾分敬意，但他們卻強行要把世賢押走，世賢拼命反抗，屋內的一些飾品和玻璃被撞倒、砸碎，兩個孩子也嚇得嚎啕大哭，身體虛弱的淑華錯愕而不知所措，當她回神過來，世賢已被強行押走，只留下淑華悲愴的呼喚聲在空間回蕩。
世賢被押回廈門，父親鄭永昌震怒，痛罵世賢不孝，竟然這兩年不理會未婚妻羅美芳，而私自在臺灣跟淑華成婚。永昌是廈門鄭記洋行的老板，兒子世賢是留洋的富家子，淑華只是個靠刺繡維生的清秀佳人，門不當戶不對，鄭家的人根本不承認這門婚事，所以派人把世賢押回來。
未婚妻美芳不計較世賢的過去，癡心地愛著他，但世賢卻表明無法接受美芳，說他心中只有淑華，這使得父親更震怒，而鄭母在傷心之下更是以死相逼，一定要世賢娶美芳，世賢無奈而只好答應。
世賢這一走，就像斷了線的風箏一樣，音訊全無，熱心的阿發船長也不時地幫忙打聽，但都沒消息，而淑華也不知道世賢在廈門的地址，再怎么打聽也都沒有結果，一再的失望，無情地侵蝕著她的心靈。
每隔幾天的下午，由廈門抵達的船只靠岸，媽媽經常背著襁褓中的小杰，牽著小君到安平港盼望著，望穿秋水，天涯猶有未歸人，每次的等待總是落空，在落日余暉中默默離去，身后的影子越拉越長，伴著無限的惆悵和落寞……
七年后，小君已9歲，小杰7歲。
淑華經常為了趕工，不眠不休的一針一線地刺繡，就像精雕細琢的藝術品，所賺的錢剛好維持他們一家的生計，但沒有多余的錢付房租，房東揚言要趕他們搬走，這時幸好接到一筆生意，是為大戶人家的王夫人在花裙上刺繡，不料，卻引起了風波……
當淑華日夜趕工，把做好的刺繡送到王家時，王老爺贊嘆不已，卻趁機色瞇瞇地要拉摟淑華，王夫人看見，勃然大怒地罵淑華風騷地勾引男人，鄙視地把錢丟在地上，淑華受盡委屈，忍住嘲諷，含著淚把錢撿起，快步離去，但因身體虛弱，差點暈倒。
小杰玩著阿發船長送給他的八音盒，有頑童要搶著玩而欺負小杰，小君為了保護弟弟而跟頑童打架，姐弟情深，但回到家里，媽媽淑華很生氣，她一直希望孩子要有家教，要禮貌，小小年紀就跟人打架，長大那還得了？于是拿起雞毛撢子要打小君和小杰的手心，不料，淑華竟然暈眩倒地。
經過醫生診治，淑華蘇醒，醫生警告病情不能再拖了，淑華震驚，希望自己的病情不要讓孩子知道。
阿發船長前來關心，并要拿錢給淑華，淑華婉拒并希望阿發船長以后不要再來，以免左鄰右舍誤會，這令阿發船長感慨萬千，充滿不舍地離去。
此時，鄭家已從廈門搬到福州，美芳也為世賢生下了一個女兒，名叫如蘋，驕縱任性，但本性善良可愛。這天，出國多年的世賢回來了，帶給小女兒許多禮物，全家充滿了天倫之樂，雖然洋行越開越大，但由于美芳不能再生育，所以鄭老爺一直想把遠在臺灣安平港的孫兒接過來，而美芳也同意這么做，也表示會尊重世賢安排淑華過好日子，這讓世賢感到十分驚喜。
當年奉鄭老爺之命押走世賢的李勇他們這三名彪形大漢，如今又奉鄭老爺之命要來帶走小杰，因在小酒館與人發生沖突而被阿發船長認出，也得知他們來安平港的目的，于是急忙欲奔告淑華，希望淑華早做防備，以免小杰被帶走，母子被拆散。
當淑華牽著兩個孩子回來時，不料卻看見簡單的家當都被丟在外面，原來因積欠房租，房東逼淑華搬走，沒有棲身之地，以后生活怎么辦呢？淑華苦苦哀求，但房東無動于衷，淑華只好帶著孩子哀傷離去。
阿發船長因有了世賢的消息，急奔而來要告訴淑華，但卻慢了一步，淑華已帶著孩子離去了，阿發船長為了呆楞。
來到澎湖的鄉間，淑華對孩子說，這里就是媽媽從小生長的地方，房子不大，但是很整齊，看起來也很堅固，正在喂食雞鴨的白發老太太一看見淑華，先是愣了一下，接著和淑華兩人抱頭痛哭了起來，原來她就是小君和小杰的外婆。
微跛的外婆，佝僂的身影帶著淑華他們進屋，屋內陰暗簡陋，外婆把廚柜里珍藏的發糕拿出來給小君和小杰吃，還抱怨淑華為什么一直不帶孩子回來？淑華慚愧地說這么多年一直想帶孩子回來，但是這些年沒繼續寄錢，所以沒臉回來……外婆說以前淑華寄了不少錢回來，整修這個家，買下那條牛，還有弟弟娶媳婦所用的都是淑華寄回來的。
不久，一個看起來比淑華還老的婦人，以及一個黑黑瘦瘦的男子從田里回來了，他們就是小君和小杰的舅舅與舅媽。
舅媽一看見淑華就很吃驚，得知是“嫁給廈門洋行少爺的那個大姑”，舅媽滿臉堆起笑容，可是當她知道是帶孩子來投靠，臉色隨即變得很冷漠，直抱怨并訴苦地說，日子已經不好過了，又養了一個不做事的老人，現在還要多養三個，他們怎么吃得飽？吃不飽怎么下田？淑華趕緊塞了僅有的一些錢到舅媽手中，舅媽臉上總算勉強露出一些笑容，淑華還說，我們不會白吃飯的，我會幫著做工貼補家用。
這時，舅舅的孩子阿旺被打得鼻青臉腫的回來了，他是被鄰居揪回來的，前來告狀，說阿旺這男孩不學好，竟然偷了他們的雞拿去烤來吃了，因此也要抓回三只雞當賠償，外婆心疼辛苦養的雞被抓走，只剩一只母雞，忍不住哭了起來，淑華急忙拍著外婆的背，低聲安慰著，阿旺卻躲在一旁，露出狡滑的笑容。
晚上，冷風吹著，淑華和孩子就睡在簡陋又臭氣熏天的牛棚里，外婆一跛一跛地抱著棉被來給他們蓋，感傷說：委屈你們了。
早上吃的是蕃薯稀飯，小君和小杰根本吃不飽，但寄人籬下，也只好忍耐著，外婆看著小君和小杰饑腸轆轆，心疼又難過，說明天要把老母雞殺了，小君和小杰終于能好好吃一頓了，顯得很開心，外婆也很欣慰。
福州鄭家，鄭老爺大發雷霆，因為世賢沒有把洋行從法國進口的酒報關之事處理好，父子因而起爭執，美芳急忙緩頰，一面安慰鄭老爺，一面苦勸世賢要振作，但世賢心中有太多的苦悶，因而跑去舞廳喝酒跳舞，舒解心中的壓力，美芳追尋而來，卻被世賢趕回去。
美芳至洋行，發現經理葉偉文仍在忙碌著，提起這洋行將來會交給如蘋，但偉文說鄭老爺重男輕女，一定會交給世賢和淑華所生的小杰，這讓美芳心中一痛，但表面卻不動聲色的淡淡一笑。
外婆果然殺了老母雞，但卻被阿旺搶去吃得不剩，他還要強占小杰的八音盒，小杰忍無可忍，終于打贏了阿旺。
淑華為了貼補家計要開始刺繡，舅媽冷笑說這里都是辛苦人，哪會花錢買這些精致不實用的東西？淑華只好跟著下田，辛苦的工作無形中一直在侵蝕著她那虛弱的身體……
福州的鄭家大廳，鄭老爺憤怒拍桌，責罵那三名彪形大漢沒有把小杰帶回來，對方解釋是因為搬家而下落不明，鄭老爺感嘆說，絕不能讓世賢的孩子流落在外，畢竟那是鄭家的骨肉，一定要找回來！