之后，一连几天绛雪都没有来。黄生思念香玉，辗转不眠。一天，冷雨敲窗，黄生披衣而起，在灯下吟诵了一首诗。
他忽听窗外有人道：“作诗不能缺唱和。”听话音知道是绛雪来了，开门让她进来，绛雪看了诗即刻续吟一首。
黄生读了，泪如雨下，并埋怨她来的次数太少了。绛雪说：“我不能像香玉那样给你温暖，只能给你一点宽慰罢了。”黄生想与她欢好，绛雪回答道：“相见的欢乐，何必在此？”
从此，每当黄生寂寥时，绛雪总是前来。来了二人便宴饮作诗，有时绛雪并不留宿，黄生也不阻拦。黄生常感慨：“香玉是我爱妻，绛雪是我良友啊。”每次黄生都问她：“你是院中第几株？希望你早告诉我，我好移到家中，免得你像香玉一样被恶人夺去，遗恨百年。”绛雪说：“故土难移，告诉你也无益。你的妻子尚且不能从终，何况朋友呢？”黄生不听她的，强拉着绛雪到院子里，每到一棵牡丹旁就问：“这是你吗？”绛雪不答，只是掩口而笑。
腊月里，黄生返回家中。二月的一天，他忽然梦见绛雪忧愁地说：“我有大难临头。你赶快前来，我们还能相见，晚了就见不到了。”黄生醒后很惊异，连忙让家人备马，星夜赶往下清宫。原来道士要建造房屋，有一棵耐冬树碍事，工匠们正准备砍掉它。黄生急忙阻止。
这天夜里，绛雪过来道谢。黄生笑着说：“你从前不告诉我实情，才遭此大难。如今我已知道了真相，如果你不来，我就拿艾绒烤你了。”绛雪说：“我知道你会这样做的，才不敢告诉你。”二人坐了一会儿，黄生说：“今日面对良友，越发思念艳妻了。好久没有哭香玉了，你能跟我一块去哭她吗？”于是他们一起来到牡丹穴处，洒泪凭吊，直到一更将尽，二人才回去。
几天后，黄生正独坐房中伤心，绛雪笑着进来，说：“告诉你一个喜信：花神被你的真情所感动，让香玉又回下清宫了。”黄生大喜，忙问：“什么时候？”绛雪说：“不知道，大概不远了。”
这之后，绛雪两天没来。黄生便抱着耐冬，摇动抚摩，连声呼唤绛雪，却没有回应。黄生回屋，对灯团起艾绒，要去烧烤耐冬。绛雪突然闯了进来，夺过艾绒扔掉，说：“你这恶作剧，让我受痛，与你断交了！”黄生连忙赔笑。这时，只见香玉步履轻盈地走了进来。黄生一见，泪流满面，急忙握住香玉的手。
等坐下来诉说离别之苦时，黄生觉得握住香玉的手是空虚的，如同自己攥起手一样，于是吃惊地问她。香玉伤心地说：“从前我是花神，是有实体的；现在，我为花鬼，所以形体散了。今日虽相聚，你就当做是在梦中见面吧。”绛雪说：“妹妹来了可太好了，我被你家男子纠缠死了。”就告辞走了。
香玉欢笑如前，但二人总觉得像是以身就影，黄生十分忧愁，香玉更是悲叹，说：“你把白蔹草挖来晒干碾碎，再稍稍掺一些硫黄，浸泡水中，每天给我浇一杯水，明年今日我再报答你的恩情。”说完就走了。
第二天，黄生去看土穴，牡丹已发芽了。黄生便依照香玉的话去做了，每天都用心浇灌，又在牡丹周围做了雕栏来保护。香玉来了，非常感激。黄生打算要将她移到家里去，香玉说：“我身体虚弱，再也经不起伤害了。况且万物生长各有一定的地方，我本不是生在你家，硬要违犯反而折寿。只要你我相爱，重聚的日子就快了。”
这时，黄生又埋怨绛雪不来。香玉说：“假如你一定要她来，我有办法。”二人挑灯来到耐冬树下，香玉折了一根草茎做尺码，自树下而上量到四尺六寸之处，按在那里，让黄生用两手搔挠。一会儿，绛雪就从背后现身了，笑骂说：“你这个丫头，就会助纣为虐。”三人拉着手进屋，香玉说：“姐姐不要怪我，你就暂时陪陪郎君吧，一年后就不会烦扰你了。”绛雪只好应允。
在黄生的精心呵护下，那花芽儿日渐茁壮。到了春末，那牡丹已有二尺多高了。黄生回家时，送给道士一些银子，嘱托他每天给花儿浇水。
第二年四月，黄生回到观里，见那牡丹已长出一个含苞欲放的花蕾。他正痴痴地欣赏着，那花蕾竟慢慢绽开了。不一会儿，花儿开放得像盘子那样大。黄生俯身细细观察，花蕊之中俨然有一个小小的美人，才三四指大小，那小美人突然飘然而下，他定睛一看，正是朝思暮想的香玉！香玉笑着说：“我强忍风雨，日日夜夜等待着你，你怎么这么久才来呀？”
说着，他们一同走进书房。随后，绛雪也来了，她笑着说：“每天都要代替别人当妻子，今后又可以做朋友了。”他们谈笑到半夜，绛雪才离去。当晚，黄生和香玉相亲相爱，一如当年。后来，黄生的妻子去世，他就搬到山里居住，再也没回家。此时牡丹已如手臂粗大。黄生常常指着那株牡丹说：“等我死后，我一定在你的左边变做一棵花木，寄魂于此。”香玉和绛雪笑着说：“希望你不要忘了这句话。”
十多年后，黄生忽然病倒。他的儿子闻讯赶来，十分哀伤。黄生笑着说：“这是我的生期，又不是我的死期，有什么可伤心的呢？”又对道士说：“以后牡丹花下会生出红色花芽，长五瓣叶子，那就是我。”随后，他就不再开口了。黄生被儿子抬回家，不久就死了。
第二年，牡丹花下果然生出花芽，而叶子恰好是五瓣。道士认为很奇异，愈加用心浇灌。三年后，那棵花高达几尺，但始终不开花。老道士死后，他的弟子不知爱惜，见它不开花，就把它砍了。结果，那株白牡丹很快枯萎而死，不久，那株耐冬也死去了。
经典溯源
劳山下清宫，耐冬高二丈，大数十围，牡丹高丈余，花时璀璨似锦。
胶州黄生，舍读其中。一日，自窗中见女郎，素衣掩映花间。心疑观中焉得此，趋出，已遁去。自此屡见之。遂隐身丛树中，以伺其至。未几，女郎又偕一红裳者来，遥望之，艳丽双绝。行渐近，红裳者却退，曰：“此处有生人！”生暴起。二女惊奔，袖裙飘拂，香风洋溢，追过短墙，寂然已杳。爱慕弥切，因题句树下云：“无限相思苦，含情对短窗。恐归沙吒利，何处觅无双？”归斋冥思。
女郎忽入，惊喜承迎。女笑曰：“君汹汹似强寇，令人恐怖；不知君乃骚雅士，无妨相见。”生略叩生平，曰：“妾小字香玉，隶籍平康巷。被道士闭置山中，实非所愿。”生问：“道士何名？当为卿一涤此垢。”女曰：“不必，彼亦未敢相通。借此与风流士长作幽会，亦佳。”问：“红衣者谁？”曰：“此名绛雪，乃妾义姊。”遂相狎。及醒，曙色已红。女急起，曰：“贪欢忘晓矣。”着衣易履，且曰：“妾酬君作，勿笑：‘良夜更易尽，朝暾已上窗。愿如梁上燕，栖处自成双。’”生握腕曰：“卿秀外慧中，令人爱而忘死。顾一日之去，如千里之别。卿乘间当来，勿待夜也。”女诺之。由此夙夜必偕。每使邀绛雪来，辄不至，生以为恨。女曰：“绛姐性殊落落，不似妾情痴也。当从容对驾，不必过急。”一夕，女惨然入曰：“君陇不能守，尚望蜀耶？今长别矣。”问：“何之？”以袖拭泪，曰：“此有定数，难为君言。昔日佳作，今成谶语矣。‘佳人已属沙吒利，义士今无古押衙’，可为妾咏。”诘之不言，但有呜咽。竟夜不眠，早旦而去。生怪之。
次日有即墨蓝氏，入官游瞩，见白牡丹，悦之，掘移径去。生始悟香玉乃花妖也，怅惋不已。过数日闻蓝氏移花至家，日就萎悴。恨极，作《哭花》诗五十首，日日临穴涕洟。