常大用，河南洛阳人，平生最爱牡丹。他听说曹州牡丹甲天下，心中非常向往，渴望能有机会去饱眼福。有次，正好因为有件事情要到曹州去，常大用非常高兴，多年夙愿可以了却了。
到了曹州，常大用专门找了官宦人家住下，因为他家有处在当地很有名气的花园。求得主人的允许，常大用就在花园中住下了。当时正是初春二月，牡丹尚未发芽，常大用只好耐心地住下来。每天在花园中徘徊，仔细地观察牡丹的生长情况，盼望着牡丹能早早日开放。其间常大用写《怀牡丹》诗百绝，时常吟诵，自得其乐。不多久，牡丹花渐渐地含苞待放了。常大用却是又喜又忧。喜的是，牡丹已是含苞待放了；忧的是，个多月，他身上的钱也花完了。考虑再三，他还是无法放弃能够看到即将盛列的曹州牡丹的机会，于是，他就把穿不着的衣服典当出去，等待着花期的到来，时常在花园中徘徊流连。
天早晨，常用又去园中看花，遥见妙龄女郎和老妇人正在花园中。他怀疑是此地哪家大户的家里人，没有惊动他们，就回屋去了。到了傍晚，常大用又去园中看花，那女郎还在那里。到了近处，常大用偷偷地端详那位女郎，穿着富丽，天资国色，撩人心动。见了常大用，并不十分躲避，却从容地对他笑向假山后面躲去了。
常大用被这天仙般的美女弄得目眩神迷，心想：她定是仙女下凡，人世间怎么会有如此美貌的女子呀！于是，不由自主地向女郎去的方向搜寻过去。绕过假山，没想到，却正好碰到那位老妇人。那女郎正坐在近处块石头上，看见他显得很吃惊。那位老妇人连忙用自己的身体遮挡在女郎面前，厉声呵斥着：“你这狂妄的小子，究竟想干什么？”常大用却跪下说道：“这位女郎定是仙女下凡！小生冒味了。”老妇人愤怒地训斥他：“简直是胡说八道。破真该叫人把你送到官府时里去，治你的罪！”常大用非常害怕，手足无措。但那女郎却笑了笑，对老妇人说：“我们走吧！”说完，就走了。
常大用无精打采的回到屋里，心里想到，如果女郎回去后把今日之事告诉了她的父兄，场责骂、污辱恐怕是不可避免了。晚上，个人躲在空荡荡的屋子里，他后悔自己今日的举动实在是太孟浪了。可又想，刚才那女郎并没有怒容，也许并不把它当成回事。就这样，常大用既后悔，又害怕，夜辗转反侧，竟然病了。第二天，幸运的是女郎家并没有人来兴师问罪，心里才稍稍安宁了些。然而，他又不由得想起那女郎的声容笑貌来，由害怕而变为十分的想念。就这样，不过三天，常大用满面憔悴之色，竟成了重病，卧床不起了。
这天晚上，常大用昏昏沉沉地刚入睡，忽听屋门响，那老妇人手捧只碗进来了。老妇人说：“我家葛巾姑娘，亲自配成这剂毒给你，快喝下去吧！”常大用十分惊：“我与葛巾姑娘，素无怨仇，为什么竟然要毒死我呢？唉，也罢。既然这是姑娘亲手调的，与其因她相思而病，不如喝而死。”说罢，接过来饮而尽。那老妇人笑笑，就走了。
奇怪的是，常大用喝下去，却觉得股香气沁入肺腑，头脑清爽，好象并不是什么毒。想着想着，他便酣然睡去。第二天早晨醒来，只见红日满窗。试着起来，大病若无，心中更加坚信那女郎是仙女下凡。他心中默默地祈祷能够再次见到女郎。
这天，常大用在园中丛树木之后，迎面遇上那位女郎。见四下里无人，他惊喜地急忙跪在地上。那女郎伸手轻轻地拉他起来。常大用惊喜交集，握住了她那洁白的玉腕，顺势站了起来，只觉得这只手温软面细腻，并闻到她身上散发出种奇异的香味，常大用觉得全身骨节都酥软了。正想说点什么，那位老妇人忽然来了。那女郎让他藏于假山之后，指着南边说：“晚上你来吧。南面小墙以内有座四面红窗的屋子，就是我住的地方。我放好了梯子等你。”说完匆匆而去。常大用呆站在那里，满腹怅然，真有些魂飞魄散了。