在唐朝时候，有年的中秋节夜里，圆圆的月亮挂在天上，照得满世界晶亮晶亮。
半夜时分，灵隐寺里的烧火和尚德明，起身到厨房去烧粥，听见了阵滴滴答答的声音，觉得很奇怪，望望窗户，月亮明光光的，哪里来的雨声呢？于是他就开门出去，仰头望望，见有无数珍珠般的小颗粒儿，从月亮里纷纷落下来，掉在寺边的山峰上。他看着看着，等那小颗粒儿落完了，就来到山峰去寻找。寻粒，拾粒。寻粒，拾粒……那小颗粒儿都有饱饱绽绽如黄豆那么大，色彩多样，真好看呢。他拾呀拾呀，从半夜拾到大天亮，拾了满满兜。
第二天清早，德明和尚把夜里拾来的那些小颗粒儿拿去给智老和尚看，问他这是什么东西。智老和尚细细看了会，说：“月宫里有株大桂树，还有个莽汉子叫吴刚。他年到头砍这株桂树，但总是砍不断。有时使劲过大了，就会把桂子震落下来。说不定这就是月宫中落下来的桂子呢！”
德明和尚听了很高兴，说：“师父，我们把它种起来，让大家见识见识月宫里的桂树，闻闻月宫里的桂花香。”
于是，他们便把那些色彩多样的小颗粒儿种在寺前寺后的山坡上，过了些天，居然发出了芽；到个月，芽又长了尺多高的小树苗，抽出了翠绿的叶子。
这月宫里的桂树，长得可真快呀，月长尺，年高丈，到第二年的中秋节，就长得又高又大，每株树上开满了小花朵儿，有橙黄的，有净白的，有绯红的，什么色彩都有。德明和尚就按照桂花的不同色彩，把它叫做金桂，银桂，丹桂……从这时候起，西湖四周就有各种各样的桂花了。
现在，灵隐寺旁边有个山峰，叫月桂峰，传说就是当年月宫落下桂子的地方。