自从傅大士上京城，为梁武帝做了慈悲忏礼道场回赐濑里后，善男信女，每天云集于双林佛殿，要跟随傅大士念经礼佛。由于当时的佛经，是傅大士成佛后，坐禅入定于白杨树下，由观世音菩萨传授给傅大士后口口相传的。其中许多是梵语的译音词，念起来不但拗口不顺，而且十分难懂。因此，众声念经，参差不齐，十分混乱，傅大士为此伤透脑筋。
在前来学习念经的人群中，有一位叫志林的木匠，十分聪明。他从《涅槃经》卷十三中“如鸣椎集僧，严鼓戒兵，吠不知时，是名法世”中得到启发。古代以敲打、能发声的椎木报时；以打鼓用来作为操练兵法的号令。他想现在是否可以用打击声木，指挥大家，把经念齐声呢？
志林先到山上砍来一根毛竹，取其中一节粗如碗口，长约尺许的竹筒，顺着竹筒二头二个竹节的中间，挖出一条半寸左右宽的缝，用木棒敲打竹筒发出的“咯、咯”声，指挥大家齐声念经，效果相当好。可惜，圆形的竹筒无法平放在桌子上。接着，志林到山上取来一段硬木料，制成长方形，挖空后，放在桌上试敲，其效果比敲竹筒更佳，于是，志林根据傅大士以前喜欢捕鱼的个性，把长方形的空木，外型雕刻成鱼形，“木鱼”之名由此产生。
由于制作木鱼之木料，取材于双林佛庵以北、形似双鱼头对头尾相连团形的山中，因此，该山就由后人取名为木鱼山。
这些大自然的山水、地貌、林木、地名，也便成了当年天意助傅翕修成大士佛的见证。
传说，这种形似双鱼头对头尾相连僧尼唸经专用的“木鱼”，傅大士还寄寓着僧尼，皆以此作为“戒淫欲”必备的法器。
在傅大士带领俗众念经拜佛的弘法中，他首先告诫大家要抛弃人间的财、色、名、食、睡“五欲”；从戒杀、盗、淫、妄语、饮酒的“五戒”开始。尤其是以戒色（淫）欲为最。
他认为：每个正常的人，都是“欲从爱生，命因爱有，爱欲为因，爱命为果”，所以每人出家从事佛教的人，都应以“断欲”为“第一戒”。而断欲，必须从断淫入手，树立起淫是“不净观”。
为了戒除人与人之间的爱欲，傅大士用“人的爱欲，从何而来？”进行了如下通俗的剖析：他说：使每个人动心而产生爱欲的对方，实际上是很不洁净的。
因为任何一个可爱的美人，能使你产生迷恋的东西，只不过是这个美人外面的一层表皮而已。假如剥去外皮，暴露出来的是人人都一样的血肉、筋骨、内脏以及屎尿等腥臭之物，这些腥臭的东西，还能使你与其外貌一样留恋与可爱吗？人体内的汗、屎、尿等等排泄物，通过各个孔道及全身毛孔排出体外，除去血、肉、内脏，剩下的骷髅、骨堆，更不值得让人喜爱和百看不厌。再说，任何人难免病魔缠身，人生病时的涕唾屎尿，呕吐抽搐，疮烂脓流，呻吟悲泣，见此，你还爱他（她）如初吗？年轻时的笑靥可掬，老来的满脸皱纹，年轻时的轻灵活泼，老年来的腰佝背驼，行动蹒跚。人死后，都要皮脱肉落，剩下枯骨一具。当你想到昔日所迷恋、所产生过淫欲的对象，原来本质就是如此这般时，你就会清醒过来，减轻爱念，割断淫欲。任何人都不会去抱住一个满盛屎便臭秽的皮囊去爱欲横生。任何人都无法保持红颜不老，引人垂爱终身。所以，只有这样去想，这样去做，才能断欲、断淫，专心事佛而不由爱欲而产生迷乱。
于是，傅大士为了警人醒世，嘱咐志林，仿照头对头尾交尾、团身形木鱼山的形状，把长版式的“直鱼”，改制成象征一雌一雄两鱼，头相对、尾相交的“团鱼”式木鱼，声称：“雌雄团木鱼，醒人戒欲具，敲在交尾处，声响淫欲除”。
从此，凡和尚寺、尼姑庵，为戒淫欲，必置团式木鱼于佛案前，以作醒人戒器必不可少的法具。