越秀山别称叫观音山，关于它的来历，跟广东才子伦文叙有关。
明朝弘治年间，伦文叙三斗广西柳先开，打落了他的功名。
柳先开是个心胸狭窄的人，他认为这个广东的风水有关。
于是，他到江西请了个风水先生叫赖布衣的回来，拿着罗盘四处观看。
他认为广州北靠白云山，南临珠江，好像一个蛟龙吸水之象，而越秀山这个地方刚好是“龙穴”所在，就对柳先开说：“只要你到江西龙虎山那里找到张天师，在那里带一尊哪跋像回来供奉就可以了。”
柳先开找到张天师以后，张天师拿出了哪跋像给他。
只见那个神像凶神恶煞，哪跋究竟是什么？原来他是个旱魔！哪跋的眼睛看到哪里，那里就五谷不生；手指指向哪里，哪里就六畜不旺。
柳先开把神像请回来之后就建了座庙了供奉。
他知道广东人多信观音，对外称这就是观音七十二变中的一个化身来的。
他还在神像的围头那里写了首诗：“观音坐上头，青莲水上浮。
富贵代代有，广东永无忧。
”谁知在那个哪跋星屁股下面还压着一首更狠毒的诗：“哪跋坐龙头，乌龟水上浮，富贵无三代，清官不回头。”
当时，有个大官叫做湛甘泉，他的妈妈是颇信神的，有一次上山拜神的时候不小心扭伤了脚。
湛甘泉是个出了名的孝子，立马派人到越秀山那里为妈妈敷药。
他认为，如果这是观音的话，应该保佑我妈才对。
他亲自到“观音庙”一看，哎！这是什么观音啊，是哪跋星。
湛甘泉大怒，他见哪跋星用手指着他，“看到本官还不下跪！”用扇子把神像的手打了下来；又看见哪跋星怒视着看他，“看到本官还不低头！”又用扇子把它的头打了下来。
第二天，湛甘泉就叫士兵把这座庙给拆了。
