据怀集县志记载，华光寺始建唐朝长庆年间(821－824年)，为六祖惠能避难岭南居栖怀集修悟而修建，是著名的佛教圣地。
明万历二十二年(1594年)，梁允玳(怀集梁村人)等人重建华光寺于梁村镇花石道士岩前，后经历明、清、民国，1958年被拆毁，现遗迹尚依稀可辨。
据介绍，原寺院分前、中、后三进，有寺门、前殿、正殿、后院和六祖禅室，中间有大院。寺前绿野桑田，寺后倚靠巍峨岩峰。由于华光寺建于古怀阳八景之一的“花石洞天”之中，寺院香火兴盛，每隔三年的农历正月二十日在此举行盛大庙会。当地文物部门称，华光寺集当时全县建筑雕塑之大成，彰显示能工巧匠之精湛技艺。
据悉，当地民间人士和信众，在释源照法师的倡议发起下，采取民间结缘捐资方式，在原旧址重建华光寺，修旧如旧，修建大雄宝殿、观音殿、六祖殿、天王殿等，计划用三年时间建成对外开放。
慧能，俗姓卢，广东新州(今云浮新兴县)人，家寒父早逝。《坛经》记载，受五祖衣钵后，慧能一路“发向南”，越大庾岭，度梅关，两个月之后，到曹溪宝林寺(今韶关南华寺)，后消失。据《曹溪大师别传》中记载：“能大师归南，路至曹溪，犹被人追逐，便于广州四会、怀集两县界避难”。南唐静、筠二禅所撰《慧能和尚传》：“能难返后隐四会、怀集之间”。
据怀集县志办研究表明，该县的“石室”是六祖隐身15年修炼与顿悟之地。“石室”由三块巨石自然叠成，为高约6米，宽约10米，面积大约20平方米的一个半开放空间，最上面一块巨石自西向东伸突三米多，形成天然遮盖。
该室最早叫“龟嘴岩”，约从唐朝末期，因慧能在此顿悟禅学，当地百姓将其改称“六祖岩”。
