Wszystko zaczęło się od drewnianej figury św. Anny Samotrzeciej, pochodzącej z 1495 roku. Wśród czcicieli miał być bogaty mieszczanin z Nowej Rudy, dzięki któremu prawdopodobnie w 1515 r. postawiono tutaj drewnianą kaplicę. W czasie reformacji kult św. Anny gwałtownie osłabł, a kaplica została rozebrana na drewno opałowe.