Wzgórze zamieszkane było już w czasach rzymskich. Prawdopodobnie na szczycie wzgórza stała wieża strażnicza, skąd rozpościera się przepiękny widok na pogórze Keszthely i Balaton.
Wiadomo, że w latach 1560-tych w tym miejscu stał jeszcze zamek Györöki, natomiast już w 1622 r. na jego miejscu stała kaplica. O fakcie tym świadczy niedawno odkryta na fresku data.
Według pewnych źródeł kaplicę wybudowało cudownie ocalonych od śmierci 40 rybaków. Zimą 1739 r. na zamarzniętym Balatonie pracowało 46 rybaków, kiedy to nagle oderwała się pod ich stopami tafla lodu.
Niestety sześciu z nich zginęło. O wypłynięciu z lodowatej wody nie mogło być nawet mowy. Od śmierci pozostałych ocalił wiatr, który nagle się zmienił i skierował taflę lodu do brzegu.
Ocaleni rybacy przysięgli, że na znak wdzięczności postawią na wzgórzu kaplicę. Być może była to tylko przebudowa, ponieważ z przekazów wynika, że kaplica już wtedy istniała.
Potwierdzeniem tej tezy są dwa groby znajdujące się w pobliżu kaplicy, na których widnieją napisy i rok 1722 oraz 1729.