Der unmittelbare Anlass zum Bau eines befestigten Wohnturmes in dieser Gegend waren die schwankenden politischen Verhältnisse Tirols um die Mitte des 14. Jahrhunderts, die sich gerade im untersten Inntal besondern fühlbar machten, und das selbstverständliche Bestreben des hier am meisten begüterten Adelsgeschlechtes, seine Besitzung noch mehr zu sichern.

Dass die Zeit für bedrohlich gehalten wurde und auch andere Geschlechter an die Erbauung einer Veste zum Schutz für ihr Hab und Gut dachten, zeigt die Tatsache, dass sich Konrad Kummersbrucker von Markgraf Ludwig die Erlaubnis zur Erbauung einer Veste auf dem Berg zu Kundl geben ließ.

So konnte den Freudsbergern auf der Suche nach einem passenden Burgplatz ungefähr in der Mitte zwischen Thierberg und Schinterburg der am Hang des unteren Angerberges beim Weiler Straß etwa 12 Meter hoch aufragende Felsen in die Augen fallen. Die Bauern der Gegend mochten ihn "den Stein" nennen - diesen Namen erhielt die neue Burg.
Sie muss in den allerletzen Jahren des Jahrzehntes 1350 bis 1360 erbaut worden sein.

 Gotisierende Holzdecke um 1500. Bänke und Beichtstühle im Knorpelstil (1680), Rokoko-Baldachinaltar, lebensgroßer Barockkruzifixus. Innenseite der Eingangstür mit gotischem Beschlag.

In früheren Jahrhunderten wurde das Gnadenbild an hohen Festtagen damit geschmückt. Auf alten Votivbildern und Votivgaben scheint immer wieder der Erzherzogshut in Verbindung mit der Madonna auf.

Im Uhrtürmchen über dem Wohngebäude hängt eine Löffler-Glocke. Sie wird an den Wochentagen mittags um 12 Uhr geläutet. Die Inschrift am unteren Rande lautet: "Hans Christoff Löffler und sein Sun Christoff gossen mich im MCCCCCXXXXXXXXVII (1587).