Die Ruine Losenstein liegt als Wahrzeichen hoch über dem Ort. Flächenausmaß: Hauptburg 2200 m², Vorburg 400 m² Die Burg, die aus zwei Teilen bestand, verfiel allmählich nach 1760. Die Losensteiner waren ein großes Geschlecht und hatten außer ihrem Stammsitz noch andere Burgen. Die Vorfahren waren Ministerialen der Ottokare. Im Jahre 1170 werden Ortolf und Imbricho von Losenstein erwähnt. Sie waren Dienstmannen der Markgrafen von Steyr. Ortolf war Zeuge bei einer Schenkung des Heinrich von Dunkelstein an das Kloster Garsten. Aus dem Besitz der Markgrafen von Steyr gelangte Losenstein nach 1186 an die Babenberger und Starhemberger. Markgraf Dietmar von Steyr setzte seine Söhne Walchun und Heinrich 1263 und 1282 als Amtsleute ein. Gundacker von Losenstein wird 1276 als Zeuge in einer Urkunde von Gleink genannt. Dietmar von Losenstein war der Sohn von Wolfgang, dessen Gattin eine geborene Bozdowitz und Tschernachra war. Dietmar von Losenstein hatte drei Gattinnen, wie sie nach Hoheneck angeführt werden: Martha, geborene von Liechtenstein, Witwe des Johann von Messeritz. Ihre Söhne: Wolf Dietmar, Georg Hillbrand, Georg Wilhelm, Christoph Abraham und die Töchter: Elisabeth, Magdalena, Potentia und Maria Magdalena. Die Gattin Helena von Herbersdorff gebar zwei Söhne Wolf Sigismund und Georg Sigismund und die Tochter Marusch. 1360 war Losenstein im Besitz des Burggrafen Vinzenz Ametzberger. 1362 machten sich die Losensteiner auf einem neuen Sitz „Losen auf Leiten“, genannt Losensteinleiten, ansässig. Georg Achaz von Losenstein (geb. 1545) war der Sohn von Christoph und dessen Gattin Christina, eine geborene Gräfin von Montfort. Georg Achaz von Losenstein vermählte sich 1568 mit Christina von Pergheim. Er starb am 5. Mai 1597 in Linz und wurde in der Gruft zu Garsten beigesetzt. Seine Gattin starb 1610. Die Söhne hießen Wolfgang Christoph und Georg Christoph, der 1610 die Anna vonStubenberg heiratete und 1622 starb. Wolfgang starb 1635. Franz Adam von Losenstein war mit Maria Theresia Gräfin von Herberstein vermählt. Sein Sohn starb 1685 in Ungarn. Franz Anton von Losenstein (geb. 1642) war Domherr zu Olmütz, Dompropst und Weihbischof von Passau. Mit ihm starb die männliche Linie der Losensteiner 1692 aus. Die Burg erbte Maria Katharina, Gemahlin des Fürsten Johann Weikhard von Auersperg. Als letzte vom Stamme der Losensteiner starb Maria Theresia, verehelichte Gräfin von Waldstein. 1760 war Losenstein schon unbewohnt und verfiel. Um die Mitte des 18. Jahrhunderts bewohnte die Ruine der Einsiedler Franz Joseph Schmid, der sie von seinem Vorgänger Franz Minibauer übernommen hatte. Seit 1969 wird die Ruine von der Landesregierung laufend ausgebessert. Die Losensteiner hatten noch Freihäuser in Linz, in der Altstadt 2 von 1573–1615, Pfarrplatz 14 von 1630–1692 und Hofberg 9.