Weit über den Überlinger See sichtbar liegt das Kloster Frauenberg mit seiner ganz besonderen Geschichte. Noch heute erinnert ein Sandsteinobelisk unterhalb des Gebäudes an die Entstehung des Klosters: Am 16. September 1307 war die Familie der Ritter von Bodman mit Verwandten auf der Burg versammelt, als ein Gewitter aufzog, ein Blitz einschlug und die Burg niederbrannte. Sieben Familienangehörige sowie drei Bedienstete kamen ums Leben. Der Überlieferung nach rettete die Amme den etwa einjährigen Stammhalter dadurch, dass sie ihn in einen eisernen Kessel setzte und das Gefäß den Berg hinunterrollen ließ. An der Stelle des Denkmals soll der Kessel mit dem unversehrten Knaben aufgekommen sein. Der Vater des Geretteten schenkte daraufhin den Berg mit der Burgstelle dem Zisterzienserkloster Salem mit der Auflage, eine Gedächtniskapelle und ein Priesterhaus zu errichten. Bereits im Mai 1309 konnte die Kapelle geweiht werden.

Der bergseits gelegene und heute zugeschüttete Halsgraben der Burg ist vor der letzten Kreuzwegstation noch heute zu erkennen. Auch ist zu sehen, dass die steil aufragende südliche Gebäudemauer aus dem Bergfried bzw. Wohnturm erwachsen sein muss. Das übrige Haus ist wohl auf dem Grundriss des Hauptgebäudes der Burg errichtet. Wirtschaftsgebäude und Wehrmauern sind nur noch durch einige Mauerreste nachweisbar. Die Pflege Frauenberg des Salemer Klosters wurde im Laufe der Jahrhunderte mehrmals umgebaut. Das bestehende Gebäude errichtete der Salemer Abt Peter Müller in den Jahren 1610-1613. Die Fassade ließ Wilderich Graf von und zu Bodman 1994/96 mit Unterstützung des Landesdenkmalamtes und der Denkmalstiftung sanieren. Von früheren Verputzen und Farbanstrichen waren nur noch geringe Spuren vorhanden. Immerhin konnten bei der Voruntersuchung 18 verschiedene Phasen festgestellt werden. Der Bauherr entschied sich für das äußere Erscheinungsbild des Anwesens, wie es um 1800 gewesen sein dürfte. Inzwischen fand das Klostergebäude bereits Nutzung als Jagdschloss, Jugendherberge und Puppenmuseum. Seit 1982 hat allerdings die katholische Laiengemeinschaft „Communitas Agnus Dei“ wieder klösterliches Leben in die alten Gemäuer gebracht.

Die Wallfahrtskapelle mit der ehemaligen Zisterzienserklause ist für die Öffentlichkeit zugänglich. Über einen schmalen Wallfahrtsweg entlang von Kreuzstationen ist der Frauenberg in etwa einer halben Stunde zu Fuß zu erreichen. Wer mit dem Auto anreisen möchte, findet oberhalb des Frauenberges, beim Hofgut Bodenwald (Vesperstube) einen kürzeren, jedoch sehr steilen Weg.