Bodman ist eine der ältesten Siedlungen am Bodensee. An mehreren Stellen wurden Reste von Pfahlbauten aus der Stein- und Bronzezeit gefunden. Kelten-, Alemannen- und Römer-siedlungen sind durch Ausgrabungen nachgewiesen. Im 9. Jahrhundert stand zu Bodman eine Pfalz der Karolinger. Ludwig der Deutsche und besonders Karl der Dicke weilten oft und gerne auf ihrer Pfalz in Bodman. Letzterer ließ mit Reben aus Burgund den noch heute bestehenden Königsweingarten anlegen. Im Jahr 1277 verpfändete König Rudolf von Habsburg die Kaiserpfalz an den Ritter Johann von Bodman. Seit dieser Zeit ist der Besitz bei den Grafen von Bodman geblieben. Die alte Burg, die, im Gegensatz zu der am Seeufer gelegenen Kaiser-pfalz, auf dem heutigen Frauenberg stand, wurde im Jahre 1307 während eines Familienfestes durch Blitzschlag eingeäschert, wobei alle Familienangehörigen verbrannten. Nur der einjährige kleine Johannes wurde von der Amme, in einen Kessel verpackt, über die Burgmauern heruntergelassen und so gerettet. Zum Dank für seine Errettung stiftete er später den Platz, auf dem die Burg seiner Väter stand, dem Kloster Salem. Das Kloster hat auf dem Berg das Klostergebäude mit Wallfahrtskirche errichtet. Die heutige Burgruine auf dem Nachbarberg, Ruine "Alt Bodman", die zweite Burg der Herren von Bodman, wurde im Dreißigjährigen Krieg zerstört.