Aanvankelijk diende de burcht ter beveiliging van het veer naar Bingen en later als zogenoemde Ganerbenburg, een grote burcht waar meerdere families woonden. Al eeuwenlang doet hier de sage van ridder Hans Brömser de ronde, die na een mislukte kruistocht door de Saracenen gevangen werd genomen en in de kerker werd gegooid. Hij schijnt in gevangenschap de belofte te hebben gedaan om naast zijn burcht - de Brömserburg - een kapel te bouwen. Vervolgens vond hij een vijl waarmee hij zich van zijn ketenen kon bevrijden.
In de zomer nodigt de romantische kasteeltuin met zijn wijnbar bezoekers uit om te vertoeven en te genieten van evenementen. Je kunt hier ook de knoop doorhakken.