In 1327 liet de paltsgraaf en latere keizer Ludwig IV op het eilandje in de Rijn een vijfhoekige burchttoren bouwen als ondereerste deel van het verdedigingscomplex - zeer tot het ongenoegen van de toenmalige bisschoppen en zelfs de paus, die zich zorgen maakten over de lucratieve hegemonie van de kerk bij de tolheffing. Met de bouw van de ringmuur en de omloop vanaf 1340 nam het weerstandsvermogen van Pfalzgrafenstein aanzienlijk toe. In 1504 doorstaat de burcht zelfs ongeschonden de 39-daagse belegering tijdens de Landshuter Successieoorlog. "De Pfalz" is tegenwoordig ongetwijfeld één van de meest gefotografeerde onderwerpen in het Midden-Rijndal. Een veerbootje brengt de bezoekers vanaf Kaub met droge voeten naar het "stenen schip".