Louis IV, comte palatin et futur empereur, fit ériger une tour pentagonale en 1327 sur une île du Rhin, première pièce du fort - au grand dam des évêques de l'époque et même du Pape, que hantait la question de la suprématie de l'Eglise dans les questions de douanes. Les capacités de défense de Pfalzgrafenstein furent nettement renforcées par la construction de l'enceinte et du chemin de ronde en 1340. En 1504, il résiste même à un siège de 39 jours lors de la guerre de la ligue d'Augsbourg et en ressort intact. Le « Pfalz » est sans aucun doute aujourd’hui l'un des sujets les plus photographiés de la vallée du Rhin moyen. Un petit bac transporte les visiteurs de Kaub au « navire de pierre » les pieds secs.