En 1327, el conde palatino y posterior emperador Luis IV mandó construir en esta pequeña isla del Rin una torre fortificada pentagonal como parte del primer conjunto arquitectónico defensivo. Tanto los obispos como el Papa vieron con malos ojos esta construcción, pues temían perder su posición predominante en el alzamiento de peajes. Con la construcción de la muralla y del adarve a partir de 1340 aumentó considerablemente la capacidad de resistencia del castillo de Pfalzgrafenstein. En 1504 incluso resistió intacto un sitio de 39 días durante la guerra de Sucesión de Landshut. Sin duda alguna, este castillo es uno de los motivos más fotografiados en el valle del Medio Rin. Un transbordador facilita el acceso al castillo, también llamado el "barco de piedra".