Los visitantes de Rüdesheim podrán reconocer con facilidad por qué la parte anterior del castillo también recibió el nombre de Castillo del mercado (en alemán: Marktburg): la antigua sede aristocrática de una línea secundaria de los poderosos señores de Rüdesheim está situada junto a la plaza del mercado. En la actualidad solo se conserva la torre fortificada del castillo medieval, construido antes de 1276. La historia de su construcción no se ha podido aclarar. Sin embargo, se sabe que el conjunto del castillo, junto con otras fortificaciones amuralladas de la ciudad (como los castillos de Brömserburg o de Boosenburg) era el hogar de los señores nobles de Rüdesheim. Su posición privilegiada como puerta de entrada al Medio Rin convirtió la ciudad en un influyente centro comercial del que la nobleza supo sacar un considerable beneficio: los rápidos del paso de Bingen hacían que la mayoría de mercancías tuviera que recorrer este tramo por tierra y, de este modo, pasaba por sus manos.