Aunque alrededor de 1590 ya se había construido un edificio antecesor del palacio de Liebeneck, el edificio ubicado por encima del pueblo de Osterspai es una construcción nueva de la década de 1870. Es probable que justo después de su construcción a finales del siglo XVI, los señores de Liebenstein trasladaran su residencia del castillo de Liebenstein a la nueva casa señorial representativa del palacio de Liebeneck, también conocido con el nombre de "Grauborn". Sin embargo, en 1651 el territorio de los señores de Liebenstein, que además de Osterspai también poseían Kamp-Bornhofen, pasó a manos de los barones de Waldenburg. Seguramente fueron ellos los que en la segunda mitad del siglo XVII convirtieron el palacio de Liebeneck en un pabellón de caza barroco. Ahora bien, el pabellón de caza ya no satisfacía las exigencias residenciales del posterior propietario, el barón imperial Franz Georg Ernst von Preuschen von und zu Liebenstein, por lo que lo derribó y sustituyó completamente. Entre 1873 y 1875 se originó de este modo el nuevo edificio diseñado por el arquitecto Joseph Balthasar Fuchs en estilo neorrenacentista sobre los fundamentos barrocos. El castillo es propiedad privada y no está abierto a los visitantes.