Hoewel een eerste voorganger van kasteel Liebeneck waarschijnlijk al rond 1590 werd gebouwd, is het gebouw boven het plaatsje Osterspai een volledig nieuwbouw uit de jaren 1870.
Waarschijnlijk verplaatsten de heren van Liebenstein hun zetel meteen na de bouw eind 16e eeuw van de burcht Liebenstein naar het representatieve en nieuwe landhuis kasteel Liebeneck, genaamd "Grauborn". Maar in 1651 kwam het heerschappijgebied van de van Liebenstein, waartoe naast Osterspai ook Kamp-Bornhofen behoorde, in handen van de vrijheren van Waldenburg. Waarschijnlijk waren zij het die in de tweede helft van de 17e eeuw een barok jachtslot van Liebeneck maakten. De woonwensen van de latere eigenaar Rijksfreiherr Franz Georg Ernst von Preuschen van en tot Liebenstein werden echter niet meer voldaan door het landgoed - hij laat het jachtslot uitgebreid verbouwen. Van 1873 tot 1875 ontstaat zo de door architect Joseph Balthasar Fuchs ontworpen nieuwbouw in de stijl van de neorenaissance op de barokke fundamenten.

Het kasteel is in particulier bezit en niet te bezichtigen.