A l'origine, le bâtiment se trouvait à proximité immédiate du château de Philippsburg, à l'époque l'un des plus importants et des plus grands bâtiments baroques du Rhin. En 1801, le château de Philippsburg fut détruit par les Français, mais le bâtiment du dicastère fut conservé. Ce bâtiment administratif séculier du prince électeur de Trèves abritait entre autres le tribunal du prince électeur. Entre-temps, le bâtiment servit également de résidence, de logement pour les troupes, d'hôpital militaire, de siège du gouvernement de Nassau et de magasin de vivres. En 1936, le bâtiment du dicastère a été transformé en bureaux. Il a été partiellement détruit pendant la Seconde Guerre mondiale et reconstruit en 1947.