Die Geschichte von Schloss Oldershausen reicht bis etwa ins Jahr 1000 zurück. Damals
errichten Angehörige des Rittergeschlechts von Westerhof ein erstes Haus, vermutlich ein kleines Landgut ohne bedeutende Befestigung. 1538 errichtete Adam von Oldershausen einen Adelssitz an der Stelle, wo später das Schloss stehen sollte. Zuvor war der Stammsitz der Familie die sogenannte Hoppelburg in erhöhter Lage in der Nähe des heutigen Motels Zur Altenburg.

Das heutige Schloss Oldershausen entstand ab 1853 als historischer Neubau in Ziegelbauweise mit Eckturm nach einem Vorentwurf des bekannten Baumeisters Conrad Wilhelm Hase. 1859 wurde der erste Bauabschnitt nach Plänen von Emil Hackländer fertiggestellt. 1877 erweiterten Burchard von Oldershausen und dessen Sohn Cuno das Schloss durch einen Seitenflügel, ein Portal und eine Terrassenanlage (nach Plänen von Edwin Oppler).

Bis zum Ende des Zweiten Weltkrieges (1945) war das Schloss Wohnsitz der Familie von Oldershausen.
Nach Kriegsende beschlagnahmte die britische Besatzungsmacht das Gebäude zur Unterbringung ihrer Truppen. Anschließend wurden dort Heimatvertriebene und Kriegsflüchtlinge untergebracht.

Von 1947 bis Anfang der 1970er befand sich im Schloss eine Lungenheilstätte, die dem Schloss den Spitznamen „Hustenburg“ einbrachte.
Zwischen 1975 und 1985 diente das Schloss als Reha-Einrichtung für geistig und körperlich behinderte Kinder.
Nach 1985 steht das Gebäude leer und verfällt.
Spätere Versuche, ein Altenheim im Schloss unterzubringen, scheiterten an Genehmigungen.
2005 kaufte ein Eigentümer aus Wiesbaden das Anwesen mit 75 Zimmern, plante die Sanierung, konnte jedoch keine Nachnutzung realisieren. Der Denkmalschutz wurde 2019 zeitweise aufgehoben, das Schloss gilt aber weiterhin als Baudenkmal.

Heute ist das Gebäude nicht mehr bewohnbar und ein Domizil für Fledermäuse und Eulen. Aufgrund akuter Einsturzgefahr ist das Betreten untersagt. Die einstige Pracht lässt sich nur noch erahnen.