Das heutige Schloss befindet sich an der Stelle der ehemaligen Thurn- und Taxis´schen Posthalterei. Nach deren Auflösung erbaute Johann Georg von Susmann (1694 - 1775) auf dem Gelände der alten Poststation ein standesgemäßes Herrenhaus. 1777 wurde das Herrenhaus von Freiherr Franz Albert von Oberndorff erworben. Das Schloss erhielt 1824/ 25 sein klassizistisches Aussehen, als Graf Alfred von Oberndorff es umbauen ließ. 1960 wurde das Schloss von der Gemeinde Neckarhausen gekauft und 1980 vollständig renoviert. Das Schloss wird heute von Teilen der Gemeindeverwaltung und verschiedenen Vereinen genutzt. Das Erdgeschoss des Südflügels beheimatet die Gemeindebücherei.
