Am Standort des heutigen Schlosses befand sich bereits zu Zeiten der alten Römerstadt Sumelocenna (vor etwa 2000 Jahren) das Kapitol der Römer mit seinen Tempeln. Nachdem die Alemannen im 3. Jahrhundert n.Chr. den Limes überwunden hatten und sich die Römer zurückzogen verfiel das römische Rottenburg. Erst knapp 1000 Jahre später entstand das heutige Rottenburg. 1280 war den Grafen von Hohenberg, Bewohner der Weiler Burg (auch Teil dieser Tour), ihr Wohnsitz zu klein geworden und sie errichteten nördlich des Neckars ein neues Stadtschloss mitsamt entsprechender Stadt. Ab 1787 diente das Schloss einem Schweizer Unternehmer als Florettseidenfabrik. Aufgrund Rottenburgs Zugehörigkeit zu Vorderösterreich war es möglich, zollfreie Rohseide aus Italien zu importieren und die fertigen Produkte – ebenfalls zollfrei – nach Wien zu exportieren. Als die Österreicher 1806 im Zuge des Pressburger Friedens zahlreiche Gebiete abtreten mussten fiel Rottenburg an das Königreich Württemberg, die Zollvorteile erloschen und die Fabrik musste schließen. Drei Jahre später, 1809, richtete der württembergische Staat ein Zwangsarbeiterhaus ein, welches 1824 in ein Landesgefängnis umgewandelt wurde. Noch heute beherbergt das historische Gebäude die - mittlerweile als Justizvollzugsanstalt bezeichnete - Einrichtung.
