Es wurde als Wohnhaus, Kornspeicher bzw. Fruchtkasten und im 19. und 20. Jahrhundert als Gefängnis genutzt. Heute ist im Steinhaus die städtische Musikschule untergebracht und im Garten und im Gewölbekeller finden regelmäßig Theateraufführungen der Besigheimer Studiobühne statt.