Noch um 1950 standen auf dem Zollberg vor den Toren Essligens nur ein paar Häuser, darunter das Waldheim. Es war ein beliebtes Ausflugsziel der Esslinger: hier fanden viele Feste statt, auf dem Sportplatz gab es Radrennen, Hindernisreiten, Wettläufe und andere Veranstaltungen, hinten im Wald war eine kleine Tierschau mit Affen, Schlangen, Pfauen und Rehen.
Äcker, Getreidefelder und Obstbaumwiesen prägten das Gebiet, über das sich heute der Stadtteil Zollberg erstreckt.
Zwischen Waldheim- und Stuifenstraße befand sich während des Krieges ein Lager für russische Gefangene. Nach Kriegsende entstanden dort Holzbaracken als erste Unterkunft für Flüchtlinge aus den früheren deutschen Ostgebieten.
Die bereits 1936/37 erwogene Bebauung des Zollbergs mit Wohnungen wurde nun plötzlich wieder aktuell: es herrschte drängende Wohnungsnot, und die vielen Vertriebenen brauchten so schnell wie möglich eine feste Bleibe. 1952 fing die Planung für den neuen Stadtteil an, 1955 war Baubeginn, die ersten Mieter zogen 1956 in ihre Wohnungen ein.
Nach und nach entstand eine Siedlung mit Wohnblocks und Reihenhäusern, einigen Ein. und Zweifamilienhäusern, Kindergärten, Schulen und Läden.
Architektonisch interessant sind die beiden Kirchen: die kath. Kirche St. Augustinus und die ev. Christuskirche.
Der Ansprechpartner für die Belange des Stadtteils für die Stadtverwaltung und den Gemeinderat von Esslingen ist der Bürgerausschuss Zollberg. Auf der Stadtteilebene gestaltet der Bürgerausschuss das kommunale Leben mit.
