Benannt ist es nach dem württembergischen König Wilhelm I., der für das junge, durch zahlreiche katholische Gebiete erweiterte Königreich Württemberg 1817 neben einer Katholisch-theologischen Fakultät an der Universität das Wilhelmsstift als Priesterseminar einrichten ließ. Das Renaissancegebäude war an der Stelle des 1535 aufgelösten und 1540 niedergebrannten Franziskanerklosters von 1588 bis 1592 durch Baumeister Georg Beer und seinen Helfer Heinrich Schickhardt errichtet worden.
Über dem Eingang am südöstlichen Portal an der Ecke Collegiumsgasse/Lange Gasse ist neben dem viergeteilten württembergischen Wappen aus der Zeit Herzog Ludwigs von 1593 zu lesen: „Hie sollin studiern zu jeder Zeit, Herrn vom Adel und ander Leut.“ Zunächst als Ausbildungsstätte für Staats- und höhere Verwaltungsbeamte geplant fanden ab 1596 die „ander Leut“ in der exklusiven Adelsakademie keine Aufnahme mehr. Protestantische Adelssöhne aus ganz Europa wurden fortan im „Collegium illustre“ in Fächern wie „Leibes- und Hofexercitien“, Politik, Naturwissenschaften, moderne Fremdsprachen, Reiten, Fechten, Tanzen und Tennis unterrichtet.
