Das Alte Rathaus wurde 1524 als städtisches Verwaltungsgebäude errichtet und diente seinem Zweck bis zur Einweihung eines Rathausneubaues am Markt im Jahre 1912. Im Jahre 1603 wurde der Glockenturm aufgesetzt. In ihm befindet sich die Glocke der 1485 gestifteten Lazaruskapelle. Im Laufe der Jahrhunderte wurde es mehrfach um- und ausgebaut und nach 1912 fanden hier die verschiedensten Einrichtungen Unterkunft.

Im Dezember 1992 wurde das Mietverhältnis mit der Allianz Versicherungs AG, dem letzten Mieter in der wechselvollen Geschichte der Nutzung dieses historischen Gebäudes, beendet.

Im Mai 1995 begannen umfangreiche Umbauarbeiten. Sicherungsmaßnahmen der Gebäudesubstanz waren bereits vorher erfolgt. In insgesamt vier Bauabschnitten von 1995 bis 2001 wurde das Gebäude zum Sitz des Stadtarchivs und der Historischen Bibliothek der Stadt Rudolstadt ausgebaut. Seit 2003 ist das Alte Rathaus für Nutzer und Besucher beider Einrichtungen und für öffentliche Veranstaltungen zugänglich.