Die dem heiligen Andreas geweihte Stadtkirche am östlichen Ausläufer des Rudolstädter Burgberges hatte bereits im 12. Jahrhundert einen Vorgängerbau, der nach zeitgenössischen Urkunden Mutterkirche mehrerer Dörfer der Umgebung war. Nach erhalten gebliebenen Ablaßbriefen fanden 1316 und 1332 Bauarbeiten statt. Alle weiteren Bauarbeiten bis ins 17. Jh. führten zu keinem Befriedigenden Ergebnis. Deshalb beschloß der 1634 zur Regierung gelangte Graf Ludwig Günther I. von Schwarzburg-Rudolstadt eine grundlegende Renovierung des Gotteshauses. Trotz der Wirren des Dreißigjährigen Krieges gelang es unter der Bauleitung von Jacob Huber aus Gera, in zwei Jahren bis 1636 den Innenraum vollständig umzugestalten. Am 15. März 1636 wurde die Kirche feierlichst eingeweiht.

Die im oberen Glockenstuhl hängende, 1499 gegossene Glocke Osanna soll Friedrich Schiller zu seiner Ballade "Lied von der Glocke" insprieriert haben.