Nichts an diesem Flachbau lässt erahnen, dass einst Jahrhunderte ein Patrizierhaus mit Turm und Hauskapelle dort stand, in dem sich drei Generationen lang eine Synagoge befand. 1841 wurde hier im sog. "Wollerhaus" feierlich die neue Synagoge eingeweiht - Ersatz für die Synagoge im Anwesen Hinter der Grieb 5. Der Gebetssaal mit Sitzplätzen für 50 Männer und eine Frauenempore war im Turm untergebracht. Im Nachbargebäude Untere Bachgasse 3, dem sog. "Steyrerhaus", gab es u. a. Schulräume, die Wohnung für den Lehrer sowie die Mikwe. Rasch wuchs die Gemeinde, daher reichten die Sitzplätze, speziell die schmale Frauenempore, nicht mehr aus. 1867 erfolgte eine Erweiterung der Synagoge und der Frauenempore.
Nicht weniger problematisch war die Bausubstanz, weil der Vitusbach damals noch offen durch die Gasse lief. Seit 1888 gab es Probleme: Ein Kerzenleuchter fiel von der Wand, der Rabbiner monierte die feuchten Wände, befürchtete eine "Versumpfung" des Hauses. Ein größeres Stück Außenputz löste sich aus der Fassade und verletzte einen Passanten. 1907 stürzten während des Gottesdienstes Teile des Verputzes von der Frauengalerie in den Betraum, woraufhin das Bauamt die Synagoge im selben Jahr für baufällig erklärte.
Nach dem Bezug der neuen Synagoge 1912 wurde der Zustand des nun ungenutzten Gebäudes immer prekärer, zuletzt verhinderten nur noch quer über die Bachgasse gespannte Stützbalken den Einsturz. Im Herbst 1938 begann der Abriss. Nur eine romanische Apsis im Hof, letzter Baurest einer frühen Kapelle, blieb verschont. 1946 entstand der schlichte Flachbau, den wir noch heute vor uns sehen.
