A l’origine, elle est appelée « Synagogue du Jubilée », sa construction coïncidant avec les cinquante ans de règne de l’Empereur François-Joseph. Son nom change après l’indépendance de la Tchécoslovaquie, pour devenir la Synagogue Jérusalem, située à Jeruzalémská 7. La rue doit son nom à l’église Jérusalem, ancienne chapelle Saint-Henri, qui se trouve à proximité.

Les travaux prenant fin le 1er septembre 1906, elle est inaugurée le 16 septembre avant Rosh Hashana. Construite par Alois Richter, elle est conçue par Wilhlem Stiassny, un architecte juif viennois réputé pour la construction des synagogues.