Nedlouho na to, roku 1316, stihla klášter těžká pohroma. Za požáru, který vznikl v Židovském městě, byl celý klášter i s kostelem tak poškozen, že jej bylo nutno úplně přestavět. Této přestavby se ujali královští manželé.
Rychlý postup lucemburské přestavby, který nasvědčuje, že se přestavba zprvu držela základů původního konventu. Jak bylo obvyklé, započato bylo s přestavbou ve východním traktu kláštera. Již r. 1323 byla hotova a vysvěcena kaple sv. Anny, ležící při východním křídle ambitu. Doba pěti let, již si vyžádala stavba kaple, je příliš krátká na novostavbu poměrně rozsáhlé svatyně, dodnes v hmotě zachované, a tak nelze než se domnívat, že šlo více o rekonstrukci, než o novostavbu. Rovněž poloha tohoto východního traktu kláštera, odchýlená proti ostatní stavbě více k severozápadu, napovídá, že přestavba tu byla asi vázána starší dispozicí.
Velký požár, založený prý francouzskými paliči dne 21. června 1689 v Kaprové ulici v několika hodinách strávil větší část města židovského i Starého. Při tom bylo poškozeno i několik kostelů. Kostel a klášter sv. Jakuba byl z nich postižen nejvíce.
Neprodleně bylo započato s obnovou a přestavbou vyhořelých částí konventu. Nejdříve, již koncem r. 1689, byla provizorně upravena kaple sv. Anny při východním křídle ambitu, která se stala dočasnou klášterní svatyní.
Popis
V I. polovině 18. století ve východním křídle ambitu byl zevně do podoby portiku utvářen přístavek a dosavadní rameno ambitu bylo jako předsíň připojeno ke kapli sv. Anny. Tehdy také byly arkády tohoto ramene opatřeny okny a na jeho křížové klenbě vymalována malba představující skupinu poutníků, uctívajících postavu sv. Anny.
Vlastní kaple sv. Anny jest v půdorysu gotický obdélný prostor, uzavřený pěti stranami osmiúhelníku, na výšku probíhající oběma patry tohoto křídla klášterní budovy, sklenutý valeně. Barokní klenba je pokryta malbou Františka Vogeta z konce 30. let 18. století, v níž malíř znázornil Nejsvětější Trojici, kterou uctívá skupina pěti světců.
V druhé půli 19. století byla malba přemalována.
Na stěnách kaple jsou namalovány čtyři nezřetelné výjevy, patrně se vztahem k legendě sv. Anny, asi téhož původu jako malba nástropní.
Téhož původu jest i malba na zábradlí varhanní kruchty kaple. Jsou tu vymalovány emblémy, symbolizující ctnosti patronky kaple.
V hlavním oltáři je obraz sv. Rodiny ze 40. let 18. století.
Ve stěně vpravo jest zapuštěna náhrobní deska Zuzany Busové, manželky dvorního kapelníka Rudolfa II. z r. 1598.