Další růst židovské čtvrtě byl možný jen západním směrem, kolem nájemního knížecího hostince a za ním, zřejmě na úkor dosavadní křesťanské zástavby. Zde již vznikla přímá ulice (Sladová) s velkoryseji založenými domy, jejíž dvorní trakty a zahrádky ústily k ramenu řeky Dyje.
Po polovině 19. století s nabytím občanských práv se bohatší Židé stěhovali mimo židovskou čtvrť (zejména zakupovali domy na náměstí a hlavní ulici), která se naopak stávala útočištěm chudších vrstev obyvatelstva. Domy židovské čtvrtě bývaly od 80. let 18. století očíslovány, přičemž pro odlišení od křesťanské zástavby se používaly římské číslice. K přečíslování domů ve městě došlo v roce 1930. Vedle synagogy stojí dodnes budova bývalé židovské obecné školy (fungovala až do roku 1923). Židovská radnice se nacházela v domě Jateční č. 5, rituální očistná lázeň v domě Lázeňská č. 19.
Bývalé ghetto silně poškodily povodně ve 20. století (1909 a 1941) a největší ztráty přinesla 2. světová válka. Tehdy nenávratně zmizeli nejen původní obyvatelé, ale spojeneckým leteckým bombardováním dne 20. listopadu 1944 a přechodem fronty v dubnu 1945 byla poničena i podstatná část zástavby čtvrti. Dílo zkázy bylo dokonáno plošnou demolicí v 60. až 80. letech při výstavbě centra okresního města. Zbylé domy postupně prošly modernizační přestavbou. Z původního rozsahu 72 domů židovské čtvrti včetně synagogy jich dodnes přečkala menší část v severozápadní straně bývalého ghetta – 35 budov, ale specifická atmosféra židovské čtvrti je již nenávratně ztracena. Z urbanistického hlediska je dodnes pozoruhodný průchod v přízemí domu čp. 409 a úzké uličky kolem synagogy. Zaujmou i zbytky členěných fasád několika domů a venkovní vstupy do sklepů (u tří domů čp. 1108). K vidění jsou ještě zbytky dláždění ulic z nepravidelných žulových kamenů, tzv. kočičí hlavy.
PhDr. Alena Káňová