V letech 1951-1956 procházel ústav hlubokým úpadkem. V době studené války se uvažovalo o jeho přeměně na kasárna protivzdušné obrany. Od myšlenky v původním rozsahu bylo nakonec z mnoha důvodů upuštěno, zvláště kvůli přeplněnosti zařízení, jež měla pražské pacienty převzít. Přesto ze všech 36 pavilonů mohl ústav nadále využívat jen 17, zbytek zabrala vojenská správa. Navracení pavilonů trvalo až do roku 1964.
Největší škody byly napáchány na kostele, který plnil funkci tělocvičny a posléze skladu vojenského materiálu. Většina vnitřního vybavení byla zdevastována nebo rozvezena do jiných kostelů. I po opuštění prostor armádou však kostel dále sloužil jako sklad či depozitář soch. Obnovy se dočkal až v roce 1990, kdy byl předán zpět léčebně.
