Antrojo pasaulinio karo metu (1944 m. spalio 9 dieną) Šilutę užėmę Raudonosios armijos daliniai apsistojo dvare, daugelis muziejaus eksponatų dingo arba buvo sunaudoti „karo reikmėms“. Frontui pasitraukus Šilutės vykdomojo komiteto pirmininku buvo paskirtas klaipėdiškis Horstas Toleikis. Jis 1945 m. vasario 19 d. pavedė savo pusbroliui Martynui Toleikiui sutvarkyti likusius muziejaus eksponatus. Tos pačios dienos M. Toleikio pranešime Šilutės apskrities vykdomajam komitetui rašoma: „[…] Per praėjusio karo audras tas muziejus buvo labai nukentėjęs. Didelė dalis eksponatų buvo suversta ant grindų ir sumaišyta su šiukšlėmis. Tad prisiėjo pirma atsargiai ir nuodugniai peržiūrėti visą kas ant grindų suversta ir tinkamus muziejui daiktus ir popierius nuvalyti“. 1945 m. rugsėjo mėn. muziejus buvo perduotas Lietuvos mokslų akademijos žinion, o M. Toleikis paskirtas Šilutės etnografinio muziejaus vyriausiuoju preparatoriumi.
Tuo metu pati vertingiausia dvarininko sukaupto archyvo dalis (dokumentai, spaudiniai) iš kuriamo Šilutės muziejaus buvo perduoti Lietuvos mokslų akademijos bibliotekai ir Nacionalinei M. Mažvydo bibliotekai.
1949 m. sausio 13-14 d. muziejus perėjo vietos vykdomojo komiteto kultūros-švietimo darbo skyriaus žinion. Muziejaus direktoriumi paskiriamas Martynas Jonaitis. Likusių surinktų ir sutvarkytų muziejinių vertybių pagrindu, buvo pradėta galvoti apie valstybei pavaldaus muziejaus steigimą. Deja, dvaro pastatas tuomet jau buvo atiduotas Šilutės rajono vykdomojo komiteto pagalbiniam ūkiui. Vėliau 1959-1985 m. dvaro komplekse buvo įkurtas Žemės ūkio technikumas. Pastatai pritaikyti mokyklos ir jos darbuotojų poreikiams. Dvaro rūmuose ir priestate įrengtos klasės ir kabinetai. Iš malkinės, ją sujungus su priestatu, padaryta mokinių valgykla ir virtuvė. Klėtyje įrengtas berniukų, o buvusioje kiaulidėje – mergaičių bendrabutis. Arklidės buvo paverstos sporto ir iškilmių sale, karvidėje įrengti kabinetai, garažas ir nedidelė salė, o tarnų name – biblioteka ir pan.
Tad muziejaus eksponatai buvo perkelti į pastatą (tuomet Partizanų g. 32, dabar Lietuvininkų g. 36), kuris iki karo priklausė arklių pirkliui Josefui Ritensui. 1949 m. lapkričio 7 d. buvo atidarytas Šilutės kraštotyros muziejus, kuriame buvo 718 eksponatų.
1965 m. Kultūros ministerijos įsakymu Šilutės kraštotyros muziejus tapo Klaipėdos kraštotyros muziejaus filialu. Reorganizacija muziejui buvo nenaudinga. Šio kultūriniu židiniu tapusio objekto padėtis dar labiau pablogėjo, kai 1972 m. Klaipėdos kraštotyros muziejus perėjo į Klaipėdos Vykdomojo komiteto pavaldumą. 1980 m. pagrindinės Šilutės kraštotyros muziejaus ekspozicijos buvo uždarytos.
1990 m. paskelbus Lietuvos nepriklausomybę, muziejaus steigėju tapo Šilutės rajono savivaldybė. 1993 m. lapkričio 1 d. muziejui buvo suteiktas naujas pavadinimas – Šilutės muziejus. Tuo laikotarpiu muziejuje paruoštos naujos ekspozicijos.
