Natten til 9. april 1940 ble starten på en fem års lang ufrivillig fraflytting fra Skaugum, for kronprinsfamilien. To måneder etter 9. april var hele landet okkupert. Tyskerne øverste leder i Norge, Josef Terboven, tok til seg Skaugum som privatbolig.

Frem til 1945 ødela han mye på gården. Det ble anlagt en flystripe på et av jordene bak huset. Det ble bygget et vakttårn og en enorm tennis-hall. Bak huset ble det sprengt ut en dyp og stor bunker. Det ble bygget en ekstra terrasse på sydsiden av huset. Og som ikke alt dette var nok, natten til 14. oktober 1943 gikk brannalarmen nok en gang på Skaugum. En ny brann i andre etasje, denne gangen en sabotasjeaksjon som noen gjennomførte for å ta knekken på tyskernes leder i Norge, Josef Terboven.Brannen ble ikke oppdaget før den hadde tatt godt tak. Men brannvesenet ble raskt varslet, Terboven var uskadet og bygningen ble reparert med det samme.