I følge kildene startet planleggingen av et nytt bygg allerede dagen etter. Den store arkitekten Arnstein Arneberg fikk oppdraget, og bygget sto ferdig i 1932, to år etter brannen. Den nye bygningen ble oppført i mur, og i vinkel, med en lang hovedfløy mot hagen. Begge fløyene har slake ”valmtak”. Valmtak er skråtak der takflatene skråner jevnt ned til alle fire sider. I 1932 kunne Kronprins Olav og Kronprinsesse Märtha ta det nye huset i bruk.Terboven begikk selvmord på SkaugumUnder andre verdenskrig ble Skaugum brukt som bolig av den tyske Reichskommissar Josef Terboven, og ble i denne perioden betydelig vandalisert.