Da Olav overtok kongemakten i 1957, fortsatte han å bo på Skaugum en tid, mens Slottet ble pusset opp. Men etter kort tid, flyttet han inn. Skaugum ble da brukt som sommer og weekend-sted. Men i 1968 flyttet han for godt. Da overtok kronprinsparet Harald og Sonja. De bodde på Skaugum frem til sommeren 2001, og i 2002 flyttet Kronprins Haakon og Kronprinsesse Mette-Marit inn.

Kronprinsparets kuerI 1992 ble det bestemt at det skulle bygges et nytt fjøs på Skaugum. Det gamle fjøset var fra 1876. Fjøset hadde fått nytt utstyr, men var nedslitt, selvfølgelig, etter 115 år. Det nye fjøset ble 1 000 kvadratmeter stort. Det er bygget i en gammel byggestil. Inne i fjøset ble det plass til 120–130 dyr, hvorav 40 var melkekuer. Etter hvert fikk de flere kuer, og Skaugum var faktisk Askers største melkeprodusent med en kvote på 200 000 liter i året.

Men i 2010 sluttet kronprinsparet med gårdsdrift og husdyrhold. Kronprinsen skrev: – Det er med tungt hjerte vi har besluttet å avvikle husdyrholdet på Skaugum. Det har dessverre ikke lyktes oss å finne en forpakter til gården. Det har vært kvalifiserte søkere underveis, men etter mange runder har vi ikke klart å finne en løsning for videre melkeproduksjon. Mange konstruktive forslag til driftskonsept har heller ikke resultert i en løsning for videre husdyrhold på gården.

Driften av Skaugum gård hadde vært en økonomisk balansekunst i flere år. Gårdsbestyreren og de ansatte hadde fått utmerkelse fra Tine meierier for ekstra god melk sammenhengende i 10 år, og de hadde levert beste kvalitet på korn i så å si alle år. Men utgiftene ble for store til at produksjonen kunne dekke dem. Dermed var dét eventyret slutt.