Senere kom det nye eiere på Skaugum. På 1900-tallet var det en minister i regjeringen som eide gården, Fritz Wedel Jarlsberg. I 1929 solgte han gården til kong Haakon 7, som ga den videre i bryllupsgave til daværende kronprins Olav. Senere var det kronprins Harald og kronprinsesse Sonja som bodde på Skaugum. Skaugum er Haralds barndomshjem og han ble født der. Nå er det kronprins Haakon Magnus og Mette-Marit som bor på gården i Asker.

I tillegg til at kronprinsparet står på slottsbalkongen på 17. mai, marsjerer musikkorpsene og barna i Asker hvert år til Skaugum på nasjonaldagen.