Klitgården blev i 1914 opført af den daværende Kong Christian den X som privat feriebolig for den kongelige familie. Klitgården er tegnet af en af datidens kendteste arkitekter, Ulrik Plesner, der har tegnet adskillige bygninger i Skagen og i København. Efter kongens død i 1947 blev Klitgården – eller Kongevillaen som den kaldtes af mange i Skagen – ofte benyttet af Dronning Alexandrine. Ved hendes død overtog Arveprins Knud Klitgården. Klitgården forblev i familiens eje indtil sommeren 1997, hvor arvingerne efter Arveprins Knud og Arveprinsesse Caroline Mathilde solgte ejendommen til Klitgården Fonden.