Zuerst befand sich an der Stelle an der das Schloss heute steht, ein Jagdhaus von Maximilian II.
Ende des 19. Jahrhunderts wurde es zu einem U-förmigen Gebäudekomplex erweitert, in dessen Mittelpunkt lag das Paradeschlafzimmer.
Es wurde die „Königliche Villa“ von Ludwig II. 1874 wurde die Außenfassade, ursprünglich aus Holz, mit einem Steinbau ummantelt.
Das alte Jagdhaus trug man ab und stellte es im Park wieder auf.

Später ergänzte man das Schloss noch durch den Spiegelsaal und das Treppenhaus. Ausgestattet wurde es im Stil des „Zweiten Rokoko“.