Mit dem Bau der heutigen Anlage wurde im 12. oder zu Beginn des 13. JH. begonnen. Auf dem Felsen hinter der heutigen Anlage wurde eine Burg errichtet.

Die Herren von Klingenberg waren Ministerale und einflussreiche Dienstmannen der Habsburger und stellten eine Reihe von bedeutenden Äbten, Bischöfen, Diplomaten, Ritter und Dichter. Wahrscheinlich waren sie verwandt mit den Herren von Hohenklingen, Altenklingen und Klingnau, jedoch ist nicht anzunehmen, dass sie verwandt waren mit den Freiherren von Klingen. Im 13. Jahrhundert starb der letzte Klingenberg aus diesem Stamm.

Ging durch Erbschaft die Herrschaft an Hermann von Breitenlandenberg, 1448 an Friedrich von Heidenheim, 1651 an das Kloster Muri,

Im Jahr 1444 wurde die Burg samt Mühle, Torggel und Stadel niedergebrannt. Einige Jahre später entstand der Ursprung des heutigen Schlosses.

Fiel ein Teil des Schlosses zusammen. Der Wiederaufbau war mit einer Restaurierung und Erweiterung verbunden. Fast gleichzeitig wurde mit dem Bau einer separaten Kappelle begonnen.

Von 1722 - 1724 wurde der Westflügel gebaut.

Das Schloss und die unvollendete Kappelle wurden 1695 erneut von einer Feuersbrunst heimgesucht. Nur wenige Tage später wurde mit dem Wiederaufbau begonnen.

Und von 1733 - 1736 folgte die Erweiterung zur Dreiflügelanlage

Wurde das Schloss ein weiteres Mal von Feuer heimgesucht.

Die vierflüglige Anlage wird seit dem 18. Jahrhundert auf zwei Seiten von einem Wassergraben gerahmt, der aber stets nur als architektonischer Schmuck diente. Die ehemaligen barocken Gartenanlagen mit Mauern und Pavillons im Süden und Westen sind längst verschwunden. Heute scheint sich das Schloss in den Schatten der vielen Bäume zu ducken.