Das Städtchen Moudon (deutsch: Milden) reicht  in seinen Anfängen bis in frühgeschichtliche Zeiten zurück. Eine römische Ansiedlung wird durch zahlreiche Bodenfunde, insbesondere durch Inschriften, belegt.

Gehörte Moudon  zum Fiskalgut der Könige von Hochburgund. Eine Befestigungsanlage im oberen Teil der nachmaligen Stadt, mag schon damals bestanden haben. Die heute noch erhaltenen Wehranlage sind allerdings ausnahmslos jüngeren Datums. Typologisch passt das Bauwerk an besten zu den mächtigen Donjons, die im ausgehenden 12 Jh. unter den Zähringern entstanden sind (Nydegg in Bern, Thun, Burgdorf).

In dem mächtigen Turmbau spiegelt sich die bewegte Geschichte des Ortes Moudon. 1011 übertrug König Rudolf der Faule von Hochburgund den offenbar bereits befestigten Platz von Moudon dem Bischof von Lausanne. Dieser konnte sich aber des Besitzes nicht lange erfreuen, den im 12 Jh. ging Moudon an die Grafen von Genevois, die damals mächtigen Herren im Waadtland wahren.

Als im späten 12 Jh. die Herzöge von Zähringen aus dem Aareraum in das Waadtland vorstiessen, wurde Moudon ihr wichtigster Stützpunkt.

Herzog Berchtold V. territorialpolitische Pläne in der Waadt kreuzten sich mit den Interessen der Grafen von Savoyen, was zu einem jahrelangen Konflikt führte.

Den weit vorgeschobenen Stützpunkt Moudon vermochte der Zähringer nicht zu halten. Thomas von Savoyen scheint sich um 1207 des festen Platzes bemächtigt zu haben.

Nach dem Aussterben der Zähringer machte ihm (Thomas von Savoyen) niemand mehr den Besitz streitig, der fortan als Lehen des Bistums Lausanne in savoyischer Hand blieb.

Unter dem Grafen von Savoyen erlebte Moudon eine lange Blütezeit. die Burg bildete den Wohn- und Amtssitz der  savoyischen Beamten.

Schwere Schaden nach dem Zeitalter der Burgunderkriege (1475/76) als die Berner plündernd das Waadtland durchzogen

Gegen die Eroberung der Waadt durch die Stadt Bern im Jahre 1536 setzte sich Moudon nicht  zur Wehr, Damals dürfte die Burg von Moudon verlassen und dem Zerfall preisgegeben worden sein.