Die Burg wurde im 11.Jh. durch die Herren von Hallwil gegründet. Die Hallwiler werden als Gefolgschaft der Lenzburger, der Kyburger und der Habsburger genannt. Sie verstanden es, sich ihre Unabhängigkeit zu bewahren und durch geschicktes Verhalten, verschiedene Lehen der Kyburger und Habsburger ihrem Eigengut hinzu zu fügen. Durch einen Ganerbenvertrag zwischen den 4 Brüdern, vermochten sie den Familienbesitz mehrere Jahrhunderte zusammen zu halten (Die Besitztümer wurden nur an männliche Nachkommen vererbt, die Weiblichen erhielten eine Abfindung. Dadurch wurde das Eigengut nicht gesplittet). Tatsächlich blieb der Besitz bis 1925 in den Händen der Familie.
Im 14.Jh. lehnte sich die Familie politisch stark an das Haus Habsburg-Österreich an. Im Sempacherkrieg hatten die Hallwiler deshalb grosse Verluste zu beklagen. Die Burg wurde im 14. und 15.Jh. mehrmals durch Feuer verwüstet.
Als 1415 die Eidgenossen den Aargau eroberten wurde die Burg ein Raub der Flammen. Thüring von Hallwil leistete den Bernern auf der Burg Wildegg (siehe dort) erbitterten Widerstand. Johannes VII, der bei der Schlacht von Murten die Vorhut angeführt hatte, erwarb 1486 Burg und Herrschaft Trostburg während seine Verwandten andere Sitze und Ländereien, kauften. Die Familie verzweigte sich bis ins Ausland, ohne dass die Beziehungen zur alten Heimat verloren gingen. Das Schloss wurde 1925 in eine Familienstiftung eingebunden die den Erhalt der Burg zum Ziel hatte. 1994 wurde die Burg an den Kanton Aargau verschenkt.