In der Nähe von Aarberg führte eine Römerstrasse durch. Ob Aarberg auch bei den Römern eine Rolle spielte bleibt wohl ein Geheimnis der Geschichte. Eine Römermünze und Ziegel aus der Römerzeit wurden in Aarberg gefunden.

Der Erbauer dieser Ritterburg ist nicht bekannt; doch gehörte das dortige Gebiet schon im 12. Jahrhundert dem Grafengeschlechte von Neuenburg und Ulrich III und sein gleichnamiger Sohn werden hier zeitweilig gewohnt haben.

Ums Jahr 1220 wurde von Graf Ulrich auf der felsbewehrten Kuppe an der Aare das Städtchen Aarberg, ein wichtiger Brückenkopf und Verkehrspunkt, angelegt. Nun ist auszudenken, dass im Laufe der Zeit die gräflichen Stadtherren sich einen besondern Wohnsitz, eine neue Burg, im Städtchen anlegten,

Graf Peter von Aarberg führte gerne Fehden. Dies brachte ihn in arge Geldschwierigkeiten. Er muss Aarberg für 4000 Gulden an Bern verpachten. In späteren Jahren wird er 6000 Gulden dafür verlangen.

Dieses Schloss, seit 1358 bzw. 1379 Sitz des bernischen Landvogts, hatte um 1380 eine neue Schindelbedachung erhalten,

Verbrannte 1419 mitsamt dem übrigen Städtchen und wurde 1477 nochmals von Feuer heimgesucht.

Wohl in der ersten Hälfte des 16. Jahrhunderts entstand dann als neuer Landvogtsitz das heutige "Schloss" (Amthaus), ein typischer bernischer Renaissancebau mit hohem, stark vorspringendem Dach und dem üblichen sechseckigen Treppenturm an der Südwestfront.

Die Bewirtschaftung des Schlossgutes wird von den Landvögten aufgegeben.

Der Bau erhielt um 1803 neue Fenstereinteilungen.