Ein erstes Schloss wurde vermutlich im 11. bis 13. Jahrhundert erbaut. Der heutige Schlosskomplex zeigt Gebäude verschiedenen Alters und unterschiedlicher Stilrichtungen. Den ältesten Teil bildet die südöstliche Ecke mit Gebäuden in gotischen Stylformen, die im 15. und 16.

Ins 12. Jahrhundert reicht auch der Bau einer Kapelle zurück. Von der alten Burg blieb recht wenig erhalten. Im Lauf der Jahrhunderte wurde sie mehrmals umgebaut und vergrössert.

Den letzten grossen Umbau erlebte sie gegen 1500

Es schlossen sich die Herren von Colombier eng an die Grafen von Neuenburg an. Erstaunlich dabei ist die Tatsache, dass sie neben den mächtigen Nachbarn und Beschützern ihre Unabhängigkeit bewahren konnten.

Als der männliche Stamm 1488 erlosch, gelangten Schloss und Herrschaft mit der Erbtochter an die Herren von Chauvirey aus Burgund. Diese brachen die alte Burg ab und begannen den Neubau des Schlosses.

Nach dem Tod von Marie von Orleans, Prinzessin von Neuenburg und von Valangin,  ging das Fürstentum von Neuenburg, darunter auch Colombier, zu Preussen über. 1806 gab Napoleon es dem französischen Marschall, Berthier. Aber im Wiener Kongress in 1815 wurde Neuenburg zum Schweizer Kanton, aber blieb preussisches Fürstentum.

Schliesslich in 1848 befreite sich der Kanton Neuenburg von jeder Verbindung mit Preussen.

Kurz danach wurde das Schloss in eine Kaserne umgewandelt. Eine Assoziation unternahm die Restaurierung, indem sie dort ein Museum einrichtete. Man bestaunt besonders den weiten Rittersaal, der im Jahre 1919 mit Fresken von Maler Charles L'Eplattenier geschmückt wurde.

(ehem.) Besitzer:Marie von Bourbon, Hans Jakob von Wattenwyl, Herren von Chauvirey, Herren von Colombier, Marie von Orleans, Marschall, Berthier