Der älteste Teil des Gebäudes diente den Lehensherren von Toggenburg als Wehrturm. Der Turm muss im 12./13. Jahrhundert aufgebaut worden sein, umgeben von Mauer, Wall und Graben, während das Wohnhaus als Anbau an den Turm von einem viel späteren Besitzer errichtet wurde.

In den Jahren 1286 und 1311 wurde Jakob der Bettler als Inhaber erwähnt und blieb bis 1403 im Besitz des Geschlechts der Bettler.

Über mehrere Verkäufe und Erbgänge gelangte die Burg schliesslich 1580 an die Familie Breitenlandenberg, die ihr den Namen Barbenstein gab.

Unter Ulrich von Breitenlandenberg wurde das Schloss 1601 bis 1610 auf die heutigen Grundrisse gebaut.

Nach den Wirren des dreissigjährigen Krieges verarmte das Geschlecht, weshalb die Herrschaft Herdern in den Besitz des Luzerner Klosters St. Urban gelangte. Als Residenz des Statthalters musste es – ausgebaut in ein barockes Schloss – fortan die klösterlichen Repräsentationsbedürfnisse erfüllen. Damals bekam der Turm seine heutige, achteckige Form mit der Zwiebelhaube.

Im 18. Jh. veränderte sich das Schloss kaum. Nach Aufhebung des Klosters St. Urban übernahm der Kanton Luzern das Schloss Herdern inklusive der Ländereien. Dieser verkaufte schliesslich den gesamten Besitz an die Herren Burckhardt-Preiswerk aus Basel, die als Landjunker zwischen 1848 und 1860 erfolgreich Landwirtschaft betrieben.

Bis zum Kauf des Schlossgutes 1895 durch den Verein «Arbeitskolonie Herdern» wechselten die Besitzer noch mehrmals.

Unter dem Vorsitz von Professor Kesselring wurde 1892 in Zürich der Verein für die Arbeiterkolonie Herdern gegründet. Mit dem Motto «Arbeit statt Almosen» sollten die «Tippelbrüder» oder «Brüder der Landstrasse» zu regelmässiger und nützlicher Arbeit erzogen werden. Zu diesem Zweck wurde das Schloss Herdern 1895 erworben. Nach einer Umbauphase wurde am 1. November der Betrieb aufgenommen. 108 Männer fanden damals Platz in der Kolonie Herdern.