Um 1206 wird Wartenstein durch Abt Konrad von Zwiefalten als fester Stützpunkt des Klosters Pfäfers gebaut. Um 1206 wurde der Wohnturm gebaut, dem sich NW Nebengebäude anschlossen.

Erneuert Abt Hermann von Arban die Burg und baut eine Burgkapelle. Von nun an ist Wartenstein zeitweise Wohnsitz der Äbte.

Nach 1400 wurden diese abgerissen, ein Burghof gebaut und im Wohnturm das ebenerdige Tor als Eingang dazu ausgebrochen.
Später folgte der Bau der doppelwandigen Zisterne, an die sich bald ein weiteres Gebäude anschloss.

Zwischen 1506 und 1517 baut Abt Wilhelm von Fulach das Schloss aus und bewaffnet es zur Verteidigung mit 100 Armbrüsten und 700 Pfeilen.

Um 1531 empfängt Abt Johann Jakob Russinger, vorübergehend Anhänger der Reformation, auf Wartenstein Besucher, darunter wahrscheinlich auch der Reformator Zwingli.

Im Rahmen der neuen Klosterordnung von Abt Johannes Heider wird die Burg nach 1586 verlassen und beginnt zu zerfallen.

Beim Wiederaufbau des Klosters nach dem Brand von 1665 lässt Abt Bonifaz Tschupp Wartenstein zur Gewinnung von Baumaterial abbrechen.