Frischenberg wird verschiedentlich als Vorburg der bedeutenderen, auf demselben Berggrat etwas höher liegenden Burg Hohensax bezeichnet, doch hatten die beiden Burgen oft unterschiedliche Besitzer und dienten als Verwaltungszentren für eigenständige Herrschaften. Unbestritten ist allerdings, dass Frischenberg die jüngere der beiden Burgen ist. Obwohl schriftliche Angaben fehlen, wird ihre Gründung allgemein Freiherr Heinrich Ulrich III. von Sax zugeschrieben. Dieser hatte 1313 seine Festung Wildenburg bei Wildhaus an die Grafen von Toggenburg verkauft und errichtete Frischenberg wohl kurz darauf als neues Verwaltungszentrum für die gleichnamige Herrschaft, die damals das Dorf Sax umfasste.

Als es in der zweiten Hälfte des 14. Jhdt. zum Familienstreit zwischen Ulrich Eberhard III. von Hohensax und seinen Neffen kam, musste Herzog Leopold von Österreich schlichtend eingreifen. 1393 konnte der Herzog die Burgen Hohensax und Frischenberg erwerben, gab sie den Saxern aber als Pfand zurück. 1405 besetzten die aufständischen Appenzeller die Burg, ohne ihr aber ernsthaften Schaden zuzufügen, weil die Freiherren von Sax ihrer Sache wohlgesonnen waren.

1411 kam Frischenberg durch Vererbung vorübergehend an die Herren von Bonstetten. 1446 zogen die Appenzeller abermals vor die Burg, die diesmal zusammen mit Hohensax eingeäschert wurde. Der damalige Burgherr floh nach Feldkirch und verkaufte die besetzte Herrschaft 1454 seinem Vetter, Albrecht V. von Hohensax.

Nach dem Abzug der Appenzeller wurde das St.Galler Rheintal und damit auch Frischenberg den Eidgenossen übergeben. Weil Freiherr Ulrich IX. von Sax im 1499 im Schwabenkrieg (oder Schweizerkrieg) die eidgenössischen Truppen bei Frastanz zum Sieg über die Kaiserlichen führte, erhielt er Frischenberg als Belohnung zurück. Die Burg Frischenberg dürfte damals noch bewohnbar gewesen sein. Aufgegeben wurde sie aber spätestens 1551, als Freiherr Ulrich Philipp von Sax unten im Dorf ein Schlösschen als neues Verwaltungszentrum der Herrschaft erbaute. Die Burg zerfiel nun und wurde später durch einen am Burgfelsen betriebenen Steinbruch schwer beschädigt.

Wurde eine Stiftung gegründet, mit dem Ziel, die vom endgültigen Zerfall bedrohten Burgen Frischenberg und Hohensax zu sichern. Der dafür nötige Kredit wurde 1995 von der Gemeinde jedoch abgelehnt.