1489 stand der Rohbau. Die Stadt St.Gallen jedoch wehrte sich aus finanziellen Überlegungen gegen eine Verlegung des Klosters nach Rorschach und verbündete sich deshalb mit den Appenzellern. Es kam zum sogenannten Klosterbruch. Dabei führte der St.Galler Bürgermeister Ulrich Varnbühler am 28. Juli 1489 rund 2150 Mann auf Mariaberg, wo das Kloster gewaltsam besetzt und der Bau zerstört wurde. Im Februar 1490 wurden die St.Galler jedoch vom Heer der Schirmorte besiegt, unterschrieben einen Friedensvertrag und wurden zur Zahlung eines Schadenersatzes verpflichtet. Zudem verlor die Stadt sämtliche ausserhalb der Stadt gelegenen Besitzungen und Rechte, die grösstenteils an die Abtei des Klosters St.Gallen übergingen.
Bereits im September 1490, rund 15 Monate nach dem Klosterbruch, weihte der Konstanzer Weihbischof das renovierte Kloster auf Mariaberg wieder. Ein halbes Jahr später, am 13. März 1491, verstarb Abt Ulrich Rösch in Wil. Danach wurden die Bauarbeiten auf Mariaberg vorläufig eingestellt.
Der Nachfolger von Abt Ulrich, Abt Gotthard Giel von Glattbrugg, verzichtete auf den Klosterbau auf Mariaberg. Er beabsichtigte stattdessen die Anlage für die Statthalterei des Rorschacheramtes zu verwenden. Er und seine Nachfolger bauten und erweiterten die Anlage auf Mariaberg in den kommenden Jahrzehnten. Abt Giel von Glattbrugg liess am 13. Februar 1491 in Rorschach den ersten Korn- und Wochenmarkt abhalten, wodurch er Rorschach wirtschaftlich stärkte. Unter Abt Franz von Gaisberg (reg. 1504 bis 29) wurde das Gebäude zu einer kunstvollen Residenz für hohe Kirchenmänner ausgebaut.