Die Grafen von Rapperswil herrschten als Schirmvögte des Klosters St. Gallen über dessen Güter «ennet dem Ricken». Durch Heirat gelangten diese Rechte dann um etwa 1200 herum an die Toggenburger. Das Uznaberggebiet kam so auf dem Weg einer Erbschaft an das Toggenburger Grafengeschlecht.

Das Gebiet nannte sich nun Grafschaft Uznach und wurde von der Burg Uznaberg aus regiert. Als Folge eines Erbstreites wurde diese 1268 von den Zürchern vollständig zerstört. Die Überreste stehen noch heute auf einem Felssporn an der Strasse nach Uznach. Auch unter dem neuen Regime der Grafen von Toggenburg hatten die Bewohner der Grafschaft weitgehende Freiheiten. 1436 starb der letzte Toggenburger ohne direkte Nachkommen.