Der Ursprung des Roßlaer Schlosses geht auf  einen karolingischen Reichshof zurück. Vom 12. bis 14. Jahrhundert sind verschiedene Ritter von Roßla belegt.

1216 wird ein Ritter Otto von Rosla als Burgvogt erwähnt.

Die Entstehung der Burg fällt vermutlich schon ins frühe Mittelalter

Diese wehrhafte Wasserburg, deren Erbauer wahrscheinlich die Grafen von Beichlingen und Rothenburg waren, bestand nach alten Aufzeichnungen aus 2 Teilen, dem Schloss und einem Vorhof mit Wirtschaftsgebäuden. Breite Wassergräben, die sich auf der Südseite zu einem Teich erweiterten, umgaben die ganze Burganlage.

Unter der Regierung des Grafen Botho I. zu Stolberg wurde die Burg im Jahre 1420 vermutlich wieder neu hergestellt.

1653 brannte ein Teil der Burg ab, bei dem großen Ortsbrand von 1656 blieb sie durch die schützenden Wassergräben von den Flammen verschont.

Während des Dreißigjährigen Krieges nahmen die Stäbe der durchziehenden Heere häufig Quartier auf der Burg.

1681 wurde unter der Herrschaft des Grafen Christoph Ludwig zu Stolberg die Burg umgebaut. Es ist anzunehmen, dass sie seit dieser Zeit als Schloss bezeichnet wurde.

Im Jahre 1706 nahm mit Graf Jost-Christian I. die durch Erbteilung neu gegründete Linie der Grafen zu Stolberg-Roßla ihren Hauptwohnsitz im Schloss. Roßla wurde Residenzort der unter kursächsischer Herrschaft stehenden Grafschaft Stolberg-Roßla.

1893 wird das Grafenhaus durch Kaiser Wilhelm II. in den Fürstenstand erhoben.