Vor 1323 kam es zu gravierenden Veränderungen. In einem Schreiben vom gleichen Jahr bestätigte der böhmische König Johann von Luxemburg dem Kloster Ossegg, dass dessen Vermögenswerte und Rechte erhalten bleiben. Das bedeutet, dass zu diesem Zeitpunkt die Burg nicht mehr in den Händen der Riesenburger war, sondern ein königliches Lehen. Ende des 14. Jahrhunderts verfiel die Macht der Hrabischitzer. 1358 verkauften sie die Riesenburg schließlich an den Markgrafen von Meißen, dessen Macht in dieser Zeit immer mehr wuchs. Erst 1459 erhielt der böhmische König Georg von Podiebrad mit dem Vertrag von Eger die Burg zurück.

w:de:Burg Rýzmburk