Auf einem felsigen Rücken über der Talferschlucht, am Eingang zum Sarntal nahe Bozen, ist Burg Rafenstein weithin sichtbar. Erbaut wurde die Burg im 13. Jahrhundert vom Trientner Bischof Friedrich von Wangen, um die Kontrolle über die Handelsbeziehungen zwischen Nord und Süd und die Herrschaft über Bozen in der Hand zu haben. Da hier ein wichtiger Handelsweg vorbeiführte war die Burganlage im Mittelalter und auch noch in der frühen Neuzeit sehr bedeutend.
Zu dieser Zeit bestand die Anlage lediglich aus einem Palas, einem niedrigen Bergfried und einer Ringmauer. Erst im 14. Jahrhundert wurde ein Zwinger, der Torturm und der Südtrakt hinzugefügt. Die bedeutendste Bauphase von Schoss Rafenstein gab es im 16. Jahrhundert. Die damals noch mittelalterliche Burg wurde im Stile der Spätgotik umgestaltet.
1357 war das Schloss Sitz des Franz von Ravenstein. Doch nach dem frühzeitigen Tod seines Sohnes ging der Besitz an die Familie von Goldegg über, später über Erbwege an die Weinecker. Von 1500 bis 1599 nannten sich die Besitzer Sigmund Gerstl und Hans Wueff, dann übernahmen die Grafen von Wolkenstein das Schloss. Erst im 19. Jahrhundert, als die Herren von Wolkenstein das Schloss nicht mehr bewohnten, wurde es dem Verfall überlassen.
Heute ist nur noch eine Ruine der damaligen Burg zu sehen. Die Burgruine ist sogar mit dem Auto erreichbar, jedoch ist ein Besuch im Inneren der Anlage nicht möglich, da diese nicht gesichert ist.