- Jan Długosz pisał o Rabsztynie – góra kamienna, słynna zamkiem pobliskim miastu Olkusz, otoczonym bogatymi złożami ołowiu
- Przyjmuje się, że nazwa Rabsztyn pochodzi od niemieckiego słowa Rabestein co w tłumaczeniu oznacza krucza skała
- W czasach Kazimierza Wielkiego na wzgórzu wśród wapiennych skał stała prawdopodobnie murowana strażnica
- Źródła historyczne nie podają kto i kiedy dokładnie wybudował zamek ale przyjmuje się, że fundatorem warowni był ród Toporczyków z Morawicy
- Przez lata warownia była rozbudowywana i składała się z zamku górnego, średniego, dolnego oraz renesansowego pałacu
- Zamek został zniszczony w czasie potopu szwedzkiego i już nigdy nie wrócił do dawnej świetności
- Podczas Powstania Listopadowego z tynków znajdujących się na zamkowych murach pozyskiwano saletrę, potrzebną do wytwarzania prochu strzelniczego
- Dzieła zniszczenia dopełnili „poszukiwacze skarbów”, którzy w XIX wieku wysadzili zachowane zamkowe mury
- W ruinach zamku kręcono sceny m.in. do filmu „Karol. Człowiek, który został papieżem”
- Dziś na terenie zamku organizowane są turnieje rycerskie
- Przy drodze prowadzącej do warowni stoi chata Antoniego Kocjana, wybitnego konstruktora szybowcowego (Czajka, Sroka, Sokół, Mewa i Orlik) i szefa wywiadu lotniczego AK, który odkrył tajemnice niemieckiej broni V1 i V2
- Na maszynach wybudowanych przez Kocjana ustanowiono wiele krajowych rekordów szybowcowych
