- Zamek wznosi się na kamiennym wzgórzu. Mury obronne zostały wkomponowane w wapienne skały stanowiąc naturalne miejsce obronne
- W zapiskach historycznych nie ma dokładnych informacji kto i kiedy wybudował zamek. Pierwsze informacje źródłowe na temat zamku (wtedy nazywanego Bancowecz) pochodzą z 1389 roku
- Z pewnością zamek był jedną ze strażnic obronnych w systemie Orlich Gniazd
- W czasie „potopu szwedzkiego” warownia została zniszczona i zaczęła popadać w ruinę
- W ruinach zamku swoją kolonie mają nietoperze, a wśród nich podkowiec mały, który jest pod ścisłą ochroną
- Przyjęło się mówić Zamek Bąkowiec w Morsku, jednak faktycznie ruiny znajdują się w granicach administracyjnych Skarżyc (części Zawiercia)
- W okolicach Zamku Bąkowiec znajdują się ciekawe masywy skalne takie jak Okiennik Wielki, Skały Rzędkowickie czy Góra Zborów
