V 16. století došlo k rozšíření hradu - na východní straně byl vystavěn dvoupatrový renesanční palác.
Za husitských válek se hradu násilím zmocnil husitský hejtman Jakoubek z Vřesovic a podnikal odtud drancovací a rabovací jízdy - tzv. spanilé jízdy - do Loketska, Chebska a Bavor.
Dalšími majiteli hradu se stal rod Šliků a později Jindřich III. z Plavna.
Na konci 16. století koupili hrad páni z Felzu, avšak bydleli na novém zámku v Kysibelu a na nepohodlný a nepřístupný hrad se uchylovali s rodinou pouze v dobách řádění moru. V roce 1635 byl hrad i s podhradím vydrancován Švédy, následně za Černínů podsoupil částečnou opravu, avšak veliký požár v roce 1718 jej zcela zničil.

Další pověst o založení hradu hovoří o tom, jak anglický král Tristan zachránil na lovu malého chlapce, jehož matka byla zabita medvědem. Hoch byl pojmenován Richard Medvědí Pracka a vyrůstal na hradě společně s královou dcerou Albínou, do které se později zamiloval. A protože nenašel odvahu požádat Tristana o její ruku, uprchli spolu do míst dnešní Andělské hory. Albína byla velice laskavá a dobrotivá, mezi lidmi se jí začalo říkat Anděl a jejich hradu Andělská hora. Albína neustále toužila po usmíření se svým otcem, avšak Richard o ničem takovém nechtěl ani slyšet.
Král Tristan po dlouhém pátrání zjistil, kde se jeho dcera nachází. S početnou vojenskou družinou se do oněch míst vydal. Dozvěděl se, že Albína již delší dobu prahla po usmíření, které si ovšem Richard nepřál. Proto hrad oblehl a začal jej dobývat. Když Richard poznal, že prohrává, snažil se svou ženu otrávit jedem, avšak omylem vyměnil poháry a sám vypil smrtící nápoj. Albína se poté spolu s otcem vrátila zpět do Anglie.