Den mest ikoniske bygning i Vilalba er det sidste tilbageværende tårn af Castillo, der engang var ejet af Andrade-familien. Tårnet er nu en del af Parador-kæden af hoteller, resten af slottet blev ødelagt under de første irmandiña-opstande.
Irmandiño-opstandene, der også er kendt som "Den store broderskabskrig", fandt sted i Galicien i det 15. århundrede mod den regionale adels forsøg på at opretholde deres rettigheder over bønderne og borgerskabet (og på grund af en række dårlige afgrøder).
Oprørerne var også en del af det større fænomen med folkelige oprør i senmiddelalderens Europa forårsaget af de generelle økonomiske og demografiske kriser i Europa i det 14. og 15. århundrede. I Galicien betød det ødelæggelsen af enhver form for befæstet struktur ejet af adelen; over 130 slotte blev ødelagt. Succesen for Irmandiña-oprøret var blandet; adelen flygtede til Castilien, hvor de samlede forstærkninger og vendte tilbage for at hævne sig på Broderskabets ledere, men kun få af deres tidligere godser og fæstninger blev nogensinde genopbygget.