L'edificio più iconico di Vilalba è l'ultima torre rimasta del Castillo, un tempo di proprietà della famiglia Andrade. La torre fa ora parte della catena di hotel Parador, mentre il resto del castello fu distrutto durante le prime rivolte irmandiña.
Conosciute anche come "La Grande Guerra della Fratellanza", le rivolte irmandiño ebbero luogo nel XV secolo in Galizia contro i tentativi della nobiltà regionale di mantenere i propri diritti sui contadini e sulla borghesia (e a causa di una serie di cattivi raccolti).
Le rivolte facevano anche parte del più ampio fenomeno delle rivolte popolari nell'Europa tardo-medievale, causate dalla generale crisi economica e demografica che colpì l'Europa nel corso del XIV e XV secolo. In Galizia ciò significò la distruzione di qualsiasi tipo di struttura fortificata di proprietà della nobiltà; furono distrutti oltre 130 castelli. Il successo delle rivolte irmandiane fu alterno: la nobiltà fuggì in Castiglia dove raccolse rinforzi e tornò per vendicarsi dei leader della Confraternita, ma pochi dei loro possedimenti e delle loro roccaforti furono mai ricostruiti.