Le bâtiment le plus emblématique de Vilalba est la dernière tour restante du Castillo qui appartenait autrefois à la famille Andrade. La tour fait maintenant partie de la chaîne d'hôtels Parador, le reste du château a été détruit lors des premiers soulèvements des irmandiña.
Aussi connue sous le nom de "La Grande Guerre des Frères", les révoltes des Irmandiño ont eu lieu au XVe siècle en Galice contre les tentatives de la noblesse régionale de maintenir ses droits sur la paysannerie et la bourgeoisie (et par une série de mauvaises récoltes).
Les révoltes faisaient également partie du phénomène plus large des révoltes populaires dans l'Europe médiévale tardive, causées par les crises économiques et démographiques générales en Europe au cours des quatorzième et quinzième siècles. En Galice, cela signifiait la destruction de tout type de structure fortifiée appartenant à la noblesse ; plus de 130 châteaux ont été détruits. Le succès des révoltes d'Irmandiña a été mitigé ; la noblesse s'est enfuie en Castille où elle a rassemblé des renforts et est revenue pour se venger des chefs de la confrérie, mais peu de leurs anciens domaines et fiefs ont été reconstruits.
Les révoltes d'Irmandiña ont eu un impact considérable sur la vie des habitants de la Galice.