Das markanteste Gebäude in Vilalba ist der letzte übriggebliebene Turm des Castillo, der einst der Familie Andrade gehörte. Der Turm ist heute Teil der Parador-Hotelkette, der Rest der Burg wurde während der ersten Irmandiña-Aufstände zerstört. A
uch bekannt als "der große Bruderkrieg" fand die Irmandiño-Revolte in Galicien im 15. Jahrhundert statt, ausgelöst durch eine Reihe von Missernten und gegen Versuche des regionalen Adels, seine Vorrechte über Bauern und Bürger aufrecht zu erhalten.
Die Aufstände waren auch ein Teil des größeren Phänomens der Bauernaufstände im spätmittelalterlichen Europa, die durch die allgemeinen wirtschaftlichen und demographischen Krisen in Europa im 14. und 15. Jahrhundert verursacht wurden. In Galicien bedeutete dies die Zerstörung jeder Art von befestigten Bauwerken des Adels; über 130 Burgen wurden zerstört. Der Erfolg der Irmandiña-Revolten war gemischt; der Adel floh nach Kastilien, wo sie Verstärkung sammelten und zurückkehrten um Rache an den Führern der Bruderschaft zu nehmen, aber nur wenige ihrer ehemaligen Güter und Bollwerke wurden jemals wieder aufgebaut.