El edificio más emblemático de Vilalba es la última torre restante del Castillo que una vez fue propiedad de la familia Andrade. La torre es ahora parte de la cadena de hoteles Parador, el resto del castillo fue destruido durante los primeros levantamientos de irmandiña.
También conocidas como "La Gran Guerra de la Hermandad", las revueltas de Irmandiño tuvieron lugar en la Galicia del siglo XV contra los intentos de la nobleza regional de mantener sus derechos sobre el campesinado y la burguesía (y por una serie de malas cosechas).
Las revueltas también fueron parte del fenómeno más amplio de revueltas populares en la Europa medieval tardía causadas por las crisis económicas y demográficas generales en Europa durante los siglos XIV y XV. En Galicia supuso la destrucción de cualquier tipo de estructura fortificada propiedad de la nobleza; más de 130 castillos fueron destruidos. El éxito de las revueltas de Irmandiña fue mixto; la nobleza huyó a Castilla, donde reunieron refuerzos y regresaron para vengarse de los líderes de la Hermandad, pero pocas de sus antiguas fincas y fortalezas fueron reconstruidas.