El señorío de las Cinco Villas (San Miguel de Serrezuela, Salmoral, Mancera de Yuso, Narros del Castillo y Gallegos de Solmirón) fue entregado por don García Álvarez de Toledo, I duque de Alba, a su hijo Pedro. Los Toledo costearon la iglesia como atestiguan sus escudos.
En el exterior la cornisa de la torre y la puerta principal están pometadas (poma, otra denominación de bola), también algunas ménsulas en el interior.