La ermita del Arroyal fue construida en el siglo XVII. El templo es de planta rectangular y está formada por una sola nave.

El presbiterio se encuentra elevado con respecto al suelo de la iglesia. El tejado interior lo compone un artesonado de madera de pino de gran valor.
Junto a la ermita y protegiendo a ésta, se encuentra la vivienda sencilla del ermitaño. Al poniente de la ermita se sitúa lo que fue establo de ganado, donde se guardaba el rebaño de cabras del ermitaño, y en tiempos el que también fue rebaño de ovejas de Nuestra Señora.
La explanada de acceso a Nuestra Señora y a la casa del ermitaño, está apoyada en un muro de piedra formando un circuito cerrado que ha tenido la finalidad de ser la huerta del ermitaño; lo atraviesa un arroyo con agua permanente.
La obra de cantería de la ermita y la de ejecución del retablo del altar mayor, figuran en los libros parroquiales como ejecutada por Maestros Montañeses.
Gracias a los ermitaños que habitaron dicha vivienda y a la concordia que realizaron en el siglo XVII las parroquias de Palacios, Vilviestre y Moncalvillo de celebración de las fiestas mayores de la Virgen, podemos reconocer la gran devoción que ha existido por Nuestra Señora del Arroyal. Muy cerca de la pared este de la ermita, se encuentra una fuente de agua.