Ocupado hacia el año 1200 a.C. Quizás como atalaya para controlar el valle del Corneja.
Durante los siglos IV-V, periodo de inestabilidad en la Península Ibérica en el que decae el control de Roma sobre el Imperio y campan a sus anchas bandas de salteadores, muchos hispanorromanos se asienten en lugares de fácil defensa, como El Mirón. La muralla medieval se asienta sobre restos de una muralla romana.
La villa de El Mirón formó parte, junto con La Horcajada, Piedrahita y Barco de Ávila, del Señorío de Corneja o Valdecorneja, constituido por Alfonso X en 1254 para su hermano Felipe.
Castillo de los Moros (XII-XIII) se compone de una muralla, una torre, una construcción doméstica y una pequeña iglesia.
Castillo acondicionado para la visita pública. Abierto todos los días del año.