Según consta en los archivos del pueblo el castillo tiene su origen a principios del siglo XIII, construido a manos de los árabes primero y que luego en el año 1220 después de luchar en la batalla de las Navas de Tolosa vino a parar a manos del príncipe leonés Sancho Fernández, el cual murió durante una cacería bajo las garra de un oso. Más tarde, a mediados del siglo XV la fortaleza llega a manos de Diego de Orellana, este se convierte en un bandido y un saqueador, motivo por el cual el rey Enrique IV ordena el derribo y la prohibición de no volver a construir ni castillo, ni fortaleza, ni edificio de ningún tipo en el lugar.
Nuestros antepasados nos contaban historias y leyendas de distintas épocas a lo largo de la historia del castillo y sus moradores, mi abuela me contaba que su abuela le contaba que aún se escuchaban historias de cuando los musulmanes merodeaban por el pueblo y la forma de sus rezos para cumplir con su religión. Otras leyendas que llegaron hasta nuestros días nos contaban donde se encontraban los mapas de sangre, los cuales era como unos planos de las galerías que bajaban de la cueva de la mora hacia varios lugares del pueblo, una de ellas se dice que bajaba hasta el mismísimo charco de la arena y que había que tener mucho cuidado durante el baño, ya que algunas veces esa galería formaba como un especie de remolino que podía succionarte.
Una ruta para visitar y revivir con la imaginación unos tiempos pasados y de los que apenas quedan unas ruinas y una cueva llenita de piedras, ruta que seguiremos para visitar el dolmen del mirador y las pinturas rupestres de la cueva de la Rosa y el abrigo de los vencejos.