Cuenta la tradición que cercado el castillo por los cristianos y habiéndoseles agotado a los moros los víveres que tenían, para hacer creer que todavía disponían de ellos, les arrojaron por la muralla una piel de toro cosida llena de trigo, lo que visto por los cristianos, les desanimó de tal manera que decidieron levantar el sitio.

Pero encontraron una anciana que les dijo que no se rindieran, que volvieran porque los hombres estaban en la huerta de Campos buscando comida y en el castillo sólo quedaban las moras. Siguiendo su consejo, regresaron. Las moras, al encontrarse solas, cubriéndose la cabeza con sayas, se tiraron por el precipicio.

Convencidos que la anciana era la Virgen, los cristianos construyeron en agradecimiento la ermita.

Los datos escritos más antiguos que se conocen son de 1603 y se refieren a ella como "Iglesia del castillo". Corresponde el siguiente fragmento a la amonestación que hace el Visitador al párroco por no haber celebrado en dicha ermita las misas preceptivas.

"Tiene obligación de decir misa en la iglesia del Castillo de Arenoso de quinze en quinze dias... y ... desde las fiestas de Navidat hasta el dia de Sant Pedro, en medio anyo, solo ha dicho dos missas en dicho Castillo ... por lo qual ... le condemno haciendole benignamente en veynte missas que dirá por los vezino de Campos..."

Aunque las casas de Campos pertenecían a todos los efectos a la villa de Puebla de Arenoso, dada su mayor proximidad al Castillo de Arenós, resultaba que la ermita cumplió para este poblado el papel de iglesia parroquial, al menos en un principio.

En escritos de 1699 ya se le denomina con la advoción a Ntra. Sra. de los Ángeles.

De una Visita de 1724 leemos:

"Visitó la hermita de Nuestra Señora de los Ángeles que está en la falda del castillo de Arenoso, la qual halló decente, con su Altar de la Virgen, ara y ornamentos para decir misa... por ser la Primitiva Parroquia, y antes tenía obligación el Retor de subir de quince en quince dias a celebrar Misa en dicha hermita..."

La obligación referida ya no regirá en el año 1724, ya que desde principios del siglo XVIII, el poblado de Campos tiene convertida su antigua ermita de San Pedro en parroquia exenta.