Esta construcción se levanta en un promontorio ubicado en un lugar que tuvo importancia como espacio que servía para comunicar diferentes zonas ya desde la Edad del Hierro. Ya que acrecentó esta importancia en época romana.

Una vez que el mundo romano decae, posiblemente lo sustituye un centro religioso de posible origen tardovisigodo, complementado seguramente por un grupo de ermitas dispersos por los alrededores. Este hecho concuerda en parte con las leyendas arlantinas expresadas en el Poema de Fernán González (s. XIII) relacionadas con la figura del conde soberano de Castilla. Con esta relación con la familia condal se vincula el dudoso documento de fundación del monasterio de San Pedro el año 912. La leyenda quiere que, persiguiendo al jabalí, el conde castellano se introdujo en la ermita y allí encontró a los ermitaños Pelayo, Silvano y Arsenio, para quienes con posterioridad construye un monasterio mayor (tal vez el situado sobre el emplazamiento del actual).

Hay numerosas dudas en relación al origen del monasterio de San Pedro de Arlanza, sobre todo en torno al documento del año 912. La mayor parte de los historiadores coinciden en suponer que el origen del mismo se debe buscar en el centro de culto de la laura de ermitas del entorno que muy bien pudo ser la ermita que nos ocupa. Por tanto en este templo es, con cierta probabilidad, donde se encuentran los primeros pasos del posterior gran monasterio de San Pedro de Arlanza, engrandecido y destacado por el rey Fernando I, verdadero valedor e impulsor de su señorío.

La ermita presenta varias etapas en su construcción: prerrománica, románica, gótica y barroca fundamentalmente. Puesto que es la primera la que marca y define el futuro y las etapas posteriores se acomodan en lo esencial al templo primero, será únicamente ella la que trataremos en esta ocasión. La planta de la nave responde a los usos habituales en los templos prerrománicos de finales del siglo IX o realizados en la centuria siguiente. Es un aula de planta de salón, básicamente rectangular (14 x 7,5 m.), muros de piedra sillería con aparejo irregular de diferentes épocas (aunque la solera es la propiamente prerrománica) y cubierta -que suponemos fue de entramado de madera. Tuvo, como sucede en San Vicente del Valle y la cercana Santa Cecilia, dos puertas abiertas en el muro sur, la una coincidente con la actual románica y otra practicada casi en el ángulo E del muro. En el testero este abre dos vanos asaeteados de los que sólo quedan las jambas con el remate como se puede comprobar tanto en el interior como en el exterior.

El ábside tiende a ser rectangular en el exterior (2,9 x 3,35 m.) y cuadrado en el interior (2,40 x 2,45 m.), los muros son de piedra sillería (sillares bastante grandes) y la cubierta de bóveda sobre pechinas.

En el muro oriental se abre una ventana, tallada en dos sillares, que se remata en arco de medio punto y presenta un ligero abocinamiento. Es la parte del templo que conserva mejor la estructura primitiva de todo el conjunto y la que nos sirve de punto de referencia para compararlo con algunos de los edificios del mismo estilo. Hay muchas similitudes entre las formas y los conceptos de cubrición de los ábsides de San Vicente del Valle, San Félix de Oca, Santa Cecilia y San Pelayo o Pedro el Viejo de Arlanza. Parece que todos ellos pudieran ser herederos de una tradición y corresponder a una etapa de recuperación y reconstrucción de centros de culto anteriores, datable en las décadas finales del siglo IX. Incluso presentan algunas analogías con la propia Quintanilla de las Viñas, tanto en la cubierta como en la articulación de los paramentos y en la forma de engarzar el ábside con el muro este del aula (nave del templo).