La pequeña ermita de San Martín se encuentra en las faldas del cerro del mismo nombre, en cuya cumbre debió estar, con toda probabilidad, el primitivo asentamiento de Castilseco, establecido allí como una fortaleza pequeña, al igual que tantos otros en la Rioja.
Se trata de una ermita, o cueva artificial, formada por una cámara rectangular excavada en la roca. Actualmente, está abandonada y fuera de culto.
La cronología que más le conviene oscila entre el siglo IV y el VI, porque la primera impresión es que debió servir como lugar de culto al emplazamiento del cerro, es decir, al castillo, antes de que los habitantes bajaran al llano y construyeran un nuevo lugar con iglesia.
Tampoco podemos descartar que se hiciera después, cuando la gente estaba ya asentada en el llano, y en ese caso debió servir como centro de un pequeño complejo de monjes.