Por Decreto de 10 de febrero de 1978, se acuerda que Garganta la Olla sea declarada Conjunto Histórico Artístico, debido al buen estado de conservación de su arquitectura popular, de entramado de madera y a sus casa señoriales.

Entre otros edificios representativos, destacan la Casa de la Seda, en ocasiones, residencia de los Duques de Alba y, posteriormente, en el siglo XVIII, Casa de Contratación de la Seda, de donde salían bellos hilos para confeccionar tejidos para la Corte.
La Casa de las Muñecas, su fachada, de color azul y las muñecas esculpidas en la jamba izquierda y en la cerradura, delatan que esta casa fue un prostíbulo, pues el color añil y las muñecas grabadas, diferenciaban esta casa de las demás.
El Edificio Concejil, en la Plaza Mayor, porticado y donde se encuentra la picota del suplicio, lugar donde se presentaba en público a quienes contradecían la Ley.
Otro edificio que merece un lugar destacado es la Iglesia de San Lorenzo, del siglo XVI, declarada Bien de Interés Cultural con categoría de Monumento.