Dimas Pérez en la obra Corpus de Castillos Medievales de Castilla dice acerca de Montalbo: Hay restos de un antiguo castillo junto a la iglesia, desde el cual se ejercía señorío sobre la comarca cercana formada por los pueblos de El Hito, Villar de Cañas y Villarejo de Fuentes. Pero la pugna con otros señores, especialmente con los Marquese de Villena, vino a significar la decadencia de Montalbo y la casi total ruina de su castillo, propiedad del Duque de Granada.
Pascual Madoz, en su diccionario dice: A doscientos pasos del pueblo y en un cerro que le domina por la parte Sur, se ven las ruinas de un castillo de construcción árabe, perteneciente al actual Duque de Granada.