La historia de Albaida se remonta a los turdetanos, quienes la denomimaron Kaelia. Fue un centro importante en la época romana, hasta el punto de acuñar moneda propia. Su actual nombre es una derivación del que le dieron los mulsumanes, Al -bayda (la blanca). Después de la conquista de Sevilla, pasó a formar parte de los terrenos cedidos al infante Don Fadrique, conservándose aún en la actualidad la torre que así lo confirma. Posteriormente perteneció al Cabildo Catedralicio de la Provincia, hasta que en el siglo XVII pasó a formar parte del señorío de los Conde-Duques de Olivares.