El palacio de los condes de Castellar fué la primera construcción que se realizó en el municipio, de ahí se contruyeron las casas hasta actualmente llegar casi al término del municipio. El palacio de los condes de Castellar se construyó en el siglo XVII y fué habitado por monjes de el pueblo, posteriórmente fué abandonado y al paso de los años en ruinas, hace unas décadas se restauró para que actualmente fuése la sede del Ayuntamiento de el Viso del Alcor, que acaba de cumplir un año en las nuevas instalaciones en el palacio de los condes de Castellar