El castillo fue construido por Diego de Almanza, regidor de Toro, quien lo entregó a su hija Francisca como dote en 1465, al casarse con Pedro Pimentel, hijo del Conde de Benavente.

A la muerte de ésta, sin descendencia, el castillo pasa a su hermana Constanza casada con Juan Enríquez de Guzmán y cuyo hijo Francisco será su primer marqués de Alcañices e instituirá mayorazgo con todas sus propiedades, incluyendo la fortaleza de Villavellid.

El pueblo se emplaza sobre un pequeño cerro en las estribaciones de los Montes Torozos, lo que constituye una magnífica atalaya sobre la gran llanura de la Tierra de Campos.