Zafra tuvo un primer castillo musulmán que se denomino Castellar y que fue levantado en la primera mitad del siglo XI. La población cayó en manos cristianas bajo el reinado de Alfonso IX en el año 1229 , volviendo a manos árabes hasta que Fernando III la reconquisto definitivamente en el año 1241. A finales del siglo XIV , y tras haber pertenecido a la Orden de Santiago , a doña María de Molina y a varias familias nobles , pasa a ser donada a don Gomez Suarez de Figueroa junto con Feria. Dicha familia construiría la muralla , construcción que se dilata desde el siglo XIV hasta el año 1442 , señor don Lorenzo Suarez de Figueroa el Magnifico. En el año1437 , según atestigua una lapida conmemorativa , es cuando se construye el alcázar o castillo-palacio , trabajos que finalizan en el año 1443 , según la inscripción que se puede leer en la torre del Homenaje.
En el siglo XVI sufre transformaciones para habilitarlo aun mas como residencia palaciega. En la guerra de la Independencia estuvo ocupado este castillo-palacio por las tropas francesas. Ya en el siglo XX fue instituto de Bachillerato hasta que fue convertido en Parador Nacional de Turismo , sufriendo transformaciones para habilitarle su nueva utilidad. En el año 1965 es declarada la villa de Zafra como Conjunto de Interés Histórico-Artístico. El castillo-palacio , que es de propiedad publica , tiene planta cuadrangular con tres cubos macizos de planta circular en el mismo numero de ángulos , mientras que el cuarto existe un cubo hueco de la misma planta. Posee además dos torres en dos de sus paños , macizas y de planta semicircular , y en los otros dos lienzos se levantan otras dos de la misma factura que flanquean el ingreso. En el ultimo paño y cubos están coronados por doble moldura decorativa y parapeto almenado con albardilla piramidal a cuatro aguas.
El ingreso se hace a través de una puerta con un arco de medio punto que se halla defendida por una ladronera aspillerada que se proyecta gracias a un matacán sobre cinco ordenes de modillones realizado en sillería de granito. El interior se articula en torno a un patio de doble galería de planta cuadrangular.
La torre del homenaje , de planta circular , tiene una base maciza y tres niveles : el primero es una cámara abovedada que tiene acceso desde las dependencias palaciegas ; el segundo , de mas elevación , esta a la altura de los adarves ; de este nivel parte una escalera que , construida en grosor del muro , nos lleva al ultimo nivel , el terrado , que muestra el mismo coronamiento que el resto de la fortaleza. Esta torre descuella en altura del resto de la fortificación teniendo un grosor mucho mayor.
Toda la fortificación esta construida con aparejo en mampostería con refuerzos de sillería en las partes nobles : vanos . Ingreso y ladroneras. La defensa se realizaba exclusivamente desde los adarves de los paños y de los terrados de los cubos , que poseen en sus almenas , curiosamente una si y otra no , saeteras con deriva interna niveladas con ladrillo como las molduras que decoran todo el perímetro.