Il Castello fu probabilmente eretto nel periodo normanno; appare per la prima volta citato nel 1202.
L'intervento federiciano è testimoniato dal corpo di fabbrica, posto sul lato sud, sulle cui due finestre, all'interno di lunette, è il simbolo dell'aquila sveva.
I maggiori interventi sono da attribuire al periodo angioino, mentre, in età aragonese (1458-1481) si ebbe il rafforzamento della mura esterne.
Con Carlo V, con progetto attribuito all'ingegnere militare Evangelista Menga, (progettista del castello di Copertino e di Mola di Bari) si perviene alla configurazione attuale: impianto quadrangolare con quattro bastioni a lancia angolari e aperture di fuoco lungo le cortine.
Attualmente è sede del Museo Civico, della Biblioteca Comunale e dell'Azienda di Soggiorno e Turismo.