Il primo nucleo è costituito da una cinta fortificata, di pianta quadrangolare, che costituisce la parte basamentale del nucleo centrale dell'attuale complesso castellano, la cui costruzione è riferibile al periodo bizantino.
Al periodo normanno è da ascrivere la realizzazione del vero e proprio castello (nucleo interno a quello attuale) con il muro perimetrale che segue il vecchio muro bizantino e la presenza di otto torri, disposte negli angoli e al centro dei lati del quadrangolo.
All'età federiciana è riferibile il recinto esterno con i grandi saloni disposti a nord.