La struttura più antica, torre dei Giganti, mostra apparecchiature costruttive databili a prima del Mille; fu successivamente ampliato in età normanna, al cui impianto è attribuibile la torre quadra posta a sud est della piazza d'armi.
Ebbe un ruolo di primaria importanza in età sveva, a tale periodo è attribuibile il primo livello del corpo di fabbrica a nord ovest della torre dei Giganti, con un ampio vano coperto da quattro volte a crociera e pilastro centrale ("sala del Tesoro").
Durante il regno di Carlo I d'Angiò costituì uno dei nodi difensivi di Capitanata e ne vennero ampliate le fabbriche. L'ampliamento aragonese impegnò gran parte della sommità della rupe, sugli altri lati il fronte bastionato venne protetto con un ampio e profondo fossato scavato nella roccia, e attrezzato con due torrioni circolari scarpati sul versante a ovest ed un bastione a mandorla (1493) ad est, costruiti su disegno di Francesco di Giorgio Martini.