Il castello fu ricostruito intorno al 1230 su una precedente struttura normanna.
Ha pianta rettangolare, ed il lato meridionale caratterizzato da due imponenti torri quadrate non allineate alla cortina, una delle quali è detta dell'Imperatrice, in ricordo di Bianca Lancia relegata a Gioia in quanto sospettata da Federico di tradimento.
L'apparato delle cortine e delle torri è caratterizzato da bugne a bauletto in carparo rosso, su cui si evidenziano spigoli e raggiere di bugne piatte, in carparo chiaro, disposte intorno alle monofore.
Le ali abitative interessano, su due livelli, i quattro lati del cortile centrale. Al piano terra le sale sono coperte a volte ogivali, mentre ne piano superiore presentano una copertura lignea su mensole lapidee.
Le finestre gotiche del cortile, lo scalone d'accesso, gli arredi (camini) e la sala del Trono, sono opera di "restauro di reinterpretazione" degli inizi di questo secolo. Attualmente vi ha sede il Museo Archeologico e la Biblioteca Comunale.