Il fortilizio venne realizzato, nell'isola di S. Andrea, nel 1481 per volere di Ferdinando d'Aragona venne ampliato il castello inglobando le fortificazioni realizzate dagli Angioini e i resti delle strutture monastiche benedettine.
Nel 1554 Filippo d'Austria dispose la costruzione di un nuovo fortilizio.
Il castello venne dotato di un poderoso antemurale avente funzione di recinto dell'isola intermedia.
La pianta del Forte ricalca il perimetro dell'isola e ha forma di un triangolo allungato con la base a nord sul Canale Angioino ed il vertice a sud sulla darsena del castello.
La base è dotata ai vertici di due possenti bastioni pentagonali (dell'"Intavolata" e di "Tramontana"), al centro sono due bastioni rompitratta (di "Santa Maria" e di "San Pedro").
Lungo i fianchi longitudinali si attestano numerosi vani posti su due livelli, coperti da volte a botte ed aperti sulla grande piazza d'armi interna. I vani del livello superiore sono collegati da un ballatoio continuo soprastante archeggiature a tutto sesto.
Sul vertice sud, sulla darsena, ai lati del monumentale portale si attestano l'alloggio del governatore e la chiesa del "Forte Nuovo".