Eretto nella seconda metà del XV secolo da Ferdinando I D'Aragona a difesa del Regno, il Castello di Pizzo, che si erge sulla parte occidentale della cittadina consacrata a S.Giorgio, è costituito da un massiccio corpo quadrangolare con due torrioni cilindrici angolari di cui la torre grande, detta torre maestra, è di origine Argioina (1380 circa).
Il Maniero, dalla parte che si affaccia sul mare, scende perpendicolarmente sulla rupe, dall'altra, una strada ha oggi preso il posto del preesistente fossato che lo circondava e sul quale un ponte lavatoio ed una porta, ne consentivano l'accesso.
Secondo una descrizione cinquecentesca, oltrepassata la porta si giungeva ad un piccolo cortile, alla cui destra, si trovava la zona carceraria costituita da quattro camere ed a sinistra, le casematte con le vettovaglie, Dal cortile, attraverso una scala, si saliva alla parte superiore ove erano dislocate otto stanze. La fortezza era altresì dotata di pianterreni è camminamenti interni che portavano anche fuori città. Essendo stata costruita allo scopo di difendere la costa dai barbareschi, durante l'occupazione Francese, gli fu aggiunta una batteria a mare, a difesa della spiaggia, detta Monacella.
Oltre a pochi elementi decorativi in pietra, le mensole residue nel torrione di nord-ovest e le piccole feritoie delle archibugiere, è presente sulla chiave di volta, che, sormonta il portone d'ingresso, lo stemma marmoreo della casa Infantado ed una lapide dedicata al re Gioacchino Murat alla cui fucilazione deve la fama il Castello e la città di Pizzo.
Verso la fine del XV secolo, "la terra del Pizzo", e quindi il suo Castello, per la cui costruzione ci vollero oltre quattro anni ed il contributo dei centri vicini, passò dalla casa d'Aragona a quella dei Sansaverino. Successivamente nel 1505 Ferdinando il Cattolico lo cedette a Diego De Mendoza, generale delle Galee, per l'aiuto dato da questi alla Corona di Spagna e da lui, per successione, detti beni passarono alla casa dei Silva, alla quale apparteneva il Duca dell'Infantado che lo tenne sino al 1806 anno in cui, per Decreto del Re Giuseppe Napoleone, fu abolita la feudalità.
Nelle sue sale, si svolse l'avvenimento che - come dice A.Dumas - fece divenire Pizzo "una delle stazioni omeriche dell'Iliade napoleonica". Giocacchino Murat, re di Napoli e cognato di Napoleone, in un estremo tentativo di riconquistare il regno di Napoli, sbarcò alla marina di Pizzo domenica 8 ottobre 1815, tentando di far sollevare la popolazione contro Ferdinando IV di Borbone.
Ma il tentativo non riuscì. Giocacchino e il suo piccolo drappello furono sopraffatti e rinchiusi nel castello, dove, 5 giorni dopo, a seguito di un precesso sommario, il re venne condannato a morte dalla Commissione Militare disposta per forza di legge dal Governo Borbonico.
