Le prime notizie che lasciano supporre l’esistenza di un’opera fortificata risalgono al 1290 quando re Carlo d’Angiò, soprannominato “lo zoppo”, assegna il feudo di Angri al milite e familiare regio Pietro Braherio o De Braheris. Durante la lotta fra angioini e aragonesi per la successione sul trono di Napoli, il 24 settembre 1421 Angri viene occupato da Braccioforte da Montone. 17 anni dopo, il castello, nuovamente munitissimo, riesce a tenere testa all’esercito di Alfonso d’Aragona nel suo nuovo tentativo di conquista del regno.
Diverse famiglie detengono il feudo fino all’inizio del 1600 quando perviene ai Doria che, successivamente, acquisiscono anche il titolo di Principi. Gli stessi Doria, alla fine del Settecento, ristrutturano l’edificio così come lo vediamo oggi, adibendolo a palazzo per la loro villeggiatura, e realizzano la villa prospiciente con un grazioso giardino all’italiana. La famiglia lascia definitivamente Angri nel 1909 vendendo il castello e la villa al Comune per 90.000 Lire.
Osservando l’architettura del complesso, sono evidenti i rimaneggiamenti operati nel corso dei secoli; alle due torri concentriche corrisponde uno stabile a tre piani con due piccole torri sugli angoli esterni, mentre il raccordo fra mastio e palazzo è assicurato dal pregevole scalone di stile vanvitelliano.
Il nucleo più antico dell’intera struttura è la torre merlata più alta con il suo muro esterno privo di intonaco. Abbassata e merlata in occasione della ristrutturazione settecentesca, si trova in perfetta triangolazione fra le torri del castello di Lettere e di Chiunzi perché fondamentale per la ritrasmissione di comunicazioni ottiche, non essendo queste ultime due reciprocamente visibili.