Il Castello di Baia fu costruito, a partire dal 1495, dagli Aragonesi che si avvalsero della collaborazione di Francesco di Giorgio Martini, uno dei più affermati specialista di costruzioni militari.
Il Castello Aragonese di Baia fu costruito su di un promontorio (51 m s.l.m.) difeso ad est da un alto dirupo tufaceo a picco sul mare, e ad ovest dalla profonda depressione data dalle caldere di due vulcani "Fondi di Baia" facenti parte dei Campi Flegrei; con l'aggiunta di mura fossati e ponti levatoi, il Castello risultava praticamente inespugnabile. La sua posizione, dalla quale si dominava tutto il Golfo di Pozzuoli fino a Procida Ischia e Cuma, consentiva un controllo molto ampio della zona.
In un periodo tra il 1538 ed il 1550, con il vicerè don Pedro di Toledo, il Castello fu ristrutturato ed ampliato ed assunse la forma attuale. Va ricordato che la costruzione sorge sul sito dove, in epoca romana, fu costruita una splendida villa di cui nel corso del restauro del castello, sono venuti alla luce diversi reperti.
Il castello di Baia è stato scelto nel 1993 come sede del Museo Archeologico dei Campi Flegrei. Esso prevede la progressiva esposizione topografica dei più significativi reperti rinvenuti nei siti archeologici dell'area flegrea.