A breve distanza da Angers, nelle terre di Brissac, sorgevano anticamente numerosi mulini; il nome stesso della località deriva da un nomignolo dato ad un mugnaio del posto in età carolingia. Costui, che era solito trarre del grano forando i sacchi dei clienti, venne soprannominato Breche-Sac, da cui deriva l'odierno Brissac. Qui il conte d'Anjou, Foulques Nerra, eresse un castello medievale destinato ad uso militare, i cui proprietari susseguitisi sino al 1434 furono tutti guerrieri. In seguito il castello venne acquistato da Pierre de Brézé, personaggio della corte reale che ricoprì ruoli di ministro sia con Carlo VII che con Luigi XI, e che fece intraprendere dei lavori atti a modificare l'edificio: delle strutture di questo periodo oggi restano solo le due torri cilindriche angolari di chiaro stile gotico.

Nel 1502 (secondo altri nel 1492) René de Cossé acquistò il castello con i territori circostanti. Si racconta che l'improvvisa vendita da parte di Jacques de Brézé fu dovuta al duplice omicidio che egli stesso perpetrò della moglie Charlotte e dell'amante di questa; secondo una leggenda il fantasma s'aggira ancor oggi per il castello. La sua dimora, in parte danneggiata durante le guerre di religione, venne infine trasformata dal 1614 per volere di Carlo II de Cossé, che ricopriva la carica di Maresciallo di Francia. Egli si rivolse per questo al noto architetto Jacques Corbineau, che progettò per lui un ambizioso edificio destinato secondo i piani a costituire un unicum per i tempi. Esso infatti prevedeva una struttura a sette od otto piani, con un'altezza inusitata per le costruzioni degl'inizi del Seicento.

I lavori interessarono la parte centrale della vecchia struttura, le cui torri vennero salvate sino al 1621. In quell'anno, infatti Carlo II, che dopo aver abbracciato la Lega fu fedele ad Enrico IV aprendogli le porte di Parigi, morì, facendo così interrompere le opere: il castello rimase più basso del previsto e fu dotato di copertura senza che il progetto fosse completato.

L'edificio presenta chiare influenze dell'arte rinascimentale d'impronta italiana che era stata adottata in altri castelli della regione della Loira. Le facciate, che danno da un lato verso la cittadina di Brissac e dall'altro sul parco, nei pressi dell'Aubance, sono volte ad oriente e a nord e, pur nella loro eleganza, denotano una chiara mancanza di simmetria. Sugli erti tetti in ardesia abbondano alti comignoli, mentre sulle fronti le finestre sono sormontate da timpani triangolari o arcuati, sia completi che spezzati.

È in questo castello che, il 12 agosto 1620, Luigi XIII si riconciliò con la madre Maria de' Medici, vedova di Enrico IV, per il quale evento il duca di Cossé aveva qui organizzato grandi festeggiamenti. La riappacificazione, alla presenza di personaggi del clero francese, si tenne nella camera di Giuditta, dopo che le truppe ribelli erano state sbaragliate a Ponts-de-Cé.

Il castello nei secoli successivi è rimasto alla famiglia de Cossé, che vanta una tradizione di nobiltà fra le più illustri di Francia. In essa, infatti, s'annoverano ben sette marescialli, un maestro d'artiglieria, cinque governatori di Parigi e molti altri uomini di stato.

Gli appartamenti interni del castello, dotati di rivestimenti scolpiti e di soffitti lignei con travi e travicelli riccamente dipinti, contengono ancora oggi molti mobili ed ornamenti antichi. La citata Camera di Giuditta reca dei pregevoli arazzi policromi ed un elegante caminetto. La grande Sala delle Guardie è ornata da altri arazzi, oltre che da cimeli militari, come selle ed armature. La sala da pranzo è dotata d'una monumentale scala a due rampe convergenti di stile Luigi XIII. Le diverse stanze contengono inoltre molti quadri, opera di noti maestri che effigiano i rappresentanti della famiglia. La torre gotica, posta sul versante sud, parte di “un castello nuovo per metà costruito su di un castello vecchio per metà distrutto” (come ha detto il duca de Cossé della sua residenza), ospita una cappella privata.

Fra gli arredi di questa spicca un bassorilievo marmoreo opera di David d'Angers, uno scultore locale la cui produzione si data nella prima metà dell'Ottocento.

Altri Castelli della Loria: