Fin dal 1776, anno di nascita dell’Accademia, i segretari raccolsero a scopo didattico un consistente nucleo di dipinti, che ancora oggi fa parte del patrimonio dell’istituzione. 

Giuseppe Bossi, che la diresse dal 1802, incrementò notevolmente la raccolta, conscio anche del ruolo che l’Accademia andava rivestendo anche nei confronti della città.  Di fatto, in questa fase iniziale, la Pinacoteca di Brera non era altro che la Galleria delle opere degli antichi e dei moderni, all’interno dell’Accademia. In seguito all’incameramento dei beni ecclesiastici dovuto alla soppressione delle chiese anche in epoca napoleonica, il numero delle opere continuò ad aumentare e ai dipinti religiosi fu affiancato il Gabinetto dei Ritratti dei Pittori e la Sala delle opere moderne

Le collezioni continuarono nel corso di tutto l’800 ad accrescersi, sempre nell’ambito delle tre attività fondamentali dell’Accademia: educativa, espositiva, di documentazione e tutela. Alla prima si riferisce la suppellettile didattica, come le prove del Pensionato romano. Alla seconda si connettono le opere risultate vincenti ai Grandi Concorsi, esposte alle mostre periodiche, e gli acquisti del fondo esposizioni. Con la terza si incentivarono numerose donazioni e alcune permanenze di opere antiche.

In seguito all’Unità d’Italia, nel 1882 un Regio decreto distribuì in due istituzioni di fatto separate amministrativamente la funzione conservativo espositiva – data in mano ai musei, in questo caso alla Pinacoteca - e quella didattica – compito dell’Accademia. Ne seguì pertanto la divisione del patrimonio pittorico.  

Attualmente la quadreria è composta da 598 opere, di cui una cinquantina di quadri antichi, 100 novecenteschi; i restanti appartengono all’Ottocento e comprendono opere dei concorsi di Brera, dei lasciti, dei legati e delle donazioni fatte nel corso del tempo all’Accademia (Hayez, Ala Ponzoni, Stampa). 

375 dipinti sono conservati in loco, 223 sono invece in depositi esterni, di cui 96 alla Galleria di Arte Moderna di Milano e in altre 21 sedi, non solo museali.

I dipinti sono stati schedati con il sistema di catalogazione Sirbec di Regione Lombardia e sono oggetto di restauri curati dalla Scuola di Restauro dell’Accademia. Tra i migliori esempi della pittura dell’800, non solo lombarda, le opere dell’Accademia sono frequentemente prestate a mostre temporanee.

La quadreria, accessibile agli studiosi su richiesta, è anche utilizzata come supporto didattico per gli studenti e in occasione di eventi speciali è aperta al pubblico (Giornate FAI di Primavera, Settimana della Cultura a cura del Mibact).