I lavori di ristrutturazione di numerosi ambienti del piano nobile del Palazzo Municipale resero disponibili nuovi e più ampi spazi per esporre le collezioni della Galleria Comunale, che negli anni si erano ulteriormente arricchite.
Le finalità di quell’intervento erano dichiaratamente il decoro dell’edificio municipale, la conservazione del patrimonio storico-artistico e, in genere, delle memorie patrie.
Al termine dei lavori, la Guida del Palazzo Comunale pubblicata nel 1880 rivela che le raccolte era ordinate in quattro sale, ma la convivenza della Galleria (che non aveva alcun curatore o conservatore specificatamente incaricato)  con gli uffici dell’Amministrazione risultava fortemente  penalizzante. In breve tempo si poté alla ‘diaspora’ di molti oggetti, che divennero elemento d’arredo per gli uffici comunali o collocati nelle soffitte, come risulta da un inventario del 1899.
Le condizioni invero precarie (sotto il profilo della conservazione e della visibilità)  in cui si trovava il materiale storico-artistico innescarono un acceso dibattito tra le forze politiche cittadine che, iniziato alla fine del secolo XIX, si trascinò per i primi due decenni del Novecento.
I radicali furono il perno del dibattito, da loro avviato e alimentato giornale Il Risveglio Democratico che vedeva la proposta, contrastata con una strategia dilatoria dell’amministrazione liberal-moderata facente capo all’On.Vittorio Cottafavi, di allestire una galleria nel Palazzo dei Principi, in quei tempi, peraltro, in condizioni di notevole degrado.

Solo nel 1919 la Soprintendenza ai Monumenti, come si è detto a proposito della sede, aveva avviato nel Palazzo dei Principi (dichiarato monumento nazionale fin dal 1887) i primi urgenti lavori di consolidamento e restauro e contestualmente maturò nella Giunta Comunale l’idea di far propria la proposta radicale di costituire una pinacoteca nel Palazzo dei Principi.
In quello stesso anno il pittore Enrico Bertolini, insegnante di storia dell’arte nelle scuole pubbliche, era riuscito a raccogliere e ad ordinare buona parte delle raccolte di proprietà comunale a Palazzo dei Principi, nella Sala del soffitto a cassettoni e in quella attigua.
Operava su base volontaria e solo nel 1920 il commissario prefettizio gli formalizzò l’incarico di conservare ed esporre al pubblico le raccolte a scopo di studio.

In un clima politico assai incerto e confuso, l’opera di Bertolini procedette con notevoli difficoltà, ma alla fine la sua paziente opera portò a costituire nel Palazzo un piccolo museo  sistemato a puntino come possono affermare persone autorevoli che lo visitarono dove, come ebbe lui stesso a scrivere, se le opere oggi vi sono, e non mi si tacci di poca modestia, vi sono perché io stesso le salvai dalla cupidigia di chi faceva di esse impunemente e apertamente mercato.

Nel 1925 i lavori di restauro del palazzo, eseguiti dall’ingegner Zucchini, portarono alla smobilitazione del museo, con il trasferimento dei pezzi migliori in Municipio.

Dal 1929  il direttore della biblioteca- museo, Riccardo Finzi, prese in consegna la suppellettile artistica, ad eccezione della raccolta di arazzi che rimase in Municipio. Finzi proseguì nella raccolta del patrimonio storico-artistico locale e nel 1936 un’apposita convezione tra il Comune e la Congregazione di Carità portò al deposito a titolo di prestito gratuito  de Il Redentore del Mantegna e della Madonna con il Bambino ed i Santi Rocco e Sebastiano di Domenico Panetti.
Gli eventi bellici della Seconda Guerra Mondiale non arrecarono danni alle raccolte, in parte trasferite o murate in luoghi sicuri.