Il palazzo Pastorio è già ben riconoscibile nella pianta di Castiglione delle Stiviere stampata da Pierre Mortier nel 1704. Era un edificio di semplici e severe proporzioni, situato accanto alla Chiesa Collegiata (attuale Duomo), e all’Oratorio dei Disciplini, ed era stato acquistato, nella seconda metà del Quattrocento, da Bartolomeo Pastorio, un patrizio di origini padovane, che si era stabilito a Castiglione attorno al 1440 – 1450. Lo stabile aveva subito un’importante trasformazione nei primissimi anni del Seicento, quando Fausto (che fu primo Abate di Castiglione), e suo fratello Prospero (che forniva fondamentale appoggio a Francesco Gonzaga nella difesa militare della città), lo ampliarono, creando, fra l’altro, il grande salone da teatro e da ballo.

Per una spartizione tra cugini, nel decennio tra 1750 e il 1760 la proprietà del palazzo fu divisa in due parti, che furono entrambe allargate, l’una verso destra e l’altra verso sinistra, con ali passanti “a ponte” sopra a vicoli, poi chiusi con portoni. La metà di destra mantenne il suo aspetto fino alla metà del secolo XX, quando subì pesanti modifiche. Un recente restauro (fine sec. XX) ne ha recuperato in gran parte le forme originali.

Tra il 1760 e il 1765, la parte di sinistra – ora Palazzo Bondoni Pastorio – fu sottoposta da Giovan Giacomo Pastorio a una ristrutturazione, che diede all’edificio le sue forme attuali. Mentre il fianco sinistro fu parzialmente esteso al di sopra dell’arco sovrastante uno stradello, ben visibile nella pianta del Mortier, il fronte fu soprelevato di alcuni metri, in modo da creare un secondo piano. Fu in tal modo possibile realizzare una facciata di proporzioni equilibrate, suddivisa orizzontalmente in tre livelli: il pian terreno segnato da due finestre e due portoni, ornati da bugnato; i piani superiori caratterizzati ciascuno da quattro aperture. Il piano nobile è dotato di maggiore altezza con timpani classicheggianti, triangolari al centro e centinati ai lati, mentre al secondo piano le aperture sono concluse da cornici più basse, leggere e decorate da volute. La scelta di Giovan Giacomo Pastorio, consona ai gusti allora in voga tra l’aristocrazia lombarda, rispondeva ai dettami di quel tardo barocco classicheggiante, di forme alleggerite, che prese il nome di “barocchetto lombardo”.

Giovan Giacomo Pastorio morì all’improvviso e prematuramente, attorno al 1765. Negli anni successivi, Francesco, primogenito di Giovan Giacomo, e poi i suoi figli proseguirono l’opera di celebrazione della famiglia e di abbellimento del palazzo.

Agli anni tra la fine del XVIII secolo e il 1824 risale la decorazione della Sala dei Paesaggi al pianterreno. Il soffitto di questa stanza è ornato da monocromi ad affresco con i simboli di poesia, musica e teatro mentre in numerose piccole vele i dipinti, pure a monocromo, includono, assieme a paesaggi dell’alto mantovano e a rovine classiche, rappresentazioni dei principali possedimenti dei Pastorio. In una lunetta sopra la porta d’ingresso della sala compare un’immagine fedele del palazzo stesso.

Al piano nobile, le tre stanze sul fronte sono caratterizzate da soffitti decorati, quello centrale a cassettoni con fregi floreali, quello di destra (entrando) da un soffitto a sfondato architettonico, quello di sinistra da lunette, in cui sono affrescati gli stemmi delle famiglie nobili imparentate coi Pastorio. Allo stesso piano, verso l’interno, si trova il grande salone da teatro e da ballo.