Tra i più importanti e fastosi edifici del centro storico di Montefortino.
Voluto durante la prima metà del cinquecento dal Conte Ser Desiderio Leopardi, una delle figure di spicco nella politica locale dell'epoca, era stato uno dei curatori delle leggi comunali montefortinesi ed apparteneva ad un ramo della stessa famiglia del futuro poeta Giacomo; tanta era l'importanza e la bellezza del palazzo che venne utilizzato come residenza per i vescovi in visita pastorale. Fu abitato dai Leopardi fino al XIX secolo quando la famiglia si estinse e lo stabile viene acquistato dal pievano Denti nel 1830, subito rivenduto a tale Carlo Duranti che vi abitò solo per qualche anno. Caduto in stato di abbandono venne in parte comperato dall'amministrazione comunale nel 1970, nel 1981 si decise di restaurarlo totalmente e con i lavori ancora in corso nel 1997 viene allestita la pinacoteca con le raccolte del pittore Fortunato Duranti, nello stesso anno subisce alcuni danni dal terremoto.
Sorge in posizione centrale rispetto all'abitato, lungo la via che affiancava la cinta muraria nella parte bassa, può essere definito il corso principale e collega diversi altri edifici importanti del paese. Il palazzo si affaccia su una piccola piazzetta in pendenza e che risale fino al grazioso tempietto delle colonne con l'orologio pubblico, ultima residenza del pittore Duranti, davanti si trovava la piccola chiesetta di San Biagio, oggi sconsacrata.
L'edificio è realizzato interamente in cotto con abbellimenti in travertino, la facciata rispecchia i canoni armoniosi del rinascimento, al pianterreno si apre il grande portale in bugnato dominato un fauno irriverente che fa una linguaccia ai visitatori scolpito nella chiave dell'arco, sormontato dallo stemma gentilizio non più leggibile, incorniciato da ricci e volute in pietra. Affiancano la porta dei finestroni rettangolari contornati di travertino lavorato, nella porzione orientale del palazzo si trovano anche due semplici porticine che si aprono nel piano seminterrato. Una fascia in pietra sottolinea le grandi finestre dei piani nobili, composte da una cornice, sempre in travertino, che termina con un architrave che sorregge un lunotto ad arco spezzato, agli angoli della struttura cominciano ad apparire bianche e vistose pietre angolari, a ribadire il rango elevato dei residenti. Al centro della facciata è incastrato fra i due piani vi è un balconcino sorretto da tre mensole lavorate e protetto da una bella ringhiera in ferro battuto, di fattura simile alle finestre se ne differenzia per il lunotto, anche le finestre del sottotetto hanno una finitura in pietra.
Gli interni conservano alcune sale affrescate nei piani nobili con i soffitti realizzati nel XVIII secolo con la tecnica della camorcanna, questa permetteva di modellare le volte con diverse forme a seconda delle esigenze, le pitture alle pareti invece sono più recenti e risalgono ai primi anni del novecento.
Sul lato occidentale si addossa la più modesta abitazione per la servitù mentre sul retro un ponte scavalca la via per raggiungere il giardino del palazzo, piccolo angolo di verde sotto la piazza della chiesa di San Michele Arcangelo, sono sopravvissute le cisterne che permettevano l'approvvigionamento idrico dei residenti. Visitabile insieme ai musei che ospita infatti oltre alla pinacoteca trovano spazio le collezioni di arte sacra dei Musei Diocesani e quella faunistica dell'imbalsamatore Ignazio Rossi Brunori.