Posizionato vicino alla chiesa del Carmine, l'edificio sorge inizialmente come Spedale di Santa Maria della Carità ovvero una struttura predestinata a dispensare cure ed accoglienza alla popolazione indigente, forestieri, orfani e bambini abbandonati. Solo nel 1522, su iniziativa del francescano Domenico da Leonessa il palazzo venne adibito a Monte di Pietà, predisposto ad elargire piccoli prestiti in cambio di un pegno come garanzia allo scopo di arginare la piaga dell'usura.
Costruito nel 1341 l'edificio, in mattoni di cotto con innesti di travertino, non presenta, in generale, un particolare interesse architettonico, tranne per alcuni particolari decorativi in evidente stile gotico assolutamente degni di attrattiva, ovvero la bifora e il portale finemente scolpiti. Quest'ultimo presenta gli stipiti con pietre di differente colore, il che dimostra di essere stato rimaneggiato in diversi momenti, probabilmente con materiale di reimpiego. Tuttavia un definitivo intervento di abbellimento si dovette avere nel corso del XV secolo per mano di una manovalanza proveniente da Venezia, come hanno dimostrato gli studi di Carlo Crigioni e come conferma palesemente l'apparato decorativo.
L'arco gotico che sormonta l'architrave del portale è determinato, infatti, da una sezione ogivale atipicamente lunga e stretta per un edificio marchigiano e più consona, piuttosto, all'architettura della Serenissima. Così come tipicamente veneziana è la raffinata decorazione vegetale all'interno e le foglie avviticchiate che scandiscono l'esterno. La struttura culmina con un cespo da cui spunta la figura di Dio Padre benedicente. All'interno dell'ogiva un bassorilievo in pietra bianca d'Istria con l'iconografia della Madonna della Misericordia. Sebbene la scultura mostri dei tratti arcaizzanti, a giudicare dall'abbigliamento dei personaggi, l'opera dovrebbe essere coeva con la realizzazione del portale.
Squisitamente di gusto veneziano risulta essere anche l'elegantissima bifora soprastante in cui la colonnina corinzia separa i due vani trilobati sormontati da archetti curvilinei con terminazione a punta, come si vede in numerosi palazzi gotici della città lagunare.