L'edificio si trova nella centrale Piazza Umberto primo, davanti al Palazzo dei Presidi, affianca la chiesa di San Niccolò, nel centro storico di Montalto Marche.
Non è ben chiara l'origine della struttura, l'impianto attuale è frutto di interventi e ristrutturazioni avvenute a partire da un nucleo originario, si ipotizza eretto tra il XV ed il XVI secolo, probabilmente su strutture precedenti. Il più antico proprietario rintracciabile è Domenico di Matteo, ricordato per aver concesso la casa a Felice Peretti nel 1567, il futuro Papa Sisto V. In quel periodo il futuro pontefice era stato già nominato Vescovo di Sant'Agata dei Goti, risiedeva qui quando si trovava a Montalto.
Continuò ad utilizzarla anche dopo la sua nomina nel 1570 a Cardinale di San Girolamo degli Schiavoni, tre anni più tardi però, la sorella del prelato: Camilla Peretti, vende la casa alla famiglia Silvestri, nel 1576 Camilla compra anche delle case da adibire a residenza ufficiale del cardinale, oggi palazzo Massi Mauri.
Altre notizie si hanno a partire dal XIX secolo, nel corso dei tempi la casa era passata alla famiglia dei Sacconi. Nel 1856 la rivendono ad un'altra ricca famiglia montaltese, i Pasqualini, ma poco dopo vi va ad abitare il noto architetto Giuseppe Sacconi.
Viene nuovamente venduta nel 1870, stavolta agli Orlandi, che nel 1959 ristrutturano i solai ed il tetto, altri lavori vengono effettuati nel 1983. La lapide che ricorda gli inquilini famosi viene affissa sulla facciata nel 1922.
Oggi la struttura si mostra piuttosto anonima e senza particolarità architettoniche, costruita interamente in mattoni, spiccano il vistoso cornicione in corrispondenza del tetto ed il portale, di recente realizzazione. L'edificio si sviluppa su tre piani, colmando il dislivello che c'è tra la piazza e la via sul retro, attualmente è stato ridiviso in tre moduli abitativi indipendenti.
Una fascia marcapiano corre lungo il perimetro, facendo da base alle finestre anch'esse incorniciate, tra due di queste è installata la lapide citata in precedenza. Sulla facciata si nota un grande arco tamponato affianco all'ingresso principale, gli altri ingressi sulla piazza non mostrano caratteristiche architettoniche particolari.
La facciata sul retro ha diverse finestre di varie dimensioni, alcune porte permettono di accedere ai piani seminterrati del palazzo. All'interno vi sono alcuni ambienti ancora coperti da volte in mattoni.