Giuseppe nasce a Ripatransone nel dicembre del 1766 da una famiglia benestante, suo padre era un commerciante di stoffe.
Perse il genitore giovanissimo ed entrò quindi in seminario dove studiò per alcuni anni, grazie a questa esperienza acquisì una certa famigliarità con la scrittura, qualità che gli consentì di avere in seguito una rilevanza negli incarichi anche in ambito militare. Inizia la sua carriera dopo l'arrivo delle truppe francesi, quando già nel novembre del 1798, entra in clandestinità dopo aver dato alle fiamme insieme ai suoi compagni, l'albero della libertà issato al centro di Ripatransone dall'amministrazione filo-francese, atto che comportava pene molto gravi. Fuggì quindi a Montegallo unendosi a molti altri sostenitori dalla resistenza pontificia, oltre a briganti che avevano avuto a che fare con la legge. in quegli anni la zona era diventata il quartier generale dei cosiddetti "insorgenti" locali.
Una delle sue prime azioni militari fu attuata nei vicini paesi del teramano, dove giunse con un gruppo di suoi sottoposti con l'intento di dare manforte alle truppe borboniche, scambiato per una spia fu rinchiuso in carcere ma dopo pochi giorni, chiarito l'equivoco, ritornò a Montegallo. Fu uno dei primi comandanti ad intuire che il Generale De La Hoz un militare che aveva abbandonato i francesi poteva dare una grossa mano all'attuazione di azioni militari per contrastare le truppe napoleoniche, ma egli lo fece mettere agli arresti, quindi fu nuovamente condotto in catene a Montegallo con l'accusa di tassare in maniera opprimente le popolazioni locali. Probabilmente il generale passato agli "insorgenti" si era reso conto, che Cellini poteva in un certo modo ostacolare i suoi progetti militari e politici che voleva attuare contro i francesi ad Ancona.
Dopo la morte del Generale nella città dorica e la cacciata delle truppe napoleoniche, Giuseppe subì un processo nel quale fu assolto da tutte le imputazioni, alla fine di dicembre del 1799 torna a Ripatransone dove è accolto dai suoi concittadini come un trionfatore. Con il successivo scioglimento delle truppe insorgenti voluto dal commissario austriaco De Cavallar, si ritrovò senza un incarico e mestiere, inoltre le autorità francesi avevano espropriato la sua casa e sua madre si era rifugiata da alcuni parenti, fortunatamente grazie all'intercessione del vescovo di Ripatransone Baker ricevette una prebenda che gli permise di avere un abitazione e di godere di una certa rendita.
Ben presto abbandonò il suo paese natio e si trasferì nel Lazio, a Poli vicino Tivoli, dove si sposò e ebbe due figli: Giuditta e Felicetto, una delle sue prime iniziative che intraprese fu quella di scrivere le sue memorie, certo di riscattare la sua immagine sporcata dall'onta del carcere di De La Hoz. Ormai ai margini della vita politica, mantenne però numerosi contatti con esponenti della Curia romana, ma con la nuova calata in Italia di Napoleone nel 1807, la sua situazione era compromessa ma riuscì a scappare con sua moglie, lasciando però i suoi figli a persone fidate. Si rifugiò a Graz in Austria dove rimase per circa otto anni, la lontananza dei figli fu l'ossessione per il resto della vita, scrisse a diversi esponenti vaticani, per avviare contatti con il Nunzio Apostolico a Vienna, ma le sue richieste non furono mai soddisfatte. Una delle sue ultime missive arrivarono alla sua amica la Contessa Teresa Recco, ma anche questa volta non portarono a nulla di fatto, nel 1815 perse la figlia Giuditta di salute cagionevole.
Grazie ai contatti romani la vita in Austria era comunque tranquilla perchè Giuseppe usufruiva di una pensione. Il suo spirito durante la permanenza nell'impero austriaco rimase battagliero e addirittura spezzante nei confronti del sovrano di Sassonia, e del Viceré d'Italia Eugenio di Beauhamains. Già a partire dal 1815 la sua salute peggiora, finirà i suoi giorni in esilio senza rivedere i figli e la sua Ripatransone. Fatto molto importante, fu uno dei pochissimi comandanti a morire nel suo letto a differenza dei maggiori esponenti chiamati contro-rivoluzionari dai napoleonici, intuì che dopo i fatti del 1799 il contesto politico si stava evolvendo e si tenne fuori da certe frequentazioni. Si spegnerà a quarantanove anni.