Nato a Teramo nell'ottobre del 1945, già adolescente si appassiona alla musica e scopre la chitarra.
Altra sua passione fu il disegno e perciò si iscriverà all'Istituto Statale d'Arte di Ascoli Piceno, dove si diploma, poco più che maggiorenne però viene ingaggiato da Nino Dale, noto musicista teramano, come chitarrista. Proprio con i "Nino Dale and His Modernists", debutta anche come cantante, è voce solista in "E adesso te ne può andare", incisa sul lato B di un 45 giri del complesso. La collaborazione con Nino Dale finisce quando viene ammesso all'Istituto di arte grafica ad Urbino, ma nel 1966 fonda il gruppo "Ivan e i Saggi" partecipando a varie manifestazioni, nell'estate del 1967 viene registrato un singolo intitolato "Parla tu", che ottiene un buon riscontro. La band evolverà negli "Anonima Sound" con un altro 45 dal titolo: "L'amore Mio, l'Amore Tuo", partecipando al "Cantagiro 1968" manifestazione musicale molto in voga in quegli anni. Nel 1969 incidono un altro 45 giri: "Josephine/Mille ragioni" e partecipano nuovamente al Cantagiro, nel 1970 cambiano casa discografica ed includono anche un tastierista nella formazione. Vengono ingaggiati dalla "Numero Uno", che all'epoca vantava cantanti del calibro di Lucio Battisti ed esce un altro 45 giri.
Graziani abbandona gli Anonima Sound nel 1970 per svolgere il servizio di leva obbligatorio, al termine del quale, nel 1972 decide di intraprendere la carriera solista, pubblica alcuni 45 giri con gli pseudonimi di "Rockleberry Roll" e "Ivan & Transport", portando avanti anche l'attività di fumettista. Il suo primo lavoro fu "Desperation" del 1973 con testi in inglese, seguito da "La Città che io vorrei" uscito sempre nello stesso anno, ristampato nel 1980 da un altra casa discografica con il titolo "Ivan Graziani Special". Tra il 1973 ed il 75 lavora come turnista con vari artisti come: Herbert Pagani, la Premiata Forneria Marconi con la quale collabora alla composizione di "From Under", presente nell'album del 1975 Chocolate Kings. Inizia a collaborare anche con Lucio Battisti suonando la chitarra nell'album "Lucio Battisti la batteria e il contrabbasso eccetera" uscito nel 1976, con francesco De Gregori in "Buffalo Bill" ed Antonello Venditti, nell'album "Ullalà", nel cui tour promozionale è la band di Graziani ad aprirne i concerti.
Dopo aver firmato con la prestigiosa casa discografica Numero Uno, nel 1976 registra a Milano l'album "Ballata per 4 stagioni", nel 1977 esce "I lupi" col singolo "Lugano addio", il suo primo vero successo, rimasto in classifica per dieci settimane, mentre il 33 giri resta per trentotto settimane. Nel 1978 è la volta di "Pigro", album musicalmente maturo dove nelle otto canzoni, vengono raccontate storie di vite spezzate dalla pigrizia mentale e dall'indolenza, su tutti spicca "Monna Lisa". L'album resta in classifica per trenta settimane.
Con l'uscita di Pigro Graziani intraprende il suo primo tour, nello stesso anno la canzone "Paolina" viene inserita nella raccolta "Superpop 78", che comprende anche brani di Lucio Dalla, Ivano Fossati, Rino Gaetano e Francesco De Gregori. Ormai artista affermato, nel 1979 fa uscire l'album "Agnese dolce Agnese", oltre al singolo "Agnese" vi sono molte canzoni di qualità come "Taglia la testa al gallo", "Dr Jekyll & Mr Hyde" e "Canzone per Susy". Arriva fino alla decima posizione e rimane in classifica per quindici settimane. Collabora con Loredana Bertè nella raccolta "Cantautori s.r.l", una delle più vendute del 1979.
Con "Viaggi ed intemperie" del 1980 ottiene un significativo riscontro di pubblico, Il brano "Firenze" è probabilmente il suo più grande successo. Partecipa al Festivalbar, e raggiunge la quinta posizione restando nelle charts per ben trentasette settimane, vanta anche altri brani di spessore come "Radio Londra", "Angelina" e "Tutto questo cosa c'entra con il Rock & Roll". Sempre nel 1980 viene chiamato da Ron e Goran Kuzminac a lavorare a "Q Concert", disco della casa discografica RCA, esperienza che finisce in un tour. La sua carriera ormai è lanciata, nel 1981 è la volta di "Seni e coseni" dove sono ben contrapposte le due personalità del cantautore, brani delicati lasciano il posto a canzoni rock dove dà sfoggio del suo personale stile chitarristico.
Partecipa ancora una volta al Festivalbar e nel 1982 esce "Parla tu", un anno dopo è la volta dell'album omonimo "Ivan Graziani"e la canzone "Il chitarrista", diventata per i suoi fan un vero e proprio manifesto sonoro, con questo singolo partecipa ancora al Festivalbar. Nel 1984 esce "Nove" con gli arrangiamenti curati da Celso Valli, produttore e direttore di orchestra bolognese, questo lavoro e tra i più significativi a detta di Graziani, che ritorna anche in classifica arrivando alla quattordicesima posizione. Nel 1985 partecipa per la prima volta al "Festival di San Remo" con "Franca ti amo", esperienza che gli garantisce una visibilità di pubblico maggiore; il brano si classifica al diciassettesimo posto. Un anno dopo viene pubblicato "Picnic", disco con cui termina il contratto con la Numero Uno, passando alla Carosello nel 1989 con il disco "Ivangarage" e la raccolta "Segni d'amore", dove riarrangia alcuni dei suoi successi per renderli più attuali. Due anni dopo nel 1991 viene editato "Cicli e tricicli".
La seconda apparizione di Graziani al Festival di San Remo è del 1994, con il brano "Maledette malelingue", classificandosi ad un onorevole settimo posto, esce quindi l'album "Malelingue" con buoni risultati sia di pubblico che di critica. Una nuova esperienza sarà quella con la casa discografica CGD, nel 1995 esce l'album dal vivo "Fragili fiori...Ivan" che include anche cinque canzoni inedite, la sua ultima produzione.
Malato da tempo si spegnerà prematuramente nel gennaio del 1997, con lui vengono seppelliti nel cimitero di Novafeltria, nel pesarese, anche la sua Gibson preferita ed i suoi gilet di pelle.
In omaggio alla sua scomparsa verranno in seguito ristampati tutti i suoi album incisi per la Numero Uno, mentre "Antologia", raccoglie i brani incisi con le altre case discografiche. Nel 1999 esce un disco commemorativo "Per sempre Ivan" con materiale di studio inedito e l'inclusione di suoi brani interpretati da Antonello Venditi, Umberto Tozzi, Renato Zero, Biagio Antonacci e Alex Baroni. Nel 2012 viene pubblicato un album Tributo a Graziani dove nuovi artisti italiani, come Simone Cristicchi e Marlene Kuntz, rielaborano canzoni scritte da Ivan, partecipa anche suo figlio Filippo come direttore artistico, interpretando "E sei così bella". Oltre a centinaia di canzoni e disegni è rimasto anche un libro: "Arcipelago Chieti", scritto dall'artista in ricordo dell'anno di servizio militare, inoltre ha interpretato un cameo in alcune pellicole come "Italian Boys" di Umberto Smaila e "Arrivano i miei" di Nini Salerno, usciti entrambi nel 1982.
Il comune di Castellalto in provincia di Teramo gli ha dedicato una via.