Ivanji je napisao 26 romana, neke izvorno na srpskom, neke na nemačkom, tri zbirke pripovedaka, tri knjige poezije, pisao je drame, knjige za decu, memoare, eseje.
Na nemački je, pored ostalih, prevodio dela Kiša i Albaharija, sa nemačkog Brehta, Borherta, Grasa, Bela, Encensbergera, Jaspersa. Prevodio je mađarsku poeziju na srpski.
Radio je kao nastavnik nacrtne geometrije, kao novinar, bio je umetnički direktor Savremenog pozorišta u Beogradu, zamenik upravnika Narodnog pozorišta, Titov prevodilac za nemački jezik.
Bio je 1974-1978 ataše za kulturu i štampu u jugoslovenskoj ambasadi u Bonu, a do raspada SFRJ bio je generalni sekretar Saveza književnika Jugoslavije.
Rođen je u Zrenjaninu u jevrejskoj lekarskoj porodici. Roditelje su mu ubili ubrzo nakon nemačke okupacije 1941. godine a on je preživeo nacističke koncentracione logore Aušvic i Buhenvald.
Život je završio tamo gde je pre 80 godina iz Novog Sada kao Jevrejin bio deportovan da umre – u Vajmaru, samo desetak kilometara od svog nekadašnjeg logora, u Hitlerovom omiljenom hotelu i to na Dan pobede nad fašizmom.
Kao jedan od poslednjih živih svedoka „vremena zla“, smatrao je svojom dužnošću da neprestano upozorava na opasnosti koje donosi zaborav, na povratak nacionalizma, rasizma i modernih diktatora, na smrt izbegličke dece koja beže od ratova i nemaštine u svetu koji se ponovo nalazi na prekretnici.
