Caan miał 82 lata. Urodził się w Nowym Jorku w rodzinie żydowskich emigrantów. Studiował na Uniwersytecie Hofstra w Hempstead w stanie Nowy Jork, gdzie poznał Coppolę.
W latach 60. zagrał w kilku serialach telewizyjnych, w tym w "Doktorze Kildare", a jego filmowym debiutem była "Słodka Irma", w której był partnerem Jacka Lemmona i Shirley MacLaine. W 1969 roku zagrał po raz pierwszy w filmie Coppoli - byli to "Ludzie deszczu".
Przełomem w jego karierze okazała się postać Sonny'ego Corleone w pierwszej części "Ojca chrzestnego" Coppoli, za którą był nominowany do Oscara za najlepszą rolę drugoplanową.
Po tym sukcesie zagrał w latach 70. w kilku bardzo dobrze przyjętych filmach, w tym w epickim dramacie wojennym "O jeden most za daleko". Jak pisze brytyjski "Guardian", w tym okresie zasłynął również z tego, jakie role odrzucił, a proponowano mu między innymi zagranie w "Locie nad kukułczym gniazdem" Milosza Formana, "Czasie Apokalipsy" Coppoli i "Sprawie Kramerów" Roberta Bentona.
Kariera Caana, który nie stronił od narkotyków, załamała się, gdy rzucił pracę na planie filmu Roberta Altmana "Pakt Holcrofta". Wrócił do pracy dopiero kilka lat później, gdy Coppola zaoferował mu rolę w "Kamiennych ogrodach", ale dopiero wyreżyserowany przez Roba Reinera obraz "Misery" okazał się jego kolejnym sukcesem.
