Po ukončení studia pracoval v divadlech na Broadwayi. Jeho první role v televizi v roce 1963, hrál ve filmu Billy Wilder "Irma la Douce". A o rok později, v roce 1964, dostal výraznější role tyrana a punkovou thriller "Lady". Jeho herecká kariéra James Caan pokračovala v takových filmech jako "The Untouchables", "Alfred Hitchcock Hour", "Boj! "Et al.
V roce 1965, herec hrál závodník Michael ve filmu "Red Line 7000". Po roli James Caan zakořeněné představy o tvrdý, tvrdý chlap, trochu popudlivý, ale důvěru ve své schopnosti. Tento obraz je dále posílena s hercem po 1972 James Caan hrál Sonny Corleone v Francis Ford Coppola filmu "Kmotr". Tato role ho proslavil a tvořil na snímku obrazovky skutečného člověka.
V roce 1980, Caan se snažil ruku jako režisér a režíroval film "Skrýt v očích vůbec." Od 1982-1987, herec se snížila po smrti své sestry, nebyl odebrán, a on začal mít problémy s kokainem. Zároveň by mohl zkusit ruku jako trenér baseballového týmu. Nicméně, od konce 80. let, herec vrátil do kina.
James Caan byl ženatý čtyřikrát. Od 1960-1966 na Dee Jay Mathis, mají dceru Tara Caan. Od roku 1976 do roku 1977 bývalé přítelkyně Elvise Presleyho - Sheila Ryan. Jejich společný syn Scott Caan je nyní také herec. Od roku 1990 do roku 1995 herec byl ženatý s Ingrid Hayeka. V roce 1991 se jim narodil syn, Alexander J .. Kaan. James Caan čtvrtý sňatek Linda Stokes trvalo 1996-2009. Pár mají dva syny, James Caan a Arthur Jacob Nicholas Caan.
S vzácné pro Hollywood role neurotický herec James Caan hrál ve více než šedesát filmů a seriálů. Stojí za zmínku, že po celou dobu svého života se zabýval v karate a je v současné době hlavní 6. dan Gosoku Ryu a držitel titulu Soke Dai. Jedním z hlavních pravidel svého života byl skepticismus o popularitě, a on řekl, opakovaně, že to není možné udělat kariéru na celý život. To není ta nejdůležitější věc v životě člověka.