Arkin wystąpił w wielu filmach, był czterokrotnie nominowany do Oscara. Był też laureatem nagrody Tony, najwyższego wyróżnienia na Broadwayu, za swoją pierwszą dużą rolę sceniczną - w "Enter Laughing" Carla Reinera (w 1963 roku).
Również jego pierwsza duża rola filmowa przyniosła mu nominację do Oscara - dla najlepszego aktora za rolę radzieckiego marynarza w zimnowojennej komedii z 1966 roku "Nadchodzą Rosjanie! Rosjanie nadchodzą!".
Oscara (dla najlepszego aktora drugoplanowego), ostatecznie przyniosła mu rola w "Małej Miss Sunshine". W ostatniej dekadzie zapamiętano go za rolę producenta filmowego w "Argo", opowiadającym o wywiezieniu z Iranu amerykańskich dyplomatów, postać Eugene w serialu "Dorwać Małego" i kreację agenta teatralnego w serialu "Metoda Kominskiego".
