Był żonaty spośród Jane Cameron Agee (1966-1984), spośród którą ma dwóch synów – aktora Josha (ur. 12 lutego 1968) podobnie Jessa (ur. 7 lutego 1972); oraz spośród Karin Jan Smithers (od 1986 do jej śmierci; w 1995 roku zginęła tragicznie w sytuacji samochodowym), spośród którą ma córkę Molly Elizabeth (ur. 28 listopada 1987). od maja 1997 spotykał się Barbarą Streisand, którą poślubił 1 lipca 1998 roku.