Estuvo casado durante 24 años con la actriz y cantante Jo Wilder, hasta que se divorciaron en 1982. Padre de dos hijos (James y la también actriz Jennifer), Joel Gray sale del armario socialmente