Williams foi casado com Debbie, com quem teve três filhos, Robert, Noelle e Christian, e com a dançaria francesa Claudine Longet. Ele e Longet se divorciaram em 1975 e, no ano seguinte, ela foi presa e indiciada pela suposta morte acidental de seu namorado, Spider Sabich, campeão de esqui olímpico. Williams permaneceu ao lado da ex-esposa durante todo o processo.
O local de nascimento de Williams em Iowa virou atração turística e, em 1990, ele comprou um teatro em sua cidade adotiva, Branson, Missouri, e o batizou de "Moon River Theater" em homenagem à canção que o tornou famoso. Ao invés de coroas de flores, a família do cantor pediu que parentes e amigos façam doações em seu nome ao Centro de Câncer de Bexiga, informou seu agente.