A hostilidade entre das duas irmãs ficou visível na cerimônia de entrega do Oscar. "Eu congelei. Olhei para o outro lado da mesa, onde Olivia estava sentada. ;Levanta;, sussurrou ela de forma imperativa", contou certa vez Fontaine. "Toda a animosidade que havíamos sentido uma em relação à outra durante a infância... voltou de repente como imagens de um caleidoscópio... Senti que Olivia atravessaria a mesa para me agarrar pelos cabelos", acrescentou.
Olivia só veio a ganhar seu primeiro Oscar em 1946, por seu papel como a amante de um piloto da Segunda Guerra Mundial no filme "Só resta uma lágrima" (To Each His Own), também de Leisen. Fontaine depois contou que sua irmã a destratou quando tentou parabenizá-la. "Ela me olhou nos olhos, ignorou minha mão, agarrou seu Oscar, se virou e foi embora", relatou.
As irmãs também eram rivais no amor. O excêntrico magnata Howard Hughes, que saiu por um tempo com Havilland, pediu Fontaine várias vezes em casamento. "Eu me casei primeiro, ganhei um Oscar antes que a Olvia e se morresse primeiro, sem dúvida ela ficaria lívida porque eu também teria ganhado dela nisso", comentou Fontaine em outra ocasião. Com sua carreira cinematográfica em declínio na década de 1950, Fontaine se voltou para a televisão e fez várias aparições em musicais da Broadway, como "O leão no inverno".
Mulher fora do comum, Fontaine tinha licença de piloto, era campeã de voo em balão aerostático, uma jogadora de golfe competente, licenciada em design de interiores e cozinheira formada pelo Cordon Bleu. Casada em quatro ocasiões, se divorciou de seu último marido, Alfred Wright em 1969 e chegou a declarar que "o casamento, como instituição, está tão morto quanto um dodô" (ave extinta). Fontaine teve uma filha, Deborah, em 1952 e adotou uma menina peruana, Martita, que fugiu de casa em 1963.