"Estou, infelizmente, retirando minha candidatura para ser secretário do Departamento de Assuntos dos Veteranos", disse Jackson, em um comunicado.
Ele reiterou que as acusações são falsas, mas disse que se retiraria de cena mesmo assim, devido à distração que estavam causando.
"Infelizmente, devido à forma como Washington funciona, essas acusações falsas se transformaram em uma distração para este presidente e o importante tema que devemos abordar: como damos uma melhor atenção aos heróis da nossa nação", disse Jackson.
O recuo de Jackson acontece um dia depois de ele mesmo ter indicado aos jornalistas que continuaria lutando, e que sua indicação "continuava avançando segundo o planejado".
Trump surpreendeu até seus colaboradores mais próximos há um mês com um tuíte noturno, anunciando que este contra-almirante da Marinha era sua escolha para dirigir a pasta.
Jackson foi médico dos presidentes Trump, Barack Obama e George W. Bush e é bem considerado por muitos dos funcionários atuais e anteriores da Casa Branca.
Era visto, porém, como sem as qualificações necessárias para dirigir um Departamento notoriamente disfuncional e já enfrentava uma dura batalha pela confirmação no Congresso.
Depois do anúncio, surgiu uma onda de acusações sobre seu comportamento: desde que teria desmaiado no trabalho e batido um veículo do governo até que distribuía drogas entre funcionários.