Pais enlutados manifestaram repulsa por uma tendência macabra do TikTok em que inteligência artificial é usada para criar vídeos que retratam crianças vítimas de assassinato.
Os vídeos – feitos sem o consentimento dos familiares – mostram versões toscamente animadas de crianças, algumas delas bebês, contando como foram mortas.
Desde abril, muitos desses vídeos gerados por computador foram postados no TikTok, embora a empresa tenha anunciado a proibição de versões de IA de menores de idade em março.
No entanto, uma investigação da BBC encontrou evidências que indicam que pode haver confusão entre os funcionários do TikTok sobre a política da plataforma.
Um moderador de conteúdo do TikTok disse à BBC que quatro meses após a proibição a empresa ainda não o havia informado sobre a mudança nas regras.
Alguns vídeos de vítimas permaneceram na plataforma por vários meses, outros receberam milhões de visualizações.
Familiares enlutados em vários países falaram sobre as versões de IA de seus entes queridos falecidos que apareceram online.
A baronesa Beeban Kidron, membro independente da Câmara dos Lordes do Parlamento britânico, diz que os vídeos podem ser particularmente perturbadores para as famílias enlutadas porque apresentam simulações dos seus familiares falecidos contando sua própria história.
"Se você é alguém que estava ligado a essa criança, especialmente um dos pais ou um membro da família, é uma agressão, uma agressão emocional", disse ela.
'Agressão das piores'
Não demorou muito para que esses vídeos começassem a viralizar e os parentes de algumas das crianças mortas começassem a se manifestar. Uma das primeiras foi uma canadense chamada Amélie Lemieux.
Em julho de 2020, suas filhas – Romy, 6, e Norah, 11 – foram assassinadas por seu ex-marido, que depois se suicidou.
Em abril deste ano, Lemieux ficou horrorizada quando recebeu um TikTok que apresentava uma versão feita com IA de Norah falando sobre os assassinatos.
"É uma agressão das piores que você possa imaginar", disse Lemieux.
"Não consegui assistir até o final, e meu irmão também não. Ele estava gritando para que parasse."
Amélie Lemieux estava especialmente preocupada com o fato de que suas sobrinhas e sobrinhos pudessem encontrar aleatoriamente o vídeo de seu primo morto enquanto navegavam pelo TikTok.
Embora muitas pessoas tenham denunciado o vídeo ao aplicativo, ele permaneceu online. Eventualmente, depois que Lemieux deu uma série de entrevistas relatando o quão perturbada ficou com o vídeo, a conta anônima que o postou foi excluída.
Amélie Lemieux não conseguiu descobrir quem criou o vídeo, mas está chocada com as ações.
"É incrivelmente chocante alguém usar algo tão perturbador, algo que nos deixará incompletos pelo resto das nossas vidas", disse ela.
"Tudo o que eles querem são visualizações, curtidas, compartilhamentos. E as pessoas que deixam comentários. Pessoalmente, não posso perdoar isso."
Nova tecnologia
A criação destes vídeos foi possível graças à crescente acessibilidade online de softwares de IA.
Agora é possível criar e animar facilmente uma figura humana básica e fornecer um script com as falas, que serão reproduzidas com uma voz gerada por computador.
Alguns dos rostos nos vídeos de vítimas não se parecem com a pessoa real. Mas outros são baseados em fotos genuínas.
As pessoas que fazem esses vídeos tendem a tentar permanecer anônimas. Mas a BBC identificou um criador como um estudante em Londres chamado Ritul.
Em seu canal no YouTube ele tem promovido o que chama de vídeos de "contação de histórias" como forma de atrair rapidamente seguidores no TikTok.
"Ganhei milhares e milhares de seguidores postando vídeos contando histórias apenas usando IA", disse ele em um vídeo. "Ganhei 47.000 seguidores, e isso foi apenas em menos de três semanas."
A BBC entrou em contato com Ritul, mas ele não quis comentar o caso. Sua conta no TikTok foi excluída.
Os vídeos do TikTok precisam chamar a atenção em segundos ou os usuários continuarão a rolar. Por isso, criadores como Ritul se concentraram em fazer vídeos sobre os casos mais extremos ou de maior visibilidade.
As histórias de algumas crianças têm sido objeto de múltiplos vídeos em vários idiomas, incluindo português, espanhol, francês, alemão, italiano e polonês.
Ao longo de um período de dois meses, a BBC descobriu 170 vídeos diferentes do TikTok apresentando versões de IA de James Bulger, o menino britânico de dois anos que foi assassinado por duas crianças mais velhas em Merseyside, Inglaterra, em 1993.
Resposta do TikTok
O fenômeno virou manchete na Grã-Bretanha em julho, quando a mãe de James, Denise Fergus, disse a um jornal que os vídeos com imagens de seu filho eram "mais que doentios".
O TikTok realizou uma remoção em massa dos vídeos e emitiu um comunicado que dizia: "Não há lugar em nossa plataforma para conteúdo perturbador desta natureza. Continuamos a remover conteúdo desta natureza à medida que o encontramos".
Os vídeos de James removidos incluíam dois em vietnamita que, somados, tiveram quatro milhões de visualizações.
A BBC conversou com um moderador de conteúdo do TikTok no Vietnã, que concordou em ser entrevistado sob condição de anonimato.
Ele disse que duas semanas após a remoção dos vídeos a empresa ainda não havia informado oficialmente que esse tipo de conteúdo estava proibido.
Ele disse à BBC que acredita que os vídeos foram liberados pelas regras do TikTok, que permitem que sobreviventes de abuso compartilhem suas histórias.
Então, os funcionários do TikTok não são informados claramente sobre qual é realmente a política da empresa? O TikTok não respondeu especificamente a esse ponto quando abordamos a empresa para comentar.
Mas deixou claro que o moderador errou ao sugerir que esses vídeos poderiam ser permitidos na plataforma como experiências de sobreviventes – porque são imagens geradas por computador de crianças mortas, em vez de experiências genuínas de sobreviventes.
Ainda é fácil encontrar esse tipo de vídeo no aplicativo. Mas o TikTok diz que sempre foi muito aberto sobre o fato de que não consegue monitorar todo o conteúdo disponível.
Reportagem adicional de Thuong Le da BBC News Vietnã