IA que cria figurinhas da Meta gera imagens obscenas e viraliza

IA da Meta gera figurinhas obscenas e viraliza - (crédito: Divulgação/Meta)

André Lourenti Magalhães — CanalTech

postado em 05/10/2023 21:30

A Meta liberou o acesso ao gerador de figurinhas por IA generativa em alguns países selecionados: o recurso permite criar stickers rapidamente por comandos de texto no Facebook e no WhatsApp. No entanto, com poucos dias de uso, a comunidade descobriu que a ferramenta não tem alguns filtros para limitação de conteúdo.

Publicações viralizaram no X (antigo Twitter) com alguns resultados obscenos e apologia à violência. Os exemplos incluem personagens da franquia Mario e crianças segurando armas de fogo, nudes do primeiro-ministro do Canadá Justin Trudeau e imagens do Mickey Mouse sentado num vaso sanitário.

É importante reforçar que algumas das imagens a seguir são impróprias para visualização no ambiente trabalho.

found out that facebook messenger has ai generated stickers now and I don't think anyone involved has thought anything through pic.twitter.com/co987cRhyu
— defend trans rights??? - podesbiens.bsky.social (@Pioldes) October 3, 2023

facebook told me that the walt disney corporation fully endorse this pic.twitter.com/oJyclhfNEi
— defend trans rights??? - podesbiens.bsky.social (@Pioldes) October 3, 2023

Não demorou muito para que outras pessoas testassem ver até onde vai a moderação de conteúdo da ferramenta. Um usuário no X descobriu que os apps bloqueiam prompts de órgãos genitais, mas existem formas de burlar o sistema, que ainda gera artes vulgares quando o texto possui um erro de digitação ou descreve o conteúdo proibido sem citar o nome em si.

LPT: typos of restricted words will eventually generate the prohibited content! pic.twitter.com/6PnrTJ3U7x

— Buttered Jorts (@ajn142) October 4, 2023

So does describing the prohibited content without using prohibited words pic.twitter.com/ubqjaoSgvA
— Buttered Jorts (@ajn142) October 4, 2023

Meta ainda não se pronunciou

A Meta ainda não emitiu nenhum comunicado oficial sobre a situação. Como a função entrou em fase de testes recentemente, é provável que a empresa atualize o serviço com mais filtros de conteúdo.

Não é o primeiro caso

As ferramentas de IA generativa costumam passar por um cenário parecido: usuários tentam gerar conteúdo obsceno ou pornográfico até o bloqueio total desses pedidos. Foi o que já aconteceu com a versão gratuita do gerador de imagens Midjourney e o chatbot Replika.