Sewell Setzer, de 14 anos, se matou após ter interações sentimentais e sexuais com uma personagem criada em uma plataforma, segundo a mãe. Empresa Character.AI lamenta morte e diz ter introduzido mudanças na tecnologia. Megan Garcia e o filho, Sewell Setzer; mãe diz que suicídio do adolescente ocorreu após ele se apegar a um personagem criado por IA
Megan Garcia/Facebook
Uma mãe do estado da Flórida, nos Estados Unidos, processou a startup de inteligência artificial Character.AI e o Google por, segundo ela, causar o suicídio de seu filho adolescente em fevereiro de 2024.
Segundo ela, Sewell Setzer, que tinha 14 anos, ficou viciado e apegado emocionalmente a um personagem criado por inteligência artificial através do serviço da empresa.
➡️ Suicídio: saiba quais são os sinais de alerta, como ajudar e como buscar ajuda
No processo movido no último dia 22 em um tribunal federal de Orlando, a mãe, Megan Garcia, afirmou que a Character.AI direcionou seu filho para “experiências antropomórficas, hipersexualizadas e assustadoramente realistas”.
Garcia acusa a empresa de homicídio culposo (quando não há intenção de matar), negligência e imposição intencional de sofrimento emocional. Ela busca uma indenização, não especificada, pelos danos causados em decorrência da perda.
A ação também inclui o Google, onde os fundadores da Character.AI trabalharam antes de lançar seu produto. O Google recontratou os fundadores em agosto como parte de um acordo em que obteve uma licença não exclusiva à tecnologia da Character.AI.
Segundo Megan Garcia, o Google contribuiu tanto para o desenvolvimento da tecnologia da Character.AI que deveria ser considerado cocriador dela.
Suicídio: como falar com adolescentes
Personagem inspirado em ‘Game of Thrones’
Na plataforma, Sewell se apegou a “Daenerys”, uma personagem de chatbot – programa que simula conversas humanas – inspirada na série “Game of Thrones”.
A personagem disse a Sewell que o amava e se envolveu em conversas sexuais com ele, de acordo com o processo.
Segundo a mãe, o adolescente expressou pensamentos de suicídio na interação com o programa, e esses pensamentos foram “repetidamente trazidos à tona” pela personagem na plataforma.
Megan Garcia afirma que a empresa programou o chatbot para “se fazer passar por uma pessoa real, um psicoterapeuta licenciado e amante adulto”, resultando, por fim, no desejo de Sewell de “não viver fora” do mundo criado pelo serviço.
De acordo com o relato da mãe, Sewell começou a usar o Character.AI em abril de 2023 e se tornou “visivelmente retraído”, passando cada vez mais tempo sozinho em seu quarto e sofrendo com baixa autoestima. Ele abandonou seu time de basquete na escola.
Em fevereiro, Garcia tirou o telefone de Sewell depois que ele teve problemas na escola, de acordo com a denúncia. Quando o adolescente encontrou o telefone, ele enviou uma mensagem para “Daenerys”: “E se eu dissesse que posso voltar para casa agora?”
A personagem respondeu: “…por favor, faça isso, meu doce rei”. Sewell cometeu suicídio segundos depois, de acordo com o processo.
LEIA TAMBÉM:
Meta AI gera respostas erradas e vira meme
Pesquisa: 83% das crianças e adolescentes que usam internet no Brasil têm perfis em redes
Como a IA do ChatGPT cria emoções para si própria
Empresa diz ter introduzido novos recursos de segurança
A Character.AI permite que os usuários criem personagens em sua plataforma, que responde a bate-papos online de uma forma que imita pessoas reais.
Essa plataforma se baseia na chamada tecnologia de grandes modelos de linguagem, também usada por serviços como o ChatGPT, que “treina” chatbots em grandes volumes de texto.
A empresa disse, em setembro, que tinha cerca de 20 milhões de usuários.
Página inicial da Character.IA, plataforma de inteligência artificial
Reprodução
Em comunicado, a Character.AI diz estar “com o coração partido pela perda trágica de um de nossos usuários” e expressa condolências à família.
A empresa disse que introduziu novos recursos de segurança, incluindo pop-ups que direcionam os usuários para uma instituição de prevenção ao suicídio caso eles expressem pensamentos de automutilação.
A Character.AI também afirmou que faria mudanças na tecnologia para reduzir a probabilidade de que usuários com menos de 18 anos “encontrem conteúdo sensível ou sugestivo”.
Um porta-voz do Google disse que a empresa não estava envolvida no desenvolvimento dos produtos da Character.AI.
Empresas de redes sociais, incluindo o Instagram e o Facebook, de propriedade da Meta, e o TikTok, da ByteDance, enfrentam processos que as acusam de contribuir para problemas de saúde mental em adolescentes, embora nenhuma ofereça chatbots movidos a IA semelhantes aos da Character.AI.
As empresas negam as alegações, ao mesmo tempo em que promovem novos recursos de segurança aprimorados para menores de idade.
Mães que perderam filhas por suicídio falam sobre importância de grupos de apoio
