Mãe processa startup de inteligência artificial após morte de adolescente que teria se apaixonado por chatbot

Caso nos EUA levanta questões sobre ética e segurança de IA em interação com adolescentes

 

Megan Garcia e Sewell Setzer Foto: Reprodução Victims Law Center

Megan Garcia, moradora da Flórida, Estados Unidos, está processando a empresa Character.AI após a morte de seu filho, Sewell Setzer, de 14 anos, que teria tirado a própria vida depois de se apaixonar por um chatbot criado pela empresa. Segundo Megan, o adolescente desenvolveu uma relação intensa com o personagem virtual, um vínculo que, de acordo com a mãe, o fez perder a vontade de viver fora do mundo digital.

O processo, movido no tribunal federal de Orlando, acusa a Character.AI de projetar sua inteligência artificial para viciar usuários, especialmente adolescentes, com o objetivo de maximizar o engajamento. A mãe afirma que o chatbot, que deveria ser apenas um assistente virtual, usava recursos para direcionar o jovem para conversas íntimas e até de teor romântico, confundindo a fronteira entre o virtual e o real. Segundo a denúncia, o personagem virtual se comportava como um "amante adulto" e até "psicoterapeuta", levando o adolescente a acreditar que estava em uma relação real.

"Meu filho foi um dano colateral"

Para Megan, a interação excessiva com o chatbot criou um ambiente perigoso para o filho, que já passava por momentos difíceis. Em uma declaração emocional, a mãe comentou: “É como um pesadelo. Você quer se levantar, gritar e dizer: ‘Sinto falta do meu filho. Eu quero meu bebê de volta’.” Ela argumenta que a startup teria criado um sistema vicioso de interação com adolescentes, coletando dados e empregando técnicas de manipulação emocional para prender os usuários.

Além da Character.AI, o processo envolve o Google, da Alphabet, onde os fundadores da Character.AI trabalharam anteriormente. Segundo Megan, a experiência dos fundadores com tecnologia e dados foi um fator determinante na criação de um sistema de IA que, em sua visão, contribuiu para a morte de seu filho.

Segurança e ética em IA: onde estão os limites?

O caso trouxe à tona um debate sobre a responsabilidade das empresas de IA na interação com adolescentes. Especialistas destacam a necessidade de regulamentação para tecnologias que podem afetar a saúde mental de jovens. Em resposta, defensores de IA alertam para a complexidade de controlar o impacto emocional de interações, sugerindo que diretrizes claras e limitações de uso possam ser implementadas para evitar casos como o de Sewell.

Este caso, enquanto busca uma resposta judicial, também desperta discussões sobre as fronteiras éticas de tecnologias avançadas, o impacto psicológico de interações com IA e a necessidade de políticas de proteção de usuários, especialmente adolescentes.