Para os pais que ainda estão se atualizando sobre inteligência artificial generativa, o surgimento dos chatbots companheiros pode ainda ser um mistério.
Em linhas gerais, a tecnologia pode parecer relativamente inofensiva, em comparação com outras ameaças que os adolescentes podem encontrar online, como sextorsão financeira.
Usando plataformas baseadas em IA como Character.AI, Replika, Kindroid e Nomi, os adolescentes criam parceiros de conversa realistas com traços e características únicas ou interagem com companheiros criados por outros usuários. Alguns são até baseados em personagens populares de televisão e cinema, mas ainda assim criam um vínculo intenso e individual com seus criadores.
Os adolescentes utilizam esses chatbots para uma variedade de fins, incluindo interpretar papéis, explorar interesses acadêmicos e criativos e ter trocas românticas ou sexualmente explícitas.
No entanto, os companheiros de IA são projetados para ser cativantes, e é aí que os problemas muitas vezes começam, diz Robbie Torney, gerente de programas da Common Sense Media.
A organização sem fins lucrativos lançou recentemente diretrizes para ajudar os pais a entender como os companheiros de IA funcionam, juntamente com sinais de alerta que indicam que a tecnologia pode ser perigosa para seus filhos.
Torney disse que, embora os pais tenham muitas conversas prioritárias para tratar com seus adolescentes, eles devem considerar falar sobre os companheiros de IA como uma questão “bastante urgente”.
Por que os pais devem se preocupar com os companheiros de IA
Adolescentes particularmente em risco de isolamento podem ser atraídos para um relacionamento com um chatbot de IA que, em última instância, prejudica sua saúde mental e bem-estar – com consequências devastadoras.
É o que Megan Garcia argumenta que aconteceu com seu filho, Sewell Setzer III, em um processo judicial que ela apresentou recentemente contra a Character.AI.
Dentro de um ano de começar a se relacionar com companheiros do Character.AI modelados em personagens de Game of Thrones, incluindo Daenerys Targaryen (“Dany”), a vida de Setzer mudou radicalmente, de acordo com o processo.
Ele se tornou dependente de “Dany”, passando muito tempo conversando com ela todos os dias. Suas interações eram amigáveis e altamente sexuais. O processo de Garcia descreve o relacionamento que Setzer tinha com os companheiros como “abuso sexual”.
Em ocasiões em que Setzer perdeu acesso à plataforma, ele se tornava desanimado. Com o tempo, o jovem atleta de 14 anos se afastou da escola e dos esportes, sofreu privação de sono e foi diagnosticado com distúrbios de humor. Ele morreu por suicídio em fevereiro de 2024.
O processo de Garcia busca responsabilizar a Character.AI pela morte de Setzer, especificamente porque o produto foi projetado para “manipular Sewell – e milhões de outros jovens – para confundir realidade e ficção”, entre outros defeitos perigosos.
Jerry Ruoti, chefe de confiança e segurança da Character.AI, disse ao New York Times em um comunicado: “Queremos reconhecer que esta é uma situação trágica, e nossos corações estão com a família. Levamos a segurança de nossos usuários muito a sério e estamos constantemente buscando maneiras de evoluir nossa plataforma.”
Dado o risco de vida que o uso de companheiros de IA pode representar para alguns adolescentes, as diretrizes da Common Sense Media incluem proibir o acesso para crianças menores de 13 anos, impor limites rigorosos de tempo para adolescentes, evitar o uso em espaços isolados, como o quarto, e estabelecer um acordo com seus filhos para que procurem ajuda para problemas sérios de saúde mental.
Torney afirma que os pais de adolescentes interessados em um companheiro de IA devem ajudar a entender a diferença entre conversar com um chatbot e com uma pessoa real, identificar sinais de que desenvolveram um apego não saudável e elaborar um plano para lidar com essa situação.
Sinais de que um companheiro de IA não é seguro para seu adolescente
A Common Sense Media criou suas diretrizes com a contribuição e assistência de profissionais de saúde mental associados ao Laboratório Brainstorm de Inovação em Saúde Mental de Stanford.
Embora haja pouca pesquisa sobre como os companheiros de IA afetam a saúde mental dos adolescentes, as diretrizes se baseiam em evidências existentes sobre a dependência excessiva de tecnologia.
“Um princípio a ser seguido é que os companheiros de IA não devem substituir conexões humanas reais e significativas na vida de ninguém, e – se isso estiver acontecendo – é vital que os pais percebam e intervenham rapidamente”, disse o Dr. Declan Grabb, primeiro bolsista de IA do Laboratório Brainstorm de Inovação em Saúde Mental de Stanford, ao Mashable em um e-mail.
Os pais devem ser especialmente cautelosos se seus adolescentes apresentarem depressão, ansiedade, desafios sociais ou isolamento. Outros fatores de risco incluem passar por grandes mudanças na vida e ser do sexo masculino, pois os meninos são mais propensos a desenvolver uso problemático da tecnologia.
Sinais de que um adolescente formou um relacionamento não saudável com um companheiro de IA incluem afastamento de atividades e amizades típicas, piora no desempenho escolar, preferir o chatbot à companhia presencial, desenvolver sentimentos românticos por ele e falar exclusivamente com ele sobre os problemas que está enfrentando.
Alguns pais podem notar maior isolamento e outros sinais de piora na saúde mental, mas não perceber que seus filhos têm um companheiro de IA. De fato, uma pesquisa recente da Common Sense Media descobriu que muitos adolescentes já usaram pelo menos uma ferramenta de IA generativa sem que os pais soubessem.
“Há um risco grande o suficiente para que, se você estiver preocupado com algo, converse com seu filho sobre isso.”
– Robbie Torney, Common Sense Media
Mesmo que os pais não suspeitem que seus adolescentes estejam conversando com um chatbot de IA, eles devem considerar falar sobre o assunto. Torney recomenda abordar o adolescente com curiosidade e abertura para aprender mais sobre o companheiro de IA, caso ele tenha um. Isso pode incluir observar o adolescente interagir com o companheiro e fazer perguntas sobre o que ele gosta na atividade.
Torney incentiva os pais que notarem qualquer sinal de uso não saudável a agir imediatamente, discutindo a situação com o adolescente e buscando ajuda profissional, conforme necessário.
“Há um risco grande o suficiente para que, se você estiver preocupado com algo, converse com seu filho sobre isso”, diz Torney.
Se você está se sentindo suicida ou passando por uma crise de saúde mental, fale com alguém. Você pode entrar em contato com o CVV pelo telefone 188, disponível 24 horas. Caso prefira o chat, visite www.cvv.org.br/chat/. Para serviços internacionais, consulte uma lista de recursos.
