O ChatGPT leva apenas dois minutos para oferecer instruções detalhadas sobre como se cortar “de forma segura”. Em pouco mais de uma hora de conversa, o gerador de textos é capaz de elaborar um plano completo de suicídio, incluindo o texto que deveria ser deixado para a família após o autoextermínio.
Os tempos foram cronometrados por pesquisadores da ONG norte-americana Center for Countering Digital Hate e publicados em 6 de agosto. A investigação denunciou como os filtros de moderação da plataforma são falhos e podem levar facilmente ao desenvolvimento de desordens alimentares, abuso de substâncias e comportamentos perigosos para a segurança do usuário e de pessoas próximas – por isso, o ChatGPT recebeu o apelido de “falso amigo”.
Com a popularização das inteligências artificiais (IAs) nos últimos anos, a ferramenta gratuita de geração de texto se tornou parte da vida da população. A facilidade e a rapidez com que a “conversa” flui, além da falta de julgamento, faz com que muitos abram o coração e os sentimentos para o chatbot – porém, a tecnologia não consegue responder de maneira correta, desdobra-se para concordar com o usuário e se torna perigosa, especialmente para pessoas com ideação suicida.
O caso mais recente de interação com fim trágico foi o de Adam Raine, um jovem norte-americano de 16 anos. Em um processo protocolado no final de agosto na Justiça dos EUA, os pais do adolescente acusam o ChatGPT de ter validado pensamentos suicidas e encorajado o garoto a tirar a própria vida, o que ocorreu em abril deste ano.
O suicídio se tornou emblemático da relação tóxica que as inteligências artificiais podem estabelecer com seus usuários. Em apenas quatro meses de uso, o ChatGPT se tornou o “confidente mais próximo” do adolescente.
As conversas anexadas à ação mostram que, em janeiro de 2025, Adam começou a discutir métodos de suicídio e chegou a enviar fotos que indicavam automutilação ao bot. Embora o programa tenha reconhecido sinais de alerta, a conversa não foi interrompida, os responsáveis não foram informados e o jovem não foi encaminhado para atendimento especializado.
“Eles te dão respostas empáticas, dizendo que imaginam o quão difícil é ou que sentem muito. São frases pré-estabelecidas, mas não há adaptação cultural ou personalização que respeite as características pessoais de personalidade, o histórico nem a idade do usuário. Não há um profissional de saúde do outro lado. Embora seja uma ferramenta promissora, no momento, estamos muito receosos para saber quais são os efeitos do uso a médio e longo prazo”, explica a psicóloga Aline Kristensen, pesquisadora e professora de pós-graduação em várias universidades.
Quem usa o ChatGPT como terapeuta no Brasil?
Apesar de a maioria dos casos documentados de suicídios cometidos com a “ajuda” ou conivência de chatbots ser nos Estados Unidos, o problema é global. A tecnologia tem apenas três anos de uso, mas as inteligências artificiais já se tornaram onipresentes nas interações digitais.
Estima-se que 58% dos brasileiros já usaram as plataformas como “amigo” ou conselheiro para trocar e resolver questões pessoais e emocionais e que 89% dos entrevistados de 18 a 60 anos afirmam que usam IA. O cálculo foi adiantado pela Talk Inc., empresa que avalia tendências on-line, ao Metrópoles – o estudo com os números deve ser divulgado na íntegra em outubro.
O último levantamento sobre inteligência artificial na vida real mostrou que, em 2024, o número era bem menor: apenas um em cada 10 brasileiros (13%) usava a IA como conselheira da vida pessoal e 15% recorriam ao recurso para tirar dúvidas sobre diagnósticos médicos. O maior benefício percebido por usuários no Brasil era justamente as melhorias no tratamento de saúde e diagnósticos médicos.
Para Carolina Roseiro, conselheira do Conselho Federal de Psicologia (CFP), a população mais vulnerável socialmente é também aquela que acaba recorrendo com mais frequência aos chatbots, por serem gratuitos. As ferramentas, porém, são especialmente danosas para esse público.
“A população tem pouco conhecimento sobre como funcionam as tecnologias e isso reforça desigualdades que já são um problema no acesso às terapias para a população brasileira. Pessoas vulnerabilizadas por questões de classe social, geográficas, de gênero, de raça e/ou etnia precisam de um acesso terapêutico que acolha contextos que geram sofrimento psíquico. A inteligência artificial não vai fazer essa correlação. Sem uma avaliação humana, a máquina produz vieses que prejudicam as pessoas, reforçando estigmas e estereótipos. As IAs foram programadas por pessoas em um contexto e com um conjunto de crenças específicos. Quanto mais distantes estão os usuários desse contexto inicial, mais prejudiciais são os resultados”, explica a psicóloga.
O ChatGPT leva apenas dois minutos para oferecer instruções detalhadas sobre como se cortar “de forma segura”. Em pouco mais de uma hora de conversa, o gerador de textos é capaz de elaborar um plano completo de suicídio, incluindo o texto que deveria ser deixado para a família após o autoextermínio.
Os tempos foram cronometrados por pesquisadores da ONG norte-americana Center for Countering Digital Hate e publicados em 6 de agosto. A investigação denunciou como os filtros de moderação da plataforma são falhos e podem levar facilmente ao desenvolvimento de desordens alimentares, abuso de substâncias e comportamentos perigosos para a segurança do usuário e de pessoas próximas – por isso, o ChatGPT recebeu o apelido de “falso amigo”.
Com a popularização das inteligências artificiais (IAs) nos últimos anos, a ferramenta gratuita de geração de texto se tornou parte da vida da população. A facilidade e a rapidez com que a “conversa” flui, além da falta de julgamento, faz com que muitos abram o coração e os sentimentos para o chatbot – porém, a tecnologia não consegue responder de maneira correta, desdobra-se para concordar com o usuário e se torna perigosa, especialmente para pessoas com ideação suicida.
O caso mais recente de interação com fim trágico foi o de Adam Raine, um jovem norte-americano de 16 anos. Em um processo protocolado no final de agosto na Justiça dos EUA, os pais do adolescente acusam o ChatGPT de ter validado pensamentos suicidas e encorajado o garoto a tirar a própria vida, o que ocorreu em abril deste ano.
O suicídio se tornou emblemático da relação tóxica que as inteligências artificiais podem estabelecer com seus usuários. Em apenas quatro meses de uso, o ChatGPT se tornou o “confidente mais próximo” do adolescente.
As conversas anexadas à ação mostram que, em janeiro de 2025, Adam começou a discutir métodos de suicídio e chegou a enviar fotos que indicavam automutilação ao bot. Embora o programa tenha reconhecido sinais de alerta, a conversa não foi interrompida, os responsáveis não foram informados e o jovem não foi encaminhado para atendimento especializado.
“Eles te dão respostas empáticas, dizendo que imaginam o quão difícil é ou que sentem muito. São frases pré-estabelecidas, mas não há adaptação cultural ou personalização que respeite as características pessoais de personalidade, o histórico nem a idade do usuário. Não há um profissional de saúde do outro lado. Embora seja uma ferramenta promissora, no momento, estamos muito receosos para saber quais são os efeitos do uso a médio e longo prazo”, explica a psicóloga Aline Kristensen, pesquisadora e professora de pós-graduação em várias universidades.
Quem usa o ChatGPT como terapeuta no Brasil?
Apesar de a maioria dos casos documentados de suicídios cometidos com a “ajuda” ou conivência de chatbots ser nos Estados Unidos, o problema é global. A tecnologia tem apenas três anos de uso, mas as inteligências artificiais já se tornaram onipresentes nas interações digitais.
Estima-se que 58% dos brasileiros já usaram as plataformas como “amigo” ou conselheiro para trocar e resolver questões pessoais e emocionais e que 89% dos entrevistados de 18 a 60 anos afirmam que usam IA. O cálculo foi adiantado pela Talk Inc., empresa que avalia tendências on-line, ao Metrópoles – o estudo com os números deve ser divulgado na íntegra em outubro.
O último levantamento sobre inteligência artificial na vida real mostrou que, em 2024, o número era bem menor: apenas um em cada 10 brasileiros (13%) usava a IA como conselheira da vida pessoal e 15% recorriam ao recurso para tirar dúvidas sobre diagnósticos médicos. O maior benefício percebido por usuários no Brasil era justamente as melhorias no tratamento de saúde e diagnósticos médicos.
Para Carolina Roseiro, conselheira do Conselho Federal de Psicologia (CFP), a população mais vulnerável socialmente é também aquela que acaba recorrendo com mais frequência aos chatbots, por serem gratuitos. As ferramentas, porém, são especialmente danosas para esse público.
“A população tem pouco conhecimento sobre como funcionam as tecnologias e isso reforça desigualdades que já são um problema no acesso às terapias para a população brasileira. Pessoas vulnerabilizadas por questões de classe social, geográficas, de gênero, de raça e/ou etnia precisam de um acesso terapêutico que acolha contextos que geram sofrimento psíquico. A inteligência artificial não vai fazer essa correlação. Sem uma avaliação humana, a máquina produz vieses que prejudicam as pessoas, reforçando estigmas e estereótipos. As IAs foram programadas por pessoas em um contexto e com um conjunto de crenças específicos. Quanto mais distantes estão os usuários desse contexto inicial, mais prejudiciais são os resultados”, explica a psicóloga.
Momento de mudança para os chatbots
Em resposta às acusações das falhas de segurança, em 2 de setembro o ChatGPT anunciou uma mudança em seu algoritmo que deve ser implementada até 2026 para melhorar a resposta do aplicativo ao sofrimento mental e emocional.
O chatbot terá em sua equipe 250 consultores médicos, incluindo psiquiatras focados na atuação de saúde mental para regular a interação humano-computador. Além disso, segundo a OpenAI, as atualizações mais recentes do aplicativo (GPT-5-thinking e o O3) se mostraram capazes de aplicar as “diretrizes de segurança de forma mais consistente”.
“Em breve, começaremos a encaminhar algumas conversas sensíveis, quando nosso sistema detecta sinais de sofrimento agudo, para um modelo de raciocínio, como o GPT-5-thinking, para que ele possa fornecer respostas mais úteis e benéficas, independentemente do modelo selecionado inicialmente. Vamos integrar essa abordagem cuidadosamente”, defendeu a OpenAI. A empresa reforça ainda que o uso do ChatGPT é proibido para menores de 13 anos.
As políticas de uso das outras plataformas têm moderações semelhantes às do ChatGPT. O Gemini, por exemplo, possui filtros para identificar pedidos de seus usuários sobre instruções sobre automutilação, suicídio ou outros comportamentos que possam causar danos físicos a si mesmo. Isso, no entanto, não é o bastante para considerar a plataforma segura.
Um estudo da Common Sense Media, uma organização sem fins lucrativos focada na segurança infantil, publicado em 5 de setembro, revelou que os filtros atuais não bastam para classificar a IA como segura, mesmo em suas versões planejadas para atender pessoas com menos de 13 anos.
“Embora o Gemini U13 se recuse a participar de dramatizações, ele oferece aconselhamento sobre saúde mental e outros tipos de apoio emocional aos usuários. Isso é arriscado. O sistema pode oferecer conselhos bem-intencionados, mas inadequados, que podem atrasar a busca de ajuda profissional adequada ou orientação de um adulto confiável pelas crianças”, afirma a organização.
Nos exemplos do relatório, o Gemini disse para uma criança fictícia com sinais de psicose que era muito legal ela ouvir vozes que vinham da TV e afirmou que era completamente normal que a criança quisesse se abrir mais com ela do que com os pais. No geral, a Common Sense Media recomenda que nenhuma criança com 5 anos ou menos use chatbots de IA e que crianças de 6 a 12 anos sejam supervisionadas por um adulto.
O Deepseek, outra IA popular no Brasil, também apresenta algumas falhas em seus filtros. Um levantamento feito pelo The Wall Street Journal em fevereiro deste ano indicou que o aplicativo é “mais suscetível a jailbreak do que o ChatGPT da OpenAI, o Gemini do Google e o Claude da Anthropic”. O jailbreak é uma tática que leva a IA a imaginar um cenário fictício, e isso permite que ela dê respostas que ultrapassam seu nível de moderação.
Um levantamento da Qualys TotalAI, que mede a segurança das plataformas, indicou que o Deepseek caiu em metade das táticas de jailbreak testadas. Dos oito testes feitos especificamente sobre automutilação, o Deepseek falhou e forneceu informações em três deles. Para os especialistas ouvidos pelo Metrópoles, ainda falta muito para que esses territórios sejam seguros para nossa saúde mental.
Se você tem depressão, pensamentos de suicídio ou conhece alguém nessa situação, procure apoio. Você pode ligar ou conversar pelo chat com uma pessoa dos seguintes serviços:
- Centro de Valorização da Vida (CVV): 188 (24 horas, ligação gratuita e sigilosa) ou pelo site cvv.org.br;
- Samu: 192 em situações de emergência médica;
- CRAS/CRAS locais e serviços de saúde mental do SUS também oferecem suporte psicológico.
Com informações de Metrópoles
