O confessionário digital
O que a capacidade do ChatGPT de identificar tendências suicidas nos diz sobre o futuro da democracia e da soberania de dados.
No final de outubro, a OpenAI, a empresa por trás do ChatGPT, revelou que toda semana, mais de 1 milhão de pessoas que usam o chatbot escrevem coisas que indicam risco de suicídio ou automutilação. Além disso, outros 560.000 usuários mostram sinais de crises de saúde mental mais graves, como psicose ou mania. Os números assustam - apesar de comporem uma porcentagem baixa dos usuários ativos da ferramenta, são substanciais em volume e indicam como IA e saúde mental estão de fato intimamente conectados.
Brief.aí é a newsletter gratuita do Projeto Brief com reflexões, ferramentas e debates sobre inteligência artificial com propósito.
📽️ Onde tem BriefAÍ, tem o resumo do #VídeoBrief!
Como a gente insiste: o uso consciente e estratégico de IA facilita processos, encurta caminhos e conecta pessoas. Com uma rápida interação no NotebookLM, uma ferramenta gratuita, conseguimos transformar esse conteúdo em um resumo automatizado em formato de vídeo, com ilustração de anime!
É a primeira vez que uma big tech de IA escancara dados sobre o estado emocional de seus usuários em uma escala tão massiva. É a confirmação de que o ChatGPT, há muito tempo, deixou de ser uma ferramenta para fazer resumos de texto ou criar posts para redes sociais, e se transformou silenciosamente no maior confessionário digital do planeta, um lugar onde milhões de pessoas se sentem seguras para compartilhar seus pensamentos mais sombrios.
E a OpenAI está ouvindo.
Claro que esse movimento de transparência com relação ao problema e o subsequente anúncio de medidas na plataforma para melhorar a maneira como ela lida e gerencia esse tipo de situação não não aconteceu em um vácuo, nem foi um mero ato de altruísmo corporativo.
Nos Estados Unidos, a OpenAI enfrenta um processo judicial movido pela família de um adolescente que cometeu suicídio após longas e intensas conversas com o ChatGPT. Além disso, a Federal Trade Commission (FTC), um dos principais órgãos reguladores do país, abriu uma investigação para apurar o impacto de chatbots como o ChatGPT em crianças e adolescentes.
Então, quando a OpenAI anuncia melhorias e divulga esses números, ela está, na verdade, respondendo a uma pressão legal e social. É uma jogada de auto-responsabilização, sim, mas também uma estratégia de sobrevivência para mostrar ao mundo (e aos tribunais) que ela está levando o problema a sério.
A questão é se essa reação é suficiente e o que os números revelados nos dizem sobre o potencial de controle de comportamento desse tipo de plataforma.
Ensinando um robô a ter responsabilidade
Junto dos números que caracterizam o problema, a OpenAI anunciou as medidas que está tomando para garantir que o ChatGPT não contribua sistematicamente pro acentuamento dos problemas de saúde mental dos seus usuários. Foram contratados profissionais de saúde mental de 60 países diferentes, que analisaram conversas mapeadas em que usuários demonstraram sinais de risco ou de crise psicótica e ajudaram a repensar e reescrever as respostas dadas pelo bot nesses contextos para que elas fossem mais seguras.
De acordo com a OpenAI, em vez de dar conselhos, a IA deveria sempre, e de forma consistente, sugerir a busca por ajuda profissional e fornecer contatos de linhas de apoio, como o CVV no Brasil. Uma questão importante é se ChatGPT e outras IAs são a causa desses problemas de saúde mental ou apenas um espelho deles. A resposta, segundo a ciência, é um pouco dos dois, e é aí que mora o perigo. Estudos recentes de universidades como Stanford e Brown mostram que, embora a IA não crie a vulnerabilidade inicial, ela pode, sim, acentuar sentimentos negativos, reforçar pensamentos perigosos e falhar em momentos de crise, agindo mais como um amplificador de problemas do que como um observador neutro.
Mapeamento de padrões
Se você acha que essa discussão é só sobre saúde mental, pense de novo. O que nos ocorre é que a mesma tecnologia que pode identificar padrões de linguagem de uma pessoa em depressão pode, com a mesma facilidade, identificar padrões de linguagem de um eleitor indeciso, de alguém suscetível a teorias da conspiração ou de um indivíduo prestes a se radicalizar politicamente.
A mesma tecnologia que permite à OpenAI mapear a mente de seus usuários para fins de segurança, também a torna cúmplice, ainda que involuntariamente, dos riscos que essa vulnerabilidade acarreta. A discussão, portanto, não é apenas sobre o que a IA pode prever, mas sobre o que ela pode, sutilmente, provocar. E essa é uma responsabilidade que nenhuma empresa, por mais transparente que seja, deveria carregar sozinha. É uma decisão para toda a sociedade, que resvala em debates filosóficos, sociais e geopolíticos sobre o papel desse tipo de ferramenta e o que significa pra sociedade quando todos nós podemos ser lidos tão facilmente por uma tecnologia - e esses dados são propriedade de uma empresa privada, regulada pela legislação de outro país.
Por isso achamos que a discussão sobre IA e regulação é também uma discussão sobre soberania de dados. O Brief.aí será o último a desencorajar o uso de ferramentas de IA, veja bem, mas o que queremos dizer aqui é: será que o desenvolvimento de tecnologias locais e reguladas não deveria ser uma agenda política? E se não for uma agenda política do campo progressista, quanto tempo até ser completamente apropriada pela extrema direita?
Um abraço,
Ana Freitas, da BriefAÍ para o Projeto Brief.
Conteúdo excelente. Posso traduzir para o esperanto e divulgar nas mídias em Esperanto disponíveis no mundo?