A The Rundown Tech repercutiu um estudo preocupante da OpenAI sobre usuários que utilizam o ChatGPT como ferramenta psicanalítica/psquiátrica.
Segundo a The Rundown Tech, repercutindo o estudo da OpenAI, 0,15% dos 800 milhões de usuários semanais, ou seja, 1 milhão de pessoas, demonstram ter intenções suicidas concretas em suas conversas com o agente de IA.
A OpenAI diz que “trabalha com especialistas em saúde mental com experiência clínica prática e que ensina o modelo a reconhecer melhor o sofrimento, a acalmar conversas e a orientar as pessoas para atendimento profissional quando apropriado”.
A OpenAI diz que implementou “melhorias de segurança na atualização recente do modelo” nas áreas deproblemas de saúde mental, como psicose ou mania; automutilação e suicídio; e dependência emocional da IA.
E que a partir de agora, além das métricas de segurança básicas já estabelecidas para suicídio e automutilação, adicionaram dependência emocional e emergências de saúde mental não suicidas ao conjunto padrão de testes de segurança básicos para futuras versões do modelo.
Taxonomia da OpenAI
Que modelo é esse? A OpenAI utliza guias chamados de “taxonomias”. Estes modelos apresentam as propriedades de conversas sensíveis e como seria o comportamento ideal e indesejado. O objetivo é ensinar o robô a responder de forma mais adequada e a monitorar seu desempenho antes e depois da implementação.
Segundo a plataforma, “o resultado é um modelo que responde de forma mais confiável a usuários que apresentam sinais de psicose, mania, pensamentos suicidas e de automutilação, ou apego emocional não saudável ao modelo”.
Chama a atenção que as análises não são realizadas apenas no ambiente digital. Segundo a OpenAI , “dada a baixíssima prevalência de conversas relevantes, o sistema não se baseia apenas em medições de uso do ChatGPT no mundo real.
Eles também realizam testes antes da implementação (chamados de “avaliações offline”), que se concentram em cenários especialmente difíceis ou de alto risco.
O comunicado da OpenAI pode ser lido aqui.