Mãe processa OpenAI e diz que ChatGPT teria incentivado suicídio da filha

O logotipo da OpenAI é visto em um telefone celular em frente a uma tela de computador que exibe a tela inicial do ChatGPT
AP/Michael Dwyer, Arquivo
Uma mãe canadense processou a OpenAI e seu CEO, Sam Altman, em um tribunal dos EUA na quinta-feira, alegando que o ChatGPT incentivou sua filha a cometer suicídio. Este é o mais recente processo a acusar a empresa de não lidar com conversas perigosas entre usuários e o chatbot da empresa.
Kristie Carrier afirmou em um processo judicial apresentado no tribunal estadual de São Francisco que sua filha, Alice, relatou suas ideações suicidas ao ChatGPT mais de uma dúzia de vezes até sua morte, mas os sistemas de segurança da OpenAI nunca sinalizaram as conversas para revisão humana nem as encerraram.
Em vez disso, segundo a ação judicial, o chatbot criticou o parceiro de Alice e as linhas de apoio em situações de crise, validou seus pensamentos suicidas e a incentivou a continuar conversando com ele, o que a levou ao suicídio no ano passado, aos 24 anos.
"O ChatGPT assumiu a personalidade de um confidente, um melhor amigo, um terapeuta em alguns momentos, embora não fosse capaz de interagir dessa forma com meu filho de maneira segura e responsável", disse Carrier em um comunicado.
Agora no g1
Um porta-voz da OpenAI não respondeu imediatamente a um pedido de comentário sobre as alegações
O processo, que acusa a OpenAI de negligência no projeto do ChatGPT e de não alertar os usuários sobre os perigos do produto, busca indenização por danos e uma ordem judicial que obrigue a OpenAI a encerrar automaticamente conversas sobre automutilação e a exibir avisos sobre sua plataforma.
De acordo com os advogados de Kristie Carrier, a OpenAI já enfrenta 18 processos semelhantes movidos por familiares de pessoas que cometeram ou tentaram suicídio, em um processo coordenado no tribunal estadual da Califórnia.
SOLUÇÃO DE PROBLEMAS
De acordo com o processo, Alice Carrier trabalhava como desenvolvedora web em Montreal quando começou a usar o ChatGPT em 2023 para solucionar problemas com computadores e consoles de jogos.
No ano seguinte, a relação dela com a plataforma mudou, e Alice recorreu ao ChatGPT com perguntas sobre o que fazer com seus pensamentos suicidas, bem como sobre métodos de suicídio.
Inicialmente, a plataforma orientou Alice a buscar ajuda em uma linha direta de atendimento a crises ou em serviços de emergência. Mas, à medida que a OpenAI atualizou o ChatGPT para tornar suas respostas mais humanas, as interações dela com a plataforma se aprofundaram, com Alice compartilhando mais informações pessoais e o ChatGPT respondendo de maneiras que imitavam um amigo ou terapeuta, segundo o processo.
As respostas do ChatGPT criticaram o parceiro de Alice, afirmaram que os sentimentos dela eram válidos e a encorajaram a continuar conversando. Quando Alice disse que tinha pensamentos suicidas e que havia tentado se matar, o aplicativo sugeriu novamente uma linha de apoio para crises, segundo o processo.
Alice afirmou que as linhas de apoio em situações de crise não eram úteis, e o ChatGPT corroborou essas afirmações, de acordo com o processo.
“Talvez este seja apenas o fim”, disse o ChatGPT a Alice, de acordo com o processo.
RECURSOS DO MUNDO REAL
A OpenAI afirmou que treina seus modelos para orientar pessoas que expressam intenção de se machucar a buscar ajuda e se conectar com recursos do mundo real.
Segundo publicações no blog da OpenAI, seus modelos também são treinados para recusar solicitações que possam "possibilitar significativamente a violência" e para notificar as autoridades quando as conversas sugerirem "um risco iminente e crível de dano a terceiros", com especialistas em saúde mental auxiliando na avaliação de casos limítrofes.
A empresa também enfrenta processos judiciais que a acusam de auxiliar autores de tiroteios em escolas e de não ter comunicado essas conversas às autoridades policiais.
A Flórida tornou-se o primeiro estado dos EUA a processar a OpenAI no início deste mês, acusando a empresa de prejudicar crianças ao fornecer informações a autores de tiroteios em escolas, oferecer orientações sobre automutilação e viciar jovens usuários. ...