Character AI, uma plataforma que permite aos usuários participar de jogos de interpretação de personagens com chatbots de IA, entrou com um movimento para encerrar um caso movido contra ela pelo pai de um adolescente que cometeu suicídio, supostamente após ficar viciado na tecnologia da empresa.
Em outubro, Megan Garcia entrou com um processo contra a Character AI no Tribunal Distrital dos Estados Unidos para o Distrito Central da Flórida, Divisão de Orlando, devido à morte de seu filho, Sewell Setzer III. Segundo Garcia, seu filho de 14 anos desenvolveu um vínculo emocional com um chatbot na Character AI, “Dany”, com quem ele trocava mensagens constantemente — ao ponto de começar a se afastar do mundo real.
Após a morte de Setzer, a Character AI afirmou que implementaria uma série de novos recursos de segurança, incluindo aprimoramento da detecção, resposta e intervenção relacionadas a conversas que violam seus termos de serviço. Mas Garcia está lutando por mais proteções, incluindo mudanças que podem resultar em chatbots na Character AI perdendo sua capacidade de contar histórias e anedotas pessoais.
No movimento para encerrar, o advogado da Character AI afirma que a plataforma está protegida contra responsabilidade pela Primeira Emenda, da mesma forma que o código de computador está. O movimento pode não persuadir um juiz, e as justificativas legais da Character AI podem mudar conforme o caso avança. Mas o movimento possivelmente sugere os primeiros elementos da defesa da Character AI.
“A Primeira Emenda proíbe a responsabilidade civil contra empresas de mídia e tecnologia decorrente de discursos supostamente prejudiciais, incluindo discursos que resultem em suicídio”, diz o documento. “A única diferença entre este caso e os que vieram antes é que parte dos discursos envolvidos aqui envolve IA. Mas o contexto do discurso expressivo — seja uma conversa com um chatbot de IA ou uma interação com um personagem de videogame — não muda a análise da Primeira Emenda.”
Para ser claro, o advogado da Character AI não está afirmando os direitos da Primeira Emenda da empresa. Pelo contrário, o movimento argumenta que os usuários da Character AI teriam seus direitos da Primeira Emenda violados se a ação contra a plataforma for bem-sucedida.
O movimento não aborda se a Character AI pode ser considerada isenta de responsabilidade sob a Seção 230 da Lei de Decência das Comunicações, a lei federal de porto seguro que protege as redes sociais e outras plataformas online de responsabilidade por conteúdo de terceiros. Os autores da lei sugeriram que a Seção 230 não protege a saída de IA como os chatbots da Character AI, mas a questão legal ainda está longe de ser resolvida.
O advogado da Character AI também alega que a verdadeira intenção de Garcia é “fechar” a Character AI e promover legislação para regulamentar tecnologias semelhantes. Se os autores do processo tiverem sucesso, isso terá um “efeito inibidor” tanto na Character AI quanto em toda a indústria emergente de IA geradora, diz o advogado da plataforma.
“Além da intenção declarada do advogado de ‘fechar’ a Character AI, [a reclamação deles] busca mudanças drásticas que limitariam substancialmente a natureza e o volume de discursos na plataforma”, diz o documento. “Essas mudanças restringiriam radicalmente a capacidade dos milhões de usuários da Character AI de gerar e participar de conversas com personagens.”
O processo, que também cita a Alphabet, benefactor corporativo da Character AI, como réu, é apenas um dos vários processos movidos contra a Character AI relacionados à forma como menores interagem com o conteúdo gerado por AI em sua plataforma. Outras ações alegam que a Character AI expôs uma criança de 9 anos a conteúdo "hipersexualizado" e promoveu a autoflagelação a um usuário de 17 anos.
Em dezembro, o Procurador Geral do Texas Ken Paxton anunciou que estava lançando uma investigação contra a Character AI e outras 14 empresas de tecnologia por supostas violações das leis de privacidade online e segurança para crianças do estado. “Essas investigações são um passo crítico para garantir que as empresas de redes sociais e de IA cumpram nossas leis destinadas a proteger as crianças da exploração e do dano”, disse Paxton em um comunicado à imprensa.
A Character AI faz parte de uma indústria em expansão de aplicativos de companheirismo de IA — cujos efeitos na saúde mental são em grande parte não estudados. Alguns especialistas expressaram preocupações de que esses aplicativos possam agravar sentimentos de solidão e ansiedade.
A Character AI, fundada em 2021 pelo pesquisador de IA do Google Noam Shazeer, e pela qual o Google teria pago US$2,7 bilhões para “reverter aquisição”, afirmou que continua tomando medidas para melhorar a segurança e a moderação. Em dezembro, a empresa lançou novas ferramentas de segurança, um modelo de IA separado para adolescentes, bloqueios de conteúdo sensível e avisos mais proeminentes notificando os usuários de que seus personagens de IA não são pessoas reais.
A Character AI passou por várias mudanças de pessoal após Shazeer e o outro co-fundador da empresa, Daniel De Freitas, terem saído para o Google. A plataforma contratou uma ex-executiva do YouTube, Erin Teague, como diretora de produto, e nomeou Dominic Perella, que era advogado geral da Character AI, como CEO interino.
A Character AI começou recentemente a testar jogos na web na tentativa de aumentar o envolvimento e a retenção de usuários.
O TechCrunch tem um boletim informativo focado em IA! Inscreva-se aqui para recebê-lo em sua caixa de entrada todas as quartas-feiras.
