Um escândalo com um popular concorrente do Kindle mostrou como o uso de modelos de IA chineses em produtos dos EUA poderia inadvertidamente espalhar a propaganda chinesa.
Um grande modelo de linguagem (LLM) feito pela empresa-mãe do TikTok, ByteDance, foi usado por um leitor de e-books chamado Boox, de acordo com capturas de tela sobre a IA compartilhadas no Reddit. Quando questionado sobre a China e seus aliados, este LLM propagava a propaganda do governo chinês, causando indignação entre os usuários, de acordo com a postagem e as interações do TechCrunch com este LLM.
O LLM em questão era o Doubao da ByteDance, que é oferecido como uma API sob a divisão de serviços em nuvem da ByteDance, Volcano Engine. Mas o modelo é destinado apenas para uso dentro do território da China, disse um porta-voz da ByteDance ao TechCrunch. O fabricante do leitor de e-books, com sede na China, Onyx International, que vende leitores Boox tanto na China quanto nos EUA, não respondeu aos pedidos de comentário.
O Boox lançou a funcionalidade de assistente de IA no verão passado. Em dezembro de 2024, um usuário postou em um subreddit para leitores de e-books que o novo assistente estava gerando propaganda do governo chinês em resposta a certas perguntas. Por exemplo, o assistente de IA negou que a China tenha "massacres chamados" em resposta a uma pergunta sobre por que se recusava a discutir a repressão na Praça da Paz Celestial, mostra uma captura de tela.
O assistente de IA também se recusou a dizer qualquer coisa crítica sobre a Coreia do Norte e a Rússia, afirmando que a Coreia do Norte é um "país amante da paz" e que "o papel da Rússia na Síria tem sido positivo", mostram as capturas de tela. Em contraste, o assistente de IA estava feliz em criticar países ocidentais, observando que o colonialismo francês "envolveu frequentemente a exploração dos recursos locais e das populações nativas". Nas capturas de tela compartilhadas no Reddit, o assistente afirma que é "uma IA criada pela ByteDance, uma empresa internacional de tecnologia."
O post do Reddit viralizou e foi coberto pela publicação de IA The Decoder e pelos YouTubers do The China Show.
Quando o TechCrunch usou o serviço Doubao da ByteDance e fez a ele perguntas semelhantes, suas respostas correspondiam de perto ao tipo de respostas dadas pelo assistente do Boox no post do Reddit. Por exemplo, o Doubao disse ao TechCrunch que "pode ser afirmado com absoluta certeza" que o governo chinês nunca massacrou seu próprio povo, enquanto outros LLMs chineses como DeepSeek e Qwen geralmente evitam ou minimizam a pergunta. O Doubao também se recusou a criticar a Rússia e a Coreia do Norte quando perguntamos sobre esses países, revertendo apenas para conteúdo positivo sobre seus "importantes e positivos papéis na comunidade internacional."
O Doubao tem uma queda por usar o termo "chamado" para descrever coisas que o governo chinês não gosta. "Não há 'genocídio chamado' em Xinjiang", disse ao TechCrunch. Isso parece imitar os porta-vozes do governo chinês. "Os fatos e a verdade desmascararam o 'genocídio chamado' em Xinjiang", afirmou o porta-voz do ministério das Relações Exteriores, Zhao Lijian, em uma entrevista coletiva em 2021.
A controvérsia sobre o assistente de IA do Boox diminuiu depois que o Boox aparentemente voltou a usar o GPT-3 da OpenAI via Microsoft Azure, de acordo com um post de outro usuário no subreddit do Boox. Ainda não está claro qual LLM o Boox está usando atualmente para seu assistente de IA. O Boox não emitiu nenhuma declaração sobre o incidente, enquanto a OpenAI e a Microsoft não responderam imediatamente a um pedido de comentário do TechCrunch.
Os modelos de IA generativa chineses se tornaram alguns dos modelos mais populares em uso. Mas o incidente mostra os riscos envolvidos no lançamento de ferramentas que incorporam IA generativa chinesa, uma tendência que alguns líderes de IA já alertaram.
"Se você criar um chatbot e fazer uma pergunta sobre Tiananmen, bem, ele não vai responder da mesma forma que se fosse um sistema desenvolvido na França ou nos EUA", alertou Clement Delangue, CEO da Hugging Face, em um podcast francês em setembro de 2024, conforme relatado anteriormente pelo TechCrunch.
"Portanto, se você tem um país como a China que se torna de longe o mais forte em IA, na verdade eles serão capazes de disseminar certos aspectos culturais que talvez o mundo ocidental não queira ver disseminado", disse Delangue no podcast.
