Atualização: O Comitê de Orçamento da Califórnia aprovou o SB 1047 com emendas significativas que alteram o projeto de lei na quinta-feira, 15 de agosto. Você pode ler mais sobre elas aqui.
Fora dos filmes de ficção científica, não há precedentes de sistemas de IA matando pessoas ou sendo usados em ataques cibernéticos em massa. No entanto, alguns legisladores querem implementar salvaguardas antes que agentes mal-intencionados transformem esse futuro distópico em realidade. Um projeto de lei da Califórnia, conhecido como SB 1047, tenta impedir desastres do mundo real causados por sistemas de IA antes que aconteçam. O projeto de lei foi aprovado pelo senado do estado em agosto e agora aguarda a aprovação ou veto do governador da Califórnia, Gavin Newsom.
Embora este pareça ser um objetivo com o qual todos podemos concordar, o SB 1047 tem provocado a ira dos principais players do Vale do Silício, incluindo capitalistas de risco, grandes grupos de tecnologia, pesquisadores e fundadores de startups. Muitos projetos de lei sobre IA estão sendo discutidos atualmente em todo o país, mas o Ato de Inovação Segura e Segura para Modelos de Inteligência Artificial de Fronteira da Califórnia se tornou um dos mais controversos. Aqui está o motivo.
O que o SB 1047 faria?
O SB 1047 tenta evitar que modelos de IA grandes sejam usados para causar "danos críticos" à humanidade.
O projeto de lei dá exemplos de "danos críticos" como um agente mal-intencionado usando um modelo de IA para criar uma arma que resulta em mortes em massa, ou instruindo um para orquestrar um ciberataque causando mais de US$500 milhões em danos (para comparação, o apagão do CrowdStrike foi estimado em mais de US$5 bilhões). O projeto de lei responsabiliza os desenvolvedores - ou seja, as empresas que desenvolvem os modelos - por implementar protocolos de segurança suficientes para prevenir resultados como esses.
Quais modelos e empresas estão sujeitos a essas regras?
As regras do SB 1047 se aplicariam apenas aos maiores modelos de IA do mundo: aqueles que custam pelo menos US$100 milhões e usam 10^26 FLOPS (operações em ponto flutuante, uma forma de medir o cálculo) durante o treinamento. Isso é uma quantidade enorme de computação, embora o CEO da OpenAI, Sam Altman, tenha dito que o GPT-4 custou cerca desse valor para ser treinado. Esses limites podem ser aumentados conforme necessário.
Muito poucas empresas hoje desenvolveram produtos de IA públicos grandes o suficiente para atender a esses requisitos, mas gigantes da tecnologia como OpenAI, Google e Microsoft provavelmente o farão em breve. Modelos de IA - essencialmente, motores estatísticos massivos que identificam e preveem padrões em dados - geralmente se tornaram mais precisos à medida que cresceram, uma tendência que muitos esperam que continue. Mark Zuckerberg recentemente disse que a próxima geração do Llama da Meta exigirá 10 vezes mais computação, o que os colocaria sob a autoridade do SB 1047.
Quando se trata de modelos de código aberto e suas derivações, o projeto de lei determinou que o desenvolvedor original é responsável, a menos que outro desenvolvedor gaste mais US$10 milhões criando uma derivação do modelo original.
O projeto de lei também exige um protocolo de segurança para prevenir usos indevidos de produtos de IA abrangidos, incluindo um botão de "parada de emergência" que desativa todo o modelo de IA. Os desenvolvedores também devem criar procedimentos de teste que abordem os riscos apresentados pelos modelos de IA e devem contratar auditores terceirizados anualmente para avaliar suas práticas de segurança de IA.
O resultado deve ser uma "garantia razoável" de que o cumprimento desses protocolos evitará danos críticos - não uma certeza absoluta, o que é, naturalmente, impossível de proporcionar.
Quem o faria cumprir e como?
Uma nova agência da Califórnia, o Conselho de Modelos de Fronteira, supervisionaria as regras. Cada novo modelo de IA público que atende aos limites do SB 1047 deve ser certificado individualmente com uma cópia escrita de seu protocolo de segurança.
O Conselho de Modelos de Fronteira seria composto por nove pessoas, incluindo representantes da indústria de IA, comunidade de código aberto e academia, nomeados pelo governador e legislativo da Califórnia. O conselho aconselhará o procurador-geral da Califórnia sobre possíveis violações do SB 1047 e emitirá orientações aos desenvolvedores de modelos de IA sobre práticas de segurança.
O diretor de tecnologia de uma empresa deve enviar uma certificação anual ao conselho avaliando os riscos potenciais de seu modelo de IA, quão eficaz é seu protocolo de segurança e uma descrição de como a empresa está cumprindo o SB 1047. Semelhante às notificações de violação, se ocorrer um "incidente de segurança de IA", o desenvolvedor deve informá-lo ao FMD dentro de 72 horas após tomar conhecimento do incidente.
Se as medidas de segurança de um desenvolvedor forem consideradas insuficientes, o SB 1047 permite que o procurador-geral da Califórnia emita uma ordem de injunção contra o desenvolvedor. Isso poderia significar que o desenvolvedor teria que parar de operar ou treinar seu modelo.
Se descobrir-se que um modelo de IA é usado em um evento catastrófico, o procurador-geral da Califórnia pode processar a empresa. Para um modelo que custa US$100 milhões para treinar, as penalidades poderiam chegar a até US$10 milhões na primeira violação e US$30 milhões nas violações subsequentes. Essa taxa de penalidade aumenta à medida que os modelos de IA se tornam mais caros.
Por fim, o projeto de lei inclui proteções para denunciantes se tentarem divulgar informações sobre um modelo de IA inseguro ao procurador-geral da Califórnia.
O que dizem os defensores?
O senador estadual da Califórnia, Scott Wiener, autor do projeto de lei, diz à TechCrunch que o SB 1047 é uma tentativa de aprender com falhas de políticas passadas com relação às mídias sociais e privacidade de dados, e proteger os cidadãos antes que seja tarde demais.
“Temos um histórico com tecnologia de esperar que danos aconteçam e depois lamentar,” disse Wiener. “Não esperemos que algo ruim aconteça. Vamos simplesmente agir.”
Mesmo que uma empresa treine um modelo de $100 milhões no Texas, ou em outro lugar na França, ele será coberto pelo SB 1047 contanto que faça negócios na Califórnia. Wiener diz que o Congresso fez "muito pouco legislado em torno da tecnologia nos últimos 25 anos," então ele acredita que cabe à Califórnia estabelecer um precedente aqui.
Quando perguntado se ele se reuniu com a OpenAI e a Meta sobre o SB 1047, Wiener diz que "nos reunimos com todos os grandes laboratórios."
Dois pesquisadores de IA às vezes chamados de "padrinhos da IA," Geoffrey Hinton e Yoshua Bengio, apoiam este projeto de lei. Esses dois pertencem a uma facção da comunidade de IA preocupada com os cenários perigosos e apocalípticos que a tecnologia de IA poderia causar. Esses "apocalípticos da IA" existem há algum tempo no mundo da pesquisa, e o SB 1047 poderia codificar algumas das salvaguardas preferidas deles na lei. Outro grupo patrocinador do SB 1047, o Centro de Segurança de IA, escreveu uma carta aberta em maio de 2023 pedindo ao mundo que priorize "a mitigação do risco de extinção pela IA" tão seriamente quanto pandemias ou guerra nuclear.
“Isso está no interesse de longo prazo da indústria na Califórnia e nos EUA de maneira mais geral, porque um grande incidente de segurança provavelmente seria o maior obstáculo para novos avanços,” disse o diretor do Centro de Segurança de IA, Dan Hendrycks, em um e-mail para a TechCrunch.
Recentemente, as próprias motivações de Hendrycks foram questionadas. Em julho, ele lançou publicamente uma startup, Gray Swan, que desenvolve "ferramentas para ajudar empresas a avaliar os riscos de seus sistemas de IA," de acordo com um comunicado à imprensa. Após críticas de que a startup de Hendrycks poderia se beneficiar se o projeto de lei fosse aprovado, potencialmente como um dos auditores que o SB 1047 exige que os desenvolvedores contratem, ele vendeu sua participação acionária na Gray Swan.
“Eu me desvendi para enviar um sinal claro,” disse Hendrycks em um e-mail à TechCrunch. “Se a oposição bilionária de VC à segurança comum da IA quiser mostrar que seus motivos são puros, deixe-os fazer o mesmo.”
Após várias emendas sugeridas pela Anthropic serem adicionadas ao SB 1047, o CEO Dario Amodei emitiu uma carta dizendo que os “benefícios provavelmente superam os custos” do projeto de lei. Não é um endosso, mas é um sinal morno de apoio. Pouco depois, Elon Musk sinalizou que era a favor do projeto de lei.
O que os oponentes dizem?
Um coro crescente de players do Vale do Silício se opõe ao SB 1047.
A oposição de “bilionários de VC” de Hendrycks provavelmente se refere à a16z, a empresa de capital de risco fundada por Marc Andreessen e Ben Horowitz, que se opôs fortemente ao SB 1047. No início de agosto, o diretor jurídico da empresa de capital de risco, Jaikumar Ramaswamy, enviou uma carta ao Senador Wiener, alegando que o projeto de lei “irá sobrecarregar as startups por causa de seus limites arbitrários e em constante mudança,” criando um efeito inibidor no ecossistema de IA. À medida que a tecnologia de IA avança, ela se tornará mais cara, o que significa que mais startups ultrapassarão o limiar de US$100 milhões e serão cobertas pelo SB 1047; a16z diz que várias de suas startups já recebem essa quantia para treinar modelos.
Fei-Fei Li, frequentemente chamada de madrinha da IA, quebrou o silêncio sobre o SB 1047 no início de agosto, escrevendo em uma coluna no Fortune que o projeto de lei “prejudicará nosso ecossistema de IA em desenvolvimento.” Embora Li seja uma pioneira respeitada em pesquisa de IA pela Stanford, ela também teria criado uma startup de IA chamada World Labs em abril, avaliada em um bilhão de dólares e apoiada pela a16z.
Ela se junta a acadêmicos influentes de IA como o outro pesquisador da Stanford, Andrew Ng, que chamou o projeto de lei de “um ataque ao código aberto” durante uma palestra em um evento da Y Combinator em julho. Modelos de código aberto podem criar riscos adicionais para seus criadores, uma vez que, como qualquer software aberto, eles são mais facilmente modificados e implantados para fins arbitrários e potencialmente maliciosos.
O cientista-chefe de IA da Meta, Yann LeCun, disse que o SB 1047 prejudicaria os esforços de pesquisa e é baseado em uma “ilusão de ‘risco existencial’ promovida por um punhado de tanques de pensamento delirantes,” em um post no X. O Llama LLM da Meta é um dos principais exemplos de um LLM de código aberto.
As startups também não estão felizes com o projeto de lei. Jeremy Nixon, CEO da startup de IA Omniscience e fundador da AGI House SF, um centro para startups de IA em San Francisco, se preocupa com o fato de que o SB 1047 esmagará seu ecossistema. Ele argumenta que os atores mal-intencionados devem ser punidos por causar danos críticos, não os laboratórios de IA que desenvolvem e distribuem abertamente a tecnologia.
“Há uma profunda confusão no centro do projeto de lei, de que LLMs de alguma forma podem diferir em seus níveis de capacidade perigosa,” disse Nixon. “É mais provável, em minha opinião, que todos os modelos tenham capacidades perigosas definidas pelo projeto de lei.”
A OpenAI se opôs ao SB 1047 no final de agosto, observando que medidas de segurança nacional relacionadas a modelos de IA devem ser regulamentadas em nível federal. Eles apoiaram um projeto de lei federal que faria isso.
Mas as Big Tech, nas quais o projeto de lei se concentra diretamente, também estão em pânico com o SB 1047. A Chamber of Progress - um grupo de comércio que representa Google, Apple, Amazon e outros gigantes da Big Tech - emitiu uma carta aberta se opondo ao projeto de lei, dizendo que o SB 1047 restringe a liberdade de expressão e “empurra a inovação tecnológica para fora da Califórnia.” No ano passado, o CEO do Google, Sundar Pichai, e outros executivos de tecnologia endossaram a ideia de uma regulamentação federal de IA.
O congressista dos EUA Ro Khanna, que representa o Vale do Silício, divulgou um comunicado se opondo ao SB 1047 em agosto. Ele expressou preocupações de que o projeto de lei “seria ineficaz, penalizaria empreendedores individuais e pequenas empresas, e prejudicaria o espírito de inovação da Califórnia.” Ele foi posteriormente acompanhado pela oradora Nancy Pelosi e pela Câmara de Comércio dos Estados Unidos, que também disseram que o projeto de lei prejudicaria a inovação.
O Vale do Silício tradicionalmente não gosta quando a Califórnia estabelece regulamentações tecnológicas amplas como esta. Em 2019, as Big Tech puxaram uma carta semelhante quando outro projeto de lei de privacidade estadual, a Lei de Privacidade do Consumidor da Califórnia, também ameaçava mudar o cenário tecnológico. O Vale do Silício fez lobby contra esse projeto de lei, e meses antes de entrar em vigor, o fundador da Amazon, Jeff Bezos, e outros 50 executivos escreveram uma carta aberta pedindo um projeto de lei federal de privacidade.
O que acontece em seguida?
O SB 1047 está atualmente nas mãos do governador da Califórnia, Gavin Newsom, onde ele decidirá se assina o projeto de lei antes do final de agosto. Wiener diz que não conversou com Newsom sobre o projeto de lei e não sabe qual é a posição dele.
Este projeto de lei não entrará em vigor imediatamente, pois o Conselho de Modelos de Fronteira está programado para ser formado em 2026. Além disso, se o projeto de lei for aprovado, é muito provável que enfrentará desafios legais antes disso, talvez de alguns dos mesmos grupos que estão se manifestando contra ele agora.
Correção: Esta história originalmente se referia a um rascunho anterior da linguagem do SB 1047 sobre quem é responsável pelos modelos ajustados. Atualmente, o SB 1047 diz que o desenvolvedor de um modelo derivado é responsável apenas por um modelo se gastar três vezes mais do que o desenvolvedor do modelo original em treinamento.
