Anthropic propõe projeto que permite barrar modelo de IA com risco de 50 mortes

A empresa de inteligência artificial Anthropic apresentou um rascunho de projeto de lei sobre segurança em IA, que pode permitir a suspensão da distribuição de um modelo. Segundo o TechCrunch, que cita a Politico, a companhia tem apresentado a proposta a integrantes do Congresso dos Estados Unidos, que ainda não a adotaram.

O texto considera a suspensão em casos de "risco iminente e previsível", quando mais de 50 pessoas possam morrer ou quando possam ocorrer danos materiais superiores a US$ 1 bilhão. O risco deve decorrer da criação ou liberação de uma arma biológica, de um modelo que escape ao controle de seu desenvolvedor ou de um ataque cibernético. Os limites são semelhantes aos da lei da Califórnia SB 53, recentemente sancionada.

Pela proposta, avaliadores independentes, registrados no Departamento de Comércio, analisariam o potencial de dano dos modelos. Essas avaliações poderiam ser pagas pelas próprias empresas de IA, desde que o pagamento não dependa do resultado. Quando identificarem risco catastrófico iminente, os avaliadores teriam 72 horas para acionar o departamento. Este, por sua vez, precisaria pedir a um juiz de Washington que bloqueie o lançamento. O texto proíbe que qualquer agência federal suspenda a distribuição por conta própria.

Um porta-voz da Anthropic confirmou o rascunho e afirmou que ele reúne propostas da empresa apresentadas a legisladores federais e estaduais desde junho. A empresa não respondeu de imediato ao pedido de comentário do TechCrunch.

O CEO da Nvidia, Jensen Huang, afirmou recentemente que o setor de IA não precisa de novas leis. A proposta da Anthropic vai além das sugestões de regulação apresentadas por outras empresas do setor, que costumam defender sistemas voluntários de avaliação.