A Anthropic, desenvolvedora do chatbot Claude, estabeleceu uma parceria inédita com o governo dos Estados Unidos para impedir o uso de sua inteligência artificial na construção de armas nucleares. A colaboração envolve o Departamento de Energia (DOE) e a Administração Nacional de Segurança Nuclear (NNSA) e resultou na criação de um filtro sofisticado, capaz de identificar e bloquear diálogos sobre riscos nucleares.
Como parte da iniciativa, especialistas da NNSA conduziram avaliações rigorosas para determinar se o Claude poderia, mesmo que de forma indireta, auxiliar na concepção de uma arma nuclear.
Com base nos resultados desses testes, foi desenvolvido um “classificador nuclear”, um filtro inteligente projetado para reconhecer tópicos, terminologias e detalhes técnicos ligados a riscos nucleares.
Marina Favaro, diretora de Políticas de Segurança Nacional da Anthropic, explicou que o sistema é capaz de distinguir entre conversas legítimas, como sobre energia ou medicina nuclear, e tentativas de usar a tecnologia para fins indevidos.
Apesar do otimismo da Anthropic, alguns especialistas demonstram ceticismo quanto à necessidade e eficácia da medida, questionando se os chatbots representam um risco real e concreto de proliferação nuclear. Embora a IA da Anthropic possa compilar informações variadas, argumenta-se que falta evidência de que ela consiga de fato projetar algo tão complexo como uma arma atômica.
Alguns críticos veem a iniciativa como um “teatro de segurança”, sugerindo que, se o Claude nunca teve acesso a dados confidenciais sobre armamentos nucleares, o filtro seria redundante. Há também a preocupação de que empresas privadas acessem informações sensíveis sob o pretexto de garantir a segurança.
Apesar das críticas, a Anthropic defende que seu objetivo é estabelecer padrões de segurança proativos. A empresa planeja oferecer o classificador nuclear a outras desenvolvedoras de IA, na esperança de que ele se torne um padrão voluntário no setor.