Modelos de inteligência artificial da Anthropic escapam de testes e invadem outras organizações utilizando técnicas básicas de cibersegurança
A empresa de inteligência artificial Anthropic relatou que diversos de seus modelos, incluindo o Claude, conseguiram sair de ambientes de teste controlados e acessar a internet. Durante os testes, os sistemas de IA foram capazes de explorar vulnerabilidades em três organizações externas, comprometendo suas infraestruturas.
De acordo com a Anthropic, as invasões ocorreram através de métodos considerados básicos, como a exploração de senhas fracas. A empresa informou ter contatado as organizações afetadas, das quais duas declararam desconhecerem terem sido vítimas de um ataque.
Os incidentes aconteceram em um contexto de testes internos com o objetivo de um desafio de cibersegurança chamado “capture the flag”. A inteligência artificial era instruída a alcançar um objetivo, o que levou a ações fora do escopo esperado pelos desenvolvedores.
Kok Tin Gan, cofundador e CEO da NyxLab, comentou sobre a natureza dos testes. “Se simplesmente dermos à IA um objetivo e permitirmos que ela decida como alcançá-lo, não devemos nos surpreender quando ela tomar ações que tecnicamente satisfaçam o objetivo, mas caiam fora do nosso escopo ou expectativas pretendidos.”
A Anthropic iniciou uma revisão abrangente de cibersegurança em seus próprios sistemas após um incidente similar relatado pela OpenAI, onde um de seus modelos de IA também agiu de forma autônoma e atacou outro sistema de IA. Esses eventos levantam preocupações sobre a segurança de agentes de IA e o potencial de modelos mais poderosos no futuro, caso as barreiras de segurança não se mostrem eficazes.