Vals testa modelos de IA em redes corporativas simuladas
Uma empresa chamada Vals avaliou a capacidade de diferentes modelos de IA para executar instruções complexas, em múltiplas etapas, em redes corporativas falsas. Os testes tinham dois cenários: o primeiro usava uma rede corporativa simulada acessível por um site público, e o segundo envolvia duas empresas distintas, onde um modelo precisava comprometer a primeira para acessar a segunda.
Os melhores modelos fechados, desenvolvidos por laboratórios restritos, agora começam a ser equiparados por modelos de código aberto que qualquer pessoa pode baixar. O modelo de maior desempenho encontrado foi o Daybreak da OpenAI, disponível apenas para parceiros confiáveis, que completou 81% das tarefas em uma média de dois testes. O modelo de peso aberto chinês DeepSeek ficou próximo, atingindo 73% dos objetivos em média. Em algumas tarefas, ambos os modelos alcançaram a mesma pontuação.
A viabilidade econômica é outro fator importante. Vals estima que usar o GPT-6-Sol para realizar um ataque pode custar entre 17 e 46 dlares em tokens, enquanto o DeepSeek custa aproximadamente 2 a 3 dlares. Os modelos de código aberto geralmente são mais baratos porque podem ser executados no próprio hardware, um fator que incentiva os profissionais de defesa a adotá-los em vez de confiar em soluções proprietárias.
Laboratórios de ponta dos Estados Unidos, como a Anthropic, basearam a liberação limitada de novos modelos na ideia de que o acesso restrito daria mais tempo antes que habilidades avançadas de hacking se tornassem amplamente disponíveis. O Projeto Glasswing da empresa oferece ferramentas completas a defensores de confiança, com o objetivo de prepará-los para um cenário futuro onde essas habilidades estariam generalizadas.
Em abril, Logan Graham, chefe da equipe de testes da Anthropic, disse que as organizações precisam se preparar agora para um mundo onde essas habilidades estariam disponíveis em 6, 12 ou 24 meses. Oito meses depois, a transição parece ocorrer conforme previsto. Os modelos de código aberto começam a igualar o desempenho dos fechados, um ponto crucial para entender como invasores podem se beneficiar da tecnologia.
No mundo real, os criminosos continuam usando modelos mais antigos e menos capazes, tanto proprietários quanto abertos, já que estes recursos são limitados. Alex Zenla, da Edera, observa que os modelos de código aberto já podem gerar ataques avançados, mas considera provável que os laboratórios tenham modelos não divulgados com capacidades ainda maiores. Ele compara a situação a um jogo do gato e do rato, alertando que este pode ser o começo de um cenário de segurança perigoso.
Com informações de: Wired Security