A OpenAI divulgou nesta semana as primeiras avaliações de segurança cibernética para o modelo experimental chamado Astra, revelando os procedimentos internos de teste e os esforços para reforçar os mecanismos de proteção antes de qualquer lançamento público.
A companhia afirma que o Astra foi submetido a uma série de simulações de ameaças avançadas, incluindo tentativas de exploração de vulnerabilidades em sistemas críticos, geração de código malicioso e tentativas de burlar filtros de segurança existentes.
Segundo o comunicado, as equipes de pesquisa da OpenAI identificaram pontos de atenção relacionados à capacidade do modelo de gerar instruções técnicas potencialmente úteis para atividades de alto risco, o que motivou um aprofundamento nos filtros de conteúdo e no treinamento adversarial.
Como resposta, a empresa implementou novas camadas de detecção baseadas em comportamento, ajustou os limites de geração de código em linguagens de baixo nível e ampliou o monitoramento em tempo real durante os testes internos.
A OpenAI destacou que essas avaliações fazem parte de um novo framework de avaliação de capacidades críticas, projetado para antecipar riscos emergentes em modelos de IA com potencial de uso dual em domínios sensíveis como defesa, infraestrutura crítica e inteligência.
Embora o Astra ainda não esteja disponível para usuários externos, a companhia afirmou que compartilhar esses resultados iniciais busca promover transparência e incentivar padrões mais rigorosos de avaliação de segurança na indústria de IA generativa.
Com informações de: OpenAI