Benchmark da Microsoft revela que agentes fecham tarefas com sucesso aparente, mas deixam registros incorretos nos sistemas de backend
A Microsoft lançou o ThinkingBox, um novo benchmark que avalia agentes de inteligência artificial não pelo que eles dizem ou pelas ferramentas que invocam, mas pelo estado final que deixam nos bancos de dados e sistemas de backend. Disponível através do Hugging Face e do framework OpenEnv, o teste submete 507 fluxos de trabalho empresariais stateful a vinte execuções independentes cada, partindo sempre de um ambiente limpo e isolado.
A diferença entre a aparência de sucesso e a realidade persistente é o cerne da descoberta. Em um caso de varejo ilustrativo, um agente processou nove chamadas de ferramenta perfeitamente formadas: puxou o pedido, verificou rastreamento, consultou perfil do cliente, leu políticas de reembolso, abriu ticket e documentou a timeline. O agente então fechou o ticket como “resolvido” e respondeu educadamente à cliente. O problema: a exceção da transportadora continuava aberta, exigindo que o ticket ficasse em “hold”, e a cliente não recebeu resposta real à sua pergunta. O grader que verifica apenas chamadas de ferramenta aprovaria. O banco de dados discorda.
Em uma ablação de conjunto comum cobrindo 121.680 tentativas válidas em doze modelos de linguagem, 79.853 falharam nas verificações executáveis. Dessas falhas, 67,24% terminaram limpo, invocaram ferramentas que alteram estado e relataram nenhum erro final de ferramenta. Ainda assim, as verificações de estado encontraram valores de campo errados em 77,61% dos casos, efeitos colaterais não intencionais em 43,30% e efeitos requeridos ausentes em 25,36%. Esses achados se sobrepõem, revelando que a trajetória do agente é uma alegação; o estado do banco de dados é a evidência.
O Claude Opus 5.5 lidera no pass@1 geral com 67,16%, seguido de perto pelo Claude Opus 5. O Kimi-K3 emerge como o modelo de pesos abertos mais forte, ficando a menos de um ponto do GPT-6-Astra. O domínio importa tanto quanto o modelo: o Claude Opus 4.6 marca 68,62% em varejo, mas apenas 8,30% em seguros automotivos. O Kimi-K3 tem a cobertura mais ampla, resolvendo 93,89% das tarefas pelo menos uma vez, mas apenas 13,41% das tarefas passam em todas as vinte tentativas.
A consistência inverte a hierarquia. O Claude Opus 5 resolve menos tarefas ao menos uma vez (79,09%), mas completa 47,53% do benchmark em todas as vinte execuções. O Opus 5.5 ganha meio ponto no pass@1 médio e resolve mais tarefas uma vez, porém passa exatamente no mesmo número de tarefas em todas as vinte tentativas: 241. Metade de ponto de precisão de manchete não comprou nenhuma dependabilidade adicional. Para quem implanta agentes que tocam registros reais, o pass@20 é a coluna errada para observar; a métrica relevante é o custo por tentativa de tarefa bem-sucedida.
O ThinkingBox roda cada tarefa vinte vezes e reporta três números: a taxa de sucesso em uma única tentativa, a fração dessa taxa que sobrevive à repetição e a contagem observada de tarefas que passam vinte de vinte vezes, sem estimadores ou suavização. O código do benchmark e os traces completos, incluindo o caso de varejo adaptado de sandbox_external_retail_group1.py:test_case_ST003_006, estão disponíveis para execução local via OpenEnv.
Com informações de: Hugging Face Blog