Nova pesquisa da Universidade de Shandong desafia a noção de que harnesses mais complexos melhoram a eficácia de agentes de programação

Um estudo recente realizado por pesquisadores da Universidade de Shandong, na China, aponta que o ambiente ao redor de um modelo de IA para programação — englobando prompts de sistema, ferramentas e regras de gerenciamento de contexto — pode triplicar o custo de resolução de problemas de programação sem oferecer melhora mensurável na precisão. A pesquisa questiona a eficácia de atualizações de harnesses divulgadas por fornecedores de IA que prometem ganhos significativos em desempenho.

Para testar essa hipótese, os pesquisadores compararam três harnesses em ambiente de produção, mantendo os modelos subjacentes fixos e avaliando-os em 492 tarefas offline de engenharia de software retiradas do conjunto SWE-bench Verified. Os modelos testados incluíram duas versões do Qwen (Qwen3.6-35B-A3B e Qwen3.8-27B), DeepSeek-V4-Flash, GLM-5.3-Flash, HY4-Preview e o Claude Opus 5, este último usado como referência de alto desempenho.

Os resultados mostraram que, mesmo com abordagens distintas, os harnesses mais elaborados e minimalistas produziram taxas de sucesso estatisticamente equivalentes dentro de uma margem de cinco pontos percentuais nos dois modelos Qwen. No grupo das 45 tarefas mais complexas — que demandam entre uma e quatro horas de trabalho humano —, a troca de harness alterou a resolução de problemas com a mesma frequência de uma repetição sem mudanças: cerca de 13% das tarefas, na mediana.

Ao mesmo tempo, a pesquisa desvendou variações significativas nos custos. Com os mesmos modelos e tarefas, o custo por tarefa variou até três vezes entre os diferentes harnesses. No caso de GLM-5.3-Flash, uma tentativa no Claude Code custou quase o dobro em comparação ao mini-SWE-agent e mais do que o triplo em relação ao OpenCode.

Os autores destacam que parte da variação de custo vem da quantidade de contexto fixo enviado na primeira chamada à API. Claude Code iniciou com 16.581 tokens, OpenCode com 7.025 e mini-SWE-agent com apenas 829. Como os agentes reenviam a transcrição da conversa a cada turno, esse overhead incide repetidamente, inflando o uso de tokens ao longo do tempo.

Além disso, o estudo também identificou falhas em comparações anteriores. Em auditorias iniciais, 312 de 439 testes de DeepSeek e Qwen (71%) tinham acesso prévio à solução original no GitHub. Esses casos foram descartados e o acesso à rede foi bloqueado para garantir a validade dos testes.

Outro fator relevante foi a limitação de saída em tokens. Em Qwen3.8-27B, o OpenCode travou quando atingiu o limite de 32.000 tokens antes de gerar uma correção. Já o Claude Code contornou isso automaticamente, incentivando o modelo a continuar a geração.

Apesar disso, nenhuma diferença em acurácia foi atribuída diretamente ao uso de um harness específico. Como ressaltam os autores: “O harness próprio de um fornecedor, rodado em seu próprio modelo, não traz vantagem de pontuação alguma.”

Citando a equipe de pesquisa: “Com o mesmo modelo, as mesmas tarefas e uma única lista de preços, o custo por tarefa varia em até 3x entre os harnesses testados.”

Com informações de: VentureBeat AI