Jeff: pequenos modelos de classificação zero-shot criados para rodar localmente com alta velocidade e precisão

Jeff, um conjunto de modelos de decisão de 0,8 bilhão e 2 bilhões de parâmetros, foi desenvolvido como um projeto independente que replica o formato de requisições do Jev, da TypeSafe, mas sem qualquer afiliação oficial com a empresa.

Com base em versões aprimoradas de Qwen3.5 e Gemma 4, os modelos Jeff são capazes de classificar situações descritas em linguagem natural, atribuindo probabilidades calibradas a cada opção em uma única passagem (forward pass). Isso elimina a necessidade de geração de texto ou análise adicional, tornando-os ideais para integração direta em aplicações locais.

Os testes mostram tempos médios de resposta de cerca de 22 ms por decisão em uma RTX PRO 6000 e 28 ms em um Apple M4 Max (MLX), posições que competem diretamente com soluções baseadas em nuvem ou em APIs pesadas.

A precisão zero-shot dos modelos Jeff se aproxima ou supera a de versões maiores como AutoJev-27B em tarefas de classificação e fundamentação, mas cai significativamente em avaliações que exigem raciocínio complexo, como BBH, JudgeBench e JevBench.

Treinamento totalmente local com dados sintéticos

Todo o processo de treinamento foi realizado em hardware local. Um único workstation com GPU RTX PRO 6000 foi utilizado para treinar todos os modelos, incluindo o tempo de aproximadamente 2 horas para o modelo de 0,8B e 3,5 horas para o de 2B.

Dados de treinamento foram gerados sinteticamente por um modelo aberto: Qwen3.8-Flash-Next, executado em duas máquinas DGX Spark. Todo o pipeline inclui filtragem de vazamento, varreduras de taxa de aprendizado e uma dashboard de monitoramento.

Resultados em benchmarks e testes práticos

Jeff foi avaliado em 4.599 questões de cinco benchmarks públicos, além de 105 itens do hard tier do JevBench. Em comparações diretas, os modelos Jeff venceram Jev em várias categorias, especialmente nas que envolvem classificação direta.

Para testar o comportamento em cenários não vistos durante o treinamento, os criadores jogaram três jogos diferentes com os modelos, incluindo Doom e Frogger. Cada turno envolvia descrever a situação e os movimentos legais em linguagem natural. O modelo de 0,8B decidiu entre 29 a 49 ms por movimento no M4 Max, muito mais rápido que os 212 ms por chamada via API do Jev, embora as medições tenham sido feitas em hardware diferente.

Detalhes técnicos e licenças

O código está sob licença MIT, enquanto os pesos dos modelos seguem a licença Apache 2.0. O harness de Doom foi adaptado do repositório jev-plays-doom, também licenciado como MIT.

Os princípios usados no treinamento incluem ajuste fino completo de pesos, uma época, lotes de 256 exemplos e otimização com entropia cruzada sobre as letras das opções. Após o ajuste, um único fator de temperatura é ajustado para calibrar as probabilidades.

Disponibilidade

  • Jeff-Qwen3.5-0.8B
  • Jeff-Qwen3.5-2B
  • Jeff-Gemma4-E2B

Os pesos e o código estão disponíveis no Hugging Face, mas os dados de treinamento não são publicados diretamente, especialmente porque algumas fontes possuem licenças compartilhadas como CC BY-SA.

Com informações de: Hacker News (Y Combinator)

}