Um modelo base, duas medalhas de ouro em competições de elite

A NVIDIA demonstrou que a família de modelos Nemotron 3 serve como fundação robusta e adaptável para criar especialistas de classe mundial. Equipes internas utilizaram aprendizado supervisionado (SFT), aprendizado por reforço (RL) e inferência guiada por feedback para alcançar desempenho nível ouro tanto na Olimpíada Internacional de Informática (IOI) 2026 quanto na Olimpíada Internacional de Matemática (IMO) 2026, competições que exigem conjuntos de habilidades radicalmente diferentes.

Especialização para programação competitiva com GenCorrect

Para a IOI, foram curados 22 mil problemas e gerados rastros de raciocínio sintéticos para treinar dois especialistas. O Nemotron-3-Nano-CC, com 30 bilhões de parâmetros totais e 3 bilhões ativos, recebeu SFT e RL. Já o Nemotron-3-Ultra-CC, com 550 bilhões de parâmetros totais e 55 bilhões ativos, passou apenas por SFT. A evolução no IOI 2025 ilustra o ganho: o Nano saltou de 130 pontos no modelo base para 280 após SFT e 291 após RL. Com a estratégia GenCorrect (gerar, avaliar, refinar iterativamente), atingiu 468 pontos, superando o limiar de ouro de 438,3. O Ultra-CC alcançou 502 pontos com a mesma abordagem em tempo de teste.

Escala diferente, receita de adaptação distinta

Os experimentos revelaram que a adaptação não precisa ser idêntica em todas as escalas. No modelo Nano, o SFT produziu a maior parte do ganho, com RL adicionando melhoria consistente, porém menor. Para o modelo Ultra, mais forte, uma única época de SFT bastou para superar o Nano totalmente pós-treinado em benchmarks como IOI, ICPC e LiveCodeBench Pro. Essa descoberta guiou o sistema Ultra-CC usado na IOI 2026 oficial, que marcou 535,4 de 600 pontos em uma execução ao vivo, prospectiva e não supervisionada, sob as mesmas restrições de tempo e submissão dos competidores humanos.

Matemática olímpica: provas em linguagem natural sem provadores formais

No projeto IMO, partiu-se do Nemotron 3 Ultra para treinar um especialista via SFT e outro via RL. O corpus de SFT continha 414.890 exemplos filtrados por qualidade, abrangendo 15.818 problemas de prova únicos. Os dados cobriam geração, refinamento, verificação e metaverificação, ensinando o modelo a construir argumentos, identificar lacunas, responder a críticas e julgar completude. O modelo RL treinou em 9.597 problemas próximos à fronteira de capacidade do sistema.

Sistema composto supera limiar de ouro com 30 de 42 pontos

Ambos os checkpoints superaram o modelo de disponibilidade geral nos experimentos de desenvolvimento. O checkpoint SFT foi o mais forte na primeira rodada de busca, enquanto o RL obteve o melhor resultado geral de checkpoint único. Suas forças eram complementares, então o sistema final combinou os dois especialistas com o modelo geral. Para cada problema, os modelos geravam provas candidatas, pontuavam, produziam críticas e refinavam as tentativas mais promissoras. Uma etapa separada de alto custo computacional selecionava a submissão final. O sistema operou inteiramente em linguagem natural, sem provadores formais, ferramentas externas ou acesso à internet, marcando 30 de 42 pontos, com nota máxima em quatro dos seis problemas, superando o limite oficial de ouro.

Co-design de modelo, dados e loop de inferência como diferencial

Os resultados mostram que as medalhas não vieram apenas do ajuste fino nem apenas de amostragem por força bruta. O segredo foi o co-design do modelo, dos dados e do loop de inferência. Na IOI, o GenCorrect transformou os ganhos do fine-tuning em melhorias maiores ao longo de múltiplas rodadas de feedback. Na IMO, usar checkpoints SFT e RL complementares provou ser mais valioso do que simplesmente extrair mais amostras de um único checkpoint. Em ambos os casos, o melhor resultado surgiu da combinação de um especialista capaz com um sistema que busca, verifica e aprimora.

Artefatos liberados para pesquisa e reprodução

A NVIDIA tornou os ativos públicos para uso além das competições. A coleção Nemotron Labs IMO 2026 reúne os checkpoints SFT e RL, ambos os conjuntos de dados de treinamento e o Nemotron-IMO-Bench, novo benchmark com 200 problemas de nível olímpico. O artigo da IMO descreve a abordagem de treinamento e o sistema gerar-verificar-refinar, enquanto o repositório NeMo-Skills inclui o pipeline de inferência, prompts, provas submetidas e um guia de início rápido reproduzível. Para programação competitiva, o modelo Nemotron-3-Ultra-CC está disponível no Hugging Face, e o artigo da IOI detalha a receita de treinamento e a metodologia GenCorrect. O pipeline de avaliação e inferência da IOI também está no NeMo-Skills.

Com informações de: Hugging Face Blog