NVIDIA e AI4Bharat lançam corpus de 2,8 trilhões de tokens para 22 idiomas indianos
Uma parceria entre a NVIDIA, o Instituto de Tecnologia de Madras (IIT Madras) e o laboratório AI4Bharat resultou no lançamento do corpus Nemotron-pretraining-Indic-v1, que reúne aproximadamente 2,8 trilhões de tokens distribuídos entre as 22 línguas oficiais listadas na Constituição da Índia. Esse conjunto de dados, que será disponibilizado em breve, também virá acompanhado por uma pipeline de geração de dados acelerada por GPU e totalmente aberta, permitindo que desenvolvedores reproduzam e adaptem o processo para novos conjuntos de texto.
O corpus abrange dados nativos em todos os 22 idiomas indianos, além de textos romanizados para doze deles, totalizando 34 configurações distintas de idioma e sistema de escrita. A geração dos dados contou com a ferramenta NeMo Data Designer, framework de código aberto da NVIDIA voltado para síntese de dados, e com o modelo Gemma-4-31B-it, escolhido após comparações com outros modelos na tradução de documentos completos, priorizando a preservação de conteúdos técnicos como equações, tabelas e trechos de código.
Ao todo, o corpus inclui 2.601 bilhões de tokens em escrita nativa e 224,6 bilhões em escrita romanizada, segundo a contagem realizada com o tokenizador Gemma-4. Cada registro pode ser rastreado até o documento de origem, garantindo transparência e auditabilidade. Os textos foram gerados a partir de 15 subconjuntos do Nemotron-CC-v2, abrangendo conteúdos como páginas web, perguntas e respostas, materiais matemáticos e trechos de código-fonte.
O processo de geração seguiu quatro etapas principais: tradução de documentos em inglês para os idiomas indianos, avaliação da qualidade das traduções, correção de saídas consideradas de baixa qualidade e, por fim, a conversão de um subconjunto aceito para a escrita latina. Essas etapas visam preservar a fidelidade do conteúdo original, especialmente em áreas técnicas, e garantir que o texto sintético esteja ancorado em informações reais e verificáveis.
Mitesh Khapra, líder do AI4Bharat e incluído na lista TIME100 AI de 2025, destacou a escassez de dados como um dos maiores desafios para o desenvolvimento de tecnologias em línguas indianas. A iniciativa busca responder a essa demanda não apenas com mais dados, mas também com uma metodologia reproduzível, incentivando a comunidade a expandir o uso dessas ferramentas para novas aplicações e idiomas.
Além disso, o corpus serviu como base para o pré-treinamento do modelo Nemotron 3.5 Super VL, que incorporou 10 bilhões de tokens adicionais em doze línguas indianas, combinando dados sintéticos desse novo corpus com textos naturais já existentes. A NVIDIA informou que planeja utilizar esse material em futuras versões de seus modelos, reforçando o compromisso com o avanço da IA multilíngue e a inclusão de populações que utilizam línguas indianas.
Com informações de: Hugging Face Blog