Novo modelo base elimina necessidade de treinamento e engenharia de atributos

A NVIDIA disponibilizou no Hugging Face o Kumo Tabular, modelo base aberto projetado para previsão em dados tabulares. Parte da coleção NVIDIA Kumo Structured, o modelo realiza classificação e regressão em uma única passagem direta, sem necessidade de treinamento, ajuste de hiperparâmetros ou engenharia de atributos. Disponível em três tamanhos, de 28 milhões a 215 milhões de parâmetros, ele roda através de biblioteca open source e possui licença OpenMDW-1.1 para uso comercial.

O modelo alcançou a primeira posição em quatro benchmarks reconhecidos: TabArena, BeyondArena, TALENT e ScoringBench. Dados tabulares sustentam a maior parte do aprendizado de máquina corporativo, abrangendo registros de clientes, transações, logs de sensores, sinistros e pedidos. Por duas décadas, o gradiente boosted trees dominou esse espaço, mas o ciclo de vida desses modelos permaneceu estagnado, exigindo coleta de rótulos e validação a cada nova tarefa.

Arquitetura Transformer adaptada para estrutura de tabelas

O Kumo Tabular utiliza um Transformer construído em torno da estrutura de uma tabela, empregando atenção por coluna, linha e in-context, conceitos introduzidos no TabICL e TabPFN. Para prever um rótulo, o modelo executa três etapas: compreende o significado de cada valor dentro de sua coluna, entende a interação entre colunas de uma linha e relaciona linhas de contexto com rótulos conhecidos às linhas de consulta com rótulos desconhecidos.

No processo de embedding de célula, um grupo de células forma um token. Valores numéricos e categóricos passam por características de Fourier, senos e cossenos de frequências aprendidas, com pesos separados por tipo. Valores ausentes dispensam imputação e recebem tratamento especial. Cada token do contexto recebe ainda um embedding de rótulo.

Atenção por linha e compressão de contexto

O embedding de linha transforma cada linha em um vetor alternando dois tipos de atenção múltiplas vezes. A atenção por coluna analisa verticalmente uma única coluna para aprender o significado de um valor na distribuição daquela coluna, usando self-attention induzida com custo linear no número de linhas. A atenção por linha examina horizontalmente os tokens de uma única linha para aprender interações entre atributos, usando posições rotatórias para distinguir colunas.

Quatro tokens [CLS] aprendíveis unem-se a cada linha e atuam como leitura final da representação da linha. Após essa compressão, o custo da etapa final deixa de depender do número de colunas. No aprendizado in-context, um Transformer final opera sobre os embeddings de linha: linhas de contexto atendem umas às outras, enquanto linhas de consulta atendem apenas ao contexto.

Escala de temperatura e pré-treinamento em dados artificiais

Cada previsão depende apenas do contexto e da própria linha, não de outras linhas pontuadas simultaneamente. Como o contexto nunca olha para as consultas, suas chaves e valores são computados uma vez e reutilizados para previsões subsequentes. Linhas de consulta utilizam Test-GQA, que reduz o cache lido por previsão. Uma cabeça converte cada linha de consulta em probabilidades de classe para classificação e 999 quantis para regressão, gerando previsão pontual e estimativa de incerteza.

Para manter a atenção afiada em tabelas grandes, o modelo implementa temperatura de atenção sensível ao comprimento. O softmax espalha-se conforme o número de chaves cresce; o Kumo Tabular escala cada consulta por uma temperatura que cresce com o logaritmo do número de chaves, com coeficiente aprendido por cabeça de atenção. O pré-treinamento ocorreu inteiramente em tabelas artificiais geradas por Modelos Causais Estruturais (SCM) em seis etapas, criando suprimento infinito de tabelas com novos grafos e mecanismos.

Robustez contra imperfeições de dados reais

O gerador incorpora imperfeições de dados reais: valores ausentes em vários padrões, atributos grosseiros onde linhas duplicadas discordam do rótulo, colunas categóricas com muitos níveis e alvos de regressão com caudas pesadas. Um rápido ensemble de árvores descarta tabelas sem sinal aprendível. Um modelo exposto a milhões dessas tabelas aprende a lidar com tais imperfeições sem limpeza prévia.

Com informações de: Hugging Face Blog