Biblioteca passa a rodar checkpoints quantizados localmente com desempenho próximo ao runtime original

A Hugging Face anunciou que a biblioteca Transformers agora suporta a execução eficiente de modelos no formato GGUF, permitindo que desenvolvedores carreguem checkpoints quantizados dimensionados para a memória de um laptop por meio das APIs familiares do framework. A integração elimina a necessidade de ferramentas separadas para inferência local, bastando apontar o from_pretrained para o repositório no Hub e o arquivo .gguf desejado.

O formato GGUF, desenvolvido pela equipe do llama.cpp, consolidou-se como padrão para inferência local e alimenta ferramentas populares como Ollama, LM Studio e Jan. Editoras como Unsloth, LM Studio Community e bartowski publicam versões quantizadas prontas para uso, cobrindo uma gama de níveis de precisão que permitem trocar qualidade por tamanho de arquivo. O Hugging Face Hub já contabiliza milhões de downloads desses artefatos.

Kernels ggml e Metal para performance em Apple Silicon

Para aproximar o desempenho do runtime nativo do llama.cpp, a Transformers reutiliza os kernels ggml por meio da biblioteca kernels, reduzindo a sobrecarga na geração de tokens. O foco inicial recai sobre inferência local em Apple Silicon, começando pela arquitetura Qwen3.5. Quando os pesos permanecem empacotados no Metal, o carregador aciona automaticamente os kernels de atenção ggml-org/ggml-attn; caso não estejam disponíveis, há fallback para SDPA com aviso, podendo ser forçado via attn_implementation="sdpa".

Não há configuração extra: após o carregamento, todo o fluxo segue a API padrão da Transformers, incluindo generate, pipelines e fine-tuning. Para quem prefere expor um endpoint compatível com OpenAI, o comando transformers serve aceita a sintaxe :.gguf, selecionando a quantização específica dentro de um repositório que pode conter várias.

Benchmarks mostram paridade com llama.cpp em MacBook Pro M2 Max

Testes realizados em um MacBook Pro M2 Max com 32 GB de memória unificada compararam três checkpoints GGUF — um modelo denso pequeno, um denso maior e um mixture-of-experts — entre o llama-bench (decodificação pura) e o generate da Transformers (incluindo prefill). Os resultados indicam paridade próxima em todos os casos, embora as condições de medição não sejam idênticas.

A Transformers fica próxima do llama.cpp nos três checkpoints avaliados, trazendo a performance dos kernels ggml para dentro do ecossistema PyTorch sem abandonar a API unificada.

A Hugging Face reforça que o llama.cpp continua sendo o motor recomendado quando a prioridade absoluta é inferência local eficiente, dada sua gestão de memória dedicada e suporte amplo de hardware. A novidade abre caminho para acelerar com kernels ggml arquiteturas que o llama.cpp ainda não suporta, aproveitando as implementações PyTorch já existentes na Transformers.

  • Carregamento direto via from_pretrained(model_id, gguf_file="arquivo.gguf")
  • Suporte a quantizações mistas como Q4_K_M, Q5_K_M e Q6_K
  • Endpoint OpenAI-compatível com transformers serve
  • Opção GgufConfig(dequantize=True) para modelos sem kernel compatível

A convergência entre os dois mundos — runtime especializado e framework de definição de modelos — amplia as opções para desenvolvedores que precisam rodar LLMs localmente sem abrir mão da produtividade do ecossistema Hugging Face.

Com informações de: Hugging Face Blog