O ritmo de lançamentos de modelos de texto-para-fala (TTS) de código aberto acelerou nos últimos anos. Em 30 de setembro de 2026, o Hub Hugging Face já reunia mais de oito mil modelos TTS, uma marca impressionante que reflete a expansão da comunidade.
No entanto, a avaliação ainda fica para trás do desenvolvimento. A forma mais confiável de medir a qualidade de um modelo é por meio de preferências humanas, utilizando métricas como MOS (average opinion score) ou MUSHRA (mean opinion score). Para ajudar os pesquisadores, várias arenas de comparação surgiram como referência, apresentando dois modelos por vez e pedindo aos participantes que escolham o modelo preferido.
Depóis de coletar um número suficiente de votos, as arenas calculam uma pontuação Elo, geralmente usando o modelo Bradley–Terry, para classificar os sistemas. Apesar de sua utilidade, as arenas não conseguem acompanhar o volume de lançamentos recentes. Isso explica por que poucos modelos de código aberto aparecem em quadros de líderes baseados em arena: em 30 de setembro de 2026, apenas dezesseis dos noventa e dois modelos listados na Artificial Analysis tinham pesos abertos, uma tendência observada também na Voice Arena.
Para preencher essa lacuna, a equipe criou o Open TTS Leaderboard, um quadro que utiliza métricas objetivas para medir aspectos complementares do desempenho. A avaliação baseada em Taxa de Erros de Palavras (WER) de reconhecimento automático fornece uma estimativa da inteligibilidade, enquanto a similaridade do locutor mede a preservação da identidade vocal.
Ao contar com métricas objetivas, o tempo de avaliação cai de semanas, o período necessário para coletar votos humanos, para apenas algumas horas. Ainda assim, o quadro não substitui a preferência humana; a naturalidade, a expressão e o gosto pessoal do ouvinte continuam sem uma medida direta.
Os modelos hexgrad/Kokoro‑82M, Supertone/supertonic‑3 e fishaudio/s2‑pro lideram o pacote na média de WER para o inglês quando avaliados nas divisões Seed TTS Eval e CV3 Eval. Gráficos de Pareto ajudam a visualizar quais sistemas equilibram melhor a qualidade da fala, a velocidade de inferência em lote e o tamanho.
A performance em inglês nem sempre se traduz em outras línguas. Os usuários podem alternar entre várias línguas para ver as classificações multilingues. Como o Seed TTS Eval contém áudio apenas em inglês e chinês, as demais linguagens são avaliadas pelo CV3 Eval em modo zero‑shot. Para idiomas baseados em caractéres, como chinês, japonês e coreano, a Taxa de Erro de Caractere (CER) é exibida, e a média geral é um médio aritmético entre os idiomas.
k2‑fsa/OmniVoice, fishaudio/s2‑pro e FunAudioLLM/Fun‑CosyVoice3‑0.5B‑2512 destacam‑se como fortes modelos multilingues. O quadro também oferece um modo de clône de voz, permitindo que os sistemas que suportam essa função sejam comparados nas línguas selecionadas.
Uma coluna SIM, que indica a similaridade do locutor, agora aparece na tabela, juntamente com gráficos de Pareto adicionais que ilustram a relação entre SIM, velocidade de inferência em lote e tamanho. Alguns modelos, como bosonai/higgs‑tts‑3‑4‑b e openbmb/VoxCPM2, apresentam melhoria na média de WER quando o clône de voz é ativado com áudio de referência.
Embora os números ofereçam uma visão parcial, a preferência humana continua sendo a medida definitiva. A aba “Ouvir” permite que os visitantes comparem os áudios gerados pelos modelos subjacentes às métricas e escolham seus preferidos. É possível filtrar por idioma, conjunto de dados, clône de voz e até mesmo por uma seleção aleatória de sistemas.
Os usuários também podem avaliar os áudios gerados, e os votos coletados podem ser incorporados futuramente ao quadro de líderes. Para evitar spam e bots, é necessário fazer login com uma conta Hugging Face.
A aba “Streaming” compara a capacidade de resposta em tempo real, utilizando o Tempo até o Primeiro Áudio (TTFA). Para modelos com API de streaming, o TTFA mede o intervalo até o primeiro segmento de áudio chegar. Para sistemas não streamados, o TTFA corresponde ao tempo necessário para gerar toda a fala, já que a reprodução não pode começar antes disso. Todos os testes são executados com tamanho de lote igual a um, sobre as mesmas cinquenta frases em inglês do CV3‑Eval, utilizando a mesma configuração de hardware e a voz padrão de cada modelo. Os três primeiros testes são descartados como aquecimento, e a mediana do TTFA é calculada a partir dos resultados restantes.
Resultados padrozinham o desempenho em uma GPU H200, mas dados para CPU também estão disponíveis para um conjunto crescente de modelos. O modelo kyutai/pocket‑tts destaca‑se tanto em GPUs quanto em CPUs quando se trata de streaming.
O objetivo do Open TTS Leaderboard vai almá de acompanhar o ritmo acelerado de lançamentos; ele foi projetado para ser moldado pela própria comunidade. A equipe convida os usuários a enviarem feedback sobre datasets, modelos e métricas de interesse, garantindo que o quadro permaneça relevante e informativo. Futuramente, os scripts de avaliação serão disponibilizados como código aberto, permitindo que mais pessoas contribuam para a iniciativa.
Com informações de: Hugging Face Blog