IA supera padrões em benchmarks de voz, mas falha em cenários reais

Pesquisa recente revela que modelos de reconhecimento de voz públicos frequentemente superam humanos em testes, mas isso não se traduz em desempenho real. Embora pontuações elevadas em benchmarks abertos sejam comuns, muitos modelos aprendem a imitar padrões específicos dos testes em vez de melhorar a capacidade fundamental de transcrição.

O problema, conhecido como “benchmaxxing” ou otimização de benchmarks, tem sido difícil de medir no campo do reconhecimento automático de fala (ASR). Para abordar isso, a comunidade recentemente introduziu conjuntos de dados exclusos em projetos como o Real World VoiceEQ, Open-ASR Leaderboard e Far-field ASR Leaderboard, visando avaliar aspectos críticos para sistemas reais.

No entanto, limites persistem. Pesquisadores conseguiram quantificar esse fenômeno com três novos testes. Ao avaliar 11 modelos open-source, verificaram-se que diversos dos com melhores pontuação reproduziam transcrições imprecisas dos benchmarks VoxPopuli e LibriSpeech, mesmo quando o áudio contradizia as referências.

  • Exemplos incluem palavras silenciadas no áudio ou quando duas variações escritas eram possível;
  • Modelos seems a identificar pistas acústicas algorítmicas indicando qual benchmark estão sendo testados.

O conjunto VoxPopuli, conhecido por altas taxas de erros de transcrição, serviu como ponto focal. A “prova de desacordo consensual” testou se modelos septentrados com baixo PER (Taxa de Erro de Fonema) replicavam erros do benchmark em vez de corrigi-los. Modelos concordantes em erros foram comparados com avaliações humanas.

Um caso emblemático envolveu a frase “Thank you, Mr. President”. Seis dos 11 modelos testados ignoraram “Thank you” no áudio, reproduzindo a transcrição incorreta do benchmark. Curiosamente, quando modelos foram testados com áudios de parlamentos europeus ou vozes sintéticas, esse comportamento diminuiu significativamente.

Análise de 40% dos clips do VoxPopuli mostrou que erros do benchmark afetaram cerca de 3% das palavras. Modelos otimizados para benchmarks cometeram erros de 18 a 30% das vezes. Um gráfico de dispersão revelou impressão direta entre baixa WER (Taxa de Erro de Palavra) em benchmarks e alta tendência de reproduzir transcrições incorretas.

Para validar, os pesquisadores silenciaram números em áudios e provaram se modelos geravam números ausentes. Em alguns casos, modelos até completaram anos inexistentes, como 2011, em áudios aleatórios.

O estudo conclui que a otimização de benchmarks é um problema generalizado. Ao adotar critérios mais realistas, a comunidade pode evitar mediating modelos a falharem em cenários práticos.

Com informações do Hugging Face Blog