Modelo Falcon 7B entende dialecto Emirado
O modelo Falcon 7B foi criado para compreender e gerar o dialeto Emirado de forma natural, capturando vocabulário, tom e contexto cultural que um modelo geral de árabe não consegue reproduzir.
Ele se baseia na arquitetura híbrida Falcon H1 Arabic, que combina State Space Models (Mamba) e attention de Transformer dentro de cada bloco, com a fusão dos resultados antes da projeção. Essa combinação traz eficiência linear em sequências longas e precisão para dependências de longo prazo, essencial para a riqueza morfológica da língua árabe.
A equipe reuniu três fontes de dados: primeiro, conteúdo crawler de sites e fóruns Emirados escritos nativamente em dialecto, sem tradução ou transliteração; segundo, material em MSA sobre cultura, tradição e normas sociais Emiradas, como artigos e referências históricas; terceiro, dados sintéticos gerados a partir de regras rígidas e glossários específicos para o dialecto, garantindo que o modelo aprenda expressões autênticas e gramática correta.
Como não existe um método padrão para adaptar de MSA a dialecto, a equipe tratou a estratégia de treinamento como um experimento, testando quantidades de dados dialetais, momentos de inserção e o equilíbrio entre dados reais e sintéticos, usando avaliação automática complementada por revisão de falantes nativos.
A avaliação ocorreu com o benchmark Alyah, que contém 1.173 amostras múltipla escolha criadas manualmente, e com a opinião direta de falantes nativos que julgaram naturalidade, tom e adequação cultural, fatores que métricas automáticas não capturam.
Escolher o tamanho de 7B foi decisivo: o modelo possui capacidade suficiente para manter nuances do dialecto, ao mesmo tempo em que permite treinamento e inferência em escala prática, ao contrário dos modelos de 34B que demandam recursos excessivos e dos de 3B que ficam aquém da profundidade requerida.
O resultado é um assistente capaz de responder em Emirado com fluência que reflete o jeito cotidiano dos usuários, incluindo expressões idiomáticas, humor e referências culturais que vão além de uma simples tradução literal.
Um modelo que só conhece MSA pode traduzir cada palavra de uma frase Emirata e ainda assim perder o sentido real.