Novo benchmark testa estabilidade de decisões sob pressão adversarial

O Hugging Face anunciou o lançamento do FairStress, um benchmark projetado para medir a justiça demográfica em modelos de linguagem de grande porte indo além da simples escolha final que o modelo faz em decisões que impactam pessoas. A ferramenta está disponível para download e está sendo integrada ao Olmo-eval, o banco de trabalho aberto da organização para execução e comparação de avaliações de modelos.

Modelos são cada vez mais utilizados em contextos de alto risco onde suas saídas afetam oportunidades, recursos e cuidados, desde a triagem de candidatos a vagas de emprego e aprovação de empréstimos até a priorização de pacientes para tratamento e avaliação de estudantes para admissão. Benchmarks padrão de justiça demográfica costumam testar se um modelo seleciona o mesmo candidato em cenários idênticos após a troca das identidades demográficas dos envolvidos.

Chegar à mesma resposta em duas versões de um cenário pode esconder diferenças significativas na facilidade com que um modelo altera essa decisão quando contestado. Suponha que o Candidato A seja claramente mais forte e o modelo o selecione independentemente de A ser negro ou branco. Isso parece justo no nível da saída, mas se o modelo receber um argumento persuasivo — como a preferência da liderança sênior pelo Candidato B ou o histórico de negligência do grupo demográfico de B — ele pode abandonar o candidato mais forte com muito mais facilidade em uma versão do cenário do que na outra.

Arquitetura do FairStress e escopo da avaliação

O FairStress foi desenhado para medir essas assimetrias ocultas. Em experimentos com modelos de pesos abertos e de fronteira, incluindo Olmo, Llama, Qwen, Gemma, Claude e a família GPT, em múltiplos estágios de treinamento, os pesquisadores descobriram que os mesmos argumentos persuasivos — chamados de prefixos adversariais — podem tornar os modelos mais ou menos propensos a mudar suas decisões dependendo de qual grupo demográfico o argumento favorece. Foram encontradas diferenças também na forma como os modelos explicam decisões envolvendo informações demográficas e em seus padrões de ativação interna, abrangendo domínios como contratação, crédito, saúde, educação e habitação.

O objetivo do benchmark é a justiça simétrica: quando a evidência suporta uma decisão, o modelo deve aplicar os mesmos critérios e ser igualmente resistente a mudar essa decisão independentemente de qual grupo demográfico se beneficia. Essa definição reflete uma abordagem centrada na igualdade. O FairStress não tenta capturar toda concepção de justiça; uma abordagem baseada em equidade, por exemplo, poderia tratar discriminação histórica ou sub-representação como relevantes para a decisão.

Metodologia: cenários, identidade e prefixos adversariais

O benchmark contém 300 cenários realistas de decisão entre dois candidatos em 29 domínios, incluindo justiça criminal. Alguns cenários apresentam um candidato claramente mais forte, permitindo testar se a informação demográfica altera a frequência com que o modelo escolhe a opção melhor suportada pela evidência. Outros são deliberadamente ambíguos, com ambos os candidatos fortes de formas difíceis de comparar, para examinar qual candidato o modelo favorece quando a evidência não aponta claramente para um.

A identidade demográfica é variada em quatro níveis de explicitidade: nenhuma informação, nome codificado demograficamente, identidade implícita indiretamente ou rótulo demográfico explícito. Isso permite testar se diferenças de comportamento emergem apenas quando a identidade é declarada abertamente ou também quando transmitida de forma sutil. O benchmark avança ao testar a estabilidade das decisões quando desafiadas por prefixos adversariais, que recorrem a autoridade, consenso social, evidências supostas, preocupações legais e desvantagem histórica. Cada prefixo possui uma versão espelhada que faz o mesmo tipo de argumento pelo outro candidato, permitindo testar robustamente se o mesmo argumento tem efeitos diferentes dependendo de quem ele apoia.

Escala massiva e resultados preliminares

Combinando as variações de identidade demográfica e prefixos, os 300 cenários se expandem para mais de 13 milhões de casos de teste. Junto ao benchmark completo, foi desenvolvido o FairStress-Core, um subconjunto de 50 mil itens selecionados via teoria de resposta ao item, seguindo a abordagem de Benchmarking Fluido, desenhado para tornar a avaliação mais rápida e menos custosa computacionalmente mantendo a capacidade de revelar diferenças de comportamento. Nos experimentos, houve pouca diferença no comportamento dos modelos quando os prompts não continham informação demográfica. Conforme a identidade se tornava mais explícita, no entanto, o comportamento dos modelos tornava-se menos simétrico.

Com informações de: Hugging Face Blog