IA se Destaca em Tarefas Verificáveis, mas Falha em Julgamento
Um novo relatório da organização sem fins lucrativos de avaliação de IA, METR, indica que os modelos de inteligência artificial continuam a seguir uma trajetória de melhoria exponencial em determinadas capacidades. No entanto, o estudo também revela que os sistemas ainda apresentam desempenho insuficiente em tarefas que exigem julgamento humano, como a criação de novas avaliações de IA e a análise de argumentos filosóficos.
O relatório é uma atualização do gráfico de horizonte temporal da METR, que foi amplamente compartilhado e, consequentemente, amplamente mal interpretado devido à complexidade das medidas utilizadas. Para avaliar os modelos, a organização os submeteu a um grande conjunto de tarefas, cada uma das quais também foi concluída por humanos. A dificuldade de cada tarefa foi pontuada com base no tempo que os testadores humanos levaram para concluí-la, e os modelos foram avaliados de acordo com o comprimento das tarefas que eram capazes de realizar com sucesso. O gráfico original mostrava que os sistemas de IA estavam se tornando rapidamente mais eficientes a cada quatro meses, com o comprimento das tarefas que os modelos fronteira conseguiam completar dobrando.
A atualização do gráfico inclui novas tarefas, algumas das quais são estimadas para levar aos humanos muito mais tempo que as do conjunto original, e outras que são mais abertas. Uma das questões mais importantes no campo da IA no momento é o extento em que o progresso em tarefas “verificáveis”, onde é possível verificar automaticamente se um sistema de IA obteve sucesso ou fracasso, se traduz em tarefas nas quais o sucesso ou fracasso é mais difícil de medir. Os sistemas de IA se tornaram tão bons em codificação e matemática, duas áreas onde é possível determinar automaticamente se uma solução funciona ou não, justamente porque é possível aplicar a técnica de aprendizado por reforço, que fortalece os caminhos neurais associados ao sucesso e enfraquece os associados a falhas.
É muito mais difícil aplicar essa mesma técnica a tarefas onde o sucesso é menos definido ou leva mais tempo para ser ascertado, como escolher uma nova direção de pesquisa. Por essa razão, é difícil avaliar o desempenho da IA em tarefas desse tipo, e o gráfico de horizonte temporal original da METR não incluía nenhuma delas. No entanto, é exatamente esse tipo de tarea que se revelará essencial se os sistemas de IA vierem a automatizar a pesquisa e o desenvolvimento.
Os pesquisadores da METR trabalharam para garantir que o novo conjunto de tarefas inclua algumas das tarefas mais imprecisas e que exigem julgamento, que poderiam ser as mais relevantes para a automação da P&D de IA. Em uma das tarefas, pede-se aos modelos que criem novas avaliações de IA que a METR poderia usar em sua pesquisa e, em seguida, os resultados são pontuados por colaboradores humanos da METR. Apesar dos modelos mais avançados agora serem superiores a quase todos os humanos em engenharia de software, eles falham nessa tarefa: nenhuma das avaliações projetadas pela IA foi considerada útil o suficiente pelos colaboradores da METR para ser usada em sua pesquisa.
Em outra tarefa, os modelos têm que pontuar argumentos filosóficos. Essa tarefa visa capturar a capacidade dos modelos de exercer um bom julgamento, embora os colaboradores da METR discordem sobre o quão relevante essa tarefa é para a automação da P&D de IA. Nessa tarefa, também os modelos ficaram abaixo do desempenho humano.
Apesar da dificuldade de pontuar essas novas tarefas e de ser ainda mais difícil determinar o que essas pontuações significam, especialistas com quem falei apreciam o fato de a METR estar incorporando novos tipos de avaliações em seu trabalho. “Estamos no ponto em que as avaliações de IA precisam se tornar mais criativas”, diz Sayash Kapoor, um científico computacional e professorentrante na UC Berkeley. “Tentar estender o espaço de avaliações é uma mudança bem-vinda.” Kapoor diz que não ficou surpreso ao ver que os modelos ficam abaixo do desempenho em tarefas mais abertas, como o design de uma avaliação de IA. Em um preprint de agosto, ele e seus colaboradores relataram que os modelos de IA ainda não são capazes de reproduzir a pesquisa de ciência da computação humana por conta própria. E em um post de blog de quarta-feira, a OpenAI relatou que seus modelos não se desempenham tão bem em tarefas reais atribuídas por seus colaboradores quanto em tarefas mais fáceis e verificáveis no conjunto original da METR.
Ainda há discordância sobre como interpretar as diferenças atuais de desempenho em tarefas facilmente verificáveis e difíceis de verificar, diz Kapoor. Embora ele acredite que o “gosto de pesquisa”, a capacidade de escolher perguntas, hipóteses e experimentos promissores, será um gargalo importante para automatizar a P&D de IA, outros argumentam que os modelos treinados em tarefas de fácil verificação eventualmente serão capazes de concluir com sucesso tarefas abertas também. E o progresso em tarefas verificáveis parece não estar desacelerando.
Embora os modelos ainda estejam atrás do desempenho humano em tarefas abertas no momento, o novo relatório sugere que eles podem estar melhorando. Alguns dos modelos mais recentes, como o Opus 5.5, tendem a alcançar o que a METR chama de desempenho “limiar acima do nível” em tarefas de design de avaliação, ainda não utilizáveis para a pesquisa da METR, mas promissores. Há um ano, todos os modelos pontuavam na categoria “claramente abaixo do nível”.
Mas, como essas tarefas abertas e que exigem julgamento são tão difíceis de projetar e pontuar, a METR inclui poucas delas em seu relatório, o que dificulta prever se e como os modelos podem continuar a progredir nessas áreas. “A melhoria que observo, penso que nos diz algo para o momento atual”, diz Najoung Kim, linguista e cientista computacional na Universidade de Boston. “Ainda não sei como pensar sobre como extrapolar isso.” Matt Putz, um membro da equipe técnica da METR, diz que prever o progresso nessas espécies de tarefas provavelmente permanecerá difícil. “Por sua natureza, tarefas difíceis de verificar”
Com informações de: MIT Tech Review