Fim da fila por prioridade e inicio da gestao por investimento
A equipe de infraestrutura de inteligencia artificial do Instituto Allen para Inteligencia Artificial (Ai2) substituiu seu escalonador baseado em prioridades por um sistema de orcamentos de tempo de GPU, alocacao hierarquica de uso justo e contratos de fatiamento temporal. A mudanca transfere a decisao sobre quanto tempo de computacao cada projeto de pesquisa merece de uma tarefa operacional caso a caso para um processo administrativo de orcamento transparente. O objetivo e garantir que as cargas de trabalho de maior impacto recebam recursos sem comprometer a ocupacao total dos clusters.
Escala massiva e demanda que supera a oferta
A Ai2 gerencia milhares de GPUs NVIDIA H100, B200 e B300 organizadas em clusters que variam de 88 a 1024 unidades. Esses equipamentos atendem a cerca de 150 pesquisadores internos atuando em areas diversas como treinamento de LLMs e VLMs, simulacao de aprendizado por reforco para robotica e pos-treinamento para agentes cientificos. Em qualquer momento, a fila de pedidos excede a capacidade disponivel em duas a tres vezes, o que significa que cada hora de GPU livre tem concorrentes imediatos.
Patologias do modelo anterior baseando-se em prioridades
Historicamente, o escalonador permitia que cargas de trabalho optassem por nao serem preemptivas. Cada equipe tinha um limite de GPUs concorrentes protegidas contra preempcao, enquanto tarefas preemptivas podiam exceder esse limite em hardware ocioso. A estrategia gerou problemas previsiveis. Pesquisadores recorriam a ocupacao de GPUs com cargas de trabalho nulas para garantir acesso imediato a depuracao, ja que nao conseguiam iniciar tarefas com latencia baixa. Ocorreu inflacao de prioridade, com 100 por cento das cargas agendadas usando nivel ALTO, deixando niveis inferiores famintos por tempo. Engenheiros de plantao gastavam a maior parte do tempo negociando desligamentos organizados de cargas nao preemptivas em hosts com problemas de manutencao conhecidos.
A tragedia dos comuns se manifestou quando individuos competindo por um recurso escasso buscaram maximizar resultados proprios, gerando um resultado global nao otimo e abusando do recurso subjacente.
Tentativas frustradas de monopolio e a lição da economia
A equipe tentou resolver o problema atribuindo monopoles de GPUs a projetos importantes, mas a abordagem era grosseira demais. A sazonalidade da pesquisa fazia com que GPUs ficassem ociosas enquanto outras equipes aguardavam capacidade. A solucao classica para a tragedia dos comuns e a privatizacao do recurso compartilhado. Um artigo de 2011 de Ghodsi et al. sobre Justica de Recurso Dominante ilustra bem o risco: uma empresa de buscas exigia alta utilizacao para dedicar maquinas, e usuarios inseriram lacos infinitos no codigo apenas para inflar metricas artificialmente. O hardware muda, mas os incentivos perversos persistem.
Orçamentos de tempo em vez de posse de hardware
A nova arquitetura aloca uma fracao do tempo de GPU, nao o hardware fisico. Prever demanda futura exige conhecer resultados de experimentos cientificos ineditos, o que e impossivel de prever com precisao. Ja a prioridade entre esforcos de pesquisa e uma questao de estrategia, passivel de debate e decisao antecipada. A lideranca passa a atuar como investidora: antes que as cargas existam, decide como financiar cada esforco com tempo de GPU com base no impacto estimado. O escalonador usa essa informacao para priorizar cargas que chegam.
Sistema hierarquico e fatiamento temporal
O sistema hierarquico permite que gestores aloquem tempo de GPU proporcionalmente a projetos e pesquisadores. Contratos de fatiamento temporal garantem que a ocupacao permaneça alta mesmo quando donos de orcamentos nao tem cargas prontas, cedendo ciclos ociosos a outros usuários ate que o proprietario original necessite deles. A transicao moveu a complexidade do agendamento reativo para o planejamento estrategico de capacidade.
Com informacoes de: Hugging Face Blog