Uma nova tese de doutorado publicada no arXiv estabelece bases teóricas para otimizar o treinamento de modelos de larga escala, focando em sistemas distribuídos e aprendizado federado. O trabalho, conduzido por Grigory Malinovsky, busca sanar gargalos práticos enfrentados por infraestruturas modernas que dependem de princípios de otimização clássicos, mas que operam sob restrições técnicas específicas.
Sete desafios no aprendizado federado
A pesquisa detalha sete avanços teóricos que integram algoritmos práticos com garantias de convergência. Entre as contribuições, destacam-se:
- Otimização do ProxSkip: Prova teórica que valida o uso de passos de gradiente locais para acelerar a comunicação, além de uma versão com redução de variância que elimina erros de vizinhança em atualizações estocásticas.
- Participação parcial e heterogeneidade: Demonstração de que os ganhos de aceleração por passos locais persistem mesmo quando nem todos os clientes participam. Além disso, o uso de tamanhos de passo do servidor e amostragem sem reposição mostraram melhorias em cenários heterogêneos.
- Performance em compressão: Para métodos de reordenação aleatória (Random Reshuffling), o autor propõe que comprimir as diferenças de gradiente, em vez dos gradientes brutos, resulta em desempenho superior.
- Robustez e fine-tuning: O estudo prova que é possível alcançar robustez contra falhas bizantinas e participação parcial simultaneamente por meio do recorte de diferenças de gradiente. Por fim, é introduzido um framework para adaptação de baixo posto (low-rank adaptation) focado no ajuste fino de grandes modelos.
O que ainda não foi divulgado
Embora a tese apresente um corpo teórico sólido com experimentos numéricos para suportar as afirmações, o material disponível não detalha a implementação do framework em plataformas comerciais ou a escala específica de performance comparativa contra métodos de treinamento padrão utilizados atualmente pela indústria.
