Segundo a MarkTechPost, a NVIDIA liberou o código completo da plataforma Run:ai sob licença Apache 2.0, disponibilizando-o no GitHub e no NVIDIA NGC para orquestração de GPUs em ambientes Kubernetes ou OpenShift; segundo o digitaltoday, a edição comunitária pode ser usada sem assinatura paga, mas não inclui suporte empresarial da NVIDIA.
Componentes da plataforma
- KAI Scheduler: mecanismo de agendamento nativo para Kubernetes, licenciado sob Apache 2.0 e projeto CNCF Sandbox, responsável por gang scheduling, fair-share baseado em tempo, consciência de topologia, bin-packing e suporte a DRA (segundo a MarkTechPost).
- GPU Fraction Operator: fornece frações de GPU nativas do CUDA 13.4 ao Kubernetes, impondo limite rígido de memória por workload e exportando métricas por pod (segundo a MarkTechPost).
- KAI Resource Management: adiciona projetos, departamentos, cotas e pools de nós, permitindo garantias de uso como 50% de um cluster para uma equipe de pesquisa (segundo a MarkTechPost).
- Workload Map: biblioteca Go que descreve tipos de cargas de trabalho como PyTorchJob, RayCluster e KServe, funciona offline e não agenda, enfileira nem escala automaticamente (segundo a MarkTechPost).
Como executar localmente e em produção
Para desenvolvimento local, segundo a MarkTechPost, basta executar o script local-dev.sh, que compila cerca de 50 serviços Go dentro de containers, cria um cluster Kind de cinco nós com Kubernetes v1.32.5 e simula oito GPUs Tesla-A10, não exigindo GPU física; o ambiente requer macOS ou Linux (amd64/arm64), com hosts Linux precisando de quatro CPUs, 16 GB de RAM e 100 GB de disco livre, enquanto macOS com Podman VM precisa de pelo menos 12 GB de RAM.
Para uso em produção, a plataforma roda em clusters Kubernetes ou OpenShift que possuam GPUs NVIDIA; ativando o flag --gpu-operator o sistema passa a utilizar as GPUs reais, exigindo Linux, Docker e o NVIDIA Container Toolkit (segundo a MarkTechPost).
Além disso, segundo o digitaltoday, a NVIDIA divulgou projetos de código aberto relacionados: Model Streamer, que acelera o carregamento de pesos de modelos na memória da GPU para reduzir o tempo de início da inferência, e Grove, que gerencia cargas de trabalho de inferência que precisam de vários componentes escalados através de uma única API.
