Segundo a Bloomberg Businessweek, o fundador da ByteDance, Zhang Yiming, entrou no seleto grupo de pesquisadores que trabalham em aprimoramento de world models. Segundo o Valor Econômico e o Seoul Economic Daily, ele agora lidera o desenvolvimento de um modelo de IA que gera vídeo espacial em tempo real, com latência de cerca de 0,05 segundo a 20 quadros por segundo. Lançamento está previsto para o próximo mês.
Detalhes do modelo e suas aplicações
O modelo, baseado no Seedance (já existente na ByteDance para geração de vídeo cinematográfico), permitirá que os usuários criem mundos virtuais interativos para transmissões ao vivo, dramas curtos e jogos. Zhang Yiming coordena as unidades de negócios da empresa e direciona recursos de IA e capacidade computacional para o projeto, embora a data exata de lançamento ainda não seja certa.
O modelo pode funcionar como ambiente e interface de computação espacial, com latência de 0,05s a 20 quadros por segundo. Isso reduz a necessidade de processamento nos headsets e possibilita hardware mais barato, segundo o Valor Econômico.
Zhang espera que a tecnologia coloque a ByteDance no cenário de modelos globais, junto a especialistas como Fei-Fei Li e Yann LeCun. O projeto faz parte de uma mudança estratégica para a produção B2B de vídeo, integrando nuvem da ByteDance com hardware da Pico, disse a mesma fonte.
Segundo o Seoul Economic Daily, o modelo gera ambientes tridimensionais em tempo real a partir de comandos de voz ou movimento, criando um mundo 3D interativo em cerca de 0,05s. Lançamento será em parceria com a Pico, e a tecnologia permite que a IA aprenda o funcionamento do mundo físico, gerando espaços que reagem às ações do usuário.
Usos do modelo incluem produção de dramas curtos, transmissões ao vivo, vídeos de jogos 3D e treinamento de simulação de veículos autônomos, robótica e agentes de IA, informou o Seoul Economic Daily.
O Google já apresentou um world model chamado Genie, mas a ByteDance opta por processar a geração espacial na nuvem, ao contrário de Apple (Vision Pro) e Meta (Quest), que usam abordagem local. A Apple e a Meta enfrentam dificuldades de adoção devido ao alto custo do hardware e escassez de conteúdo, enquanto a nuvem da ByteDance reduz as especificações necessárias nos dispositivos, acrescentou a fonte.
A ByteDance conseguiu um empréstimo de cerca de 30 bilhões de dólares e pretende investir em infraestrutura de data centers de IA e semicondutores de ponta, disse o Seoul Economic Daily.
Onde a cobertura diverge
Enquanto o Valor Econômico enfatiza a mudança estratégica da ByteDance para a produção B2B de vídeo e a ambição de Zhang de se juntar a especialistas de visão como Fei-Fei Li e Yann LeCun, o Seoul Economic Daily dá maior ênfase ao aspecto financeiro: empréstimo de 30 bilhões de dólares, investimento em data centers e semicondutores, além de ressaltar as dificuldades de Meta e Apple com hardware e conteúdo.
O que ainda não foi divulgado
- Data exata em que Zhang Yiming começou a colaborar no esforço de aperfeiçoamento dos world models.
- Quais instituições ou empresas além da ByteDance participam da colaboração.
- Descrição técnica específica dos modelos sendo aprimorados.
- Métricas de desempenho que estão sendo almejadas.
- Existência de resultados preliminares ou benchmarks já alcançados.
- Como o projeto se integra à estratégia geral de IA da ByteDance.
- Planos de publicar resultados em conferências ou revistas científicas.
- Impacto esperado em produtos da empresa, como sistemas de recomendação ou simulação de ambientes virtuais.
- Eventuais parcerias adicionais com outras empresas de tecnologia ou instituições de ensino.
