Segundo o Tom's Hardware, um fork do projeto PS5LM torna possível executar modelos de linguagem grandes diretamente na PlayStation 5 jailbroken, alcançando mais de 100 tokens por segundo em alguns casos e cerca de 20 tokens por segundo ao rodar o Qwen 3.8-27B de 27 bilhões de parâmetros.
Desempenho do modelo de 27 bilhões de parâmetros
O Tom's Hardware relata que o fork permite que o console use a GPU e mais memória RAM, permitindo a execução de LLMs maiores. O ProPakistani acrescenta que o modelo Qwen 3.8 27B, versão quantizada, foi testado em três variantes: um arquivo de 6,8 GB (IQ2_XXS) atingiu aproximadamente 20,7 tokens por segundo, uma versão de 9,2 GB ficou em torno de 20,3 tokens por segundo e uma resposta maior de 7 775 tokens média cerca de 19,7 tokens por segundo. O painel do projeto mostrou uma geração média de aproximadamente 20,9 tokens por segundo.
Uso de recursos da PS5
Ambas as fontes indicam que, durante o teste, a GPU da PlayStation 5 operou em 100 % de utilização enquanto o uso da CPU permaneceu muito baixo. O console consumiu cerca de 86 W de potência e chegou a temperaturas entre 54 °C e 55 °C, mostrando que a maior parte da carga de trabalho da IA foi processada pela GPU. O ProPakistani observa que o modelo exigiu compressão pesada devido aos 16 GB de memória GDDR6 compartilhada disponíveis no aparelho.
Comparação com modelos menores
O ProPakistani também menciona que modelos menores obtiveram velocidades bem superiores no mesmo hardware: o Gemma 4 E4B alcançou cerca de 61 tokens por segundo e o Llama 3.2 3B chegou a até 124 tokens por segundo. Em contraste, a versão anterior baseada em CPU do projeto PS5LM conseguiu apenas aproximadamente um token por minuto ao processar o mesmo Qwen 3.8 27B a partir do armazenamento.
Funcionalidades adicionais do PS5LM Plus
De acordo com o ProPakistani, o fork PS5LM Plus pode carregar modelos GGUF a partir do armazenamento interno, USB ou unidade M.2 instalada, expor uma API compatível com OpenAI na rede local e exibir um painel com velocidade de geração, uso de GPU e CPU, consumo de memória, consumo de energia e temperatura. O projeto é descrito como uma iniciativa de homebrew da comunidade, exigindo um PlayStation 5 jailbroken para funcionar.
