Uma startup dos EUA criou o AI Pocket Lab, o menor supercomputador de Inteligência Artificial (IA) do mundo. Este dispositivo compacto é pequeno o suficiente para caber no bolso e possui alto poder de processamento e grande capacidade de memória. O equipamento é capaz de executar modelos avançados de IA que analisam informações complexas e resolvem problemas de maneira autônoma.
O AI Pocket Lab é desenvolvido pela empresa Tiiny AI e consegue rodar localmente um grande modelo de linguagem com aproximadamente 120 bilhões de parâmetros. Isso é notável, pois sistemas dessa magnitude normalmente dependem de grandes centros de dados. O processamento acontece diretamente no dispositivo, eliminando a necessidade de conexão com a internet.
O supercomputador utiliza um processador ARM de 12 núcleos e possui 80 GB de memória RAM do tipo LPDDR5X, sendo que a maioria dos notebooks atualmente tem entre 8 GB e 32 GB de memória. Desses 80 GB, 48 GB são dedicados à unidade de processamento neural (NPU), que é otimizada para operações de IA, oferecendo maior eficiência.
O AI Pocket Lab, embora não se compare aos maiores supercomputadores do mundo, alcança cerca de 190 trilhões de operações por segundo. Para isso, os engenheiros implementaram tecnologias de otimização, como o TurboSparse, que utiliza partes específicas dos parâmetros durante o processamento, e o PowerInfer, que distribui tarefas entre diferentes processadores, melhorando o desempenho e reduzindo o consumo de energia.
