PrismML lança Bonsai 27B, o primeiro modelo com 27 mil milhões de parâmetros a funcionar no iPhone com 3,9 GB

De acordo com a Decrypt, a PrismML lançou o Bonsai 27B em 16 de julho, o primeiro modelo de IA com 27 mil milhões de parâmetros a correr em smartphones de consumo. O modelo é comprimido para 3,9 GB e funciona no iPhone 17 Pro Max a 11 tokens por segundo. A técnica de compressão reduz os pesos do modelo, que antes eram em precisão de ponto flutuante de 16 bits, para valores ternários (1 positivo ou -1 negativo), fazendo com que a variante binária seja 14 vezes mais pequena do que a versão de precisão total.

O CEO da PrismML, Babak Hassibi, confirmou que a empresa está em conversações iniciais com a Apple sobre a tecnologia de compressão. O modelo é disponibilizado sob a licença Apache 2.0, com planos para comprimir o Gemma em seguida.