PrismML выпускает Bonsai 27B — первую модель с 27 миллиардами параметров, которая работает на iPhone при использовании всего 3,9 ГБ памяти

По данным Decrypt, PrismML выпустила Bonsai 27B 16 июля — первую ИИ-модель с 27-миллиардами параметров, которую можно запускать на смартфонах потребительского класса. Модель сжата до 3,9 ГБ и работает на iPhone 17 Pro Max со скоростью 11 токенов в секунду. Техника сжатия снижает вес модели с 16-битной плавающей запятой до троичных значений (положительное 1 или отрицательное 1), благодаря чему двоичная версия оказывается в 14 раз меньше, чем вариант с полной точностью.

Генеральный директор PrismML Бабак Хасиби подтвердил, что компания находится на ранних переговорах с Apple по поводу этой технологии сжатия. Модель выпущена под лицензией Apache 2.0, а в планах — сжать Gemma в следующей версии.

Дисклеймер: Информация на этой странице может быть получена из источников третьих сторон и предоставляется только для ознакомления. Она не отражает взгляды или мнения Gate и не является финансовой, инвестиционной или юридической рекомендацией. Торговля виртуальными активами связана с высоким риском. Пожалуйста, не основывайте свои решения исключительно на данных этой страницы. Подробнее смотрите в Дисклеймере.
комментарий
0/400
Нет комментариев