PrismMLのCEOによると、AppleはAIスタートアップのPrismMLと、モデル圧縮技術をiPhoneに統合するための初期段階の協議を行っている。同社の協業により、270億パラメータ規模のAIモデルを端末上で直接動作させられる可能性があり、Siriの能力を高めるとともに、Appleのプライバシー重視の姿勢を強化できるという。
7月14日、PrismMLは圧縮のブレークスルーを発表した。Alibabaのオープンソース「Qwen」モデルを54GBから4GB未満に圧縮しつつ、270億パラメータ規模を維持して、iPhone 15およびそれ以降のデバイスでスムーズに動作させるというものだ。この技術はメモリ使用量を10〜15倍削減し、応答速度を6〜8倍に高める。一方でCEOは、事実の想起と引き換えに、推論やコーディング能力にはトレードオフがあることを認めた。
