Google 在 Pixel 9 和 10 上部署多令牌預測,將 Gemini Nano 推論速度提升超過 50%

根據 Beating 報導,Google 在 Pixel 9 和 Pixel 10 裝置上部署了多 Token 預測(MTP)架構,大幅加速了裝置端 Gemini Nano v3 模型。新架構將推理速度提升超過 50%,同時保持模型的安全對齊與輸出品質。

零拷貝機制允許預測頭透過交叉注意力直接重用主模型的快取特徵,消除了傳統草稿模型獨立鍵值快取的開銷。該設計節省了約 130MB 記憶體,同時降低了啟動延遲。在通知摘要與智慧回覆等實際應用中,MTP 實現了 55% 的 Token 接受率提升,減少處理器喚醒頻率並降低系統功耗。

免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱 免責聲明
回覆
0/400
暫無回覆