騰訊推出量化版 Hunyuan Hy3 模型,含 295B 參數,可部署於單一 GPU

最近,騰訊 Hunyuan 因應社群的需求,發布了其 Hy3 模型的量化版本,使參數量 2950 億的模型能在單一推論 GPU 上運行,甚至在記憶體足夠的本地機器上運行。團隊將 Hy3 的權重量化為 1-bit 與 4-bit 精度,並以 GGUF 格式封裝,且整合到 llama.cpp 生態系中,讓先前需要多 GPU 集群的作業,現在能在更廣泛的部署情境中使用。
免責聲明:本頁面資訊可能來自第三方來源,僅供參考,不代表 Gate 的立場或觀點,亦不構成任何財務、投資或法律建議。虛擬資產交易具有高風險,請勿僅依賴本頁資訊作出決策。詳情請參閱 免責聲明
回覆
0/400
暫無回覆