¿Umbral de hardware para ejecutar Kimi K3 en local? Arranca con 64 GPU, consumo de 45 kW de energía: los jugadores montan su propia solución y quedan fuera

本週月之暗面發表 Kimi K3，憑藉 2,8 兆總參數成為史上最大開源權重模型，完整權重預計在 7 月 27 日前上架。官方部署指引寫明，自行架設至少要 64 張加速器，單機玩家剩下 K2 家族或官方 API 兩條路。
（前情提要：月之暗面 Moonshot AI 即將推出 Kimi K3！具備 2,8 兆參數與百萬長文本，性能直逼 Anthropic Opus 4.8）
（背景補充：我的電腦可以本地運行 AI 模型嗎？CanIRun.ai 幫你快速分析）

本文目錄

Toggle

• MoE 是什麼？
• 官方門檻：64 張 GPU 起跳
• 上一代還塞得進一台電腦

本週稍早，月之暗面（Moonshot AI）發表 Kimi K3，總參數達到 2,8 兆，成為史上最大的開源權重模型。光是要把這 2,8 兆個參數存進硬碟，用官方原生的 4 bit 格式（MXFP4）就需要 1,4TB 到 1,5TB 的空間，而且這還沒開始跑推論。對於一般人來說的門檻非常非常高。

月之暗面表示，完整開源權重預計在 7 月 27 日前上架，採用 Modified-MIT 授權，允許自行架設。截稿當下，完整權重與社群量化版本（例如 GGUF）都還沒有出現。

MoE 是什麼？

Kimi K3 採用 MoE（混合專家）架構。簡單來說就是，模型內部養了 896 個「專家」子網路，每次處理一個 token，系統只挑其中 16 個路由專家加上共享專家運算，不會全部都計算一遍，因此實際「醒著」工作的參數只有 500 億到 600 億。

模型還採用新架構 Kimi Delta Attention（KDA），並搭配 Attention Residuals；官方自評在百萬 token 長上下文下，解碼速度最高提升 6,3 倍，上下文視窗達 100 萬 token，也原生支援視覺輸入。

官方門檻：64 張 GPU 起跳

月之暗面官方部署指引寫明，自行架設 K3 至少需要 64 張以上的加速器。原生 MXFP4 權重約 1,5TB，是 DeepSeek-R1 671B（Q4 量化約 407GB）的 3,7 倍。單純換算放權重需要幾張 GPU：

• H100（80GB）：約 19 張
• H200（141GB）：約 11 張
• B200（192GB）：約 8 張

而且這還沒算 KV cache，也就是模型記住對話上下文用的記憶體；100 萬 token 長上下文的 KV cache 需求官方尚未公布，但只會更多不會更少。

在價格上，H100 80GB 單張約 2,5 萬到 3,3 萬美元（PCIe），SXM 版則 3,5 萬到 4 萬美元以上；8 卡 H100 伺服器一台超過 30 萬美元。按官方 64 張門檻，等於 8 台 8 卡伺服器，光硬體採購就超過 240 萬美元，約新台幣 7.000 萬以上。

功耗方面，H100 單張約 700W，64 張光 GPU 就約 45kW，遠超一般家庭供電容量，是機房等級的用電。

上一代還塞得進一台電腦

對照上一代 K2 家族（1 兆參數，約 320 億啟用參數）更有感。社群替 K2 做出的 1,8 bit 極限量化，約 247GB 即可硬跑，一張 24GB 消費級顯卡搭配系統記憶體卸載也能運作；K2.5 則需要超過 380GB 的統一記憶體，K2.6 的 Q2 版本約需 350GB。

上一代一台 512GB 的 Mac Studio 勉強跑得動，而 K3 則直接把門檻推回資料中心等級。對於一般散戶若想使用，就乖乖降級使用 K2 家族，或直接呼叫官方 API 吧。