"MOE"的搜尋結果
2026-06-17 04:29

字節跳動將 AI 資源轉向企業服務,隨著抖音面臨利潤率壓力

根據 ChainCatcher 引述 LatePost,字節跳動正在將其 AI 資源配置從面向消費者的產品(如抖音)轉向更偏向企業的服務,原因在於營運成本偏高以及盈利挑戰。抖音的日活用戶超過 2 億,但由於推論與多模態運算成本高昂,日虧損達數千萬人民幣;同時,來自電商與其他渠道的收入合計每日不足 100 萬人民幣。 與此同時,字節跳動的影片生成模型 Seedance 展示出強勁的獲利能力。憑藉其高效率的 MoE 架構(2000 億參數)以及更低的推論需求,Seedance 2.0 取得 70% 的毛利率,且絕大多數收入來自企業客戶。目前年化收入達 20 億美元。字節跳動已擴大其大型語言模型資料整理團隊至超過 3,000 人,並將 Volcano Engine 的 MaaS 業務提升為更高優先級。頂層管理層設定目標,將收入提高 10 倍並加速國際擴張。
展開
2026-06-17 03:26

MoE Capital 在首次交割籌集了 $25M ,獲 OpenAI、Anthropic、xAI 研究人員支持

根據 Beating,MoE Capital 這家由前 AGI House 成員創立的早期風投基金,本月完成了 2,500 萬美元的首輪募集關閉。該基金的特色在於其深度網絡:來自前沿 AI 實驗室的多名活躍研究員(包含 OpenAI、Anthropic 與 xAI)作為 LP 與顧問參與。 該公司希望透過研究員社群,在競爭激烈的早期 AI 投資中建立資訊優勢,使主要實驗室的研究員能夠推薦那些抱持創業抱負、即將離開的同事。MoE Capital 已投資 Phylo(開發生醫 AI 代理),以及 neolab 的 Recursive Superintelligence。
展開
OPENAI-0.38%
XAI1.30%
2026-06-13 01:22

Mantle 推出 SPCXx Tokenized SpaceX 股票代幣,啟動 10 萬 MNT 獎勵計畫

根據 Foresight News,Mantle 今天已推出 SPCXx,這是一種將 SpaceX 股票代幣化的版本,且 24 小時交易已即時上線。同時,Merchant Moe 啟動「Project X」激勵計畫,部署 100,000 MNT 代幣作為流動性提供者的獎勵。第一階段已開放 SPCXx/USDT0 池。 SPCXx 透過 Mantle 生態系平台 Fluxion 與 Merchant Moe 發行,並利用 Fluxion 的 Atomic RFQ 機制,讓代幣能夠進行直接鑄造與贖回,同時避免 AMM 的滑價。
展開
MNT3.40%
SPCXX-0.07%
SPCX0.89%
2026-06-12 15:09

MiniMax 開源 MiniMax M3 模型,包含 4280 億參數與 1M token 上下文

根據 Beating,MiniMax 已在 Hugging Face 開源原生多模態「混合專家」(MoE)模型 MiniMax M3 的權重。該模型總共有 4280 億(428 billion)個參數,每個 token 啟用 230 億(23 billion)個參數,能原生支援最多 100 萬 token 的上下文。開發團隊釋出了 MXFP8 量化版本,並整合對主流推論框架的支援,包括 SGLang、vLLM 和 Transformers。MiniMax 也開源了輕量化的 MiniMax 稀疏注意力(MSA)核心程式庫,在搭配 NVIDIA Blackwell 架構最佳化的 100 萬 token 上下文下,預填充速度提升 9 倍、解碼速度提升 15 倍。
2026-06-04 15:49

Nvidia 推出 Nemotron 3 Ultra,具 5500 億參數的旗艦模型,採用結合 Mamba-Transformer 的混合式 MoE 架構

根據 Beating,Nvidia 於 6 月 4 日發布其旗艦級大型語言模型 Nemotron 3 Ultra,總參數量達 5,500 億(550 billion),其中活躍參數為 550 億(55 billion)。該模型在 Artificial Analysis 的智慧指數中得分 48,使其成為表現最強的開源美國模型,僅次於 Kimi K2.6 的 54 分。 該模型採用混合 Mamba-Transformer MoE 架構,會在 Mamba-2 狀態空間層與 Transformer 注意力層之間交替,支援 100 萬 token 的上下文視窗,同時避免 KV cache 出現二次方成長。與規模相近的密集模型相比,混合架構在代理任務上能達到 5 倍更高的吞吐量,並使推論成本降低 30%。Nemotron 3 Ultra 可在 Hugging Face、NVIDIA NIM 與 OpenRouter 上使用。
展開
2026-05-27 04:57

MiniMax 發布 M2 技術報告;Forge 系統實現 40 倍訓練加速

根據 Beating,MiniMax 已在 arXiv 發布其 M2 技術報告,詳細說明其旗艦型 MoE(mixture-of-experts,混合專家)架構與 Agent 訓練系統 Forge。該公司披露 Forge 如何透過分段的 FIFO(先進先出)排程以及前綴樹合併技術,優化長上下文的 Agent 強化學習,並達到最高 40 倍的訓練加速。 M2.7 展示了自主代理自我進化能力,完成超過 100 輪的分析、程式碼修訂與測試循環。在效能基準測試上,M2.7 在 SWE-Pro 上達到 56.22%,在 Multi-SWE-bench 上達到 52.7%,並在 MLE Bench 上取得 66.6% 的平均獎勵率,接近 Gemini 3.1 的效能水準。
展開
2026-05-25 09:38

華為、USTC 與北京大學在用於 MoE 模型訓練的 Ascend A3 上實現 58% 的加速

根據 Beating,華為、清華大學的中國科學技術大學(USTC)以及北京大學的研究人員揭露了 HyperParallel-MoE,一種為 Ascend A3 晶片設計的編譯器排程框架。該框架透過在 MoE 專家計算模組中降低 36% 的延遲,並在 256 節點叢集上運行 671B 參數的類 DeepSeek 模型時,實現整體資料處理速度提升 58%(快 1.49–1.58 倍),同時單步訓練速度也提升了 8–9%。
2026-05-12 12:58

雲天易翼飛在推理晶片開發中推出 3D 疊層式記憶體架構

根據 5 月 12 日的投資者關係披露,雲天億飛(Yuntianliyifei)在開發中的推論晶片採用 GPNPU 架構作為其核心技術路線圖。主要技術亮點包括具備可相容於主流 CUDA 生態系的 GPGPU 等級通用程式能力、針對推論效率進行最佳化的 NPU 核心,以及設計用於提升頻寬並降低存取延遲的 3D 堆疊式記憶體架構,以突破記憶體瓶頸帶來的「記憶牆」問題。 該公司亦採用運算模組化架構,以支援在機架層級進行擴容,建置達萬億與百萬億規模的 MoE 模型推論超級節點。技術路線圖目標是指數級降低代幣成本並加速大型模型應用部署。
展開
2026-05-12 11:13

NVIDIA 與 MIT 發布 Lightning OPD 架構,提升模型蒸餾效率 4 倍,同時消除 GPU 記憶體問題

據報導,NVIDIA 與 MIT 研究人員發布了 Lightning OPD(Offline On-Policy Distillation),這是一種用於大型語言模型的新型後訓練框架,可消除在訓練期間維持教師模型持續運行的需求。透過離線預先計算教師模型的對數機率,該框架可使訓練效率提升 4 倍,同時釋放所有 GPU 資源用於學生模型訓練。 在 8 張 NVIDIA H100 GPU 的測試中,Lightning OPD 成功蒸餾了 Qwen3-30B-A3B-Base(具 300 億參數的 MoE 模型),並在 AIME 2024 基準測試上達到 71.0;相較之下,標準 OPD 在相同硬體上因記憶體不足而失敗。對於較小的 Qwen3-8B 模型,該框架僅需 30 個 GPU 小時計算時間即可達到 69.9 分。
展開
2026-05-12 00:45

Thinking Machines 推出互動模型,回應時間 200 毫秒,表現優於 GPT-Realtime-2.0

根據 Beating、Thinking Machines(由前 OpenAI 執行長 Mira Murati 創立的實驗室),該實驗室釋出其 Interaction 模型的研究預覽版,特色是原生即時音訊與影像處理,並具備 200 毫秒的微回合回應。該模型可在同一時間進行傾聽、觀看與說話,同時支援即時使用者中斷。 TML-Interaction-Small 模型採用 2760 億(276-billion)參數的 MoE(混合專家)架構,每次推論啟用 120 億(12 billion)參數。官方數據顯示,其語音輪替延遲為 0.40 秒,且 FD-bench V1.5 分數為 77.8,兩者皆優於 GPT-Realtime-2.0 與 Gemini 3.1 Flash Live。預計在未來幾個月開放有限的預覽存取。
展開