Rebellions 是一家南韓 AI 半導體公司,該公司於 23 日宣布,已成功在國內神經處理器(NPU)伺服器上運行 SK Telecom 的超大型 AI 模型 A.X K1。Rebellions 使用自家 AI 伺服器「Rebel Server」,以超過 5,000 億(5000 billion)參數穩定執行該模型,並展示可同時處理多名使用者請求的 AI 代理服務。這項成果證明,僅使用國內 AI 模型與 NPU 基礎設施即可運行大型規模 AI 服務,使其成為主權 AI 能力的實用案例。Rebellions 為 SK Telecom 旗下、在科學與資訊通信部(Ministry of Science and ICT)獨立 AI 基礎模型項目中的聯盟成員,負責展示基於國內 NPU 的 AI 基礎設施。
Rebellions 為 MoE 架構與平行處理優化軟體
A.X K1 採用專家混合(Mixture of Experts,MoE)架構,會有選擇地僅使用必要的專門模型,以提升大型模型的計算效率。Rebellions 為 MoE 模型優化了專用軟體,並將技術應用於將各種運算分散到多個 NPU,以進行平行處理。這使得單一伺服器能夠即時處理多名使用者的請求。該公司表示,單一 Rebel Server 所確保的基礎設施效能,與全球高效能圖形處理器(GPU)伺服器相當,可降低資料中心建置與營運負擔。
Rebel Server 展示即時多使用者 AI 代理服務
在展示中,Rebellions 展示了一種代理服務:使用者可以提出例如「週末營業的藥局」等問題,並獲得以地圖呈現的結果。即使在多名使用者同時輸入不同問題的環境中,系統也能即時處理並回覆。該展示驗證,伺服器能以穩定效能處理併發的多使用者工作負載。
Rebellions 參與政府 AI 基礎模型項目
Rebellions 執行長(CEO)Park Sung-hyun 表示:「這是一個實際案例,展示主權 AI 如何僅靠國內超大型模型與國內 NPU 即可運行大型規模 AI 服務。」Rebellions 作為科學與資訊通信部(Ministry of Science and ICT)獨立 AI 基礎模型項目中 SK Telecom 旗下的聯盟成員參與其中,並負責展示基於國內 NPU 的 AI 基礎設施。
常見問題(FAQ)
Rebellions 使用 SK Telecom 的 A.X K1 模型達成了什麼?
Rebellions 成功在其基於國內 NPU 的 Rebel Server 上運行 SK Telecom 的 A.X K1 AI 模型,該模型擁有超過 5,000 億(5000 billion)參數。該公司展示了一種 AI 代理服務,可在即時狀態下同時處理多名使用者的請求。
Rebellions 的 Rebel Server 如何高效處理大型 AI 模型?
Rebel Server 針對 A.X K1 使用的專家混合(Mixture of Experts,MoE)架構優化了專用軟體,將各種運算分散到 NPU 以進行平行處理。這使得單一伺服器在處理多名使用者請求的即時內容時,也能達到與全球高效能 GPU 伺服器相當的基礎設施效能。