CTは2025年最大の分散型AI論文を寝かせていた

ジェンセンはAll-Inに出演し、CTはTAOに飛びつく
しかし、実際の作業はすでに完了していた
分散型AIトレーニングのブレークスルーはすでに9ヶ月前に起こった
2025年6月、@0G_labsはarXivに「DiLoCoX」という論文を公開した
標準の1 Gbpsインターネット上で20の分散ノードを跨いで107Bパラメータのモデルをトレーニングするフレームワーク
結果：
3,728トークン/秒 vs AllReduceの10.4
通信効率は357倍の改善
フレームワークの検証だが、この効率レベルの唯一の公開ベンチマーク
そして、ほとんど誰もこれを取り上げなかった
- BittensorのCovenant-72Bはトレーニング済みモデルの一つ
- DiLoCoXは、全く異なるカテゴリの分散インフラ上で任意のモデルをトレーニングするためのフレームワーク
その背後にはフルスタックがある：コンピュート、ストレージ、DA、チェーン。これら4層すべてを提供するプロジェクトは他にない
ジェンセンは、0G Labsが1年前に証明した仮説をただ検証しただけ
4月1日に彼らはEthCCカンヌで講演し、次の章が始まる