Eine dezentralisierte KI-Experiment, die einst nur in Krypto-Kreisen bekannt war, hat kürzlich eine öffentliche Anerkennung von Nvidia-CEO Jensen Huang erhalten, was darauf hindeutet, dass das verteilte Modelltraining möglicherweise näher an der breiten Masse liegt.

Open-Source-KI-Momentum wächst mit Unterstützung von Nvidia-CEO

Chamath Palihapitiya hob während einer Folge des All-In Podcasts das Bittensor’s Covenant-72B hervor und stellte es als greifbares Beispiel für dezentralisierte künstliche Intelligenz (KI) dar, die über die Theorie hinausgeht. Bittensor ist ein dezentralisiertes, blockchain-gesteuertes Netzwerk, das einen Peer-to-Peer-Marktplatz schafft, auf dem maschinelle Lernmodelle und KI-Computing ausgetauscht und incentiviert werden.

Palihapitiya beschrieb die Bemühungen in einfachen Worten: ein groß angelegtes Sprachmodell (LLM), das ohne zentrale Infrastruktur trainiert wurde und stattdessen von einem Netzwerk unabhängiger Mitwirkender angetrieben wird. „Sie haben es geschafft, ein 4-Milliarden-Parameter-LLaMA-Modell vollständig verteilt zu trainieren, mit einer Menge von Menschen, die überschüssige Rechenleistung beitragen“, sagte er und nannte es „eine ziemlich verrückte technische Leistung.“

Der Vergleich wurde mit einer bekannten Analogie untermauert. „Es gibt zufällige Leute, und jeder bekommt einen kleinen Anteil“, fügte Palihapitiya hinzu und bezog sich auf das frühe verteilte Rechenprojekt, das ungenutzte Hardware weltweit nutzte.

Huang schloss die Idee nicht aus. Stattdessen griff er eine breitere Perspektive auf den KI-Markt auf und deutete an, dass dezentrale und proprietäre Ansätze nicht gegenseitig ausschließen. „Diese beiden Dinge sind nicht A oder B; es ist A und B“, sagte Huang. „Daran besteht kein Zweifel.“

Diese Doppelspur-Vison spiegelt eine wachsende Kluft – und Überschneidung – innerhalb der KI wider. Auf der einen Seite stehen geschlossene, hochentwickelte Systeme wie ChatGPT, Claude und Gemini. Auf der anderen Seite sind offene, gewichtsbasierte und dezentrale Modelle, die Entwicklern und Organisationen ermöglichen, Systeme für spezifische Bedürfnisse anzupassen.

Huang machte deutlich, dass er beide Wege für essenziell hält. „Modelle sind eine Technologie, kein Produkt“, sagte er und bemerkte, dass die meisten Nutzer weiterhin auf ausgefeilte, allgemeine Systeme vertrauen werden, anstatt eigene von Grund auf neu zu entwickeln.

Gleichzeitig wies er auf Branchen hin, in denen Anpassung keine Option ist. „Es gibt all diese Branchen, in denen ihr Fachwissen… auf eine Weise erfasst werden muss, die sie kontrollieren können“, erklärte Huang und fügte hinzu, dass „das nur aus offenen Modellen kommen kann.“

Diese Aussage passt genau zu Bittensor. Covenant-72B, entwickelt durch sein Subnet 3 (Templar), ist eines der größten dezentralen Trainingsläufe bisher und koordiniert mehr als 70 Mitwirkende über Standard-Internetverbindungen ohne zentrale Autorität.

Technisch stößt das Modell an Grenzen. Mit 72 Milliarden Parametern und trainiert auf etwa 1,1 Billionen Tokens nutzt es Innovationen wie komprimierte Kommunikationsprotokolle und verteilte Datenparallelität, um das Training außerhalb traditioneller Rechenzentren möglich zu machen.

Leistungskennzahlen deuten darauf hin, dass es nicht nur experimentell ist. Benchmark-Ergebnisse positionieren es im Wettbewerb mit etablierten zentralisierten Modellen, was erklärt, warum das Projekt auch außerhalb der Krypto-Community Aufmerksamkeit erregt hat.

Der Markt nahm es ebenfalls wahr. Nach der Ankündigung ist der Token TAO des Projekts seit dem Erscheinen des Videos von Palihapitiya und Huang in den sozialen Medien um 24 % gestiegen.

Dennoch deuten Huangs Kommentare darauf hin, dass die wahre Geschichte nicht von Disruption, sondern von Koexistenz zwischen beiden geprägt ist. Proprietäre KI-Systeme werden wahrscheinlich für die Allgemeinheit dominieren, während offene und dezentrale Modelle in spezialisierten, kostensensitiven oder souveränitätsorientierten Anwendungen eine Rolle spielen.

Für Startups skizzierte der Nvidia-CEO einen pragmatischen Spielplan: zunächst offen starten, dann proprietäre Vorteile hinzufügen. „Jedes Startup, in das wir jetzt investieren, ist zuerst Open Source und geht dann zum proprietären Modell über“, sagte er.

Mit anderen Worten: Die Zukunft der KI gehört möglicherweise nicht einer einzigen Architektur oder Philosophie. Sie gehört denen, die beide navigieren können – und wissen, wann sie welches einsetzen.

FAQ 🔎

• Was ist Bittensor’s Covenant-72B?

Ein 72-Milliarden-Parameter-Sprachmodell, das durch ein dezentrales Netzwerk von Mitwirkenden ohne zentrale Infrastruktur trainiert wurde.

• Was sagte Jensen Huang über dezentrale KI?

Er sagte, offene und proprietäre KI-Modelle werden koexistieren, und beschrieb die Beziehung als „A und B“, nicht als Wahl zwischen beiden.

• Warum ist diese Entwicklung wichtig?

Sie zeigt, dass groß angelegte KI-Modelle außerhalb traditioneller Rechenzentren trainiert werden können, was Annahmen über Infrastrukturbedarf herausfordert.

• Wie wirkt sich das auf die KI-Branche aus?

Es unterstützt eine hybride Zukunft, in der zentrale Plattformen und dezentrale Modelle unterschiedliche Rollen in verschiedenen Branchen übernehmen.