Fireworks AI bringt eine Trainingsplattform auf den Markt und unterstützt ein vollständiges Training mit Tausenden von Parametern

Fireworks AI veröffentlicht eine Vorschauversion von Fireworks Training und erweitert die Positionierung des Unternehmens von einem reinen Anbieter von Infrastrukturen für Inferenz zu einer integrierten Plattform aus „Training + Deployment“. Das KI-Infrastrukturunternehmen wurde von Lin Qiao (Lin Qiao) gegründet, einem ehemaligen Meta-Ingenieur, der an der Entwicklung von PyTorch mitgewirkt hat. Das Unternehmen wird derzeit mit 4 Milliarden US-Dollar bewertet, und die Anzahl der pro Tag verarbeiteten Tokens liegt bei 150 Billionen.

Dreistufige Trainingsarchitektur: Von No-Code-Bedienung bis zur umfassenden Individualisierung auf Forschungsniveau

Die dreistufige Architektur von Fireworks Training ist auf Nutzer mit unterschiedlichen technischen Hintergründen ausgelegt, sodass das Produktteam, ML-Ingenieure und Forschende den vollständigen Ablauf von Training bis Deployment auf derselben Plattform durchführen können:

Funktionsausrichtung der drei Servicestufen

Training Agent (No-Code-Ebene): Für Produktteams ohne ML-Infrastruktur-Grundlage. Beschreiben Sie Aufgaben, laden Sie Daten hoch, und damit ist der End-to-End-Prozess erledigt. Unterstützt derzeit LoRA-Feinabstimmung

Managed Training (Ingenieursebene): Für ML-Ingenieure. Unterstützt SFT, DPO und Feinabstimmung durch Reinforcement Learning, einschließlich der Möglichkeit zum Training aller Parameter

Training API (Forschungsebene): Für Forschungsteams. Ermöglicht das Definieren von Loss-Funktionen und Trainingszyklen und unterstützt Reinforcement-Learning-Algorithmen wie GRPO, DAPO usw.

Die Größenordnung des Trainings aller Parameter ist deutlich gestaffelt – von einem einzelnen Knoten Qwen3 8B bis zu dem Billionen-Parameter-Modell Kimi K2.5 auf 64 NVIDIA B200 GPUs und deckt den vollständigen Größenbereich gängiger aktueller Open-Source-Modelle ab.

Drei große Kundenbeispiele: Quantifizierbare Leistungsdaten in Produktionsumgebungen

Unter den bestehenden Inferenzkunden von Fireworks AI haben bereits drei führende KI-Anwendungen eine fortschrittliche Verstärkungs-Learning-Trainingsrunde durchgeführt und konkrete Leistungsdaten veröffentlicht.

Vercel: Trainierte für das Code-Generierungsprodukt v0 ein automatisches Modell zur Fehlerkorrektur. Die fehlerfreie Code-Generierungsrate liegt bei 93%; unter gleichen Bedingungen erreicht Claude Sonnet 3.5 nur 62%. Die End-to-End-Latenz wurde im Vergleich zu zuvor verwendeten proprietären Closed-Source-Modellen um das 40-fache verbessert.

Genspark: Führte Reinforcement-Learning-Feinabstimmung für das Open-Source-Modell Kimi K2 mit Billionenparametern durch, um Deep-Research-Agents aufzubauen. Die Häufigkeit von Tool-Aufrufen stieg um 33%, und die Inferenzkosten sanken um 50%.

Cursor: Schließt das Reinforcement-Learning-Training von Composer 2 auf einer verteilten Weise über 3 bis 4 globale Cluster ab. Aktuell belegt es in CursorBench den ersten Platz und ermöglicht es zugleich, Trainings- und Produktions-Inferenz denselben GPU-Ressourcenpool zu teilen.

Kerntechnische Unterschiede: Numerische Konsistenz zwischen Training und Inferenz

Der von Fireworks AI betonte Kernunterschied liegt in der „numerischen Konsistenz“ zwischen Training und Inferenz. Bei MoE-Modellen (Mixture-of-Experts) können schon kleine numerische Abweichungen im Hidden-State in der Expert-Routing-Entscheidung eine Kaskadenverstärkung auslösen, sodass das Modellverhalten, das im Trainingsumfeld gelernt wurde, bei der Inferenz nicht vollständig reproduziert werden kann.

Fireworks veröffentlicht für alle unterstützten Modelle die numerischen Werte des KL-Divergenz zwischen Training und Inferenz; für alle Modelle liegt sie unter 0.01. Das bietet eine quantifizierbare Vergleichsbasis für konsistente Ergebnisse, damit Entwickelnde die Stabilität des Modellverhaltens bewerten können, wenn das Modell vom Training auf das Produktions-Deployment migriert wird.

Häufige Fragen

Was ist Fireworks AI?

Fireworks AI ist ein Unternehmen für KI-Inferenzinfrastruktur, gegründet von Lin Qiao (Lin Qiao), einem ehemaligen Meta-Ingenieur, der an der Entwicklung von PyTorch mitgewirkt hat. Das Unternehmen hat derzeit eine Bewertung von 4 Milliarden US-Dollar, verarbeitet 150 Billionen Tokens pro Tag und zu den wichtigsten Kunden gehören unter anderem Cursor, Vercel, Genspark und andere gängige KI-Anwendungen.

Für welche Nutzertypen eignet sich die dreistufige Architektur von Fireworks Training jeweils?

Training Agent richtet sich an Produktteams ohne ML-Infrastruktur (No-Code-Bedienung); Managed Training richtet sich an ML-Ingenieure (unterstützt SFT, DPO und Reinforcement-Learning-Training aller Parameter); Training API richtet sich an Forschungsteams (kann Loss-Funktionen und Trainingszyklen selbst definieren, unterstützt Algorithmen wie GRPO, DAPO usw.).

Warum betont Fireworks AI, dass die KL-Divergenz unter 0.01 liegt?

Die KL-Divergenz misst numerische Abweichungen zwischen dem Trainings- und dem Inferenzumfeld; je größer die Abweichung ist, desto instabiler wird das Verhalten des Modells nach dem Deployment. Das ist besonders bei MoE-Modellen entscheidend – kleine Abweichungen können sich bis zu Unterschieden in Routing-Entscheidungen verstärken. Fireworks AI macht quantifizierbare Kennzahlen öffentlich, damit Entwickelnde die Qualität der Konsistenz zwischen Training und Deployment objektiv bewerten können.