Laut Berichten haben NVIDIA- und MIT-Forschende Lightning OPD (Offline On-Policy Distillation) veröffentlicht – ein neues Post-Training-Framework für große Sprachmodelle, das die Notwendigkeit beseitigt, während des Trainings ein Teacher-Modell im Betrieb zu halten. Durch das Offline-Vorberechnen der Log-Probabilities des Teacher-Modells verbessert das Framework die Trainingseffizienz um 4x und macht gleichzeitig alle GPU-Ressourcen für das Training des Student-Modells frei.
Bei Tests mit 8 NVIDIA H100-GPUs konnte Lightning OPD Qwen3-30B-A3B-Base erfolgreich distillieren (ein MoE-Modell mit 30 Milliarden Parametern) und 71,0 auf dem AIME-2024-Benchmark erreichen, während standardmäßiges OPD auf derselben Hardware keinen Speicher mehr hatte. Für das kleinere Qwen3-8B-Modell benötigte das Framework nur 30 GPU-Stunden, um 69,9 Punkte zu erreichen.
Disclaimer: The information on this page may come from third parties and does not represent the views or opinions of Gate. The content displayed on this page is for reference only and does not constitute any financial, investment, or legal advice. Gate does not guarantee the accuracy or completeness of the information and shall not be liable for any losses arising from the use of this information. Virtual asset investments carry high risks and are subject to significant price volatility. You may lose all of your invested principal. Please fully understand the relevant risks and make prudent decisions based on your own financial situation and risk tolerance. For details, please refer to
Disclaimer.
Verwandte Artikel
Andrew Ng weist die KI-Arbeitslosigkeitskrise zurück und verweist auf die 4,3%ige US-Arbeitslosenquote sowie auf starke Einstellungen im Software-Engineering
Laut Beating gab Andrew Ng heute eine Erklärung ab, in der er weit verbreitete Behauptungen über arbeitsbedingte Massenarbeitslosigkeit durch KI zurückwies. Er bezeichnete die Erzählung als nicht durch Daten gestützt. Unter Verweis auf Software Engineering – das Fachgebiet, das am stärksten von KI-Code-Agents betroffen ist – stellte Ng fest, dass die Neueinstellungen weiterhin stark sind und die Arbeitslosenquote in den USA bei gesunden 4,3% liegt. Er sagte voraus, dass die Zukunft ein „AI jobap
GateNews1M her
Korea Exchange setzt am 13. Mai KI in den Kernmarkt-Operationen ein
Laut The Chosun Daily setzte die Korea Exchange am 13. Mai in den Kerngeschäften des Markts KI ein – mit Fair Labs, einem südkoreanischen KI-Startup, das sie im Februar übernommen hatte. Der erste Anwendungsfall ist ein System, das lokale und ausländische Nachrichten nach Offenlegungsproblemen bei börsennotierten Unternehmen durchsucht, die Handelsaussetzungen auslösen könnten. Die Börse plant außerdem, KI zu nutzen, um Aktienmeldungen zu prüfen und Teile ihrer Arbeit zur automatisierten Branche
GateNews43M her
Tesla plant weitere KI-Produkte für China und setzt auf 400+ lokale Zulieferer
Laut China Daily plant Tesla, mehr KI- und intelligente Produkte nach China zu bringen. Vizepräsidentin Grace Tao hob dabei die tiefe Lieferkettenintegration des Unternehmens im Land hervor. Stand März 2026 arbeitet Tesla mit über 400 chinesischen Zulieferern, von denen mehr als 60 sein globales Netzwerk beliefern. Die Teile-Localisierung in seiner Gigafactory in Shanghai liegt bei über 95%. Das Unternehmen betreibt 588 direkt betriebene Stores in 119 chinesischen Städten auf dem Festland, unter
GateNews1Std her
SoftBank meldet 45 Milliarden US-Dollar an nicht realisierten Gewinnen aus einer OpenAI-Investition bis Ende März
Laut ChainCatcher meldete SoftBank bis zum Ende des März kumulierte, nicht realisierte Gewinne in Höhe von 45 Milliarden US-Dollar aus seiner OpenAI-Investition. Im April 2026 setzte das Unternehmen 20 Milliarden US-Dollar an aufgenommenen Mitteln ein, hauptsächlich für die OpenAI-Investition, von denen 2,5 Milliarden US-Dollar im selben Monat zurückgezahlt wurden.
GateNews1Std her
Chinesischer Botschafter Xie Feng ruft vor dem Besuch von Trump zu einem gesunden KI-Wettbewerb mit den USA auf
Laut der US-Botschaft in China sprach der chinesische Botschafter in den USA, Xie Feng, in einem Interview mit dem leitenden Korrespondenten für Diplomatiepolitik von Newsweek, Tom O'Connor, über die Beziehungen zwischen den USA und China sowie über den bevorstehenden Besuch von Präsident Trump in China. Das Gespräch wurde vor der Reise veröffentlicht.
GateNews1Std her
Die EU berät über einen Beitritt zur von den USA unterstützten Pax-Silica-Technologie-Allianz in den kommenden Wochen
Laut Bloomberg führt die Europäische Union Gespräche darüber, dem Pax Silica beizutreten – einer von den USA unterstützten Allianz für Halbleiter, KI-Infrastruktur, kritische Rohstoffe und Rechenzentren –, im Rahmen von Bemühungen, die Abhängigkeit von China zu verringern. Die Europäische Kommission plant, in den kommenden Wochen einen ranghohen Beamten in die USA zu entsenden, um die Bedingungen auszuarbeiten. Die Initiative erfolgt, während Schweden und Finnland der Allianz bereits beigetreten
GateNews1Std her
