Suchergebnisse für "LOG"
2026-05-12
11:13

NVIDIA und MIT veröffentlichen das Lightning-OPD-Framework und steigern die Effizienz der Modell-Distillation um das Vierfache, während GPU-Speicherprobleme vollständig beseitigt werden

Laut Berichten haben NVIDIA- und MIT-Forschende Lightning OPD (Offline On-Policy Distillation) veröffentlicht – ein neues Post-Training-Framework für große Sprachmodelle, das die Notwendigkeit beseitigt, während des Trainings ein Teacher-Modell im Betrieb zu halten. Durch das Offline-Vorberechnen der Log-Probabilities des Teacher-Modells verbessert das Framework die Trainingseffizienz um 4x und macht gleichzeitig alle GPU-Ressourcen für das Training des Student-Modells frei. Bei Tests mit 8 NVID
Mehr