Menurut laporan, peneliti NVIDIA dan MIT merilis Lightning OPD (Offline On-Policy Distillation), sebuah kerangka pasca-pelatihan baru untuk model bahasa besar yang menghilangkan kebutuhan untuk terus menjalankan model pengajar selama pelatihan. Dengan menghitung sebelumnya log-probabilitas model pengajar secara offline, kerangka ini meningkatkan efisiensi pelatihan 4x sambil membebaskan semua sumber daya GPU untuk pelatihan model siswa.
Dalam pengujian pada 8 GPU NVIDIA H100, Lightning OPD berhasil mendistilasi Qwen3-30B-A3B-Base (model MoE dengan 30 miliar parameter) dan meraih 71,0 pada tolok ukur AIME 2024, sedangkan OPD standar kehabisan memori pada perangkat keras yang sama. Untuk model Qwen3-8B yang lebih kecil, kerangka ini hanya membutuhkan 30 jam GPU untuk mencapai 69,9 poin.
Penafian: Informasi di halaman ini dapat berasal dari pihak ketiga dan tidak mewakili pandangan atau opini Gate. Konten yang ditampilkan hanya untuk tujuan referensi dan bukan merupakan nasihat keuangan, investasi, atau hukum. Gate tidak menjamin keakuratan maupun kelengkapan informasi dan tidak bertanggung jawab atas kerugian apa pun yang timbul akibat penggunaan informasi ini. Investasi aset virtual memiliki risiko tinggi dan rentan terhadap volatilitas harga yang signifikan. Anda dapat kehilangan seluruh modal yang diinvestasikan. Harap pahami sepenuhnya risiko yang terkait dan buat keputusan secara bijak berdasarkan kondisi keuangan serta toleransi risiko Anda sendiri. Untuk detail lebih lanjut, silakan merujuk ke
Penafian.
Artikel Terkait
TT Chain Mengintegrasikan Sistem Keamanan AegisAI untuk Perlindungan RWA pada 11 Mei
Menurut pengumuman TT Chain pada 11 Mei, jaringan blockchain Layer-2 mengintegrasikan infrastruktur keamanan berbasis AI milik AegisAI ke dalam ekosistem aset dunia nyata. Kolaborasi ini meningkatkan perlindungan untuk transaksi aset tokenisasi dan operasi lintas-chain melalui kemampuan deteksi ancaman yang canggih serta audit smart contract. Agen AI otonom milik AegisAI mendeteksi serangan phishing, mencegah upaya akses yang tidak sah, dan mengidentifikasi kerentanan pada smart contract secara
GateNews5menit yang lalu
Startup AI Wispr sedang dalam pembicaraan pendanaan pada penilaian $2B pada 12 Mei
Menurut PANews, startup AI Wispr sedang dalam negosiasi penggalangan dana pada 12 Mei, dengan valuasi 2 miliar dolar AS.
GateNews11menit yang lalu
Sam Altman akan Bersaksi Hari Ini dalam Gugatan OpenAI Musk atas $38M
Menurut BlockBeats, Sam Altman dijadwalkan bersaksi hari ini (12 Mei) di pengadilan federal di Oakland, California terkait gugatan Elon Musk terhadap OpenAI. Altman akan naik ke podium setelah ketua dewan OpenAI Bret Taylor menyelesaikan kesaksiannya. Musk mengajukan gugatan tersebut pada 2024 dengan menduga bahwa OpenAI, Altman, dan Presiden Greg Brockman melanggar misi awal perusahaan yang berbentuk nonprofit dan public benefit. Musk mengklaim donasinya senilai sekitar 38 juta dolar AS digunak
GateNews37menit yang lalu
Depthfirst Menemukan Celah Internet Kritis dengan Biaya Sepersepuluh dari Mythos Milik Anthropic
Menurut BlockBeats, pada 12 Mei, startup keamanan siber berbasis AI Depthfirst mengumumkan bahwa model penemuan kerentanan AI buatan sendiri telah menemukan beberapa celah keamanan kritis yang terlewat oleh Mythos milik Anthropic, dengan klaim total biayanya hanya sepersepuluh dari yang diperlukan pihak tersebut. CEO Depthfirst, Qasim Mithani, menyatakan perusahaan dapat "menyelesaikan pekerjaan seharga $1.000 yang Mythos butuhkan $10.000 untuk dikerjakan" dengan mengoptimalkan arsitektur model
GateNews57menit yang lalu
IPO Cerebras Pekan Ini dengan Penilaian $55 Miliar, Memberi OpenAI Potensi Kepemilikan 11%
Menurut Odaily, produsen chip kecerdasan buatan Cerebras akan melantai minggu ini dengan valuasi IPO senilai 55 miliar dolar AS. Komitmen investasi OpenAI sebesar 200 miliar dolar AS dapat memberinya saham 11% di perusahaan tersebut.
GateNews1jam yang lalu
Cerebras Tayang Publik Minggu Ini dengan Penilaian $5,5B; Saham 11% OpenAI Bisa Menghasilkan Lebih dari $5B
Menurut The Information, perusahaan pembuat chip AI Cerebras akan melantai pekan ini dengan valuasi IPO senilai 5,5 miliar dolar AS. Komitmen investasi OpenAI sebesar 20 miliar dolar AS berpotensi memberinya saham 11% di perusahaan tersebut, yang bisa menghasilkan lebih dari 5 miliar dolar AS dalam bentuk hasil.
GateNews1jam yang lalu
