Согласно сообщениям, исследователи NVIDIA и MIT выпустили Lightning OPD (Offline On-Policy Distillation) — новую посттренировочную методику для больших языковых моделей, которая устраняет необходимость держать учительскую модель в работе во время обучения. Путём предварительного вычисления лог-вероятностей учительской модели офлайн эта схема повышает эффективность обучения в 4 раза, одновременно освобождая все ресурсы GPU для обучения студентской модели.
При тестировании на 8 GPU NVIDIA H100 Lightning OPD успешно дистиллировала Qwen3-30B-A3B-Base (MoE-модель с 30 миллиардами параметров) и получила 71,0 на бенчмарке AIME 2024, тогда как стандартная OPD на том же оборудовании упиралась в нехватку памяти. Для более компактной модели Qwen3-8B методике потребовалось всего 30 GPU-часов, чтобы достичь 69,9 балла.
Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к
Отказу от ответственности.
Связанные статьи
TT Chain интегрирует систему безопасности AegisAI для защиты RWA 11 мая
Согласно объявлению TT Chain от 11 мая, сеть блокчейна уровня 2 интегрировала в свою экосистему токенизированных реальных активов AI-инфраструктуру безопасности AegisAI, работающую на базе ИИ. Партнёрство усиливает защиту токенизированных операций с активами и кроссчейн-взаимодействий за счёт расширенного обнаружения угроз и возможностей аудита смарт-контрактов. Автономные ИИ-агенты AegisAI выявляют фишинговые атаки, предотвращают попытки несанкционированного доступа и в режиме реального времени
GateNews5м назад
AI-стартап Wispr ведёт переговоры о привлечении финансирования при $2B -оценке 12 мая
По данным PANews, стартап Wispr, работающий в сфере ИИ, ведёт переговоры о привлечении финансирования 12 мая при оценке в 2 миллиарда долларов.
GateNews11м назад
Сэм Альтман сегодня даст показания в иске Маска против OpenAI $38M
По данным BlockBeats, Сэм Альтман должен дать показания сегодня (12 мая) в федеральном суде в Окленде (Калифорния) по делу о иске Илона Маска против OpenAI. Альтман выступит после того, как председатель совета директоров OpenAI Брет Тейлор завершит свои показания. Маск подал иск в 2024 году, утверждая, что OpenAI, Альтман и президент Грег Брокман нарушили первоначальную миссию компании как некоммерческой организации и организации, приносящей общественную пользу. Маск утверждает, что его примерно
GateNews37м назад
Depthfirst обнаружила критические уязвимости в интернете за одну десятую стоимости Mythos от Anthropic
Как сообщает BlockBeats, 12 мая стартап в сфере кибербезопасности с ИИ Depthfirst объявил, что его собственная модель для обнаружения уязвимостей на базе ИИ выявила несколько критических уязвимостей, которые не были замечены Mythos от Anthropic, при этом заявив, что общая стоимость составила лишь одну десятую от стоимости последнего. Генеральный директор Depthfirst Касим Митхани заявил, что компания может «выполнить работу за $1 000, которую Mythos потребовалось бы выполнить за $10 000», оптимиз
GateNews57м назад
IPO Cerebras на этой неделе при оценке в 55 миллиардов долларов, что дает OpenAI потенциальную долю 11%
Согласно Odaily, производитель чипов для искусственного интеллекта Cerebras выйдет на IPO на этой неделе при оценке в 55 миллиардов долларов. Инвестиционное обязательство OpenAI на 200 миллиардов долларов может дать ему 11% доли в компании.
GateNews1ч назад
Cerebras выходит на биржу на этой неделе при оценке в 5,5 миллиарда долларов; доля OpenAI в 11% может принести более 5 миллиардов долларов
По данным The Information, производитель ИИ-чипов Cerebras планирует выйти на биржу на этой неделе с оценкой IPO в 5,5 миллиарда долларов. Обязательство OpenAI инвестировать 20 миллиардов долларов может дать ему 11% доли в компании, потенциально обеспечив более 5 миллиардов долларов выручки.
GateNews1ч назад
