Gate News сообщает, 17 марта, группа Rakuten сегодня выпустила Rakuten AI 3.0 под названием «самая мощная высокопроизводительная модель ИИ в Японии», открытое программное обеспечение по лицензии Apache 2.0. Эта модель основана на архитектуре MoE (смеситель экспертов), содержит 671 миллиард параметров, активируется 37 миллиардов раз при каждом выводе, имеет окно контекста 128K, оптимизирована для японского языка и превосходит GPT-4o по нескольким японским бенчмаркам. Модель является результатом совместного проекта GENIAC, реализуемого Министерством экономики, торговли и промышленности Японии и Институтом комплексного развития технологий в области новых энергетических отраслей (NEDO), при этом японское правительство предоставило часть вычислительных ресурсов для её обучения. В объявлении Rakuten указывается, что исходная модель основана на «максимальном использовании лучших результатов открытого сообщества», без указания конкретной модели. Сообщество сразу же проверило файлы модели на HuggingFace и обнаружило, что в файле config.json явно указаны model_type: deepseek_v3 и architectures: DeepseekV3ForCausalLM, при этом общие параметры 671B, активность 37B и окно контекста 128K полностью совпадают с DeepSeek V3, что свидетельствует о том, что эта модель была доработана на базе DeepSeek V3 с использованием японских данных.

Посмотреть источник

Дисклеймер: Информация на этой странице может быть получена из источников третьих сторон и предоставляется только для ознакомления. Она не отражает взгляды или мнения Gate и не является финансовой, инвестиционной или юридической рекомендацией. Торговля виртуальными активами связана с высоким риском. Пожалуйста, не основывайте свои решения исключительно на данных этой страницы. Подробнее смотрите в Дисклеймере.

комментарий

0/400

Нет комментариев