Сокруши ГПТ-4! Генеральный директор Google DeepMind рассказывает: следующее поколение больших моделей будет интегрировано с AlphaGo

**Источник:**Синьчжиюань

**Руководство: **Генеральный директор Google DeepMind Хассабис сделал новое открытие: новая модель Gemini будет сочетаться с AlphaGo и моделью большого языка, а ее стоимость, как ожидается, составит десятки миллионов долларов или даже сотни миллионов.

Google, это действительно перегружено.

Готовится ли наконец легендарный Gemini, объединяющий большие модели AlphaGo и GPT-4?

Одна из них — это система ИИ, которая использовала обучение с подкреплением, чтобы победить человека-чемпиона Го и создать историю.Другая — самая мощная мультимодальная большая модель, которая доминирует почти во всех списках крупномасштабных моделей.Комбинация двух ИИ почти непобедимый вверх!

Генеральный директор Google DeepMind Хассабис недавно заявил зарубежным СМИ Wired, что Gemini все еще находится в стадии разработки и на это уйдет несколько месяцев, в то время как Google DeepMind готов потратить десятки миллионов долларов, а то и сотни миллионов.

Ранее Сэм Альтман сообщил, что стоимость создания GPT-4 превысила 100 миллионов долларов. Google DeepMind, конечно же, не может проиграть.

Слишком длинная версия для чтения

Gemini объединит AlphaGo с языковыми функциями больших моделей, таких как GPT-4, и способность системы решать проблемы и планировать будет значительно улучшена.

• Gemini — это большая языковая модель, похожая на GPT-4.
• По оценкам, стоимость составляет от десятков до сотен миллионов долларов, что сопоставимо со стоимостью разработки ГПТ-4.
• Помимо AlphaGo будут и другие нововведения

Gemini интегрирует AlphaGO, используя обучение с подкреплением и поиск по дереву.

• Обучение с подкреплением позволяет ИИ решать сложные головоломки, учась методом проб и ошибок.
• Метод поиска по дереву помогает исследовать и запоминать возможные движения в сцене, например, в игровых сценах.

Обширный опыт DeepMind в обучении с подкреплением привнесет в Gemini новые функции.

• Другие области технологий (такие как робототехника и неврология) также будут интегрированы в Gemini.

Следующий алгоритм, чтобы превзойти ChatGPT

По словам генерального директора OpenAI Сэма Альтмана, до релиза GPT-5 осталось несколько дней, а обучение начнется как минимум через полгода. Дата выхода Gemini пока не определена, но может быть в течение нескольких месяцев.

Gemini, который все еще находится в стадии разработки, также является большой языковой моделью для обработки текста, которая по своей природе похожа на GPT-4.

Но генеральный директор Google DeepMind Демис Хассабис сказал, что Gemini будет использовать технологию, используемую в AlphaGo, что даст системе новые возможности планирования и решения проблем.

В 2016 году сцена, где AlphaGo победила чемпиона мира по го Ли Седоля, все еще жива.

Хассабис сказал: «Можно сказать, что Gemini сочетает в себе некоторые преимущества системы AlphaGo с потрясающими языковыми возможностями большой языковой модели. И у нас есть некоторые другие интересные инновации».

Говорят, что Gemini обладает мультимодальными возможностями, которых не было в предыдущих моделях, и очень эффективно интегрирует инструменты и API. Кроме того, Gemini будут доступны в различных размерах, предназначенных для поддержки будущих инноваций в области памяти и планирования.

В марте было сказано, что у Близнецов будет триллион параметров, как у GPT-4. Более того, говорят, что Gemini будет использовать десятки тысяч ИИ-чипов Google TPU для обучения.

На конференции Google Developers I/O в прошлом месяце Google упомянул, что с самого начала целью Gemini были мультимодальные, эффективные инструменты интеграции и API.

В то время объявление Google было следующим: «Хотя это еще только начало, мы уже видели в Gemini мультимодальные возможности, которых никогда не было в предыдущих моделях, что очень впечатляет».

Технология, лежащая в основе AlphaGo, — это обучение с подкреплением, технология, впервые разработанная DeepMind.

Агенты RL взаимодействуют с окружающей средой с течением времени, изучая политики путем проб и ошибок, которые максимизируют долгосрочные кумулятивные вознаграждения.

Благодаря обучению с подкреплением ИИ может регулировать свою производительность методом проб и ошибок и получать обратную связь, таким образом учась справляться с очень сложными проблемами, такими как выбор следующего шага в го или видеоиграх.

Кроме того, AlphaGo также использует метод поиска по дереву Монте-Карло (MCTS) для изучения и запоминания всех возможных ходов на доске.

Хассабис уже не в первый раз вызывает массовую золотую лихорадку среди технологических гигантов.

В 2014 году DeepMind использовала обучение с подкреплением, чтобы позволить ИИ научиться играть в простые видеоигры.Это достижение было поразительным, и DeepMind была напрямую приобретена Google.

Ставка Google оказалась верной.

В течение следующих нескольких лет DeepMind давал результаты, которые время от времени шокировали мир.

Глубокое обучение и обучение с подкреплением решают многие классические проблемы искусственного интеллекта, такие как логика, рассуждения и представление знаний.

В 2016 году потрясающая AlphaGo непосредственно зажгла всплеск глубокого обучения и первый раунд индустрии искусственного интеллекта.

В 2017 году AlphaGo Zero быстро превзошла AlphaGo без использования человеческих данных.

АльфаГоу Ноль

В 2020 году предсказание структуры белка AlphaFold сравнимо с лабораторной технологией, в основном решая проблему сворачивания белка.

В июне этого года AlphaDev создала новый алгоритм сортировки, который может полностью изменить эффективность и результаты информатики.

По сравнению с более общим маршрутом OpenAI, DeepMind уже много лет глубоко вовлечен в вертикальную сферу.

Где следующий большой скачок в языковых моделях? Близнецы могут указать путь к следующему поколению языковых моделей.

Последний бой

Ясно, что Близнецы — последняя битва Google.

Многие из технологий, впервые разработанных Google, такие как архитектура Transformer, сделали возможным недавний поток искусственного интеллекта.

Поскольку он слишком осторожен в разработке и развертывании технологий, он временно отстает перед лицом конкуренции со стороны ChatGPT и другого генеративного ИИ.

Чтобы бороться с ChatGPT, Google постоянно предпринимает множество действий, таких как запуск Bard и интеграция генеративного ИИ в поисковые системы и другие продукты.

Чтобы сконцентрироваться на основных задачах, в апреле Google просто объединила DeepMind Хассабиса и основную лабораторию искусственного интеллекта Google, Google Brain, в Google DeepMind.

Для новой команды после подгонки Хаасабис, очевидно, очень уверен в себе. По его словам, новая команда объединяет две силы, которые сыграли решающую роль в недавних достижениях в области искусственного интеллекта.

“Если вы посмотрите, где мы находимся в области искусственного интеллекта, вы поверите, что 80% или 90% инноваций в будущем будут исходить от одной из команд. Обе команды добились чрезвычайно хороших результатов за последние десять лет”.

НОВАЯ ИДЕЯ

Обучение большой языковой модели, такой как GPT-4 OpenAI, требует ввода в «Трансформер» большого набора данных из книг, веб-страниц и других источников.

Преобразователь использует шаблоны в обучающих данных, чтобы точно предсказать каждую букву и слово, которые должны появиться в последующем тексте.

Этот, казалось бы, простой механизм очень эффективен при ответах на вопросы и генерации текста или кода.

Но этот, казалось бы, простой технический принцип также подвергался критике со стороны многих лидеров отрасли или экспертов по искусственному интеллекту.

Маск: Суть современных технологий искусственного интеллекта — статистика

ЛеКун: Текущий уровень интеллекта ИИ не так хорош, как у собак

Прорыв OpenAI в моделях серии GPT основан на базовой технологии Transformer и активно использует RLHF для расширения возможностей модели.

А еще у DeepMind очень богатый опыт в обучении с подкреплением.

Это дает людям очень веские основания рассчитывать на инновационные способности, которые Близнецы могут продемонстрировать в будущем.

Что еще более важно, Хассабис и его команда также попытаются использовать основные технологии в других областях искусственного интеллекта, чтобы расширить возможности больших языковых моделей.

Накопление технологий DeepMind очень обширно.

От робототехники до нейробиологии, в их арсенале есть широкий выбор снаряжения.

Например, такие авторитеты в области ИИ, как ЛеКун, заявили, что Transformer слишком сильно ограничивает возможности языковой модели объемом текста.

Подобно людям и животным, изучение физического опыта мира может быть лучшим решением для развития искусственного интеллекта.

Возможно, у Близнецов искусственный интеллект проявит потенциал и в других направлениях.

Неопределенное будущее

Хассабису поручено ускорить разработку технологии искусственного интеллекта Google, управляя неизвестными и потенциально серьезными рисками.

Стремительный прогресс больших языковых моделей заставил многих экспертов по искусственному интеллекту задуматься о том, не откроет ли эта технология ящик Пандоры и не заставит ли человеческое общество заплатить неприемлемую цену.

Хассабис сказал, что польза, которую искусственный интеллект может принести человеческому обществу, неизмерима.

Человечество должно продолжать развивать эту технологию.

Принудительная приостановка развития технологии ИИ совершенно неработоспособна.

Но это не означает, что Хассабис и DeepMind во главе с ним будут безрассудно продвигать технологию.

В конце концов, причина, по которой Google и DeepMind передали лидерство в области технологий искусственного интеллекта OpenAI.

Во многом причина в «чрезмерно ответственном» отношении к разработке ИИ.

Нетизен: не оптимистично

Но в отношении выпуска Gemini в будущем, учитывая консервативное отношение Google ранее, большинство пользователей сети кажутся менее оптимистичными.

Как вы думаете, когда эта модель, похожая на AGI, будет выпущена?

Ставлю 10 баксов, что Google никогда не выпустит эту штуку.

Если кто-то обращал внимание на проекты Google, то обнаружит, что они обычно какое-то время хвастаются, потом ничего не выпускают, а через год убивают проект.

Тем не менее, пользователи сети по-прежнему признают вклад Google в текущую модель большого языка.

Нетизен A: Технология большой языковой модели, используемая OpenAI, в основном изобретена Google

Нетизен Б: Да, но Тесла не может разбогатеть, а Эдисон может.

Этот пользователь сети очень оптимистичен в отношении того, что DeepMind будет использовать свой опыт в обучении с подкреплением, чтобы совершить прорыв в больших языковых моделях.

Однако он по-прежнему считает, что Google может использовать идею улучшения своих существующих продуктов только для продвижения этой технологии, а не запускать совершенно новые продукты.

Использованная литература: