Знищи GPT-4! Генеральний директор Google DeepMind розкриває: наступне покоління великих моделей буде інтегровано з AlphaGo

**Джерело:**Xinzhiyuan

**Посібник: **Генеральний директор Google DeepMind Хассабіс зробив нове відкриття: нова модель Gemini буде поєднана з AlphaGo і великою мовною моделлю, і очікується, що вартість становитиме десятки мільйонів доларів або навіть сотні мільйонів.

Google, це справді вражено.

Легендарний Gemini, який об’єднує AlphaGo і великі моделі, схожі на GPT-4, нарешті з’явиться?

Одна — це система штучного інтелекту, яка використовувала навчання з підкріпленням, щоб перемогти чемпіона Go та створити історію. Інша — найпотужніша мультимодальна велика модель, яка домінує майже в усіх списках великомасштабних моделей. Поєднання двох штучних інтелектів майже непереможний вгору!

Генеральний директор Google DeepMind Хассабіс нещодавно заявив іноземним ЗМІ Wired, що Gemini все ще знаходиться на стадії розробки, і це займе кілька місяців, а Google DeepMind готовий витратити десятки мільйонів доларів або навіть сотні мільйонів.

Раніше Сем Альтман розповів, що вартість створення GPT-4 перевищила 100 мільйонів доларів. Google DeepMind, звичайно, не може програти.

Занадто довга версія для читання

Gemini поєднає AlphaGo з мовними функціями великих моделей, таких як GPT-4, і здатність системи вирішувати проблеми та планувати буде значно покращена.

• Gemini — велика модель мови, подібна до GPT-4
• Орієнтовна вартість від десятків до сотень мільйонів доларів, порівнянна з вартістю розробки GPT-4
• Крім AlphaGo, будуть і інші нововведення

Gemini інтегрує AlphaGO за допомогою навчання підкріплення та пошуку по дереву.

• Навчання з підкріпленням дозволяє штучному інтелекту вирішувати складні головоломки методом проб і помилок
• Метод пошуку за деревом допомагає досліджувати та запам’ятовувати можливі рухи в сцені, наприклад в ігрових сценах

Великий досвід DeepMind у навчанні з підкріпленням принесе нові функції Gemini.

• Інші галузі технологій (такі як робототехніка та нейронаука) також будуть інтегровані в Gemini

Наступний алгоритм, щоб перевершити ChatGPT

За словами генерального директора OpenAI Сема Альтмана, до релізу GPT-5 ще кілька днів, а навчання не розпочнеться щонайменше через шість місяців. Дата виходу Gemini ще не визначена, але це може відбутися протягом кількох місяців.

Gemini, яка все ще розробляється, також є великою мовною моделлю для обробки тексту, яка за своєю природою схожа на GPT-4.

Але генеральний директор Google DeepMind Деміс Хассабіс сказав, що Gemini включатиме технологію, яка використовується в AlphaGo, що дасть системі нові можливості планування та вирішення проблем.

У 2016 році сцена, де AlphaGo перемогла чемпіона світу з Го Лі Седола, все ще яскрава.

Хассабіс сказав: «Можна сказати, що Gemini поєднує деякі переваги системи AlphaGo з дивовижними мовними можливостями великої мовної моделі. Крім того, у нас є деякі інші цікаві інновації».

Кажуть, що Gemini має мультимодальні можливості, яких не було в попередніх моделях, і дуже ефективно інтегрує інструменти та API. Крім того, Gemini буде доступний у різних розмірах, призначених для підтримки майбутніх інновацій у пам’яті та плануванні.

У березні було сказано, що Gemini матиме трильйон параметрів, як GPT-4. Крім того, кажуть, що Gemini використовуватиме десятки тисяч чіпів Google TPU AI для навчання.

На конференції Google Developers I/O минулого місяця Google зазначив, що з самого початку метою Gemini були мультимодальні, ефективні інструменти інтеграції та API.

У той час Google оголосив: «Хоча це ще рано, ми вже бачили в Gemini мультимодальну здатність, якої ніколи не було в попередніх моделях, що дуже вражає».

Технологія, що лежить в основі AlphaGo, — це навчання з підкріпленням, технологія, вперше розроблена DeepMind.

Агенти RL з часом взаємодіють із середовищем, вивчаючи політику методом проб і помилок, що максимізує довгострокові сукупні винагороди

Завдяки навчанню з підкріпленням штучний інтелект може коригувати свою продуктивність методом проб і помилок і отримуючи зворотний зв’язок, таким чином навчаючись справлятися з дуже складними проблемами, такими як вибір наступного кроку в Go або відеоіграх.

Крім того, AlphaGo також використовує метод пошуку дерева Монте-Карло (MCTS), щоб досліджувати та запам’ятовувати всі можливі ходи на дошці.

Це не перший випадок, коли Hassabis викликала масову золоту лихоманку штучного інтелекту серед технологічних гігантів.

У 2014 році DeepMind використовував підкріплююче навчання, щоб дозволити штучному інтелекту навчитися грати в прості відеоігри. Це досягнення було вражаючим, і DeepMind був безпосередньо придбаний Google.

Ставка Google виявилася правильною.

У наступні кілька років DeepMind показав результат, який час від часу шокував світ.

Глибоке навчання та навчання з підкріпленням вирішують багато класичних проблем штучного інтелекту, таких як логіка, міркування та представлення знань

У 2016 році карколомна AlphaGo безпосередньо викликала сплеск глибокого навчання та перший виток індустрії ШІ.

У 2017 році AlphaGo Zero швидко перевершив AlphaGo без використання людських даних.

AlphaGo Zero

У 2020 році передбачення AlphaFold щодо структури білка можна порівняти з лабораторною технологією, яка фактично вирішує проблему згортання білка.

У червні цього року AlphaDev створив новий алгоритм сортування, який може повністю змінити ефективність і результати інформатики.

У порівнянні з більш загальним маршрутом OpenAI, DeepMind був глибоко залучений у вертикальне поле протягом багатьох років.

Де наступний великий стрибок у мовних моделях? Gemini може вказати шлях до наступного покоління мовних моделей.

Останній бій

Зрозуміло, що Gemini — це останній захист Google.

Багато технологій, запроваджених Google, як-от архітектура Transformer, зробили можливим недавній потоп ШІ.

Оскільки він занадто обережний у розробці та розгортанні технологій, він тимчасово відстає перед обличчям конкуренції з боку ChatGPT та іншого генеративного ШІ.

Щоб боротися з ChatGPT, Google постійно вживає низку заходів, таких як запуск Bard та інтеграція генеративного штучного інтелекту в пошукові системи та інші продукти.

Щоб зосередитися на основних завданнях, у квітні Google просто об’єднав DeepMind Hassabis і головну лабораторію штучного інтелекту Google, Google Brain, у Google DeepMind.

Що стосується нової команди після фітнесу, Хаасабіс, очевидно, дуже впевнений. За його словами, нова команда об’єднує дві сили, які відіграли вирішальну роль у нещодавніх досягненнях у галузі штучного інтелекту.

«Якщо ви подивіться на нашу позицію в області штучного інтелекту, ви повірите, що 80% або 90% інновацій у майбутньому буде надходити від однієї з команд. Обидві команди досягли надзвичайно хороших результатів за останні десять років».

НОВА ІДЕЯ

Навчання великої мовної моделі, як-от OpenAI GPT-4, вимагає введення в «Transformer» великого підібраного набору даних із книг, веб-сторінок та інших джерел.

Transformer використовує шаблони в навчальних даних, щоб вміло передбачити кожну літеру та слово, які мають з’явитися в наступному тексті.

Цей, здавалося б, простий механізм дуже потужний у відповідях на запитання та генеруванні тексту чи коду.

Але цей, здавалося б, простий технічний принцип також піддався критиці багатьох лідерів галузі та експертів зі штучного інтелекту.

Маск: Суть сучасної технології штучного інтелекту – це статистика

ЛеКун: Нинішній рівень інтелекту ШІ не такий хороший, як у собак

Прорив OpenAI у серії моделей GPT базується на основній технології Transformer, і він агресивно використовує RLHF для посилення можливостей моделі.

Крім того, DeepMind має багатий досвід навчання з підкріпленням.

Це дає людям вагомі підстави сподіватися на інноваційні можливості, які Gemini може продемонструвати в майбутньому.

Що ще важливіше, Хассабіс і його команда також спробують використовувати основні технології в інших сферах штучного інтелекту, щоб розширити можливості великих мовних моделей.

Накопичення технологій DeepMind дуже обширне.

Від робототехніки до нейронауки, вони мають у своєму арсеналі широкий вибір обладнання.

Наприклад, такі фанати штучного інтелекту, як ЛеКун, сказали, що Transformer надто обмежує можливості мовної моделі рамками тексту.

Як і люди та тварини, навчання на фізичному досвіді світу може бути найкращим рішенням для розвитку штучного інтелекту.

Можливо, в Близнюках штучний інтелект покаже потенціал в інших напрямках.

Невизначене майбутнє

Hassabis доручено прискорити розробку технології штучного інтелекту Google, одночасно керуючи невідомими та потенційно серйозними ризиками.

Швидкий прогрес великих мовних моделей змусив багатьох експертів зі штучного інтелекту хвилюватися, чи не відкриє ця технологія скриньку Пандори і не змусить людське суспільство заплатити неприйнятну ціну.

Хассабіс сказав, що переваги, які штучний інтелект може принести людському суспільству, є незмірними.

Людство має продовжувати розвивати цю технологію.

Примусове призупинення розвитку технології ШІ абсолютно непрацездатне.

Але це не означає, що Hassabis і DeepMind на чолі з ним безрозсудно просуватимуть технологію.

Зрештою, причина, чому Google і DeepMind передали лідерство в технології ШІ OpenAI.

Значною частиною причин є «надмірно відповідальне» ставлення до розробки ШІ.

Користувач мережі: без оптимізму

Але щодо випуску Gemini в майбутньому, враховуючи консервативне ставлення Google до цього, більшість користувачів мережі, здається, менш оптимістичні.

Як ви думаєте, коли ця модель, схожа на AGI, буде випущена?

Б’юсь об заклад на 10 баксів, що Google ніколи не випустить цю річ.

Якщо хтось звернув увагу на проекти Google, вони побачать, що вони зазвичай хвастаються деякий час, потім нічого не випускають, а потім закривають проект через рік.

Однак користувачі мережі все ще визнають внесок Google у поточну велику мовну модель.

Користувач мережі A: Технологія великої мовної моделі, яку використовує OpenAI, в основному винайшла Google

Користувач мережі B: Так, але Тесла не може заробити статок, а Едісон може.

Цей користувач мережі дуже оптимістично налаштований, що DeepMind використає свій досвід у навчанні з підкріпленням, щоб зробити прорив у великих мовних моделях.

Однак він все ще вважає, що Google може використовувати лише ідею вдосконалення своїх існуючих продуктів для просування цієї технології, а не запускати абсолютно нові продукти.

Література: