GPT-4を粉砕せよ！ Google DeepMind CEO が明らかに: 次世代の大型モデルは AlphaGo と統合される予定

**出典:**新志源

**ガイド: **Google DeepMind CEO の Hassabis 氏が新たな暴露を行いました。新しい Gemini モデルは AlphaGo および大規模言語モデルと結合され、コストは数千万ドル、場合によっては数億ドルになると予想されます。

Googleさん、本当に圧倒されています。

AlphaGoとGPT-4のような大型モデルを融合させた伝説のGeminiがついに登場するのか？

1 つは強化学習を使用して人間の囲碁チャンピオンを破り歴史を作った AI システムであり、もう 1 つは大規模モデルのほぼすべてを独占する最も強力なマルチモーダル大規模モデルであり、2 つの AI の組み合わせはほぼ同じです。無敵アップ！

Google DeepMindのCEO、ハサビス氏は最近海外メディアWiredに対し、Geminiはまだ開発中で数カ月かかる一方、Google DeepMindは数千万ドル、場合によっては数億ドルを費やす用意があると語った。

以前、サム・アルトマン氏は、GPT-4の作成費用が1億ドルを超えたことを明らかにした。もちろん、Google DeepMind も負けるわけにはいきません。

長すぎてバージョンを読むことができません

Gemini は、AlphaGo と GPT-4 などの大型モデルの言語機能を組み合わせることで、システムの問題解決能力と計画能力が大幅に強化されます。

• Gemini は GPT-4 に似た大規模な言語モデルです
• GPT-4の開発費に匹敵する、数千万〜数億ドルの費用がかかると推定
• AlphaGo に加えて、他のイノベーションも予定されています

Gemini は、強化学習とツリー検索を使用して AlphaGO を統合します。

• 強化学習により、AI は試行錯誤から学習することで難しいパズルを解くことができます。
• ツリー検索方法は、ゲームシーンなどのシーン内で可能な動きを探索して記憶するのに役立ちます

DeepMind の強化学習における豊富な経験により、Gemini に新機能がもたらされます。

• 他の技術分野（ロボット工学や神経科学など）もジェミニに統合されます

ChatGPT を超える次のアルゴリズム

OpenAI CEO の Sam Altman 氏によると、GPT-5 のリリースまではまだ数日あり、トレーニングは少なくとも 6 か月間は開始されないそうです。 『Gemini』の発売日はまだ決まっていないが、数か月以内になる可能性がある。

Gemini もまだ開発中ですが、テキストを処理するための大規模な言語モデルであり、性質的には GPT-4 に似ています。

しかし、Google DeepMind CEOのDemis Hassabis氏は、GeminiにはAlphaGoで使用されている技術が組み込まれ、システムに新しい計画能力と問題解決能力が与えられると述べた。

2016年、AlphaGoが囲碁世界チャンピオンのイ・セドルを破ったシーンは今も鮮明に残っている。

ハサビス氏は、「Gemini は、AlphaGo システムの利点の一部と、大規模言語モデルの驚くべき言語機能を組み合わせていると言えます。そして、他にもいくつかの興味深い革新を持っています。」と述べました。

Gemini は以前のモデルにはなかったマルチモーダル機能を備えており、ツールと API の統合において非常に効率的であると言われています。さらに、Gemini はさまざまなサイズで利用可能になり、記憶と計画における将来のイノベーションをサポートするように設計されています。

3月には、ジェミニにはGPT-4のような1兆個のパラメータがあると言われていました。さらに、Geminiはトレーニングに数万個のGoogle TPU AIチップを使用すると言われています。

先月開催された Google Developers I/O カンファレンスで、Google は当初から Gemini の目標はマルチモーダルで効率的な統合ツールと API だったと述べました。

当時の Google の発表は、「まだ初期段階ではありますが、以前のモデルには見られなかったマルチモーダル機能が Gemini ですでに確認されており、これは非常に印象的です。」というものでした。

AlphaGo の背後にあるテクノロジーは、DeepMind によって開発された強化学習です。

RL エージェントは時間をかけて環境と対話し、長期的な累積報酬を最大化する試行錯誤を通じてポリシーを学習します。

強化学習を通じて、AI は試行錯誤やフィードバックの受信を通じてパフォーマンスを調整することができ、囲碁やビデオゲームで次の一手をどのようにとるかを選択するなど、非常に難しい問題に対処する方法を学習します。

さらに、AlphaGo はモンテカルロ ツリー検索 (MCTS) メソッドも使用して、ボード上のすべての可能な手を探索して記憶します。

ハサビスがハイテク大手の間で大規模なAIゴールドラッシュを巻き起こしたのはこれが初めてではない。

2014 年、DeepMind は強化学習を使用して AI に簡単なビデオ ゲームのプレイを学習させ、この成果は驚くべきものであり、DeepMind は Google に直接買収されました。

Googleの賭けは正しかったことが判明した。

その後数年間、DeepMind は時折世界に衝撃を与える結果を生み出しました。

ディープラーニングと強化学習は、論理、推論、知識表現など、多くの古典的な人工知能の問題を解決しています。

2016 年、地球を揺るがす AlphaGo は、ディープラーニングの隆盛と AI 産業の第 1 ラウンドに直接の火をつけました。

2017 年、AlphaGo Zero は人間のデータを使用せずにすぐに AlphaGo を上回りました。

アルファ碁ゼロ

2020 年には、AlphaFold のタンパク質構造の予測は実験室技術に匹敵し、基本的にタンパク質の折り畳み問題を解決します。

今年 6 月、AlphaDev は、コンピューター サイエンスの効率と結果を完全に変える可能性のある新しい並べ替えアルゴリズムを作成しました。

OpenAI のより一般的なルートと比較して、DeepMind は長年にわたって垂直分野に深く関わってきました。

言語モデルにおける次の大きな飛躍はどこにあるのでしょうか?ジェミニは、次世代の言語モデルへの道を示すかもしれません。

＃＃ 最後の砦

Gemini が Google の最後の抵抗者であることは明らかです。

Transformer アーキテクチャなど、Google が開拓したテクノロジーの多くは、最近の AI の氾濫を可能にしました。

テクノロジーの開発と展開において慎重すぎるため、ChatGPT や他の生成 AI との競争に直面して一時的に遅れをとっています。

ChatGPT と戦うために、Google は Bard の立ち上げ、生成 AI の検索エンジンやその他の製品への統合など、複数のアクションを継続的に投入してきました。

主要な業務に集中するため、Googleは4月にHassabisのDeepMindとGoogleの主要な人工知能研究所であるGoogle BrainをGoogle DeepMindに統合しただけだ。

フィット後の新しいチームとして、ハーサビスは明らかに非常に自信を持っている。同氏によれば、新しいチームは、人工知能の最近の進歩に不可欠な 2 つの力を結集するという。

「私たちが人工知能の分野でどのような状況にあるかを見れば、将来のイノベーションの 80% または 90% はどちらかのチームから生まれると信じられるでしょう。どちらのチームも過去 10 年間で非常に良い結果を生み出しています。」

＃＃ 新しい考え

OpenAI の GPT-4 のような大規模な言語モデルをトレーニングするには、書籍、Web ページ、その他のソースから厳選された大規模なデータセットを「Transformer」にフィードする必要があります。

Transformer はトレーニング データのパターンを使用して、後続のテキストに出現するすべての文字と単語を適切に予測します。

この一見単純なメカニズムは、質問に答えたり、テキストやコードを生成したりする場合に非常に強力です。

しかし、この一見単純な技術原則は、多くの業界リーダーや人工知能の専門家からも批判されています。

マスク氏：現在のAI技術の本質は統計だ

ルカン氏: 現在の AI の知能レベルは犬の知能レベルには及ばない

GPT シリーズ モデルにおける OpenAI の画期的な進歩は、Transformer のコア テクノロジーに基づいており、モデルの機能を強化するために RLHF を積極的に使用しています。

また、DeepMind は強化学習において非常に豊富な経験を持っています。

これは、人々が双子座が将来実証するかもしれない革新的な能力を期待する非常に良い理由となります。

さらに重要なことは、ハサビス氏と彼のチームは、人工知能の他の分野でもコアテクノロジーを使用して、大規模な言語モデルの機能を強化しようとしているということです。

DeepMind のテクノロジーの蓄積は非常に広範です。

ロボット工学から神経科学まで、彼らは幅広い種類の機器を取り揃えています。

たとえば、LeCun のような AI の大物は、Transformer は言語モデルの機能をテキストの範囲に制限しすぎていると述べました。

人間や動物と同様に、世界の物理的な経験から学ぶことが、人工知能を開発するための最良の解決策である可能性があります。

おそらく双子座では、人工知能が別の方向で可能性を発揮するでしょう。

不確実な未来

Hassabis は、未知の潜在的に深刻なリスクを管理しながら、Google の AI テクノロジーの開発を加速する任務を負っています。

大規模言語モデルの急速な進歩により、多くの人工知能の専門家は、このテクノロジーがパンドラの箱を開け、人間社会に受け入れがたい代償を払わせることになるのではないかと懸念しています。

ハサビス氏は、人工知能が人間社会にもたらす可能性のある恩恵は計り知れない、と語った。

人類はこの技術を開発し続けなければなりません。

AI技術の開発を強制的に停止することは全く不可能である。

しかし、それはハサビスと彼が率いるディープマインドが無謀に技術を進歩させるという意味ではない。

結局のところ、GoogleとDeepMindがAI技術の主導権をOpenAIに譲ったのはそのためだ。

その理由の大きな部分は、AI開発に対する「過剰な責任」の姿勢にあります。

ネチズン: 楽観的ではありません

しかし、今後の Gemini のリリースについては、これまでの Google の保守的な姿勢を考慮すると、ほとんどのネチズンはそれほど楽観的ではないようです。

このAGIっぽいモデルはいつ発売されると思いますか？

Google がこれをリリースしないことに 10 ドル賭けます。

Google のプロジェクトに注目した人なら、彼らは通常、しばらく自慢した後、何もリリースせず、1 年後にプロジェクトを中止することに気づくでしょう。

しかし、ネチズンは依然として、現在の大規模言語モデルに対する Google の貢献を認識しています。

ネットユーザー A: OpenAI で使用される大規模言語モデル技術は、基本的に Google によって発明されました。

ネチズンB: はい、でもテスラは大儲けできませんが、エジソンは大儲けできます。

このネットユーザーは、DeepMind が強化学習の経験を利用して大規模な言語モデルでブレークスルーを起こすだろうと非常に楽観的です。

しかし、同氏は、Googleがこの技術を進歩させるために、まったく新しい製品を発売するのではなく、既存の製品を改良するというアイデアのみを使用する可能性があると依然として信じている。

参考文献: