Écrasez GPT-4 ! Le PDG de Google DeepMind révèle : la prochaine génération de grands modèles sera intégrée à AlphaGo

**Source :**Xinzhiyuan

**Guide : **Le PDG de Google DeepMind, Hassabis, a fait une nouvelle révélation : le nouveau modèle Gemini sera combiné avec AlphaGo et le grand modèle linguistique, et le coût devrait s’élever à des dizaines de millions de dollars, voire des centaines de millions.

Google, c’est vraiment débordé.

Le légendaire Gemini, qui fusionne les grands modèles de type AlphaGo et GPT-4, arrive-t-il enfin ?

L’un est le système d’IA qui a utilisé l’apprentissage par renforcement pour vaincre le champion humain de Go et a créé l’histoire. L’autre est le grand modèle multimodal le plus puissant qui domine presque toutes les listes de modèles à grande échelle. La combinaison des deux IA est presque invincible !

Le PDG de Google DeepMind, Hassabis, a récemment déclaré au média étranger Wired que Gemini est toujours en développement et que cela prendra quelques mois, tandis que Google DeepMind est prêt à dépenser des dizaines de millions de dollars, voire des centaines de millions.

Auparavant, Sam Altman avait révélé que le coût de création du GPT-4 dépassait 100 millions de dollars. Google DeepMind, bien sûr, ne peut pas perdre.

Trop long pour lire la version

Gemini combinera AlphaGo avec les fonctions linguistiques de grands modèles tels que GPT-4, et la capacité du système à résoudre les problèmes et à planifier sera grandement améliorée.

• Gemini est un grand modèle de langage, similaire à GPT-4
• Coût estimé de dizaines à centaines de millions de dollars, comparable au coût de développement de GPT-4
• En plus d’AlphaGo, il y aura d’autres innovations

Gemini intégrera AlphaGO en utilisant l’apprentissage par renforcement et la recherche arborescente.

• L’apprentissage par renforcement permet à l’IA de résoudre des énigmes difficiles en apprenant par essais et erreurs
• La méthode de recherche arborescente aide à explorer et à mémoriser les mouvements possibles dans la scène, comme dans les scènes de jeu

La vaste expérience de DeepMind dans l’apprentissage par renforcement apportera de nouvelles fonctionnalités à Gemini.

• D’autres domaines technologiques (tels que la robotique et les neurosciences) seront également intégrés à Gemini

Algorithme suivant, pour surpasser ChatGPT

Selon le PDG d’OpenAI, Sam Altman, GPT-5 est encore à quelques jours de sa sortie et la formation ne commencera pas avant au moins six mois. La date de sortie de Gemini n’a pas encore été déterminée, mais cela pourrait être dans quelques mois.

Gemini, qui est encore en cours de développement, est également un grand modèle de langage pour le traitement de texte, qui est de nature similaire à GPT-4.

Mais le PDG de Google DeepMind, Demis Hassabis, a déclaré que Gemini intégrera la technologie utilisée dans AlphaGo, ce qui donnera au système de nouvelles capacités de planification et de résolution de problèmes.

En 2016, la scène où AlphaGo a battu le champion du monde de Go Lee Sedol est toujours d’actualité.

Hassabis a déclaré : « On peut dire que Gemini combine certains des avantages du système AlphaGo avec les incroyables capacités linguistiques du grand modèle linguistique. Et nous avons d’autres innovations intéressantes.

Gemini aurait des capacités multimodales introuvables dans les modèles précédents et est très efficace pour intégrer des outils et des API. De plus, Gemini sera disponible dans une variété de tailles, conçues pour prendre en charge les futures innovations en matière de mémoire et de planification.

En mars, il a été dit que Gemini aurait un billion de paramètres comme GPT-4. De plus, on dit que Gemini utilisera des dizaines de milliers de puces Google TPU AI pour la formation.

Lors de la conférence Google Developers I/O le mois dernier, Google a mentionné que dès le début, l’objectif de Gemini était des outils d’intégration et des API multimodaux et efficaces.

À l’époque, l’annonce de Google était la suivante : “Bien qu’il soit encore tôt, nous avons déjà vu dans Gemini une capacité multimodale qui n’a jamais été vue dans les modèles précédents, ce qui est très impressionnant.”

La technologie derrière AlphaGo est l’apprentissage par renforcement, une technologie lancée par DeepMind.

Les agents RL interagissent avec l’environnement au fil du temps, apprenant des politiques par essais et erreurs qui maximisent les récompenses cumulatives à long terme

Grâce à l’apprentissage par renforcement, l’IA est capable d’ajuster ses performances par essais et erreurs et de recevoir des commentaires, apprenant ainsi à gérer des problèmes très difficiles, tels que choisir comment effectuer le prochain mouvement en Go ou dans les jeux vidéo.

De plus, AlphaGo utilise également la méthode Monte Carlo Tree Search (MCTS) pour explorer et mémoriser tous les mouvements possibles sur le plateau.

Ce n’est pas la première fois que Hassabis suscite une ruée vers l’or massive de l’IA parmi les géants de la technologie.

En 2014, DeepMind a utilisé l’apprentissage par renforcement pour permettre à l’IA d’apprendre à jouer à des jeux vidéo simples. Cette réalisation était étonnante et DeepMind a été directement racheté par Google.

Le pari de Google s’est avéré juste.

Au cours des années suivantes, DeepMind a produit un résultat qui a choqué le monde de temps en temps.

L’apprentissage en profondeur et l’apprentissage par renforcement résolvent de nombreux problèmes classiques d’intelligence artificielle, tels que la logique, le raisonnement et la représentation des connaissances

En 2016, le bouleversant AlphaGo a directement déclenché la montée en puissance de l’apprentissage en profondeur et le premier cycle de l’industrie de l’IA.

En 2017, AlphaGo Zero a rapidement dépassé AlphaGo sans utiliser de données humaines.

Alpha Go Zéro

En 2020, la prédiction d’AlphaFold de la structure des protéines est comparable à la technologie de laboratoire, résolvant essentiellement le problème de repliement des protéines.

En juin de cette année, AlphaDev a créé un nouvel algorithme de tri, qui pourrait complètement changer l’efficacité et les résultats de l’informatique.

Par rapport à la voie plus générale d’OpenAI, DeepMind est profondément impliqué dans le domaine vertical depuis de nombreuses années.

Où est le prochain grand bond en avant dans les modèles de langage ? Les Gémeaux pourraient ouvrir la voie à la prochaine génération de modèles linguistiques.

Dernier combat

De toute évidence, Gemini est la dernière position de Google.

De nombreuses technologies mises au point par Google, telles que l’architecture Transformer, ont rendu possible le récent déluge d’IA.

Parce qu’il est trop prudent dans le développement et le déploiement de la technologie, il est temporairement à la traîne face à la concurrence de ChatGPT et d’autres IA génératives.

Afin de lutter contre ChatGPT, Google a continuellement lancé plusieurs actions, telles que le lancement de Bard et l’intégration de l’IA générative dans les moteurs de recherche et d’autres produits.

Afin de se concentrer sur des tâches majeures, en avril, Google a simplement fusionné DeepMind de Hassabis et le principal laboratoire d’intelligence artificielle de Google, Google Brain, dans Google DeepMind.

Pour la nouvelle équipe après l’ajustement, Haasabis est évidemment très confiant. La nouvelle équipe, dit-il, rassemble deux forces qui ont joué un rôle essentiel dans les récentes avancées de l’intelligence artificielle.

“Si vous regardez où nous en sommes dans l’intelligence artificielle, vous penseriez que 80% ou 90% de l’innovation à l’avenir viendra d’une des équipes. Les deux équipes ont produit des résultats extrêmement bons au cours des dix dernières années.”

NOUVELLE IDÉE

La formation d’un modèle de langage volumineux comme le GPT-4 d’OpenAI nécessite d’alimenter un “transformateur” en un grand ensemble de données organisées à partir de livres, de pages Web et d’autres sources.

Le transformateur utilise des modèles dans les données d’apprentissage pour prédire correctement chaque lettre et chaque mot devant apparaître dans le texte suivant.

Ce mécanisme apparemment simple est très puissant pour répondre aux questions et générer du texte ou du code.

Mais ce principe technique apparemment simple a également été critiqué par de nombreux leaders de l’industrie ou experts en intelligence artificielle.

Musk : l’essence de la technologie actuelle de l’IA, ce sont les statistiques

LeCun : Le niveau actuel d’intelligence de l’IA n’est pas aussi bon que celui des chiens

La percée d’OpenAI dans la série de modèles GPT est basée sur la technologie de base de Transformer et utilise de manière agressive RLHF pour renforcer les capacités du modèle.

Et DeepMind possède également une expérience très riche en apprentissage par renforcement.

Cela donne aux gens de très bonnes raisons d’attendre avec impatience les capacités d’innovation dont Gemini pourrait faire preuve à l’avenir.

Plus important encore, Hassabis et son équipe tenteront également d’utiliser des technologies de base dans d’autres domaines de l’intelligence artificielle pour améliorer les capacités des grands modèles de langage.

L’accumulation de technologies de DeepMind est très étendue.

De la robotique aux neurosciences, ils disposent d’une grande variété d’équipements dans leur arsenal parmi lesquels choisir.

Par exemple, des gros bonnets de l’IA comme LeCun ont déclaré que Transformer limite trop la capacité du modèle de langage à la portée du texte.

Comme les humains et les animaux, apprendre de l’expérience physique du monde peut être la meilleure solution pour développer l’intelligence artificielle.

Peut-être qu’en Gémeaux, l’intelligence artificielle montrera un potentiel dans d’autres directions.

Futur incertain

Hassabis est chargé d’accélérer le développement de la technologie d’intelligence artificielle de Google tout en gérant des risques inconnus et potentiellement graves.

Les progrès rapides des grands modèles de langage ont amené de nombreux experts en intelligence artificielle à se demander si cette technologie ouvrira la boîte de Pandore et fera payer à la société humaine un prix inacceptable.

Hassabis a déclaré que les avantages que l’intelligence artificielle peut apporter à la société humaine sont incommensurables.

L’humanité doit continuer à développer cette technologie.

La suspension obligatoire du développement de la technologie de l’IA est totalement irréalisable.

Mais cela ne signifie pas que Hassabis et DeepMind, dirigés par lui, feront progresser la technologie de manière imprudente.

Après tout, c’est la raison pour laquelle Google et DeepMind ont confié le leadership de la technologie de l’IA à OpenAI.

Une grande partie de la raison est l’attitude “trop responsable” envers le développement de l’IA.

Internaute : pas optimiste

Mais pour la sortie de Gemini dans le futur, compte tenu de l’attitude conservatrice de Google auparavant, la plupart des internautes semblent moins optimistes.

Quand pensez-vous que ce modèle de type AGI sortira ?

Je parie 10 dollars que Google ne publiera jamais cette chose.

Si quelqu’un a prêté attention aux projets de Google, il constatera qu’il se vante généralement pendant un certain temps, puis ne publie rien, puis tue le projet un an plus tard.

Cependant, les internautes reconnaissent toujours la contribution de Google au grand modèle linguistique actuel.

Netizen A : La technologie du grand modèle de langage utilisée par OpenAI est essentiellement inventée par Google

Netizen B : Oui, mais Tesla ne peut pas faire fortune, mais Edison le peut.

Cet internaute est très optimiste sur le fait que DeepMind utilisera son expérience en apprentissage par renforcement pour faire des percées dans les grands modèles de langage.

Cependant, il croit toujours que Google ne peut utiliser que l’idée d’améliorer ses produits existants pour faire progresser cette technologie, plutôt que de lancer de nouveaux produits.

Les références: