¡Aplasta a GPT-4! El CEO de Google DeepMind revela: la próxima generación de modelos grandes se integrará con AlphaGo

**Fuente:**Xinzhiyuan

**Guía: **El CEO de Google DeepMind, Hassabis, hizo una nueva revelación: el nuevo modelo Gemini se combinará con AlphaGo y el modelo de lenguaje grande, y se espera que el costo sea de decenas de millones de dólares, o incluso cientos de millones.

Google, está realmente abrumado.

¿Llegará finalmente el legendario Gemini, que fusiona AlphaGo y modelos grandes tipo GPT-4?

Uno es el sistema de IA que usó el aprendizaje por refuerzo para derrotar al campeón humano de Go y creó la historia. El otro es el modelo grande multimodal más poderoso que domina casi todas las listas de modelos a gran escala. La combinación de las dos IA es casi invencible arriba!

El CEO de Google DeepMind, Hassabis, dijo recientemente al medio extranjero Wired que Gemini aún está en desarrollo y tomará algunos meses, mientras que Google DeepMind está listo para invertir decenas de millones de dólares, o incluso cientos de millones.

Anteriormente, Sam Altman reveló que el costo de crear GPT-4 superó los $100 millones. Google DeepMind, por supuesto, no puede perder.

Demasiado larga para leer la versión

Gemini combinará AlphaGo con las funciones de lenguaje de modelos grandes como GPT-4, y la capacidad del sistema para resolver problemas y planificar mejorará enormemente.

• Gemini es un modelo de lenguaje grande, similar a GPT-4
• Costo estimado de decenas a cientos de millones de dólares, comparable al costo de desarrollar GPT-4
• Además de AlphaGo, habrá otras innovaciones

Gemini integrará AlphaGO utilizando el aprendizaje por refuerzo y la búsqueda de árboles.

• El aprendizaje por refuerzo permite que la IA resuelva acertijos desafiantes aprendiendo por ensayo y error
• El método de búsqueda en árbol ayuda a explorar y recordar posibles movimientos en la escena, como en las escenas del juego.

La amplia experiencia de DeepMind en el aprendizaje por refuerzo traerá nuevas funciones a Gemini.

• Otros campos de la tecnología (como la robótica y la neurociencia) también se integrarán en Gemini

Siguiente algoritmo, para superar ChatGPT

Según el CEO de OpenAI, Sam Altman, GPT-5 aún está a unos días de su lanzamiento y la capacitación no comenzará hasta dentro de al menos seis meses. La fecha de lanzamiento de Gemini aún no se ha determinado, pero puede ser dentro de unos meses.

Gemini, que todavía está en desarrollo, también es un gran modelo de lenguaje para procesar texto, que es de naturaleza similar a GPT-4.

Pero el CEO de Google DeepMind, Demis Hassabis, dijo que Gemini incorporará la tecnología utilizada en AlphaGo, lo que le dará al sistema nuevas capacidades de planificación y resolución de problemas.

En 2016, la escena en la que AlphaGo derrotó al campeón mundial de Go, Lee Sedol, sigue viva.

Hassabis dijo: “Se puede decir que Gemini combina algunas de las ventajas del sistema AlphaGo con las asombrosas capacidades de lenguaje del modelo de lenguaje grande. Y tenemos otras innovaciones interesantes”.

Se dice que Gemini tiene capacidades multimodales que no se encuentran en modelos anteriores y es muy eficiente en la integración de herramientas y API. Además, Gemini estará disponible en una variedad de tamaños, diseñados para admitir futuras innovaciones en memoria y planificación.

En marzo, se dijo que Gemini tendría un billón de parámetros como GPT-4. Además, se dice que Gemini utilizará decenas de miles de chips Google TPU AI para el entrenamiento.

En la conferencia Google Developers I/O del mes pasado, Google mencionó que, desde el principio, el objetivo de Gemini era contar con herramientas de integración y API multimodales y eficientes.

En ese momento, el anuncio de Google fue: “Aunque todavía es pronto, ya hemos visto en Gemini una capacidad multimodal que nunca se había visto en modelos anteriores, lo cual es muy impresionante”.

La tecnología detrás de AlphaGo es el aprendizaje por refuerzo, una tecnología iniciada por DeepMind.

Los agentes de RL interactúan con el entorno a lo largo del tiempo, aprendiendo políticas a través de prueba y error que maximizan las recompensas acumulativas a largo plazo.

A través del aprendizaje por refuerzo, la IA puede ajustar su desempeño a través de prueba y error y recibir retroalimentación, aprendiendo así a lidiar con problemas muy difíciles, como elegir cómo dar el siguiente paso en Go o videojuegos.

Además, AlphaGo también utiliza el método Monte Carlo Tree Search (MCTS) para explorar y recordar todos los movimientos posibles en el tablero.

Esta no es la primera vez que Hassabis provoca una enorme fiebre del oro de la IA entre los gigantes tecnológicos.

En 2014, DeepMind utilizó el aprendizaje por refuerzo para permitir que la IA aprendiera a jugar videojuegos simples. Este logro fue asombroso y DeepMind fue adquirido directamente por Google.

La apuesta de Google resultó ser correcta.

En los años siguientes, DeepMind produjo un resultado que conmocionó al mundo de vez en cuando.

El aprendizaje profundo y el aprendizaje por refuerzo están resolviendo muchos problemas clásicos de inteligencia artificial, como la lógica, el razonamiento y la representación del conocimiento.

En 2016, el revolucionario AlphaGo encendió directamente el auge del aprendizaje profundo y la primera ronda de la industria de la IA.

En 2017, AlphaGo Zero superó rápidamente a AlphaGo sin utilizar datos humanos.

AlphaGo Zero

En 2020, la predicción de la estructura de proteínas de AlphaFold es comparable a la tecnología de laboratorio, básicamente resolviendo el problema del plegamiento de proteínas.

En junio de este año, AlphaDev creó un nuevo algoritmo de clasificación, que puede cambiar por completo la eficiencia y los resultados de la informática.

En comparación con la ruta más general de OpenAI, DeepMind ha estado profundamente involucrado en el campo vertical durante muchos años.

¿Dónde está el próximo gran salto en los modelos lingüísticos? Géminis puede señalar el camino hacia la próxima generación de modelos de lenguaje.

Última resistencia

Claramente, Géminis es el último soporte de Google.

Muchas de las tecnologías iniciadas por Google, como la arquitectura Transformer, han hecho posible la reciente avalancha de IA.

Debido a que es demasiado cauteloso en el desarrollo y despliegue de tecnología, se queda atrás temporalmente frente a la competencia de ChatGPT y otras IA generativas.

Para luchar contra ChatGPT, Google ha lanzado continuamente múltiples acciones, como lanzar Bard e integrar IA generativa en motores de búsqueda y otros productos.

Para concentrarse en tareas importantes, en abril, Google simplemente fusionó DeepMind de Hassabis y el principal laboratorio de inteligencia artificial de Google, Google Brain, en Google DeepMind.

Para el nuevo equipo después del ajuste, Haasabis obviamente tiene mucha confianza. El nuevo equipo, dice, reúne dos fuerzas que han sido fundamentales para los avances recientes en inteligencia artificial.

“Si observa dónde estamos en inteligencia artificial, creería que el 80% o el 90% de la innovación en el futuro provendrá de uno de los equipos. Durante la última década, ambos equipos han producido resultados extremadamente buenos”.

IDEA NUEVA

Entrenar un modelo de lenguaje grande como GPT-4 de OpenAI requiere alimentar un “Transformador” con un gran conjunto de datos seleccionados de libros, páginas web y otras fuentes.

El Transformador usa patrones en los datos de entrenamiento para predecir hábilmente cada letra y palabra que debería aparecer en el texto subsiguiente.

Este mecanismo aparentemente simple es muy poderoso para responder preguntas y generar texto o código.

Pero este principio técnico aparentemente simple también ha sido criticado por muchos líderes de la industria o expertos en inteligencia artificial.

Musk: la esencia de la tecnología de IA actual son las estadísticas

LeCun: El nivel actual de inteligencia de la IA no es tan bueno como el de los perros

El avance de OpenAI en la serie de modelos GPT se basa en la tecnología central de Transformer y utiliza agresivamente RLHF para fortalecer las capacidades del modelo.

Y DeepMind también tiene una gran experiencia en el aprendizaje por refuerzo.

Esto le da a la gente muy buenas razones para esperar las capacidades innovadoras que Gemini puede demostrar en el futuro.

Más importante aún, Hassabis y su equipo también intentarán utilizar tecnologías centrales en otros campos de la inteligencia artificial para mejorar las capacidades de los grandes modelos de lenguaje.

La acumulación de tecnología de DeepMind es muy extensa.

Desde robótica hasta neurociencia, tienen una amplia variedad de equipos en su arsenal para elegir.

Por ejemplo, los peces gordos de la IA como LeCun dijeron que Transformer limita demasiado la capacidad del modelo de lenguaje al alcance del texto.

Al igual que los humanos y los animales, aprender de la experiencia física del mundo puede ser la mejor solución para desarrollar inteligencia artificial.

Quizás en Géminis, la inteligencia artificial muestre potencial en otras direcciones.

Futuro incierto

Hassabis tiene la tarea de acelerar el desarrollo de la tecnología de IA de Google mientras gestiona riesgos desconocidos y potencialmente graves.

El rápido progreso de los grandes modelos de lenguaje ha hecho que muchos expertos en inteligencia artificial se preocupen si esta tecnología abrirá la caja de Pandora y hará que la sociedad humana pague un precio inaceptable.

Hassabis dijo que los beneficios que la inteligencia artificial puede traer a la sociedad humana son inconmensurables.

La humanidad debe continuar desarrollando esta tecnología.

La suspensión obligatoria del desarrollo de la tecnología de IA es completamente inviable.

Pero eso no significa que Hassabis y DeepMind, liderados por él, avancen en la tecnología de manera imprudente.

Después de todo, la razón por la que Google y DeepMind cedieron el liderazgo de la tecnología de IA a OpenAI.

Una gran parte de la razón es la actitud “demasiado responsable” hacia el desarrollo de la IA.

Internauta: no optimista

Pero para el lanzamiento de Gemini en el futuro, considerando la actitud conservadora de Google antes, la mayoría de los internautas parecen ser menos optimistas.

¿Cuándo crees que se lanzará este modelo similar a AGI?

Apuesto 10 dólares a que Google nunca lanzará esta cosa.

Si alguien ha prestado atención a los proyectos de Google, descubrirá que generalmente se jactan por un tiempo, luego no publican nada y luego cancelan el proyecto un año después.

Sin embargo, los internautas aún reconocen la contribución de Google al actual modelo de lenguaje extenso.

Internauta A: La tecnología de modelo de lenguaje grande utilizada por OpenAI es básicamente inventada por Google

Internauta B: Sí, pero Tesla no puede hacer una fortuna, pero Edison sí.

Este internauta es muy optimista de que DeepMind utilizará su experiencia en el aprendizaje por refuerzo para lograr avances en modelos de lenguaje grandes.

Sin embargo, todavía cree que Google solo puede usar la idea de mejorar sus productos existentes para avanzar en esta tecnología, en lugar de lanzar productos nuevos.

Referencias: