Esmagar GPT-4! CEO do Google DeepMind revela: a próxima geração de modelos grandes será integrada ao AlphaGo

**Fonte:**Xinzhiyuan

**Guia: **O CEO do Google DeepMind, Hassabis, fez uma nova revelação: o novo modelo Gemini será combinado no AlphaGo e no modelo de linguagem grande, e o custo deverá ser de dezenas de milhões de dólares, ou mesmo centenas de milhões.

Google, está realmente sobrecarregado.

O lendário Gemini, que mescla AlphaGo e modelos grandes do tipo GPT-4, finalmente está chegando?

Um é o sistema de IA que usou o aprendizado por reforço para derrotar o campeão Go humano e criou a história. O outro é o modelo grande multimodal mais poderoso que domina quase todas as listas de modelos em grande escala. A combinação dos dois AIs é quase invencível!

O CEO do Google DeepMind, Hassabis, disse recentemente à mídia estrangeira Wired que o Gemini ainda está em desenvolvimento e levará alguns meses, enquanto o Google DeepMind está pronto para gastar dezenas de milhões de dólares, ou mesmo centenas de milhões.

Anteriormente, Sam Altman revelou que o custo de criação do GPT-4 ultrapassou US$ 100 milhões. O Google DeepMind, é claro, não pode perder.

Muito longo para ler a versão

O Gemini combinará o AlphaGo com as funções de linguagem de modelos grandes, como o GPT-4, e a capacidade do sistema de resolver problemas e planejar será bastante aprimorada.

• Gemini é um modelo de linguagem grande, semelhante ao GPT-4
• Estimado em dezenas a centenas de milhões de dólares, comparável ao custo de desenvolvimento do GPT-4 *Além do AlphaGo, haverá outras inovações

A Gemini integrará o AlphaGO usando aprendizado por reforço e pesquisa em árvore.

• O aprendizado por reforço permite que a IA resolva quebra-cabeças desafiadores aprendendo por tentativa e erro
• O método de pesquisa em árvore ajuda a explorar e lembrar possíveis movimentos na cena, como em cenas de jogos

A extensa experiência da DeepMind em aprendizado por reforço trará novos recursos para o Gemini.

• Outros campos da tecnologia (como robótica e neurociência) também serão integrados ao Gemini

Próximo algoritmo, para superar o ChatGPT

De acordo com o CEO da OpenAI, Sam Altman, o GPT-5 ainda está a alguns dias do lançamento e o treinamento não começará por pelo menos seis meses. A data de lançamento de Gemini ainda não foi determinada, mas pode ser dentro de alguns meses.

O Gemini, que ainda está em desenvolvimento, também é um grande modelo de linguagem para processamento de texto, de natureza semelhante ao GPT-4.

Mas o CEO do Google DeepMind, Demis Hassabis, disse que o Gemini incorporará a tecnologia usada no AlphaGo, o que dará ao sistema novos recursos de planejamento e solução de problemas.

Em 2016, a cena em que o AlphaGo derrotou o campeão mundial Go Lee Sedol ainda é vívida.

Hassabis disse: “Pode-se dizer que o Gemini combina algumas das vantagens do sistema AlphaGo com as incríveis capacidades de linguagem do modelo de linguagem grande. E temos algumas outras inovações interessantes.”

Diz-se que o Gemini possui recursos multimodais não encontrados em modelos anteriores e é muito eficiente na integração de ferramentas e APIs. Além disso, o Gemini estará disponível em vários tamanhos, projetados para suportar futuras inovações em memória e planejamento.

Em março, foi dito que o Gemini teria um trilhão de parâmetros como o GPT-4. Além disso, diz-se que a Gemini usará dezenas de milhares de chips Google TPU AI para treinamento.

Na conferência Google Developers I/O no mês passado, o Google mencionou que, desde o início, o objetivo da Gemini era multimodal, ferramentas de integração eficientes e APIs.

Na época, o anúncio do Google foi: “Embora ainda seja cedo, já vimos no Gemini uma capacidade multimodal nunca vista em modelos anteriores, o que é muito impressionante”.

A tecnologia por trás do AlphaGo é o aprendizado por reforço, uma tecnologia pioneira da DeepMind.

Os agentes de RL interagem com o ambiente ao longo do tempo, aprendendo políticas por meio de tentativa e erro que maximizam as recompensas cumulativas de longo prazo

Por meio do aprendizado por reforço, a IA é capaz de ajustar seu desempenho por tentativa e erro e receber feedback, aprendendo assim a lidar com problemas muito difíceis, como escolher como dar o próximo passo em Go ou videogames.

Além disso, o AlphaGo também usa o método Monte Carlo Tree Search (MCTS) para explorar e lembrar todos os movimentos possíveis no tabuleiro.

Esta não é a primeira vez que Hassabis provoca uma enorme corrida do ouro de IA entre os gigantes da tecnologia.

Em 2014, a DeepMind usou o aprendizado por reforço para permitir que a IA aprendesse a jogar videogames simples. Essa conquista foi surpreendente e a DeepMind foi adquirida diretamente pelo Google.

A aposta do Google acabou dando certo.

Nos anos seguintes, DeepMind produziu um resultado que chocou o mundo de vez em quando.

O aprendizado profundo e o aprendizado por reforço estão resolvendo muitos problemas clássicos de inteligência artificial, como lógica, raciocínio e representação de conhecimento

Em 2016, o revolucionário AlphaGo iniciou diretamente o surgimento do aprendizado profundo e a primeira rodada da indústria de IA.

Em 2017, o AlphaGo Zero ultrapassou rapidamente o AlphaGo sem usar dados humanos.

AlphaGo Zero

Em 2020, a previsão do AlphaFold da estrutura da proteína é comparável à tecnologia de laboratório, basicamente resolvendo o problema de dobramento de proteínas.

Em junho deste ano, a AlphaDev criou um novo algoritmo de ordenação, que pode mudar completamente a eficiência e os resultados da informática.

Em comparação com a rota mais geral da OpenAI, a DeepMind está profundamente envolvida no campo vertical há muitos anos.

Onde está o próximo grande salto nos modelos de linguagem? Gêmeos pode apontar o caminho para a próxima geração de modelos de linguagem.

Última posição

Claramente, Gemini é a última posição do Google.

Muitas das tecnologias pioneiras do Google, como a arquitetura Transformer, possibilitaram o recente dilúvio da IA.

Por ser muito cauteloso no desenvolvimento e implantação da tecnologia, fica temporariamente para trás diante da concorrência do ChatGPT e de outras IAs generativas.

Para lutar contra o ChatGPT, o Google lançou continuamente várias ações, como o lançamento do Bard e a integração de IA generativa em mecanismos de pesquisa e outros produtos.

Para se concentrar nas tarefas principais, em abril, o Google simplesmente fundiu o DeepMind de Hassabis e o principal laboratório de inteligência artificial do Google, o Google Brain, no Google DeepMind.

Para a nova equipe após o ajuste, Haasabis está obviamente muito confiante. A nova equipe, diz ele, reúne duas forças que foram fundamentais para os recentes avanços na inteligência artificial.

“Se você olhar para onde estamos em inteligência artificial, você acreditaria que 80% ou 90% da inovação no futuro virá de uma das equipes. Ambas as equipes produziram resultados extremamente bons nos últimos dez anos.”

NOVA IDEIA

O treinamento de um grande modelo de linguagem como o GPT-4 da OpenAI requer a alimentação de um “Transformer” com um grande conjunto de dados curados de livros, páginas da Web e outras fontes.

O Transformer usa padrões nos dados de treinamento para prever com precisão cada letra e palavra que deve aparecer no texto subsequente.

Esse mecanismo aparentemente simples é muito poderoso para responder perguntas e gerar texto ou código.

Mas esse princípio técnico aparentemente simples também foi criticado por muitos líderes da indústria ou especialistas em inteligência artificial.

Musk: A essência da tecnologia de IA atual são as estatísticas

LeCun: O nível atual de inteligência da IA não é tão bom quanto o dos cães

O avanço da OpenAI na série de modelos GPT é baseado na tecnologia principal do Transformer e usa agressivamente o RLHF para fortalecer os recursos do modelo.

E o DeepMind também tem uma experiência muito rica em aprendizado por reforço.

Isso dá às pessoas boas razões para esperar pelas capacidades inovadoras que a Gemini pode demonstrar no futuro.

Mais importante ainda, Hassabis e sua equipe também tentarão usar tecnologias essenciais em outros campos da inteligência artificial para aprimorar os recursos de grandes modelos de linguagem.

O acúmulo de tecnologia da DeepMind é muito extenso.

Da robótica à neurociência, eles têm uma grande variedade de equipamentos em seu arsenal para escolher.

Por exemplo, figurões da IA como LeCun disseram que o Transformer limita muito a capacidade do modelo de linguagem ao escopo do texto.

Assim como os humanos e os animais, aprender com a experiência física do mundo pode ser a melhor solução para desenvolver a inteligência artificial.

Talvez em Gêmeos, a inteligência artificial mostre potencial em outras direções.

Futuro incerto

Hassabis tem a tarefa de acelerar o desenvolvimento da tecnologia de IA do Google enquanto gerencia riscos desconhecidos e potencialmente sérios.

O rápido progresso de grandes modelos de linguagem fez com que muitos especialistas em inteligência artificial se preocupassem se essa tecnologia abriria a caixa de Pandora e faria a sociedade humana pagar um preço inaceitável.

Hassabis disse que os benefícios que a inteligência artificial pode trazer para a sociedade humana são imensuráveis.

A humanidade deve continuar a desenvolver esta tecnologia.

A suspensão obrigatória do desenvolvimento da tecnologia de IA é completamente impraticável.

Mas isso não significa que Hassabis e DeepMind, liderados por ele, irão avançar a tecnologia de forma imprudente.

Afinal, a razão pela qual o Google e a DeepMind entregaram a liderança da tecnologia de IA para a OpenAI.

Grande parte do motivo é a atitude “excessivamente responsável” em relação ao desenvolvimento da IA.

Netizen: nada otimista

Mas para o lançamento do Gemini no futuro, considerando a atitude conservadora do Google antes, a maioria dos internautas parece estar menos otimista.

Quando você acha que esse modelo semelhante a AGI será lançado?

Aposto 10 dólares que o Google nunca lançará isso.

Se alguém prestou atenção aos projetos do Google, descobrirá que eles geralmente se gabam por um tempo, depois não lançam nada e encerram o projeto um ano depois.

No entanto, os internautas ainda reconhecem a contribuição do Google para o atual modelo de linguagem ampla.

Netizen A: A grande tecnologia de modelo de linguagem usada pela OpenAI é basicamente inventada pelo Google

Netizen B: Sim, mas Tesla não pode fazer fortuna, mas Edison pode.

Este internauta está muito otimista de que a DeepMind usará sua experiência em aprendizado por reforço para fazer avanços em grandes modelos de linguagem.

No entanto, ele ainda acredita que o Google pode usar apenas a ideia de melhorar seus produtos existentes para avançar nessa tecnologia, em vez de lançar novos produtos.

Referências: