Hancurkan GPT-4! CEO Google DeepMind mengungkapkan: model besar generasi berikutnya akan diintegrasikan dengan AlphaGo

**Sumber:**Xinzhiyuan

** Panduan: ** CEO Google DeepMind Hassabis membuat wahyu baru: model Gemini baru akan digabungkan dengan AlphaGo dan model bahasa besar, dan biayanya diperkirakan mencapai puluhan juta dolar, atau bahkan ratusan juta.

Google, itu benar-benar kewalahan.

Apakah Gemini yang legendaris, yang menggabungkan model besar mirip AlphaGo dan GPT-4, akhirnya hadir?

Salah satunya adalah sistem AI yang menggunakan pembelajaran penguatan untuk mengalahkan juara Go manusia dan menciptakan sejarah. Yang lainnya adalah model besar multi-modal paling kuat yang mendominasi hampir semua daftar model skala besar. Kombinasi kedua AI hampir tak terkalahkan!

CEO Google DeepMind Hassabis baru-baru ini mengatakan kepada media asing Wired bahwa Gemini masih dalam pengembangan dan akan memakan waktu beberapa bulan, sedangkan Google DeepMind siap menghabiskan puluhan juta dolar, bahkan ratusan juta.

Sebelumnya, Sam Altman mengungkapkan bahwa biaya pembuatan GPT-4 melebihi $100 juta. Google DeepMind, tentu saja, tidak bisa kalah.

Terlalu panjang untuk membaca versi

Gemini akan menggabungkan AlphaGo dengan fungsi bahasa model besar seperti GPT-4, dan kemampuan sistem untuk memecahkan masalah dan rencana akan sangat ditingkatkan.

• Gemini adalah model bahasa besar, mirip dengan GPT-4
• Diperkirakan menelan biaya puluhan hingga ratusan juta dolar, sebanding dengan biaya pengembangan GPT-4 *Selain AlphaGo, akan ada inovasi lainnya

Gemini akan mengintegrasikan AlphaGO menggunakan pembelajaran penguatan dan pencarian pohon.

• Pembelajaran penguatan memungkinkan AI untuk memecahkan teka-teki yang menantang dengan belajar dari coba-coba
• Metode pencarian pohon membantu menjelajahi dan mengingat kemungkinan gerakan dalam adegan, seperti dalam adegan permainan

Pengalaman mendalam DeepMind dalam pembelajaran penguatan akan menghadirkan fitur-fitur baru ke Gemini.

• Bidang teknologi lainnya (seperti robotika dan ilmu saraf) juga akan diintegrasikan ke dalam Gemini

Algoritme berikutnya, untuk melampaui ChatGPT

Menurut CEO OpenAI Sam Altman, GPT-5 masih beberapa hari lagi dari rilis, dan pelatihan tidak akan dimulai setidaknya selama enam bulan. Tanggal rilis Gemini belum ditentukan, tetapi mungkin dalam beberapa bulan.

Gemini, yang masih dalam pengembangan, juga merupakan model bahasa besar untuk memproses teks, yang sifatnya mirip dengan GPT-4.

Tetapi CEO Google DeepMind Demis Hassabis mengatakan bahwa Gemini akan menggabungkan teknologi yang digunakan di AlphaGo, yang akan memberi sistem kemampuan perencanaan dan pemecahan masalah yang baru.

Di tahun 2016, adegan di mana AlphaGo mengalahkan juara dunia Go Lee Sedol masih terlihat jelas.

Hassabis berkata, “Dapat dikatakan bahwa Gemini menggabungkan beberapa keunggulan sistem AlphaGo dengan kemampuan bahasa yang luar biasa dari model bahasa yang besar. Dan, kami memiliki beberapa inovasi menarik lainnya.”

Gemini dikatakan memiliki kemampuan multimodal yang tidak ditemukan pada model sebelumnya dan sangat efisien dalam mengintegrasikan alat dan API. Apalagi, Gemini akan tersedia dalam berbagai ukuran, dirancang untuk mendukung inovasi masa depan dalam memori dan perencanaan.

Pada bulan Maret, dikatakan bahwa Gemini akan memiliki satu triliun parameter seperti GPT-4. Apalagi Gemini dikabarkan akan menggunakan puluhan ribu chip Google TPU AI untuk pelatihan.

Pada konferensi Google Developers I/O bulan lalu, Google menyebutkan bahwa sejak awal, tujuan Gemini adalah multi-modal, alat integrasi yang efisien, dan API.

Saat itu, pengumuman Google adalah: “Meskipun ini masih awal, kami telah melihat kemampuan multi-modal di Gemini yang belum pernah terlihat di model sebelumnya, yang sangat mengesankan.”

Teknologi di balik AlphaGo adalah pembelajaran penguatan, sebuah teknologi yang dipelopori oleh DeepMind.

Agen RL berinteraksi dengan lingkungan dari waktu ke waktu, mempelajari kebijakan melalui coba-coba yang memaksimalkan imbalan kumulatif jangka panjang

Melalui pembelajaran penguatan, AI dapat menyesuaikan kinerjanya melalui trial and error dan menerima umpan balik, sehingga belajar menangani masalah yang sangat sulit, seperti memilih langkah selanjutnya di Go atau video game.

Selain itu, AlphaGo juga menggunakan metode Monte Carlo Tree Search (MCTS) untuk mengeksplorasi dan mengingat semua kemungkinan gerakan di papan tulis.

Ini bukan pertama kalinya Hassabis membangkitkan demam emas AI besar-besaran di antara raksasa teknologi.

Pada tahun 2014, DeepMind menggunakan pembelajaran penguatan untuk memungkinkan AI belajar bermain video game sederhana Pencapaian ini mencengangkan, dan DeepMind langsung diakuisisi oleh Google.

Taruhan Google ternyata benar.

Dalam beberapa tahun ke depan, DeepMind menghasilkan hasil yang sesekali mengejutkan dunia.

Pembelajaran mendalam dan pembelajaran penguatan memecahkan banyak masalah kecerdasan buatan klasik, seperti logika, penalaran, dan representasi pengetahuan

Pada tahun 2016, AlphaGo yang menggemparkan bumi secara langsung menyulut kebangkitan pembelajaran mendalam dan putaran pertama industri AI.

Pada 2017, AlphaGo Zero dengan cepat melampaui AlphaGo tanpa menggunakan data manusia.

AlphaGo Nol

Pada tahun 2020, prediksi struktur protein AlphaFold sebanding dengan teknologi laboratorium, yang pada dasarnya memecahkan masalah pelipatan protein.

Pada bulan Juni tahun ini, AlphaDev membuat algoritme pengurutan baru, yang dapat sepenuhnya mengubah efisiensi dan hasil ilmu komputer.

Dibandingkan dengan rute OpenAI yang lebih umum, DeepMind telah terlibat secara mendalam di bidang vertikal selama bertahun-tahun.

Di manakah lompatan besar berikutnya dalam model bahasa? Gemini mungkin menunjukkan jalan menuju model bahasa generasi berikutnya.

Pertahanan terakhir

Jelas, Gemini adalah pertahanan terakhir Google.

Banyak teknologi yang dipelopori oleh Google, seperti arsitektur Transformer, telah memungkinkan banjir AI baru-baru ini.

Karena terlalu berhati-hati dalam pengembangan dan penerapan teknologi, untuk sementara tertinggal dalam menghadapi persaingan dari ChatGPT dan AI generatif lainnya.

Untuk melawan ChatGPT, Google terus melakukan berbagai tindakan, seperti meluncurkan Bard, dan mengintegrasikan AI generatif ke dalam mesin pencari dan produk lainnya.

Untuk berkonsentrasi pada tugas-tugas utama, pada bulan April, Google menggabungkan DeepMind Hassabis dan laboratorium kecerdasan buatan utama Google, Google Brain, ke dalam Google DeepMind.

Untuk tim baru setelah fit, Haasabis jelas sangat percaya diri. Tim baru, katanya, menyatukan dua kekuatan yang sangat penting untuk kemajuan terbaru dalam kecerdasan buatan.

"Jika Anda melihat di mana kami berada dalam kecerdasan buatan, Anda akan percaya bahwa 80% atau 90% inovasi di masa depan akan datang dari salah satu tim. Kedua tim telah memberikan hasil yang sangat baik dalam sepuluh tahun terakhir. "

IDE BARU

Melatih model bahasa besar seperti GPT-4 OpenAI memerlukan pengumpan ke “Transformer”, kumpulan data besar yang dikurasi dari buku, halaman web, dan sumber lainnya.

Transformer menggunakan pola dalam data pelatihan untuk secara cerdik memprediksi setiap huruf dan kata yang akan muncul di teks berikutnya.

Mekanisme yang tampaknya sederhana ini sangat ampuh dalam menjawab pertanyaan dan menghasilkan teks atau kode.

Tetapi prinsip teknis yang tampaknya sederhana ini juga dikritik oleh banyak pemimpin industri atau pakar kecerdasan buatan.

Musk: Inti dari teknologi AI saat ini adalah statistik

LeCun: Tingkat kecerdasan AI saat ini tidak sebaik anjing

Terobosan OpenAI dalam rangkaian model GPT didasarkan pada teknologi inti Transformer, dan secara agresif menggunakan RLHF untuk memperkuat kemampuan model.

Dan DeepMind juga memiliki pengalaman yang sangat kaya dalam pembelajaran penguatan.

Ini memberi orang alasan yang sangat bagus untuk menantikan kemampuan inovatif yang mungkin ditunjukkan Gemini di masa depan.

Lebih penting lagi, Hassabis dan timnya juga akan mencoba menggunakan teknologi inti di bidang kecerdasan buatan lainnya untuk meningkatkan kemampuan model bahasa besar.

Akumulasi teknologi DeepMind sangat luas.

Dari robotika hingga ilmu saraf, mereka memiliki beragam perlengkapan di gudang senjata mereka untuk dipilih.

Misalnya, petinggi AI seperti LeCun mengatakan bahwa Transformer terlalu membatasi kemampuan model bahasa pada cakupan teks.

Seperti manusia dan hewan, belajar dari pengalaman fisik dunia mungkin merupakan solusi terbaik untuk mengembangkan kecerdasan buatan.

Mungkin di Gemini, kecerdasan buatan akan menunjukkan potensi ke arah lain.

Masa depan yang tak pasti

Hassabis ditugaskan untuk mempercepat pengembangan teknologi AI Google sambil mengelola risiko yang tidak diketahui dan berpotensi serius.

Kemajuan pesat model bahasa besar telah menyebabkan banyak pakar kecerdasan buatan khawatir apakah teknologi ini akan membuka kotak Pandora dan membuat masyarakat manusia membayar harga yang tidak dapat diterima.

Hassabis mengatakan bahwa manfaat kecerdasan buatan bagi masyarakat manusia tidak dapat diukur.

Umat manusia harus terus mengembangkan teknologi ini.

Penangguhan wajib pengembangan teknologi AI sama sekali tidak bisa dijalankan.

Namun bukan berarti Hassabis dan DeepMind yang dipimpinnya akan memajukan teknologi secara sembarangan.

Lagi pula, alasan mengapa Google dan DeepMind menyerahkan kepemimpinan teknologi AI kepada OpenAI.

Sebagian besar alasannya adalah sikap “terlalu bertanggung jawab” terhadap pengembangan AI.

Netizen: tidak optimis

Namun untuk perilisan Gemini di masa mendatang, mengingat sikap konservatif Google sebelumnya, sebagian besar netizen sepertinya kurang optimis.

Menurut Anda, kapan model mirip AGI ini akan dirilis?

Saya bertaruh 10 dolar bahwa Google tidak akan pernah merilis hal ini.

Jika ada yang memperhatikan proyek Google, mereka akan menemukan bahwa mereka biasanya menyombongkan diri untuk sementara waktu, kemudian tidak merilis apa pun, dan kemudian menghentikan proyek tersebut setahun kemudian.

Namun, netizen masih mengakui kontribusi Google terhadap model bahasa besar saat ini.

Netizen A: Teknologi model bahasa besar yang digunakan oleh OpenAI pada dasarnya ditemukan oleh Google

Netizen B: Ya, tapi Tesla tidak bisa menghasilkan banyak uang, tapi Edison bisa.

Netizen ini sangat optimis DeepMind akan menggunakan pengalamannya dalam pembelajaran penguatan untuk membuat terobosan dalam model bahasa besar.

Namun, dia masih percaya bahwa Google hanya dapat menggunakan ide untuk meningkatkan produk yang sudah ada untuk memajukan teknologi ini, daripada meluncurkan produk baru.

Referensi: