Pembelajaran penguatan membentuk kembali AI terdesentralisasi: dari jaringan daya komputasi hingga evolusi cerdas

Perkembangan AI saat ini berada pada titik balik kritis. Model besar telah beralih dari “pemasangan pola” sederhana ke “penalaran terstruktur”, dan pendorong inti dari transformasi ini adalah teknologi pembelajaran penguatan. Munculnya DeepSeek-R1 menandai kematangan pergeseran ini – pembelajaran penguatan bukan lagi hanya alat penyetelan halus tetapi jalur teknis utama bagi sistem untuk meningkatkan kemampuan penalaran mereka. Pada saat yang sama, Web3 telah merekonstruksi hubungan produksi AI melalui jaringan daya komputasi terdesentralisasi dan sistem insentif terenkripsi. Tabrakan dua kekuatan telah menghasilkan chemistry yang tidak terduga: kebutuhan akan pengambilan sampel terdistribusi, sinyal hadiah, dan pelatihan yang dapat diverifikasi dalam pembelajaran penguatan adalah kecocokan alami untuk kolaborasi terdesentralisasi blockchain, distribusi insentif, dan eksekusi yang dapat diaudit.

Artikel ini akan dimulai dari prinsip-prinsip teknis pembelajaran penguatan, mengungkapkan logika komplementaritas yang mendalam dengan struktur Web3, dan menunjukkan kelayakan dan prospek jaringan pembelajaran penguatan terdesentralisasi melalui kasus praktis proyek mutakhir seperti Prime Intellect, Gensyn, dan Nous Research.

Arsitektur Pembelajaran Penguatan Tiga Tingkat: Dari Teori ke Aplikasi

Landasan Teoretis: Pembelajaran Penguatan Cara Mendorong Evolusi AI

Pembelajaran penguatan pada dasarnya adalah paradigma “pengoptimalan coba-coba”. Melalui lingkaran tertutup “berinteraksi dengan lingkungan→ mendapatkan hadiah→ menyesuaikan strategi,” model menjadi lebih cerdas dengan setiap iterasi. Ini adalah penyimpangan mencolok dari pembelajaran diawasi tradisional yang mengandalkan data anotasi - pembelajaran penguatan memungkinkan AI untuk belajar meningkatkan secara mandiri dari pengalaman.

Sistem pembelajaran penguatan lengkap terdiri dari tiga peran inti:

• Jaringan kebijakan: Otak pembuat keputusan menghasilkan tindakan sesuai dengan keadaan lingkungan
• Pengambilan Sampel Pengalaman (Peluncuran): Aktor berinteraksi dengan lingkungan untuk menghasilkan data pelatihan
• Pelajar: Memproses semua data sampel, menghitung pembaruan gradien, dan mengoptimalkan strategi

Temuan yang paling kritis adalah:Proses pengambilan sampel dapat sepenuhnya paralel, sementara pembaruan parameter perlu disinkronkan secara terpusat。 Fitur ini membuka pintu untuk pelatihan terdesentralisasi.

Panorama Pelatihan untuk LLM Modern: Kerangka Kerja Tiga Tahap

Pelatihan model bahasa besar saat ini dibagi menjadi tiga tahap progresif, masing-masing dengan misi yang berbeda:

Pra-pelatihan – membangun model dunia Basis kemampuan umum pembelajaran yang diawasi sendiri pada korpus tingkat triliunan untuk membangun model. Tahap ini membutuhkan ribuan GPU terpusat, overhead komunikasi yang sangat besar, terhitung 80-95% dari biaya, dan tentu saja bergantung pada vendor cloud yang sangat terpusat.

Penyempurnaan yang Diawasi - Menyuntikkan kemampuan tugas Menyuntikkan kemampuan tugas tertentu melalui kumpulan data skala kecil menyumbang 5-15% dari biaya. Meskipun eksekusi terdistribusi didukung, sinkronisasi gradien masih memerlukan koordinasi terpusat, membatasi potensi desentralisasi.

Pasca-pelatihan – membentuk penalaran dan nilai Ini adalah tahap di mana pembelajaran penguatan berperan. Ini mencakup berbagai metode seperti RLHF (Human Feedback Reinforcement Learning), RLAIF (AI Feedback Reinforcement Learning), GRPO (Group Relative Strategy Optimization) dan sebagainya. Biayanya hanya 5-10%, tetapi dapat secara signifikan meningkatkan kemampuan penalaran, keamanan, dan penyelarasan model. Keuntungan utamanya adalah bahwa tahap ini secara alami mendukung eksekusi terdistribusi asinkron, dan node tidak perlu menahan bobot penuh, dan komputasi yang dapat diverifikasi sepenuhnya dikombinasikan dengan insentif on-chain dapat membentuk jaringan pelatihan terdesentralisasi terbuka.

Mengapa pasca-pelatihan terbaik untuk Web3? Karena kebutuhan akan peluncuran dalam pembelajaran penguatan “tidak terbatas” - menghasilkan lebih banyak lintasan inferensi selalu dapat membuat model lebih cerdas. Pengambilan sampel kebetulan menjadi tugas yang paling mudah tersebar di seluruh dunia dan membutuhkan komunikasi yang paling jarang antar node.

Evolusi Teknologi Pembelajaran Penguatan: Dari RLHF ke GRPO

Proses pembelajaran intensif lima tahap

Fase 1: Pembuatan Data (Eksplorasi Kebijakan) Model strategi menghasilkan beberapa rantai inferensi di bawah prompt tertentu, memberikan dasar sampel untuk evaluasi preferensi berikutnya. Luasnya langkah ini menentukan kekayaan eksplorasi model.

Fase 2: Umpan Balik Preferensi (RLHF/RLAIF)

• RLHF: Anotasi manusia membandingkan output model dan memilih jawaban yang lebih baik. Ini adalah bagian penting dari peningkatan GPT-3.5 ke GPT-4, tetapi mahal dan sulit untuk diskalakan.
• RLAIF: Ganti anotasi manual dengan peninjau AI atau aturan yang telah ditentukan sebelumnya untuk mencapai otomatisasi dan skala. OpenAI, Anthropic, dan DeepSeek semuanya telah mengadopsi paradigma ini.

Tahap 3: Pemodelan Hadiah

• RM (Model Hadiah): Hanya mengevaluasi kualitas jawaban akhir dan memberikan skor.
• PRM (Model Hadiah Proses): Ini adalah inovasi utama antara OpenAI o1 dan DeepSeek-R1, yang tidak hanya menilai hasil, tetapi juga menilai setiap langkah, setiap token, dan setiap paragraf logis dari rantai inferensi, pada dasarnya “mengajarkan model cara berpikir dengan benar”.

Tahap 4: Verifikasi Hadiah Dalam lingkungan terdistribusi, sinyal hadiah harus berasal dari aturan, fakta, atau konsensus yang dapat direproduksi. Bukti pengetahuan nol (ZK) dan bukti keterpelajaran (PoL) memberikan jaminan kriptografi, membuat hadiah tidak dapat dirusak dan dapat diaudit.

Tahap 5: Pengoptimalan Kebijakan Perbarui parameter model di bawah bimbingan sinyal hadiah. Metodologi di sini adalah yang paling kontroversial:

• PPO: Skema tradisional stabil tetapi lambat untuk menyatu.
• GRPO:D inovasi inti eepSeek-R1, lebih cocok untuk tugas inferensi dan pelatihan yang lebih stabil melalui pemodelan keunggulan relatif intra-kelompok daripada penyortiran sederhana.
• DPO: Tidak ada lintasan yang dihasilkan, tidak ada model hadiah yang dibangun, dan pengoptimalan langsung dioptimalkan pada pasangan preferensi, yang berbiaya rendah tetapi tidak dapat meningkatkan kemampuan penalaran.

Pembelajaran penguatan adalah pelengkap alami untuk Web3

Pemisahan fisik penalaran dari pelatihan

Proses pelatihan pembelajaran penguatan dapat dibagi dengan jelas menjadi:

• Peluncuran: Proses menghasilkan data dalam jumlah besar, intensif komputasi tetapi jarang komunikatif, dan dapat dilakukan secara paralel pada GPU kelas konsumen
• Memperbarui: Perhitungan gradien disinkronkan dengan parameter dan memerlukan sentralisasi bandwidth tinggi

Ini adalah bentuk alami dari jaringan terdesentralisasi Web3: mengalihdayakan pengambilan sampel ke sumber daya GPU ekor panjang global dan menyelesaikan token berdasarkan kontribusi; Pertahankan pembaruan parameter pada simpul terpusat untuk memastikan konvergensi yang stabil.

Verifikasi dan kepercayaan

Dalam jaringan tanpa izin, “kejujuran” harus ditegakkan. Bukti tanpa pengetahuan dan bukti kemampuan belajar memberikan jaminan kriptografi: validator dapat memeriksa apakah proses penalaran itu nyata, apakah sinyal hadiah dapat direproduksi, dan apakah bobot model diganti. Ini telah mengubah pembelajaran penguatan terdesentralisasi dari “masalah kepercayaan” menjadi “masalah matematika”.

Mekanisme pembuatan umpan balik untuk insentif token

Ekonomi token Web3 mengubah crowdsourcing tradisional menjadi pasar yang mengatur sendiri:

• Peserta diberi penghargaan untuk menyumbangkan lintasan penalaran, umpan balik berkualitas tinggi
• Mekanisme staking memaksa peserta untuk menjamin kualitas pekerjaan mereka “dengan uang sungguhan”
• Mekanisme pemotongan: Setelah kecurangan terdeteksi, taruhan segera dipotong
• Seluruh ekosistem diatur secara alami di bawah “didorong oleh keuntungan” tanpa memerlukan manajer pusat

Bidang eksperimental alami untuk pembelajaran penguatan multi-agen

Blockchain pada dasarnya adalah lingkungan multi-agen yang terbuka, transparan, dan terus berkembang. Akun, kontrak, dan agen terus menyesuaikan strategi mereka yang didorong oleh insentif. Ini memberikan tempat pengujian yang ideal untuk pembelajaran penguatan multi-agen (MARL) skala besar.

Praktik mutakhir dalam pembelajaran penguatan terdesentralisasi

Kecerdasan Utama: Terobosan teknik dalam pembelajaran penguatan asinkron

Prime Intellect telah membangun pasar daya komputasi terbuka global dan menerapkan pembelajaran penguatan terdistribusi asinkron skala besar melalui kerangka kerja prime-rl.

Inovasi inti terletak pada pemisahan lengkap: Pekerja dan Pelatih Rollout tidak perlu lagi menyinkronkan pemblokiran. Pekerja Peluncuran terus menghasilkan trek inferensi dan mengunggahnya, dan Pelatih menarik data secara asinkron dari buffer bersama untuk pembaruan gradien. GPU dengan kinerja apa pun dapat ditambahkan atau keluar kapan saja tanpa menunggu.

Sorotan teknis:：

• Mesin inferensi vLLM terintegrasi untuk throughput sampel yang sangat tinggi dengan PagedAttention dan pemrosesan batch berkelanjutan
• Pengoperasian model exascale yang efisien melalui pemotongan parameter FSDP2 dan aktivasi jarang MoE
• Algoritme GRPO+ mengurangi overhead jaringan Critic dan secara alami disesuaikan dengan lingkungan latensi tinggi asinkron
• Protokol komunikasi OpenDiLoCo mengurangi jumlah komunikasi untuk pelatihan lintas wilayah hingga ratusan kali lipat

Transkrip: Model seri INTELLECT mencapai 98% pemanfaatan daya komputasi dalam jaringan heterogen di tiga benua, dan komunikasi hanya menyumbang 2%. Meskipun INTELLECT-3 (106B MoE) menggunakan aktivasi jarang (hanya 12B parameter yang aktif), kinerja inferensinya telah mendekati atau bahkan melampaui model sumber tertutup yang lebih besar.

Gensyn: Dari Kolaborasi Kawanan hingga Kecerdasan yang Dapat Diverifikasi

Gensyn mengubah pembelajaran penguatan terdesentralisasi menjadi model “kawanan” melalui RL Swarm: node secara spontan membentuk siklus generasi→ evaluasi→ pembaruan tanpa penjadwalan pusat.

Tiga tingkatan peserta：

• Pemecah: Inferensi model lokal dan pembuatan peluncuran, mendukung GPU heterogen
• Pengusul: Menghasilkan tugas secara dinamis (masalah matematika, masalah kode, dll.) dan mendukung kesulitan adaptif
• Evaluator: Peluncuran Skor dengan “model wasit” atau aturan yang dibekukan untuk menghasilkan hadiah yang dapat diaudit

Algoritma utama SAPO: Menggunakan “peluncuran dan pemfilteran bersama” alih-alih “gradien bersama” sebagai inti, dan mempertahankan konvergensi yang stabil di lingkungan latensi tinggi melalui pengambilan sampel heterogen skala besar. Dibandingkan dengan PPO yang mengandalkan jaringan Kritik atau GRPO berdasarkan estimasi dalam grup, SAPO memungkinkan GPU kelas konsumen untuk berpartisipasi secara efektif dengan bandwidth yang sangat rendah.

Sistem verifikasi: Menggabungkan mekanisme verifikasi PoL dan Verde untuk memastikan keaslian setiap lintasan inferensi, ini menyediakan jalur alternatif untuk pelatihan model parameter tingkat triliunan yang tidak bergantung pada satu raksasa teknologi.

Nous Research: Dari Model ke Ekosistem AI Loop Tertutup

Seri Hermes Nous Research dan kerangka kerja Atropos menunjukkan sistem evolusi diri yang lengkap.

Jalur evolusi model：

• Hermes 1-3: Mengandalkan DPO berbiaya rendah untuk penyelarasan instruksi
• Hermes 4 / DeepHermes: Mengimplementasikan pemikiran lambat Sistem-2 melalui rantai pemikiran, dan membangun data inferensi dengan kemurnian tinggi menggunakan pengambilan sampel penolakan + verifikasi Atropos
• Adopsi lebih lanjut GRPO alih-alih PPO untuk memungkinkan pembelajaran penguatan inferensi berjalan di jaringan GPU terdesentralisasi Psyche

Peran kunci Atropos: Merangkum perintah, panggilan alat, eksekusi kode, dan beberapa putaran interaksi ke dalam lingkungan pembelajaran penguatan standar, yang dapat secara langsung memverifikasi kebenaran output dan memberikan sinyal hadiah deterministik. Dalam jaringan pelatihan terdesentralisasi Psyche, Atropos bertindak sebagai “wasit” untuk memverifikasi apakah node telah benar-benar meningkatkan strategi mereka, mendukung bukti kemampuan belajar yang dapat diaudit.

Pengoptimal DisTrO: Melalui kompresi gradien, biaya komunikasi pelatihan RL dikurangi beberapa urutan besarnya, sehingga broadband rumah juga dapat menjalankan model besar untuk pembelajaran penguatan. Ini adalah “pukulan pengurangan dimensi” terhadap keterbatasan fisik.

Dalam sistem Nous, Atropos memvalidasi rantai inferensi, komunikasi terkompresi DisTrO, dan Psyche menjalankan lingkaran pembelajaran penguatan, sementara Hermes menulis semua pembelajaran dengan bobot. Reinforcement learning bukan hanya tahap pelatihan, tetapi juga protokol inti yang menghubungkan data, lingkungan, model, dan infrastruktur.

Jaringan Gradien: Pembelajaran Penguatan dalam Tumpukan Protokol

Gradien mendefinisikan arsitektur komputasi AI generasi berikutnya melalui “Open Intelligence Stack”. Di antara mereka, kerangka kerja Echo adalah pengoptimal khusus untuk pembelajaran penguatan.

Desain inti Echo: Memisahkan inferensi, pelatihan, dan jalur data sehingga dapat menskalakan secara independen di lingkungan yang heterogen. Menggunakan “arsitektur grup ganda pelatihan inferensi”:

• Kelompok penalaran: GPU kelas konsumen dan perangkat edge digunakan untuk mencapai pengambilan sampel throughput tinggi secara paralel melalui alur Parallax
• Kelompok pelatihan: Jaringan GPU terpusat atau terdistribusi secara global yang bertanggung jawab atas pembaruan gradien dan sinkronisasi parameter

Protokol sinkronisasi：

• Mode tarik berurutan: Akurasi diprioritaskan, dan sisi pelatihan memaksa versi model simpul inferensi untuk disegarkan
• Mode push-pull asinkron: efisiensi diprioritaskan, sisi inferensi terus menghasilkan trek dengan label versi, dan sisi pelatihan mengkonsumsi secara mandiri

Desain ini menjaga stabilitas pelatihan pembelajaran penguatan di jaringan area luas dan latensi tinggi sekaligus memaksimalkan pemanfaatan perangkat.

Cawan Ekosistem Bittensor: Pembelajaran Penguatan untuk Verifikasi Kriptografi

Bittensor telah menciptakan jaringan fungsi hadiah non-stasioner berskala besar melalui mekanisme konsensus Yuma yang unik. Subnet SN81 Grail Covenant AI adalah mesin pembelajaran penguatan dalam ekosistem ini.

Inovasi inti Grail: Secara kriptografis membuktikan bahwa keaslian setiap lintasan pembelajaran penguatan (peluncuran) terikat pada identitas model. Mekanisme tiga tingkat membentuk rantai kepercayaan:

1. Generasi tantangan deterministik: Gunakan suar acak drand dan hash blok untuk menghasilkan tugas yang tidak dapat diprediksi tetapi dapat direproduksi (seperti pemecahan SAT, penalaran matematis) untuk menghilangkan kecurangan pra-komputasi

2. Verifikasi ringan: Melalui pengambilan sampel indeks PRF dan komitmen sketsa, validator dapat memeriksa logprob tingkat token dan rantai inferensi dengan biaya yang sangat rendah untuk mengonfirmasi bahwa peluncuran memang dihasilkan oleh model yang diklaim

3. Model pengikatan identitas: Ikat proses inferensi ke sidik jari bobot model dan tanda tangan struktural distribusi token, dan setiap penggantian model atau pemutaran ulang hasil akan segera dikenali

Verifikasi hasil: Grail mengimplementasikan proses pelatihan pasca-verifikasi gaya GRPO yang dapat diverifikasi, di mana penambang menghasilkan beberapa jalur inferensi untuk masalah yang sama, dan skor validator berdasarkan kebenaran, kualitas rantai inferensi, kepuasan SAT, dan menulis hasil yang dinormalisasi ke rantai sebagai bobot TAO. Eksperimen publik menunjukkan bahwa kerangka kerja meningkatkan akurasi MATEMATIKA Qwen2.5-1.5B dari 12.7% menjadi 47.6%, yang tidak hanya mencegah kecurangan tetapi juga secara signifikan meningkatkan kemampuan model.

Fraction AI: Pembelajaran Penguatan yang Digerakkan oleh Persaingan

Fraction AI dirancang di sekitar pembelajaran penguatan kompetitif (RLFC) dan anotasi gamifikasi, mengubah imbalan statis RLHF tradisional menjadi konfrontasi multi-agen yang dinamis.

Mekanisme inti：

• Agen: Unit kebijakan ringan berdasarkan LLM open source, pembaruan berbiaya rendah melalui QLoRA
• Ruang: Domain tugas terisolasi, di mana agen membayar untuk berpartisipasi dan menerima hadiah berdasarkan kemenangan dan kekalahan
• Juri AI: Lapisan evaluasi instan yang dibangun melalui RLAIF
• PoL: Memvalidasi bahwa pembaruan kebijakan terikat pada hasil kompetisi tertentu

Esensi: Dengan memungkinkan agen untuk secara otomatis menghasilkan pasangan data preferensi berkualitas tinggi yang besar dalam kompetisi, pengguna memandu arah eksplorasi melalui rekayasa cepat dan konfigurasi hiperparameter. Ini mewujudkan lingkaran tertutup bisnis dari “penyempurnaan tanpa kepercayaan”, mengubah anotasi data menjadi proses penciptaan nilai otomatis melalui permainan kompetitif.

Paradigma umum dan jalur pembelajaran penguatan terdesentralisasi yang berbeda

Konvergensi Arsitektur: Desain universal tiga lapis

Meskipun titik masuk dari setiap proyek berbeda, ketika pembelajaran penguatan dikombinasikan dengan Web3, logika arsitektur yang mendasarinya menyajikan paradigma “decoupling-verify-incentive” yang sangat konsisten:

Tingkat pertama: pemisahan fisik pelatihan Peluncuran dengan komunikasi dan paralelisme yang jarang dialihdayakan ke GPU konsumen global, dan pembaruan parameter bandwidth tinggi terkonsentrasi pada sejumlah kecil node pelatihan. Dari Actor-Learner asinkron Prime Intellect hingga arsitektur kawanan ganda Gradient Echo, pola ini telah menjadi standar.

Lapisan 2: Kepercayaan berbasis validasi Dalam jaringan tanpa izin, keaslian komputasi harus ditegakkan melalui desain matematis dan mekanis. Perwakilan termasuk PoL Gensyn, TopLoc Prime Intellect, dan verifikasi kriptografi Grail.

Lapisan 3: Loop tertutup insentif tokenisasi Catu daya komputasi, pembuatan data, peringkat verifikasi, dan distribusi hadiah membentuk pasar yang mengatur sendiri. Dengan mendorong partisipasi melalui hadiah dan mencegah kecurangan dengan mengurangi, jaringan tetap stabil dan berkembang di lingkungan terbuka.

Parit teknologi yang berbeda

Berdasarkan arsitektur yang sama, setiap proyek memilih titik terobosan yang berbeda:

Penelitian Nous Ini mencoba untuk memecahkan kontradiksi mendasar dari pelatihan terdistribusi dari bagian bawah matematika - kemacetan bandwidth. Tujuan dari pengoptimal DisTrO-nya adalah untuk mengompres volume komunikasi gradien hingga ribuan kali lipat, sehingga broadband rumah juga dapat menjalankan model besar untuk pembelajaran penguatan. Ini adalah “pukulan pengurangan dimensi” ke batas fisik.

Rekayasa Sistem (Kecerdasan Utama, Gensyn, Gradien) Fokus pada membangun “sistem runtime AI” generasi berikutnya. ShardCast Prime Intellect, RL Swarm Gensyn, dan Parallax Gradient semuanya dirancang untuk memeras efisiensi cluster heterogen tertinggi melalui metode rekayasa ekstrem dalam kondisi jaringan yang ada.

Perjudian pasar (Bittensor, Fraction AI) Fokus pada desain cerdas fungsi hadiah. Dengan merancang mekanisme insentif, ini memandu node untuk secara spontan menemukan strategi optimal dan mempercepat munculnya kecerdasan. Verifikasi kriptografi Grail dan mekanisme persaingan Fraction AI mencerminkan ide ini.

Peluang dan Tantangan: Janji Pembelajaran Penguatan Terdesentralisasi

Manfaat tingkat sistem

Penulisan ulang struktur biaya Kebutuhan akan pengambilan sampel (Rollout) dalam pembelajaran penguatan tidak terbatas. Web3 dapat memobilisasi GPU ekor panjang global dengan biaya yang sangat rendah, yang merupakan keuntungan yang sulit direplikasi oleh vendor cloud terpusat. Biaya pembelajaran penguatan terdesentralisasi diharapkan dapat berkurang sebesar 50-80%.

Penyelarasan Berdaulat Hancurkan monopoli perusahaan teknologi besar pada penyelarasan AI. Komunitas dapat memilih model “jawaban yang baik” melalui pemungutan suara token, mendemokratisasi tata kelola AI. Reinforcement learning telah menjadi jembatan yang menghubungkan teknologi dan tata kelola masyarakat.

Kendala struktural

Dinding Bandwidth Terlepas dari inovasi seperti DisTrO, latensi fisik membatasi pelatihan penuh model parameter yang sangat besar (70B+). Saat ini, Web3 AI lebih berfokus pada penyempurnaan dan penalaran.

Risiko Hukum Goodhardt (Peretasan Hadiah) Dalam jaringan yang sangat diberi insentif, node rentan terhadap aturan hadiah “overfitting” (menyikat titik) daripada benar-benar meningkatkan kecerdasan. Merancang fungsi hadiah yang kuat untuk mencegah kecurangan adalah permainan teknologi dan desain mekanisme yang abadi.

Pekerja Bizantium Node dapat secara aktif memanipulasi sinyal pelatihan atau racun untuk mengganggu konvergensi. Ini tidak hanya membutuhkan inovasi fungsi penghargaan yang berkelanjutan, tetapi juga mekanisme pelatihan dengan ketahanan musuh.

Outlook: Menulis ulang hubungan produksi cerdas

Kombinasi pembelajaran penguatan dan Web3 pada dasarnya menulis ulang mekanisme “bagaimana kecerdasan diproduksi, diselaraskan, dan didistribusikan nilai”. Jalur evolusinya dapat diringkas dalam tiga arah yang saling melengkapi:

Jaringan pelatihan terdesentralisasi Dari penambang hash hingga jaringan strategis, mengalihdayakan peluncuran paralel dan dapat diverifikasi ke GPU ekor panjang global. Fokus jangka pendek adalah pada pasar inferensi yang dapat diverifikasi, dan evolusi jangka menengah adalah subnet pembelajaran penguatan pengelompokan berbasis tugas.

Kapitalisasi preferensi dan hadiah Dari pekerja anotasi data hingga pemegang ekuitas data. Wujudkan kapitalisasi umpan balik preferensi dan model hadiah, menjadikan umpan balik berkualitas tinggi sebagai aset on-chain yang dapat diatur dan didistribusikan.

Evolusi medan vertikal yang “kecil tapi indah” Kembangkan agen pembelajaran penguatan khusus yang kecil namun kuat dalam skenario vertikal dengan hasil yang dapat diverifikasi dan manfaat yang dapat diukur. Misalnya, eksekusi strategi DeFi, pembuatan kode, dll., membuat peningkatan strategi terkait langsung dengan penangkapan nilai, yang diharapkan mengungguli model sumber tertutup umum.

Peluang sebenarnya bukanlah untuk menyalin versi OpenAI yang terdesentralisasi, tetapi untuk menulis ulang aturan main: membuat eksekusi pelatihan menjadi pasar terbuka, biarkan hadiah dan preferensi menjadi aset on-chain, dan biarkan nilai yang diciptakan oleh kecerdasan tidak lagi dimonopoli oleh platform, tetapi didistribusikan secara adil antara pelatih, aligner, dan pengguna. Ini adalah signifikansi paling mendalam dari menggabungkan pembelajaran penguatan dan Web3.