ReactBench menguji agen generasi kode AI: GPT-5.6 Sol merebut juara dengan 43,1%, model-model besar arus utama terus menginjak ranjau bug

Khusus mengembangkan alat terkait React, tim Million baru-baru ini secara resmi merilis “ReactBench v1”, ini adalah tolok ukur pertama yang menargetkan AI untuk coding agents (Coding Agents) pada tugas pengembangan React di dunia nyata. Hasil pengujian menunjukkan bahwa bahkan untuk GPT-5.6 Sol dengan performa terbaik, tingkat keberhasilannya hanya 43,1%, dan semua model yang diuji tidak dapat menembus ambang batas 50%, menandakan masih ada kesenjangan yang cukup besar sebelum AI dapat sepenuhnya menggantikan pengembang manusia.
(Pengantar: OpenAI mendemonstrasikan kemampuan GPT-Live multitugas: sambil mengobrol melakukan pencarian penerbangan, cuaca, harga saham, dan masalah diserahkan ke GPT-5.5)
(Tambahan konteks: Laporan Visa: pembayaran dengan AI agent memasuki fase yang praktis, stablecoin lebih cocok untuk pembayaran bernilai kecil frekuensi tinggi)

Daftar Isi

Toggle

• Verifikasi ketat: bukan hanya harus bisa jalan, tapi juga tidak boleh ada bug
• GPT-5.6 mengungguli Claude tipis, tingkat keberhasilan keseluruhan tetap di bawah setengah
• Value for money menjadi kunci, pengembangan berbantuan AI tetap menyimpan risiko tersembunyi

Seiring kemampuan AI (kecerdasan buatan) untuk menulis kode semakin kuat, memastikan kualitas output menjadi fokus perhatian utama di komunitas pengembang global. Untuk React, salah satu framework frontend paling populer, tim open-source terkenal Million yang juga mengembangkan React Scan dan Million.js baru-baru ini secara resmi meluncurkan uji benchmark “ReactBench v1”. Pengujian ini berbeda dari standar sebelumnya yang hanya meminta AI lolos basic unit test; kali ini AI ditempatkan dalam konteks proyek open-source nyata, dan secara ketat diperiksa apakah kode yang dihasilkannya memenuhi tuntutan tinggi untuk lingkungan produksi.

Verifikasi ketat: bukan hanya harus bisa jalan, tapi juga tidak boleh ada bug

ReactBench v1 menyaring total 51 tugas (Pull Requests) dari proyek open-source nyata. Pengujian berfokus pada dua kemampuan inti: “menulis (Write React)” dan “memperbaiki (Fix React)”. Untuk mencegah AI menghasilkan kode yang tampak berjalan namun menyimpan risiko tersembunyi, pengujian ini memperkenalkan verifikator “React Doctor” yang memiliki lebih dari 400 aturan pengecekan, khusus untuk mendeteksi masalah seperti rendering yang tidak valid (Renders), penurunan performa, kekurangan dalam desain aksesibilitas (Accessibility) serta isu potensi lain seperti kemudahan pemeliharaan. Pihak resmi menekankan bahwa agen AI bukan hanya harus menyelesaikan fungsi, tetapi juga tidak boleh memperkenalkan kesalahan kode baru.

GPT-5.6 mengungguli Claude tipis, tingkat keberhasilan keseluruhan tetap di bawah setengah

Berdasarkan skor rata-rata kelulusan (pass@1) yang diumumkan resmi, performa model AI teratas di pasar masih menunjukkan ruang peningkatan yang sangat besar. GPT-5.6 Sol (konfigurasi Medium / XHigh) buatan OpenAI meraih peringkat pertama dengan skor gabungan 43,1%; di posisi berikutnya adalah Claude Fable 5 dari Anthropic (XHigh) dengan skor 41,2%. Pihak resmi menyatakan selisih keduanya relatif kecil, dan saat ini belum dapat dipastikan apakah Sol memiliki keunggulan mutlak.

Perlu dicatat bahwa meski berada di jajaran teratas, tingkat keberhasilan semua model yang diuji tetap tidak mencapai 50%. Data menunjukkan bahwa pada rangkaian 4.455 pengujian pengembangan fitur baru, seluruh model secara total memperkenalkan 1.194 masalah terkait React. Dari jumlah tersebut, 77,5% termasuk kesalahan kode (Bug) tingkat serius atau isu keamanan, dengan titik paling sering gagal terutama pada rendering daftar dan ketepatan aturan Hook.

Value for money menjadi kunci, pengembangan berbantuan AI tetap menyimpan risiko tersembunyi

Meski performa model-model teratas cukup mengesankan, dari sisi biaya ada poin positif. Laporan menyebutkan bahwa skor GPT-5.6 Terra (Medium) mencapai 38,0%, sehingga performanya sangat dekat dengan level papan atas; namun saat menggunakan konfigurasi yang sama-sama XHigh, biaya per pengujian untuk Fable 5 justru sekitar 6,3 kali lebih tinggi dibanding Sol. Ini menunjukkan bahwa bagi perusahaan yang perlu menghasilkan banyak kode, memilih model menengah dapat memberikan value for money yang sangat baik.

Saat ini, React menempati sekitar 70% pangsa pasar di situs yang memakai framework JavaScript. Tim pengembang menyatakan bahwa bila pengembang secara membabi buta percaya pada kode React yang dihasilkan AI, cacat kecil mudah diperbesar di lingkungan produksi, bahkan dapat menyebabkan sistem crash, penurunan conversion rate, dan kerugian pendapatan. Peluncuran ReactBench bertujuan untuk menjaga kualitas bagi pengembang di seluruh dunia, memastikan bahwa agen AI di masa depan benar-benar dapat menulis kode yang aman, patuh, dan efisien berkualitas tinggi.