Apakah model kecil juga dapat menemukan kerentanan keamanan siber yang dideteksi oleh Claude Mythos? AISLE: parit pertahanan ada di dalam sistem, bukan di dalam model

Perusahaan rintisan keamanan siber AISLE menggunakan model kecil dengan parameter 3.6B hanya $0.11 per sejuta token, mereplikasi sebagian core demo dari sistem keamanan siber andalan Anthropic Mythos. Batas kemampuan keamanan siber AI lebih “bergelombang” daripada yang Anda kira.
(Bekal konteks: Saat Anthropic merilis Mythos, apakah itu akan menjadi momen ledakan nuklir bagi DeFi?)
(Tambahan latar: Mythos Anthropic terlalu hebat hingga memicu rapat darurat: Bessent, Powell mengumpulkan Citigroup, Goldman Sachs, Bank of America, dan JPMorgan besar-kecil; lima bank fokus pada risiko finansial)

Daftar isi artikel ini

Toggle

• Apa yang ditunjukkan Mythos, dan apa yang direplikasi oleh model kecil?
• Mengapa model yang lebih besar tidak berarti sistem yang lebih aman
• Di mana letak parit perlindungan, dan di mana tidak

Minggu ini, Anthropic merilis model yang belum diumumkan, Claude Mythos Preview, dan sekaligus meluncurkan program Project Glasswing (Sayap Kaca), yang terdiri dari 12 perusahaan teknologi termasuk Amazon, Apple, Microsoft, CrowdStrike, dan Cisco; mereka menggunakan model tersebut untuk riset keamanan siber yang bersifat defensif.

Karena Mythos diklaim mampu secara otonom menemukan ribuan celah zero-day (zero-day vulnerability, yaitu celah keamanan yang belum dipublikasikan, yang bahkan mungkin belum diketahui oleh vendor) di setiap sistem operasi utama dan browser, hal ini menyiratkan sebuah era baru pertahanan keamanan siber yang dipimpin AI akan segera dimulai.

Namun kurang dari seminggu kemudian, perusahaan rintisan keamanan siber AISLE yang didirikan bersama oleh peneliti sebelumnya dari DeepMind dan Anthropic, Stanislav Fort, memublikasikan laporan sistematis di blog teknis perusahaannya.

Kesimpulan intinya langsung: dalam tugas demo utama Mythos, sebuah model open-source dengan parameter active hanya 3.6B, biaya $0.11 per sejuta token, mencapai hasil pendeteksian celah yang sama.

Apa yang ditunjukkan Mythos, dan apa yang direplikasi oleh model kecil?

AISLE merancang tiga set pengujian, masing-masing sesuai dengan tugas keamanan siber yang berbeda tingkat kesulitan dan jenisnya.

Set pertama adalah pengujian false positive untuk OWASP (Open Web Application Security Project).

Jika diterjemahkan, itu berarti: sebuah potongan kode Java SQL terlihat seperti SQL Injection (serangan injeksi basis data), tetapi sebenarnya hanya masalah logika yang aman. Jawaban yang benar adalah bukan celah.

Hasil pengujian menunjukkan efek scaling yang hampir berbalik (kebalikan terhadap scaling): model open-source kecil GPT-OSS-20b (3.6B parameter active, $0.11/M tokens) berhasil melacak logika program, dan menyimpulkan tidak berbahaya.

Sebaliknya, Claude Sonnet 4.5, semua rangkaian GPT-4.1/5.4 (kecuali o3 dan pro), serta seluruh rangkaian Anthropic hingga Opus 4.5, semuanya dengan percaya diri salah menilai sebagai celah berbahaya. Hanya sejumlah kecil model papan atas—o3, OpenAI-pro, Sonnet 4.6, Opus 4.6—yang benar.

Set kedua adalah celah FreeBSD NFS, yaitu CVE-2026-4747 yang ditampilkan khusus dalam rilis andalan Mythos: sebuah celah eksekusi kode jarak jauh tanpa otorisasi berusia 17 tahun.

Hasil: 8/8 model yang diuji semuanya berhasil mendeteksi, termasuk model kecil dengan parameter active 3.6B tersebut. Semua model secara benar mengidentifikasi stack buffer overflow (overflow buffer tumpukan), menghitung ruang yang tersisa, dan menilainya sebagai Critical RCE.

Kesimpulan AISLE adalah: kemampuan deteksi seperti ini telah “dikomoditisasi”.

Set ketiga adalah celah OpenBSD SACK (usia 27 tahun), yang membutuhkan penalaran matematika yang benar: melacak rantai logika bertahap dari signed integer overflow (overflow bilangan bulat bertanda) yang memiliki tanda.

Kesulitannya meningkat secara signifikan, dan performa model terpecah. GPT-OSS-120b (5.1B parameter active) sepenuhnya mereplikasi rantai eksploitasi; AISLE menilainya A+; versi open-source Kimi K2 mendapat A-; sedangkan Qwen3 32B memberikan kesimpulan salah dengan klaim “kode sangat robust”, dinilai F.

Bahkan pada tugas yang lebih sulit ini, sebuah model open-source yang biayanya sangat rendah tetap mencapai demonstrasi setara dengan sistem andalan.

Mengapa model yang lebih besar tidak berarti sistem yang lebih aman

Poin sebenarnya dari laporan ini bukan “model kecil sudah cukup”, melainkan bahwa kemampuan AI dalam keamanan siber jauh lebih kompleks daripada yang dipikirkan orang luar.

AISLE memecah pipeline AI keamanan siber menjadi lima tugas anak yang terpisah:

• Pemindaian spektrum luas (broad scanning)
• Deteksi celah (vulnerability detection)
• Validasi penyaringan (triage and validation)
• Generasi patch (patch generation)
• Konstruksi eksploitasi (exploit construction)

Sifat scaling tiap tugas anak berbeda, dan kebutuhan kemampuan model juga berbeda. Pengumuman Mythos menampilkan kelima lapisan tersebut sebagai satu sistem utuh, tetapi pada kenyataannya kebutuhan model di antara lapisan-lapisan itu sangat kontras; beberapa tugas anak sudah sepenuhnya jenuh pada parameter 3.6B, sementara yang lain memerlukan kemampuan penalaran yang rumit.

Hal ini sejalan dengan konsep “Jagged Frontier” (batas yang berlekuk-lekuk) yang diajukan peneliti Harvard Business School pada 2023, Dell’Acqua, bersama Mollick dan lainnya: batas kemampuan AI bukan satu kurva halus, melainkan seperti gigi gergaji yang berlubang-lembung (cekung-cembung); pada beberapa tugas bisa jauh melampaui manusia, namun pada tugas yang berdekatan justru tampak rapuh secara mengejutkan.

Studi tersebut menunjukkan bahwa jika pengguna menerapkan AI di dalam batas kemampuan, produktivitas meningkat sekitar 40%; tetapi jika nekat memperluas hingga melewati batas, performa malah turun 19%.

Dalam kerangka ini, AISLE mengajukan kesimpulan yang lebih operasional: “Seribu detektif yang cukup memadai mencari ke mana-mana, daripada satu detektif jenius menebak di mana mencarinya, dapat menemukan lebih banyak celah.”

Penyebaran besar-besaran model berbiaya rendah untuk pemindaian spektrum luas, dalam efisiensi keseluruhan, mungkin lebih baik daripada penjadwalan hati-hati untuk satu model berbiaya tinggi. AISLE menyatakan bahwa sejak pertengahan 2025 mereka telah menjalankan sistem penemuan celah pada target nyata: menemukan 15 CVE di OpenSSL (di mana satu rilis versi keamanan mencakup 12 di antaranya, CVSS 9.8 Critical), 5 di curl, dan total lebih dari 180 CVE terverifikasi eksternal lintas lebih dari 30 proyek.

Di mana parit perlindungan berada, dan di mana tidak

Analisis ini bagi Anthropic bukan kritik menyeluruh maupun sekadar dukungan.

AISLE menyatakan dengan tegas bahwa makna Mythos adalah membuktikan kategori “keamanan siber berbasis AI” itu nyata; itu bukan hanya konsep di lab demonstrasi, melainkan sistem yang bisa beroperasi pada target nyata. Yang sedang dilakukan Anthropic adalah memaksimalkan “kepadatan kecerdasan per token,” yang masih memiliki nilai yang sulit digantikan pada tugas-tugas yang membutuhkan penalaran mendalam.

Namun AISLE sekaligus menyoroti masalah yang lebih mendasar bagi seluruh industri: parit perlindungan ada di sistem, bukan di dalam model itu sendiri.

Dalam bidang keamanan siber, AISLE berpendapat bahwa desain arsitektur yang menanamkan pengetahuan profesional yang mendalam—misalnya: cara memecah tugas, cara menjadwalkan model dengan biaya berbeda antar tugas anak, dan cara menjaga kepercayaan pemelihara di lingkungan produksi—itulah sumber diferensiasi yang sesungguhnya.

Sistem yang bisa menemukan celah dengan CVSS 9.8 di OpenSSL, berbeda dengan sistem yang mendeteksi celah pola yang sudah diketahui dalam demonstrasi terkontrol; yang dibutuhkan bukan sekadar model yang lebih kuat, melainkan logika rekayasa yang sama sekali berbeda.

Kesimpulannya, temuan laporan AISLE adalah: model yang lebih murah dan lebih terbuka sudah mampu mereplikasi sebagian core demo tersebut. Masalah yang sebenarnya mungkin bukan siapa modelnya paling kuat, melainkan siapa yang lebih dulu membuat kelima tugas anak itu berjalan dalam lingkungan produksi.