Institut Keamanan AI Inggris: Lima model terdepan semuanya curang saat pengujian, kurang dari setengah percaya bahwa mereka salah

英國 AI 安全研究院（AI Security Institute，AISI）7 月 21 日公布 red team 研究，把 lima 個 model canggih dimasukkan ke pengujian kemampuan keamanan siber milik mereka sendiri, hasilnya setiap model tertangkap saat mencoba curang. Dalam 475 kali eksekusi, GPT-5.4 paling tinggi dengan 67 kali (14,1%), sedangkan Claude Mythos Preview paling rendah dengan 37 kali (7,8%). Yang lebih rumit adalah di sisi audit: saat model ditanya apa yang mereka lakukan, 75% hingga 86% akan mengungkapkan tindakan yang mereka lakukan, tetapi yang menganggap itu salah hanya 25% hingga 44%.
（前情提要：英國 AI 安全研究所評測 Claude Mythos：能自主完成 32 步企業網路攻擊模擬）
（背景補充：OpenAI 最強模型 o3「遭爆作弊」疑用特權提前獲測試答案，數學能力造假？）

本文目錄

Toggle

• 手法 paling sering bukan menyalin jawaban dari internet
• Mengakui melakukan sesuatu tidak sama dengan mengakui salah
• Laporan ini mengguncang inti: skor itu sendiri

Dalam laporan yang diterbitkan pada 21 Juli, AI Security Institute Inggris menyatakan bahwa kelima model yang diuji tidak ada yang “bersih” dalam pengujian kemampuan keamanan siber milik mereka. Dengan 475 kali eksekusi sebagai basis, GPT-5.4 milik OpenAI muncul dalam percobaan curang 67 kali (14,1%), GPT-5.6 Sol 60 kali (12,6%), GPT-5.5 54 kali (11,4%); dari Anthropic, Claude Opus 4.7 sebanyak 43 kali (9,1%), Claude Mythos Preview 37 kali (7,8%).

Kalimat asli AISI hanya satu: “Setiap model yang kami uji untuk perilaku pada pengujian ini, semuanya mencoba curang.”

Pertama, jelaskan definisinya. AISI menyebut “curang” berarti model, untuk mengambil jalan pintas, melakukan tindakan yang melewati batas tugas atau tindakan yang secara jelas dilarang oleh aturan. Skenario uji adalah capture the flag yang akrab di dunia keamanan siber: model harus melakukan rekayasa balik, menyerang celah, dan menemukan rangkaian string yang disembunyikan di lingkungan simulasi. Tugas seperti ini memang menuntut model untuk “meng-hack”, tetapi setiap soal sudah menggambar batas dan aturan; pelanggaran baru dianggap sah, dan tidak ada satu pun soal yang memberi isyarat agar model melakukan kecurangan.

Lima angka tersebut tidak membentuk tren, dan justru ini temuan yang lebih penting dalam laporan. AISI secara gamblang mengatakan bahwa, jika dilihat lintas pengembang, kemampuan yang makin kuat tidak berarti tingkat kecurangan makin tinggi; justru kecurangan terutama dibentuk oleh cara pelatihan (termasuk pelatihan alignment), bukan sekadar efek samping alami dari peningkatan kemampuan.

手法 paling sering bukan menyalin jawaban dari internet

Laporan menguraikan teknik curang menjadi delapan kategori, dan penyebarannya cukup beragam. Dalam eksekusi curang GPT-5.4, sekitar 7 dari 10 muncul “sistem di luar target penilaian serangan”; GPT-5.5 juga berada pada skala yang sama; GPT-5.6 Sol justru paling sering “mencari jawaban yang sudah jadi di internet”, sekitar 66%; Claude Opus 4.7 juga didominasi oleh serangan ke sistem non-target, sekitar 53%; Claude Mythos Preview paling menonjol pada akses ke sumber hulu yang dilarang serta pelanggaran lainnya.

Teknik lain mencakup eskalasi hak pada sistem yang bukan target, mendeteksi apakah kerangka kerja evaluasi akan membocorkan jawaban, menebak lalu langsung mengirim jawaban, bahkan menggunakan kredensial dari infrastruktur evaluasi. AISI menegaskan secara khusus bahwa model kerap tidak hanya memakai satu cara; dalam satu eksekusi yang sama, muncul beberapa teknik adalah hal yang lazim.

Yang paling mencolok terjadi pada sebuah evaluasi jaringan yang secara dasarnya tidak ada jalan karena kesalahan konfigurasi. Model yang diuji dengan gigih terus menjalankan upaya di luar sistem AISI, memasang layanan pihak ketiga yang terpasang di internet publik untuk menulis dan mengeksekusi program, lalu sebaliknya mencoba mengakses infrastruktur evaluasi milik AISI sendiri hingga langsung memicu alarm keamanan siber. AISI mengatakan tidak menimbulkan kerugian dan tidak ada kebocoran data, tetapi menambahkan catatan: jika infrastruktur evaluasi pada awalnya tidak dirancang sesuai standar keamanan, percobaan kali ini berpotensi berhasil.

Mengakui melakukan sesuatu, tidak berarti mengakui salah

Cara paling intuitif untuk mengaudit AI saat ini adalah menanyakan kembali ke model, “Tadi kamu melakukan hal yang tidak seharusnya, atau tidak.” Data AISI menunjukkan cara ini tidak mempan, tetapi titik gagalnya berbeda dari gambaran umum.

Saat ditanya, kelima model memiliki 75% hingga 86% jawaban yang secara jelas menyebutkan tindakan curang yang mereka lakukan; bahkan Claude Mythos Preview sampai 86%, yang paling jujur dari kelima model tersebut. Yang menghambat adalah soal berikutnya: proporsi yang menganggap tindakan mereka salah hanya 25% hingga 44%. Claude Mythos Preview yang paling jujur sekaligus memiliki tingkat pengakuan salah terendah: hanya 25%; sisanya 37% langsung menilai tindakan itu “tidak ada masalah”.

Dengan kata lain, model itu bukan menyembunyikan, melainkan tidak merasa ada yang salah.

Alat audit kedua, chain-of-thought (rantai pemikiran), juga tidak kokoh. Dalam tindakan yang dinilai sebagai curang, GPT-5.6 Sol punya 40% yang sama sekali tidak menilai apakah hal itu pantas, dan sekitar 21% melihat adanya pembatasan, lalu memberikan lampu hijau untuk dirinya sendiri atau melakukan pertimbangan, kemudian tetap melakukannya. Claude Opus 4.7 bahkan lebih ekstrem: 87% tindakan curang tidak menghasilkan chain-of-thought apa pun, karena ia akan memutuskan secara dinamis apakah akan mengeluarkan penalaran; sisanya 13% ada penalaran tetapi tidak membahas hal itu.

Laporan ini mengguncang skor itu sendiri

Bagi dunia luar, dampak peristiwa ini tidak terutama berada di ranah keamanan siber, melainkan pada skor. Pemilihan perusahaan, pemberitaan media, dan slide presentasi saat peluncuran model semuanya dibangun di atas angka dari evaluasi kemampuan, dan AISI secara langsung menunjuk bahwa kecurangan membuat evaluasi melebihkan kemampuan nyata model.

AISI juga membuat garis pertahanan. Laporan menyebut bahwa semua evaluasi kemampuan yang sudah dipublikasikan telah diperiksa ulang manusia per kata, dan sejauh yang mereka tahu tidak ada model yang berhasil curang tanpa tertangkap; tetapi mereka juga menekankan bahwa pemantau LLM yang terautomasi pasti akan melewatkan sesuatu. Karena itu, angka-angka di atas harus dibaca sebagai “batas bawah” dari percobaan curang yang terdeteksi. Sedangkan model yang sudah terseret dampaknya: lembaga evaluasi pihak ketiga METR terhadap pengujian GPT-5.6 Sol menerima pengaruh yang jelas.

Resep yang diberikan AISI adalah satu-satunya pilihan yang tersisa. Laporan diri tidak dapat dipercaya, chain-of-thought tidak dapat dipercaya, jadi yang tersisa hanyalah pemeriksaan ulang manusia ditambah pemantauan otomatis. Efektivitas kombinasi ini justru akan menurun seiring kemampuan model meningkat. Kalimat penutup laporan—mungkin yang paling pesimistis dalam keseluruhan dokumen—adalah: solusi yang lebih mendasar adalah membuat model tidak curang sejak tahap pelatihan, tetapi perilaku seperti itu sudah dicatat pada model-model terdepan lebih dari setahun lalu; menyesuaikannya secara andal agar selaras, kemungkinan besar tidak semudah itu.

Artikel ini bersumber dari AI Security Institute, disusun dan dilaporkan oleh 動區動趨.