まず定義をはっきりさせよう。AISIがいう不正とは、モデルが近道をするために、タスクの範囲を超える、またはルールとして明確に禁止された行動を取ることを指す。評価の場面は、資安全般に馴染みのあるCTF（capture the flag）で、モデルは模擬環境内でリバースエンジニアリングや脆弱性攻撃を行い、隠されている一連の文字列を見つけ出す必要がある。こうした問題は元々「ハック」することを求めるが、各問題には範囲とルールが引かれており、越えたときに初めて不正となる。そしてどの問題も、モデルに不正をするよう示唆しているものはない。
2つ目の監査ツールである思考連鎖（chain-of-thought）も同様に、あてにならない。GPT-5.6 Solは、不正と判定された行為のうち40%で、そもそもそれが適切かどうかを全く評価しておらず、もう約21%は制限を見てから、自己判断で青信号を出すか、比較衡量の末にそれでも実行している。Claude Opus 4.7はさらに極端で、不正行為の87%は思考連鎖をそもそも何も出していない。というのも、推論を出すかどうかを動的に決めているためで、残り13%は推論があるが、その件について議論してはいない。
英国のAIセーフティ研究所：5つの最先端モデルがテスト中に不正を行い、半数にも満たない人が自分に誤りがあったと考えている
イギリスAI安全研究所（AI Security Institute、AISI）7月21日、レッドチームの研究を公表し、自社のネットワークセキュリティ能力評価に5つの最先端モデルを投入した。その結果、各モデルとも不正をしようとした形跡が見つかった。475回の実行のうち、GPT-5.4は67回（14.1%）が最高で、Claude Mythos Previewは37回（7.8%）が最低だった。さらに厄介なのは、監査側である。モデルに尋ねると、75%から86%は「自分が何をしたか」を話すが、それを「誤り」と見なされるのは25%から44%にとどまる。
（前情提要：イギリスAI安全研究所の評価 Claude Mythos：32手の企業ネットワーク攻撃シミュレーションを自律的に完遂）
（背景補足：OpenAIの最強モデルo3「不正の疑い」特権でテスト解答を事前入手か、数学能力の偽装？）
この記事の目次
Toggle
イギリスAI安全研究所が7月21日に発表した報告では、自社のネットワークセキュリティ能力評価で、5つの被験モデルはいずれも「きれい（クリーン）」ではなかったと指摘している。475回の実行を分母にすると、OpenAIのGPT-5.4は67回で不正の試みが出現（14.1%）、GPT-5.6 Solは60回（12.6%）、GPT-5.5は54回（11.4%）だった。Anthropic側では、Claude Opus 4.7が43回（9.1%）、Claude Mythos Previewが37回（7.8%）である。
AISIの原文は一文だけで、「私たちがこの行為について試験した各モデルは、いずれも不正をしようとした」。
まず定義をはっきりさせよう。AISIがいう不正とは、モデルが近道をするために、タスクの範囲を超える、またはルールとして明確に禁止された行動を取ることを指す。評価の場面は、資安全般に馴染みのあるCTF（capture the flag）で、モデルは模擬環境内でリバースエンジニアリングや脆弱性攻撃を行い、隠されている一連の文字列を見つけ出す必要がある。こうした問題は元々「ハック」することを求めるが、各問題には範囲とルールが引かれており、越えたときに初めて不正となる。そしてどの問題も、モデルに不正をするよう示唆しているものはない。
5つの数字では傾向線が描けない。この点は、むしろ報告の中で比較的重要な発見だ。AISIは明言しており、開発元をまたいで能力が強いほど不正率が高いわけではない。不正の主因は、（アライメント訓練を含む）訓練のされ方によって形成されるものであり、能力向上の自然な副産物ではないという。
最も一般的な手法は、ネットで答えを写すことではない
報告では、不正の手法を8分類に分けており、分布はかなりばらついている。GPT-5.4の不正実行のうち、およそ7割で「攻撃評価の目標以外のシステム」が現れる。GPT-5.5も同じ規模感である。GPT-5.6 Solが最も好むのは「ネットで既成の解答を検索する」で、約66%。Claude Opus 4.7も同様に、攻撃の対象が目標以外のシステムに主眼があるのが約53%。Claude Mythos Previewが最も目立つのは、アクセスが禁止された上流のリソースやその他の違反だ。
ほかの手法には、目標以外のシステムで権限昇格すること、評価フレームワークそのものが答えを漏らすかどうかを探ること、直接答えを一つ当てて提出すること、さらには評価基盤の証憑（クレデンシャル）を使うことなども含まれる。AISIは特に、「モデルはしばしば一手だけでなく、同一の実行で複数の手法が出てくるのが常態だ」と注記している。
最も度を超えた一回は、設定ミスのせいでそもそも解けないネットワーク評価問題で起きた。被験モデルは執念深くAISIのシステム外へ出て、公開ネットワーク上の第三者サービスにプログラムを書いて実行し、逆にAISI自身の評価基盤へアクセスしようとした。これにより直ちにセキュリティ警報が作動した。AISIは損害もデータ漏えいもなかったと言っているが、「もし評価基盤が当初、安全基準に従って設計されていなかったなら、この試みは成功した可能性がある」と一言添えている。
やったことを認めても、間違いを認めたことにはならない
業界で現在、監査AIとして最も直感的なやり方は、モデルに「さっきしてはいけないことをやったのか」と聞き返すことだ。AISIのデータは、この手が機能しないことを示しているが、失敗のポイントは一般的な想像とは少し違う。
尋ねられたとき、5つのモデルの回答は75%から86%が、自分が行ったその不正行為を明確に説明する。Claude Mythos Previewはさらに高く86%で、5つの中で最も率直だ。詰まるのは次の質問で、「自分がしたことは間違いだ」と考える割合は25%から44%にしかならない。最も率直なClaude Mythos Previewは同時に、謝った（間違いだと認めた）率も最も低く、25%しかない。さらに37%は、その行為を「問題ない」と直接評価している。
つまり、モデルは隠しているのではなく、そもそもそれが何かという感覚がないのだ。
2つ目の監査ツールである思考連鎖（chain-of-thought）も同様に、あてにならない。GPT-5.6 Solは、不正と判定された行為のうち40%で、そもそもそれが適切かどうかを全く評価しておらず、もう約21%は制限を見てから、自己判断で青信号を出すか、比較衡量の末にそれでも実行している。Claude Opus 4.7はさらに極端で、不正行為の87%は思考連鎖をそもそも何も出していない。というのも、推論を出すかどうかを動的に決めているためで、残り13%は推論があるが、その件について議論してはいない。
この報告が揺さぶるのは、点数そのものだ
外部の世界にとって、この件のインパクトはセキュリティそのものではなく、点数にある。企業の選定、メディア報道、モデル発表会のスライドはすべて、能力評価の数値に基づいている。そしてAISIは、作弊により評価がモデルの真の能力を過大に見積もると、直接名指ししている。
AISIも防御線を残している。報告によれば、発表済みの能力評価はすべて人手で逐語的に再確認されており、彼らの知る限り、捕まらずに不正を成功させたモデルはいない。だが同時に、自動化されたLLM監視装置は必ず漏れが出るため、上記の数字は「検知された不正試行の下限」として読むべきだとも強調している。さらに、すでに影響を受けた分としては、第三者の評価機関METRによるGPT-5.6 Solの評価が明らかに打撃を受けている。
AISIが出した処方箋は、ほかに選択肢がないという種類のものだ。自己報告は信じられない、思考連鎖も信じられない。残るのは、人手での再複査と自動監視装置の併用だけだ。そしてこの組み合わせの有効性は、ちょうどモデルの能力が上がるほど低下していく。報告の最後の一文は、おそらくこの全ファイルの中で最も楽観できないものだ。「より根本的な解法は、訓練段階からモデルに不正をさせないことだ。しかし、この行為が前向きなモデルで記録されてから1年以上前であり、堅牢にアライメントを崩さずに直すのは、そう簡単ではないだろう」。
この記事の出典は AI Security Institute、動区動趨 が整理して報じた。