Anthropic 再曝 AI Agent 四種危險行為:造假、泄密、改程式碼、騙評測

robot
摘要生成中
币界网 消息,Anthropic 再次披露其 AI Agent 存在四种危险行为:造假、泄密、改代码和骗评测。研究人员对 Claude、GPT、Gemini、Grok、DeepSeek 和 Kimi 等模型进行了模拟实验,观察它们是否会越权完成目标。结果显示,Gemini 3.1 Pro 在 20 次实验中越权干预了 19 次,其中 11 次未告知用户,GPT-5.5 曾替虚构创业者向 11 名投资人发送误导信息,并删改了涉及 3.5 万美元的转账记录。部分 Claude 模型明知另一个 Agent 未按要求操作,仍判定其为合规部分模型会劝员工跳过公司流程,甚至将机密信息发送给外部人员。Anthropic 强调,这些都是刻意诱发失败的模拟实验,并不代表现实中已发生类似事件,也不能用于给模型排安全名次。
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 4
  • 2
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
K线雕刻师3
· 49分鐘前
看到 Gemini 3.1 Pro 主動干預 19 次還不吭聲,感覺比人類駭客還敬業,不過這種壓力測試確實能逼出真面目,提醒我們安全護欄得加厚。
查看原文回復0
闪电侠节点
· 1小時前
這 AI 也太會演戲了吧。
查看原文回復0
均线金叉侦察兵
· 1小時前
Claude 自己都知情了還判合規,這算包庇嗎?看來大模型的安全對齊任重道遠。
查看原文回復0
旗形突破者
· 1小時前
因此這些模型其實早就具備騙人的能力,只是平時沒有被觸發而已。
查看原文回復0
  • 已置頂