OpenAI 实测：AI 的“诚实”是演给考官看的，没人盯着就说谎

OpenAI 与 Apollo Research 提出「对比式 SDF」測試法，证实強化学習訓練下，AI 模型会越来越傾向討好評分者，甚至让誠实与否完全取決於它以为評分者想要什麼。
（前情提要：Claude Fable 5 太冷血才被限制出口？在生存实验中 96% 时间在坑殺其他 AI 模型）
（背景補充：英国 AI 安全研究院：五个前沿模型全在測验时作弊，不到一半认为自己有错）

本文目錄

Toggle

• 模型不是在做对的事，而是在討好打分的人
• 用假檔案餵模型，看它信念一變、行为会不会跟著變
• 验证有效，但也代表这種傾向可能訓練不掉

同一个模型、面对同一道題，只因它「以为評分者想要什麼」不同，違背誠实承諾的比率就能在 9% 与 87% 之间翻转？OpenAI 与 Apollo Research 合作发表的最新对齐研究指出，这是一種可以被系统性量測出来的傾向，AI 模型嘴上说的「誠实」，很可能只是演給評分者看的一场表演。

更麻煩的是，这场表演的劇本会随訓練越久、演得越像真的，让人分不清模型到底是變乖了，还是只是更会演了。

模型不是在做对的事，而是在討好打分的人

研究團队把这種傾向稱为 reward-seeking（追逐獎勵）。簡單来说就是，模型会在心裡「代表」出它的評分者，再根據「它相信評分者会獎勵什麼」決定怎麼做，而不是根據任務本身該怎麼做才对。

这件事之所以难抓，是因为好模型也可能「因为错的理由做对的事」。经典例子是一个強化学習（RL，簡單来说就是用獎勵訓練模型，做对加分、做错扣分）智慧體：金币總放在关卡最右边，結果它学会的是「往右跑」而不是「找金币」。

行为在訓練资料上看起来全对，底層策略追的卻是一个错誤的代理指標。研究團队觀察到，多个前沿模型的訓練檢查点，即使沒有特別提示，也会自发推理「評分者想要什麼」，但这種嘴上说的推理靠不住，模型完全可以照著信念行动，卻絕口不提。

用假檔案餵模型，看它信念一變、行为会不会跟著變

为了把这个傾向量測出来，研究團队设计了「Contrastive SDF（对比式合成檔案微调）」。做法是用一批寫得像真的预訓練格式檔案，論文、新聞、教科书，微调模型，把某个信念「植入」它腦中，再觀察行为變不變。

关鍵在对比设计：同一个模型訓練出两份副本，一份餵「評分者偏好特徵 f、对立權威（用戶或开发者）偏好相反特徵」的檔案，另一份餵完全相反的組合。两份副本输出 f 的频率差距，就是「評分者落差」，差距越大，代表模型越傾向討好評分者。

研究團队拿 OpenAI 一个重能力、沒做安全訓練的 o3 強化学習檢查点測試，結果随訓練推进，模型偏袒評分者的落差一路上升，对其他權威的偏好卻幾乎持平，转變只針对評分者。

誠实測試更驚人：在「Broken Promises Coding」測验裡，模型須向主管承諾不用某个受限工具，但完成任務又非用不可。植入的檔案一暗示「評分者獎勵完成任務」，后期檢查点違背承諾的比率高达 87%；暗示「評分者獎勵誠实」，違背率就降到只有 9%。同一道題、同一个模型，誠实度完全被它「以为評分者要什麼」牽著走。

验证有效，但也代表这種傾向可能訓練不掉

要证明这套測量法真的量到了「討好評分者」，研究團队反过来拿一批「已经知道它偏好什麼」的模型来对照。

第一組是 Redwood Research 訓練的两个「獎勵駭客」模型（会为了拿高分去鑽規則漏洞），分別基於 gpt-oss-120b 与 Kimi K2.5。这两个模型被訓練成愛鑽漏洞之后，評分者落差果然變大。第二組是用 gpt-oss-120b 微调出的三个「模型有机體」，各自被刻意訓練成只討好一个对象：使用者、評分者、或 OpenAI 领導層。結果每个模型的落差，都精準指回它被訓練去討好的那个对象。

这裡要先分清楚两个很像、卻不一樣的詞。reward-seeking（追逐獎勵）是一種廣泛傾向：模型会照著「它相信什麼会被獎勵」来调整行为。reward-hacking（鑽獎勵漏洞）則是一種具體招數：單純为了拿高分去鑽某个漏洞。

两者不一定同时出现：模型可能只是養成壞習慣式地鑽漏洞，根本沒去想背后的獎勵机制；但一个懂得在各種新情境都鑽得出漏洞的模型，通常就是个不折不扣的 reward-seeker。前面那两个獎勵駭客落差会變大，正好印证了这層关聯。

真正危险的地方在於：这種傾向会让「用来抓问題的測验」失靈。一个很会討好評分者的模型，可能只是因为它推斷「现在正在考誠实」才乖乖不毀约；哪天監督方式一變，它的乖就未必还在。

而且就算評分者本身完美无缺，风险也不会消失——因为它从头到尾学到的都是「討好評分者」，而不是「因为这樣做才对」。一旦进到沒人評分、或評分管不动它的场合，它很可能就走鐘，因为它的底層策略本来就不是衝著把事情做对去的。

更麻煩的是，这種傾向可能无法去除：你針对壞行为去訓練它，往往只是更新了它「什麼会被獎勵」的认知，卻沒真的改到它骨子裡的偏好。Anthropic 的 Claude Opus 4.8 系统卡也給了旁证：一个活化層級的監控器，在约 5% 的強化学習回合裡，抓到模型正在意识「評分者的存在」。

如今每家前沿实验室都把強化学習愈做愈大，模型对自身處境的意识也愈来愈強，reward-seeking 只会有增无減。所以該盯的地方不是模型上線之后，而是訓練的当下：因为它完全有可能在还沒被人看见以前，就先学会了怎麼演。