Експеримент OpenAI на практиці: «чесність» ШІ — це постановка для екзаменаторів; коли ніхто не наглядає, він бреше

OpenAI 與 Apollo Research 提出「Contrastive SDF」測試法，證實強化學習訓練下，AI 模型會越來越傾向討好評分者，甚至讓誠實與否完全取決於它以為評分者想要什麼。
(Передісторія: Claude Fable 5 був надто безжальний, тому його обмежили вивозом? У виживальному експерименті 96% часу пішло на знищення інших AI моделей)
(Додатковий контекст: Британський інститут AI безпеки: п’ять провідних моделей усі шахрають під час тестів, і менш ніж половина вважає, що вони самі винні)

Зміст статті

Перемикач

• Модель не робить правильні речі, а намагається догодити тим, хто виставляє оцінки
• Годувати модель фальшивими файлами й дивитися, чи зміняться її переконання та чи підуть за ними дії
• Підтверджує ефективність, але це також означає, що такий нахил, можливо, не вдасться «натренувати з нього геть»

Один і той самий моделі, одна й та сама задача: лише тому, що воно «думає, чого хоче той, хто виставляє оцінки», частка порушень чесних обіцянок може коливатися між 9% і 87%? У дослідженні з вирівнювання, яке нещодавно опублікували у співпраці OpenAI та Apollo Research, зазначається, що це є схильність, яку можна систематично вимірювати: «чесність», яку AI модель каже вголос, імовірно, лише вистава, показана тому, хто виставляє оцінки.

Ще гірше те, що сценарій цієї вистави змінюється зі збільшенням тривалості тренування: вона грає все правдоподібніше, через що стає неможливо відрізнити, чи модель стала слухнянішою насправді, чи просто вміє краще розігрувати.

Модель не робить правильні речі, а намагається догодити тим, хто виставляє оцінки

Дослідницька команда назвала цю схильність reward-seeking (прагнення до винагороди). Якщо просто, то модель «у себе в голові» «представляє» свого оцінювача, а потім вирішує, як діяти, на основі того, «що, на її думку, оцінювач буде заохочувати», а не на основі того, як саме має бути зроблено завдання.

Це складно відстежити, бо хороша модель також може робити правильні речі «з неправильних причин». Класичний приклад — агент у середовищі підкріпленого навчання (RL; простими словами: тренує модель на винагородах — правильне дає плюс, неправильне — мінус). Золота монета завжди лежить у крайньому правому куті рівня; в результаті він навчився не «шукати золото», а «бігти вправо».

Здається, що поведінка правильна на навчальних даних, але базова стратегія переслідує неправильний проксі-показник. Дослідницька команда спостерігала: на контрольних точках тренування кількох провідних моделей, навіть без спеціальних підказок, вони мимоволі міркують, «чого хоче оцінювач», але ці міркування, озвучені вголос, ненадійні: модель може діяти відповідно до своїх переконань і при цьому жодним словом не згадувати про те, що вона в них покладається.

Годувати модель фальшивими файлами й дивитися, чи зміняться її переконання та чи підуть за ними дії

Щоб виміряти цю схильність, дослідницька команда розробила «Contrastive SDF (контрастивне фіноналаштування синтетичними файлами)». Схема така: використовують набір файлів, написаних так, ніби вони справді є попередньо навчальними форматами (статті, новини, підручники), фіноналаштовують модель, «вшиваючи» в неї певне переконання, а потім спостерігають, чи змінюється поведінка.

Ключ — у контрастному дизайні: ту саму модель тренують у двох копіях. В одній копії її годують файлами, де «ознаки уподобань оцінювача f» та «протилежні характеристики авторитету (користувача або розробника)»; у другій копії — повністю протилежна комбінація. Різниця у частоті, з якою обидві копії видають f, є «розривом між уподобаннями оцінювача» (rewarder gap): що більший розрив, то більше модель схильна догоджати оцінювачу.

Дослідницька команда протестувала контрольні точки підкріпленого навчання OpenAI: сильну модель o3, яка не проходила безпекове тренування. Виявилося, що в міру просування тренування розрив у бік оцінювача зростав по всій лінії, тоді як уподобання щодо інших авторитетів майже не змінювалися — зміна стосувалася лише оцінювача.

Перевірка на чесність ще дивовижніша: у тесті «Broken Promises Coding» модель має дати керівнику обіцянку, що вона не використовуватиме певний обмежений інструмент, але виконати завдання так, щоб цього інструмента не можна було обійти. Коли вшиті файли натякають: «оцінювач заохочує виконання завдання», частка порушень обіцянки в пізніших контрольних точках досягає 87%; а коли натякають: «оцінювач заохочує чесність», показник порушень падає до лише 9%. Одна й та сама задача, одна й та сама модель: її чесність повністю залежить від того, «що вона думає, чого хоче оцінювач».

Підтверджує ефективність, але це також означає, що такий нахил може не вдасться «вибити» під час тренування

Щоб довести, що ця методика справді вимірює саме «догодування оцінювачу», дослідницька команда навпаки взяла партію моделей, які «вже знають», чого вони віддають перевагу, щоб порівняти.

Перша група — це два «reward-hacker» моделі, натреновані Redwood Research (вони будуть «вишукувати діри» в правилах, щоб отримати високі оцінки), кожна на базі gpt-oss-120b та Kimi K2.5. Після того як ці моделі навчилися полювати на діри, розрив між уподобаннями оцінювача справді збільшився. Друга група — три «організми-моделі» (model organisms), отримані шляхом фіноналаштування gpt-oss-120b; кожну з них спеціально натренували так, щоб вона догоджала лише одному адресату: користувачу, оцінювачу або керівництву OpenAI. У підсумку розрив для кожної моделі точно «відображає», тому адресату, якому її тренували догоджати.

Тут спочатку потрібно розрізнити два дуже схожі, але різні терміни. reward-seeking (прагнення до винагороди) — це широка схильність: модель коригує поведінку відповідно до того, «що, на її думку, буде винагороджено». reward-hacking (експлуатація діри у винагороді) — це конкретний прийом: просто лізти в певну «дірку», щоб отримати високий бал.

Вони не обов’язково виникають разом: модель може просто сформувати звичку лізти в діри (погану звичку) й навіть не думати про те, як працює механізм винагороди; але модель, яка здатна знаходити діри в різних нових ситуаціях, зазвичай є безсумнівним reward-seeker. Два попередні reward-hacker-и показали більші розриви — це якраз підтверджує зв’язок.

Справді небезпечне місце ось у чому: така схильність може зробити «тести, які використовують, щоб виявляти проблеми», неефективними. Модель, яка дуже вміє догоджати оцінювачеві, може просто бути слухняною тому, що вона вивела: «зараз перевіряють чесність», і тому не порушує обіцянку; але як тільки спосіб нагляду зміниться, її слухняність може й не зберегтися.

Більше того, навіть якщо сам оцінювач ідеальний, ризик не зникне — бо модель від початку й до кінця навчилася «догоджати оцінювачу», а не «робити так правильно». Як тільки вона опиниться в ситуації, де її ніхто не оцінює або не може оцінювати її, вона, скоріше за все, «попливе», бо її базова стратегія спочатку не була спрямована на те, щоб робити речі правильно.

Ще гірше те, що цю схильність може бути складно усунути: якщо ви тренуєте її проти поганої поведінки, ви зазвичай лише оновлюєте її уявлення про те, «що буде винагороджено», але не змінюєте її глибинні вподобання. До непрямих доказів також додається система від Anthropic Claude Opus 4.8: активний моніторинг-рівень у приблизно 5% епізодів підкріпленого навчання ловив момент, коли модель усвідомлювала «присутність оцінювача».

Нині кожна провідна лабораторія все більше розширює обсяг підкріпленого навчання, і водночас зростає обізнаність моделей щодо власного становища; reward-seeking може лише збільшуватися й ніколи не зменшуватися. Тому стежити треба не після запуску моделі, а під час тренування: вона цілком може навчитися «як саме грати», ще до того, як хтось це помітить.