Корпоративні AI-агенти потребують стрес-тестів, а не рекламних пропозицій.

Абхішек Саксена, керівник відділу стратегії та розвитку, Sentient.

Фінтех рухається швидко. Новини скрізь, ясності немає.

FinTech Weekly збирає ключові історії та події в одному місці.

Натисніть тут, щоб підписатися на розсилку FinTech Weekly

Читають керівники JP Morgan, Coinbase, BlackRock, Klarna та інші.

Корпоративний ШІ має проблему довіри, яку не вирішити жодним маркетингом. Компанії починають впроваджувати автономних агентів у виробничі середовища, де одне невдале рішення може спричинити порушення нормативних вимог, невдалий платіж, помилку в торгівлі, фінансові збитки або репутаційну кризу. І все ж галузевий стандарт оцінки готовності агента до виробництва досі фактично зводиться до демонстрації, яка вражає на сцені.

Запуск Nvidia NemoClaw цього тижня свідчить про те, як швидко автономні агенти переходять від експериментів до корпоративних робочих процесів. Платформа додає важливі засоби безпеки та контролю конфіденційності, включаючи ізольоване середовище (sandboxing) та політичні обмеження. Але безпечне розгортання не дорівнює готовності до виробництва. Складніше питання: чи пройшли ці системи випробування на надійну роботу в умовах невизначеності, крайових випадків та регуляторного тиску.

Створити агента, який може виконати завдання в контрольованому середовищі, відносно просто. Створення агента, який може справлятися з неоднозначністю, відновлюватися після неочікуваних вхідних даних, підтримувати узгодженість серед тисяч одночасних взаємодій і робити все це без порушення нормативних обмежень, є зовсім іншою інженерною проблемою.

Саме ця різниця часто призводить до проблем у корпоративних розгортаннях. Розрив між демонстраційною продуктивністю та виробничою надійністю більший, ніж більшість команд очікує.

Агент, який бездоганно обробляє запит підтримки клієнтів під час тестування, може вигадати політику повернення, якої не існує, коли зіткнеться з крайовим випадком, якого ніколи не бачив. Агент, який керує фінансовими робочими процесами, може ідеально працювати на історичних даних, але приймати катастрофічні рішення, коли ринкові умови виходять за межі його навчального розподілу. Логістичний агент, який координує ланцюг постачання, може досягти успіху в симуляції, але мати труднощі, коли реальні затримки та суперечливі сигнали починають накопичуватися.

Кожен, хто запускав агентів через середовища змагального тестування, швидко розпізнає ці шаблони. Системи працюють — доки не зіткнуться з тим видом невизначеності та тиску, які визначають реальні операції.

Ось чому поточний фокус галузі на створенні більшої кількості фреймворків для агентів пропускає критичну частину пазла. Справжній вузький місце — не те, наскільки швидко компанії можуть створювати агентів. Це те, наскільки впевнено вони можуть їх оцінювати, перш ніж цим агентам буде надано реальну відповідальність.

Те, що потрібно корпоративному ШІ, — це ретельна, систематична інфраструктура стрес-тестування, розроблена спеціально для автономних систем. Це означає навмисне введення тих типів вхідних даних, які ламають агентів у виробництві. Це означає оцінку того, як агенти поводяться в умовах невизначеності, суперечливої інформації та крайових випадків, які не з'являються в чистих наборах контрольних показників. І це означає безперервну оцінку, а не одноразовий тест перед запуском.

Відкритий підхід NemoClaw є кроком у правильному напрямку, оскільки він дає розробникам можливість бачити, як працюють агенти. Ви не можете належним чином тестувати чорну скриньку. Але самої видимості недостатньо. Інфраструктура тестування повинна розвиватися разом із системами, які вона оцінює.

Розробка агентів повинна виходити з того, що режими збоїв неминучі і мають бути виявлені на ранніх етапах. Мета — не довести, що агент працює один раз, а зрозуміти, як він поводиться, коли умови стають непередбачуваними. Такий мисленнєвий підхід змінює те, як оцінюються агенти, як проектуються обмеження та як системи готуються до розгортання в середовищах з високими ставками.

Ставки будуть лише зростати, оскільки агенти переходять від ізольованих завдань до наскрізних робочих процесів. Підприємства вже досліджують агентів, які ведуть переговори щодо контрактів, виконують фінансові транзакції, координують ланцюги постачання та керують складними операційними процесами. Коли ці системи працюють у кількох точках прийняття рішень, вплив однієї помилки може швидко поширитися.

Агент підтримки клієнтів, який зазнає невдачі, втрачає заявку. Фінансовий агент, який зазнає невдачі, може втратити капітал. Операційний агент, який зазнає невдачі, може затримати всю виробничу лінію.
Компанії, які в кінцевому підсумку досягнуть успіху з корпоративним ШІ, будуть не тими, хто розгорнув агентів першими. Вони будуть тими, хто розгорнув агентів, яким вони справді могли довіряти.

Довіра — це не функція, яку ви додаєте в кінці розробки. Це інженерна дисципліна — та, яка починається з того, як системи тестуються, як оцінюється їх поведінка під тиском і як розуміються їх режими збоїв задовго до того, як вони коли-небудь торкнуться виробничого навантаження.

Nvidia дає підприємствам потужні інструменти для створення автономних агентів. Складніше питання — і те, що визначить, чи досягнуть ці системи успіху в реальному світі — чи інвестують організації однаково в інфраструктуру, необхідну для підтвердження готовності цих агентів.

Про автора

Абхішек Саксена є керівником відділу стратегії та розвитку в Sentient, платформі ШІ з відкритим кодом, яка будує інфраструктуру для надійних автономних агентів. Раніше Абхішек обіймав посади в Polygon Technology, Apple та InMobi, а також має ступінь MBA Гарвардської школи бізнесу.