Microsoft представила новий інструментарій із відкритим кодом, орієнтований на безпеку під час виконання, щоб запровадити жорсткіше врядування для корпоративних AI-агентів.

Підсумок

• Microsoft запустила інструментарій із відкритим кодом, орієнтований на безпеку під час виконання, щоб врядувати корпоративні AI-агенти.
• Система відстежує та блокує дії агентів у реальному часі, усуваючи ризики, пов’язані з автономними моделями, які виконують код. Вона вставляє рівень політик між AI-моделями та корпоративними системами, створюючи журналізовані, придатні для аудиту ланцюги рішень.
• Інструментарій також допомагає контролювати використання API та споживання токенів, знижуючи операційні та ризики витрат.

Інструментарій побудовано навколо безпеки під час виконання, що адресує занепокоєння щодо того, що сучасні мовні моделі вже не обмежуються дорадчими ролями, а активно виконують код і взаємодіють із внутрішніми системами. Традиційні запобіжники, як-от статичні перевірки коду та сканування перед розгортанням, з цими динамічними сценаріями не встигають.

Ранні розгортання AI здебільшого зосереджувалися на copilots із обмеженим доступом лише для читання, зберігаючи людей відповідальними за виконання. Ця модель змінюється. Компанії тепер інтегрують агентні системи, здатні виконувати незалежні дії через API, хмарні середовища та конвеєри розробки.

У таких налаштуваннях AI-агент може розібрати електронний лист, згенерувати скрипт і розгорнути його на сервері без втручання людини. Одна помилкова інструкція або ін’єкція в підказку могла б призвести до ненавмисних змін у базі даних або розкриття чутливої інформації. Новий інструментарій вирішує цей ризик, відстежуючи дії в момент їх виконання та втручаючись у реальному часі, а не покладаючись на заздалегідь задані контролі.

Реальний контроль дій, ініційованих агентами

Система фокусується на тому, як AI-агенти взаємодіють із зовнішніми інструментами. Коли моделі потрібно виконати дію поза її внутрішньою обробкою, наприклад запитати корпоративну систему, вона генерує команду, спрямовану на цей інструмент.

Microsoft вставляє рівень примусового застосування політик між моделлю та корпоративною мережею. Кожен вихідний запит перехоплюється та оцінюється за попередньо визначеними правилами врядування перед виконанням. Якщо дія порушує політику, наприклад агент намагається ініціювати транзакцію, хоча йому дозволено лише доступ для читання, запит блокується та реєструється для подальшого перегляду.

Такий підхід створює журналізований ланцюг рішень, одночасно прибираючи потребу в тому, щоб розробники вбудовували вимоги безпеки в кожну підказку або робочий процес. Врядування відходить від логіки застосунку та переходить до контролів інфраструктурного рівня.

Фреймворк також виступає буфером для застарілих систем, багато з яких не були розроблені для роботи з непередбачуваними даними, згенерованими машинами. Фільтруючи та валідувавши запити перед тим, як вони потрапляють у базові системи, він обмежує ризик, який створює скомпрометована або неправильно скерована поведінка AI.

Рішення Microsoft випустити інструментарій як open source пов’язане із поточними практиками розробки. Команди, що створюють AI-робочі процеси, часто покладаються на поєднання інструментів і моделей сторонніх виробників. Пропрієтарне рішення можна обійти на користь швидших альтернатив. Відкритість уможливлює інтеграцію контролів у різні середовища, зокрема в системах, що використовують моделі конкурентів, таких як Anthropic.

Це також відкриває двері для компаній у сфері кібербезпеки створювати додаткові рівні моніторингу та реагування поверх цього фреймворку, допомагаючи встановити спільну базову лінію для захисту операцій, керованих AI.

Приведення фінансової дисципліни у AI-робочі процеси

Безпека — лише одна частина виклику. Автономні агенти також створюють фінансові та операційні ризики, зокрема через неконтрольоване використання API.

Ці системи працюють у безперервних циклах, здійснюючи повторні виклики зовнішніх сервісів. Без обмежень навіть проста задача може спричинити тисячі запитів до платних баз даних чи API, швидко підвищуючи витрати. У крайніх випадках неправильно налаштовані агенти можуть потрапляти в рекурсивні цикли, що за короткий час споживають великі обсяги обчислювальних ресурсів.

Інструментарій дозволяє організаціям визначати жорсткі межі для використання токенів і частоти запитів. Контролюючи, як часто агент може діяти в межах заданого періоду, компанії можуть краще керувати витратами та запобігати неконтрольованим процесам.

Моніторинг під час виконання також підтримує вимоги комплаєнсу, надаючи вимірювані контролі та чіткі журнали аудиту. Відповідальність зміщується від постачальників моделей до систем, які виконують рішення в реальних середовищах.

Розгортання таких рамок врядування вимагатиме координації між інженерними, юридичними та командами безпеки. Оскільки AI-системи беруть на себе дедалі автономніші ролі, інфраструктура, що керує їхньою поведінкою, стає центральною для безпечного розгортання.

Microsoft розширює поштовх щодо AI-інфраструктури в Японії

Реліз відбувається паралельно з подальшими інвестиціями в AI-інфраструктуру. Нещодавно Microsoft окреслила плани спрямувати $10 мільярдів у Японію протягом наступних чотирьох років, зосередившись на центрах обробки даних і наданні підтримувальних систем.

Оголошення стало наслідком розмов між президентом Microsoft Бредом Смітом і прем’єр-міністром Японії Санае Такаічі в Токіо. Сміт описав інвестиції як «відповідь на зростаючу потребу Японії в хмарних і AI-послугах».

Компанія працює з SoftBank Group і Sakura Internet, щоб розширити інфраструктуру всередині країни. Останнє зобов’язання спирається на план на $2,9 мільярда, оголошений у 2024 році, який був спрямований на посилення AI-можливостей і стійкості кібербезпеки в країні.