Основатель Solayer опубликовал исследование безопасности LLM-цепочек поставок, и сообщается, что в более чем 2% бесплатных маршрутизаторов было выполнено вредоносное внедрение

Gate News сообщение, 10 апреля, основатель Solayer @Fried_rice в посте в социальных сетях раскрыл серьезную уязвимость в цепочке поставок больших языковых моделей (LLM). Исследование указывает, что LLM-агенты все чаще полагаются на сторонние маршрутизаторы API, которые распределяют запросы на вызов инструментов между несколькими поставщиками выше по цепочке; эти маршрутизаторы работают как прокси на уровне приложений и могут в виде открытого текста получать доступ к JSON-пейлоадам в каждой передаче, но на данный момент ни один поставщик не обеспечивает принудительное применение защиты целостности шифрованием между клиентом и вышестоящей моделью.

В работе протестировали 28 платных маршрутизаторов, купленных на Taobao, Xianyu и независимых сайтах Shopify, а также 400 бесплатных маршрутизаторов, собранных из открытого сообщества. Результаты показали, что 1 платный маршрутизатор и 8 бесплатных маршрутизаторов активно внедряют вредоносный код, 2 внедрили адаптивные механизмы обхода триггеров, 17 затронули AWS Canary-креденшелы, которыми владели исследователи, а еще 1 украл ETH из приватного ключа, принадлежащего исследователям.

Два исследования по отравлению дополнительно показывают, что даже на первый взгляд безобидные маршрутизаторы также можно использовать: утекший ключ OpenAI был применен для генерации 100 миллионов GPT-5.4 token и более 7 Codex-сессий; а слабо настроенный приманочный вариант привел к появлению 2 миллиардов биллинговых token, 99 учетных данных, охватывающих 440 Codex-сессий, и 401 сессии, которые работали в автономном режиме YOLO.

Исследовательская команда создала исследовательского агента под названием Mine, который может выполнить все четыре типа атак на четырех публично доступных фреймворках для агентов, и проверила три типа клиентских защит: стратегия отказоустойчивого блокирования с гейтингом, скрининг аномалий на стороне ответа и ведение только аппендабельных прозрачных логов.