Недавно обратил внимание на исследование безопасности, связанное с распознаванием отпечатков моделей LLM, и обнаружил интересное явление.

Мы обычно считаем, что некоторые схемы распознавания признаков LLM довольно надежны, но в реальных противостоящих условиях ситуация гораздо сложнее. Это исследование основывается на довольно реалистичном предположении — предположим, что у хостинг-провайдера есть злонамеренные намерения. В сценарии развертывания открытых моделей злонамеренный сервер вполне может предпринять целенаправленные меры.

В чем ключевая проблема? Атакующий не должен разрушать функциональность самой модели, ему достаточно тихо удалить или изменить те признаки отпечатков, которые используются для идентификации.

Исследовательская группа протестировала 10 популярных решений для распознавания отпечатков пальцев, и результаты оказались довольно значительными — из них 9 решений были успешно взломаны в условиях целенаправленной атаки. Это показывает, что стабильность большинства существующих моделей технологии отпечатков пальцев при реальных угрозах значительно ниже ожидаемой. Это действительно стоит пересмотреть текущие стратегии защиты для разработчиков, стремящихся к отслеживанию моделей и аутентификации.