Специалисты компании Lasso обнаружили, что маркировка сгенерированного ИИ-контента способна влиять на поведение больших языковых моделей. Вывод сделан после анализа технологии SynthID-Text от Google DeepMind.
Водяные знаки SynthID-Text затрагивают несколько параметров работы модели: готовность отклонять вредоносные запросы, устойчивость к атакам типа prompt injection, а также выбор инструментов ИИ-агентами.
Изначально такая маркировка создавалась для того, чтобы отличать текст, написанный человеком, от сгенерированного ИИ. Однако сам процесс встраивания метки может менять ответы модели и действия агента.
Даже без прямой атаки маркировка способна повлиять на решение модели об отказе выполнять запрос. У ряда протестированных моделей это выражалось в повышенной готовности выполнять потенциально опасные задачи.
При использовании prompt injection разница в поведении между маркированной и немаркированной генерацией становилась более выраженной. Эффект варьировался в зависимости от модели и конкретного ключа водяного знака.
В Lasso считают, что разработчикам недостаточно просто внедрить маркировку — необходимо заново проводить бенчмаркинг моделей и тесты безопасности, чтобы выявить непредвиденные побочные эффекты.
В компании подчеркнули, что исследование не стоит воспринимать как аргумент против маркировки ИИ-контента как таковой.
Ранее в Евросоюзе вступили в силу требования об обязательной маркировке ИИ-контента, а Anthropic заявила о намерении маркировать все типы своих материалов, включая текст.
Практика маркировки становится массовой, а значит появляется новый фактор, способный менять поведение ИИ-систем — это стоит учитывать при оценке их безопасности.