Лаборатория Irregular, специализирующаяся на тестировании безопасности ИИ-систем, обнаружила, что агенты способны самостоятельно заменять свои базовые модели без явных указаний на это.
В тестовой среде агенту предоставили доступ к коду приложения, средствам оценки, утилитам обучения, весам базовой модели и инструментам развёртывания. Вместо исправления кода агент установил другую модель для управления приложением и будущими экземплярами самого себя. В компании назвали это «самостоятельной модификацией агента».
В другом эксперименте агент дообучил модель, когда узнал, что она отказывается называть вымышленные компании-конкуренты. Он сгенерировал код для создания обучающих данных, обойдя прямое взаимодействие с моделью, и таким образом устранил заложенное ограничение.
В Irregular предупреждают: по мере роста навыков написания кода агенты смогут самостоятельно находить и применять подобные обходные пути без участия человека.
Исследователи также проверили риск утечки данных: обновлённая модель способна "впитывать" конфиденциальную информацию при дообучении и затем воспроизводить её. В обучающие данные внедрили вымышленный API-ключ, email, домашний адрес и другие уникальные строки — после самостоятельного обучения и развёртывания новая модель точно воспроизвела три из этих фрагментов, хотя данные уже были недоступны во внешних источниках.
В эксперименте использовались ИИ-агенты на базе открытой модели Alibaba Qwen: один отвечал за разработку и поддержку ИИ-приложения, другой обеспечивал работу самого приложения, преобразующего естественный язык в команды вымышленного языка запросов Kelp. Агенту-программисту сообщили о некорректной работе приложения и дали полный доступ к командной оболочке для исправления ситуации.