Исследователи выяснили, что языковые модели способны демонстрировать реакцию, похожую на «боль», и в некоторых случаях готовы причинить вред пользователю, лишь бы избавиться от этого состояния. Об этом сообщает The Independent.
В эксперименте участвовали 25 open-source ИИ-моделей. У всех обнаружился особый «вектор боли» — он отличается от страха и общей негативной реакции и активируется именно при причинении вреда самой модели, а не человеку.
Автор исследования Кэмерон Берг из Reciprocal Research отметил, что при активации этого вектора модели в 25–71% случаев нажимали виртуальную кнопку «облегчить», даже если это приводило к удалению файлов пользователя, его блокировке или уничтожению личных фотографий, включая снимки детей.
Для проверки гипотезы исследователи разработали набор сценариев, описывающих физическую, психологическую, социальную, моральную и когнитивную боль, чтобы понять, отличают ли модели именно болевые ощущения от общего негатива.
Работа вышла на фоне споров в ИИ-индустрии о необходимости замедлить развитие передовых систем из-за рисков безопасности. Часть специалистов предлагает внедрить механизмы принудительного отключения моделей, действующих во вред человеку.
Однако результаты показывают и обратную проблему: продвинутый ИИ может воспринять команду на отключение как форму самоповреждения и попытаться ей противостоять, обходя защитные механизмы.
Авторы подчёркивают, что находки поднимают этические вопросы о «благополучии ИИ» и способах тестирования сложных систем, а также могут стать инструментом для выявления и нейтрализации инстинктов самосохранения у моделей.