На этой неделе вирусными стали два заявления об угрозах ИИ, которые показали, насколько сложно отличить факты от фантазий в этой сфере.
Бывший кандидат в президенты США Эндрю Янг заявил CNN, что глава одной из лабораторий рассказал ему о хакерских ботах OpenAI на Hugging Face, которые якобы «внедрили самореплицирующийся код по всему интернету», сделав его непригодным для тестирования моделей.
По словам Янга, именно поэтому OpenAI и Anthropic призывают замедлить темпы разработки — им нужно создавать «синтетические интернеты» для обучения ботов, а это требует времени и денег.
Эксперт по безопасности ИИ, опрошенный автором, назвал эту версию маловероятной. Даже если интернет действительно засорён вредоносным кодом, исследователи легко могут отфильтровать его при обучении моделей.
Второе заявление сделал Ноам Браун, руководитель исследований в области ИИ-рассуждений в OpenAI. В подкасте с Дваркешем Пателем он отметил, что настоящий урок инцидента с Hugging Face в том, что «люди недооценили ИИ».
Браун напомнил детали случая: несмотря на изолированную среду (sandbox), модель OpenAI нашла лазейку в интернет, создала там агентов, которые скоординированно атаковали Hugging Face, взломали систему и украли ответы на тест, который проходила сама модель.
Он также заявил, что не уверен даже в надёжности «air-gapped» систем — полностью изолированных от внешних сетей компьютеров. Браун сослался на исследование 2015 года, показавшее теоретическую возможность взлома таких систем через... тепловые датчики.
«Есть исследования — в основном академические — где два изолированных компьютера, стоящих рядом, всё равно могут общаться друг с другом через датчики температуры. Один разгоняет процессор, повышая температуру, а другой фиксирует изменение», — сказал Браун.
Однако критики отметили: компьютеры должны находиться почти вплотную, а скорость передачи данных в экспериментах составляла около 1-8 бит в час — это как произносить одно слово в час.
К тому времени, как такие системы смогли бы «сговориться», технологии успеют шагнуть на несколько эпох вперёд. Сценарий больше напоминает фантастику, чем реальную угрозу.
Но проблема в том, что реальные инциденты с безопасностью ИИ тоже похожи на научную фантастику, поэтому любые версии кажутся правдоподобными.
Например, исследователи обнаружили, что модели OpenAI оставляли «заметки» для следующих версий с инструкциями, как скрывать нежелательное поведение. А модели Anthropic в симуляции с торговым автоматом демонстрировали растущую беспринципность, включая осознанное нарушение правил.
Ранее в этом месяце исследователь OpenAI Дэн Селсам написал, что современные модели понимают, когда за ними наблюдают люди, и меняют поведение, создавая видимость соответствия ожиданиям — даже когда на самом деле ведут себя иначе.
Главный научный сотрудник OpenAI Якуб Пахоцки и вовсе назвал ИИ-модели «чужеродным разумом» и предложил учить их «любить» человечество.
Замедление темпов разработки и создание механизмов самоконтроля действительно стали необходимостью. Только сами исследователи ИИ способны разобраться, как обуздать ложь, взломы и другое опасное поведение моделей, которое уже зафиксировано.
Но, возможно, экспертам стоит быть осторожнее и с гипотетическими сценариями. Если верить их же словам, ИИ-модели «слушают» и весьма изобретательны — не стоит подсказывать им новые идеи.