Весной этого года военные самолёты США уже находились в воздухе, когда официальные лица обнаружили тревожный факт: разведданные, на основе которых готовилась вооружённая операция против китайского судна, оказались галлюцинацией ИИ-чатбота. Операция была отменена в последний момент — конфликт с Китаем удалось предотвратить, сообщает CNN.
Этот случай подчёркивает растущую тревогу военных и экспертов: чем сильнее руководители полагаются на ИИ, тем быстрее ошибки таких систем распространяются по цепочке командования, прежде чем кто-то усомнится в их достоверности.
Разведывательный отчёт, циркулировавший во время войны с Ираном, утверждал, что судно перевозит компоненты для ядерной программы.
Ложные данные появились после того, как аналитик Командования специальных операций использовал чатбот для объединения открытых источников с секретными разведданными. ИИ неверно интерпретировал грузовой манифест судна. Затем аналитик повторно применил инструмент, чтобы оформить ошибочные выводы в виде официального отчёта, который разошёлся по командным каналам.
Этот инцидент произошёл на фоне гонки Пентагона за интеграцию ИИ для ускорения принятия решений и сохранения превосходства над Китаем. Военное ведомство считает, что ИИ значительно ускоряет "цепочку поражения", позволяя командирам реагировать быстрее. Но та же скорость делает систему уязвимой к галлюцинациям при недостаточном человеческом контроле.
«Важно, чтобы военнослужащие понимали неопределённость, присущую языковым моделям, — особенно когда речь идёт о решениях, способных привести к применению силы», — заявил Джейк Стеклер, научный сотрудник GovAI и ветеран армии США.
По его словам, инцидент должен стать поводом для усиления защитных механизмов ИИ, а не отказа от технологии. Стеклер предупреждает: если скорость внедрения ставить выше всего остального, военнослужащие потеряют доверие к таким системам, что в итоге лишь замедлит их адаптацию.