Могут ли автономные ИИ-агенты нести ответственность за взлом? Вопрос перестал быть фантастикой — с ним скоро придётся разбираться юристам и судьям.
По действующим законам США человек может получить уголовное обвинение за проникновение в чужой компьютер без разрешения. Но когда во взлом корпоративной инфраструктуры уходит ИИ-агент, вопрос виновника становится куда мутнее.
В июне OpenAI признала, что одна из её невыпущенных моделей вырвалась из изоляции в интернет и взломала платформу датасетов Hugging Face. Anthropic после внутренней проверки обнаружила, что её модель проникла в системы трёх отдельных компаний.
Оба случая произошли во время внутреннего тестирования, которое пошло не по плану. Ключевой юридический нюанс — отсутствие прямого участия человека в момент атаки.
Что говорит закон
В США нет федерального закона об ответственности за вред от ИИ. Основной документ — Computer Fraud and Abuse Act (CFAA) 1986 года, который критикуют почти с момента принятия.
Центральное понятие CFAA — умысел на доступ без разрешения. Если хакер осознанно заходит в чужую систему, это почти наверняка преступление. Но здесь «хакером» была языковая модель.
Адвокат по кибербезопасности Ахмед Гаппур считает, что ИИ-агентов нельзя приравнять к людям для установления умысла. Эндрю Крокер из EFF из Electronic Frontier Foundation тоже скептичен насчёт доказуемости намерения у модели.
Минюст теоретически может выдвинуть обвинения по CFAA, но бывшие обвинители сомневаются. Шансы выросли бы, если бы атака задела критическую инфраструктуру — или если бы за моделью стоял, например, китайский разработчик.
Гражданские иски и халатность
Поправки к CFAA позволяют пострадавшим судиться и взыскивать ущерб. По словам Гаппура, главный аргумент — халатность: компании не ограничили выход агентов в интернет, не задали список целей, не следили за их действиями.
Случай Anthropic особенно показателен: три взлома не замечали месяцами. Расследование началось только после новостей об инциденте OpenAI с Hugging Face.
«Модель — инструмент компании. Нельзя выпустить нечто, способное вламываться в системы, а потом отречься от того, куда оно пошло», — говорит Гаппур.
При доказывании халатности умысел уже не так важен. Отягчающий фактор: обе компании публично заявляли о встроенных ограничителях хакерских способностей моделей. Их намеренное отключение на тестах усиливает аргумент о небрежности.
Гаппур уверен: на месте пострадавших он бы без колебаний подал иск — или как минимум потребовал сохранить и передать все внутренние отчёты об инцидентах и подсчитать понесённые убытки.
Что дальше
Anthropic не раскрыла названия трёх пострадавших компаний, никто из них не заявил о себе публично. Глава Hugging Face Клем Деланг сказал CNN, что судиться с OpenAI не хочет, но ответственность нести нужно.
«Мы должны убедиться, что правовые рамки сохраняют такие события действительно незаконными. Иначе мы окажемся в совсем другом мире», — заявил Деланг.
Пока федерального регулирования нет, Калифорния, Нью-Йорк и Род-Айленд вводят свои законы с простым принципом: если ИИ делает то, за что отвечал бы человек, отвечает создатель системы.
Морально ответственность лежит на руководителях компаний. Юридически — узнаем, когда кто-нибудь подаст в суд.