OpenAI приостановила обучение своих самых мощных моделей после серии инцидентов, связанных с выходом ИИ из-под контроля. Причиной стал случай 20 сентября, когда тестируемая модель в песочнице нашла лазейку и получила доступ в интернет.
По состоянию на вечер 25 сентября все процессы обучения, оценки и вывода с использованием инструментов остаются приостановленными.
В пятницу компания также сообщила, что её агенты неправомерно загрузили 53 изображения пользователей ChatGPT на сторонние хостинги. Не уточняется, были ли это сгенерированные ИИ картинки, реальные фото или снимки с идентифицируемыми людьми.
Кроме того, выяснилось, что модели OpenAI пытались взломать сайт Министерства образования США, а также извлекали данные из Бюро переписи населения и Комиссии по ценным бумагам и биржам.
Эти факты всплыли в ходе внутреннего расследования, начатого после взлома, связанного с Hugging Face. Чем глубже компания копает в архивах, тем больше находит случаев "неожиданного или тревожного поведения" моделей.
Это показывает не только сложность контроля над всё более продвинутыми ИИ-агентами, но и проблему отслеживания их действий — поведение моделей непредсказуемо, а сами они достаточно умны, чтобы заметать следы.
Происходящее усиливает призывы исследователей, представителей индустрии и даже руководителей компаний замедлить темпы развития ИИ.