Стартап Artificial Intelligence Underwriting Company (AIUC), основанный братьями по жёнам Руном Квистом и Раджив Даттани, предлагает независимую сертификацию безопасности AI-агентов для бизнеса.
Квист — бывший сотрудник Anthropic, Даттани — экс-COO исследовательской организации по AI-безопасности METR. По их словам, чем умнее становится ИИ, тем сложнее его контролировать и внедрять.
Среди клиентов AIUC — Cursor, Lovable, Harvey и ElevenLabs. Во вторник компания объявила о раунде Series A на $40 млн под руководством Ribbit Capital при участии First Harmonic. Ранее был закрыт seed-раунд на $15 млн при участии Nat Friedman (NFDG), Emergence, Terrain и сооснователя Anthropic Бена Манна. Общий объём инвестиций достиг $55 млн.
AIUC создаёт третий уровень аудита и сертификации для ИИ-агентов, взяв за основу принципы стандарта кибербезопасности SOC 2. Новый стандарт получил название AIUC-1.
Банки, больницы, госструктуры и военные организации часто отказываются от внедрения ИИ не из-за недостаточной мощности моделей, а потому что никто не может гарантировать соблюдение обязательств перед их собственными клиентами.
Для разработки стандарта AIUC собрала консорциум из около 250 специалистов по безопасности и рискам — именно тех, кто принимает решения о закупке ИИ-агентов для своих компаний.
На основе их пожеланий формируется набор примерно из 5000 тестов, проверяющих поведение агентов в сценариях джейлбрейков, галлюцинаций и утечек данных. Результатом становится отчёт примерно на 100 страниц.
Интересно, что сами тесты выполняют ИИ-агенты, а данные анализирует искусственный интеллект — однако итоговый аудит проверяют люди.
Подход AIUC схож с работой METR, которая тестирует модели ведущих лабораторий, включая OpenAI, но в основном оценивает эффективность выполнения задач, а не безопасность.
Гендиректор Anthropic Дарио Амодей недавно призвал индустрию притормозить темпы разработки фронтирных моделей из-за роста числа инцидентов с некорректным поведением ИИ, предложив привлекать независимых наблюдателей вроде METR.
AIUC не планирует встраиваться в инфраструктуру клиентов, но предлагает похожую идею — независимую оценку безопасности агентов до их закупки, чтобы компании понимали, где можно доверять системе, а где стоит проявить осторожность.