OpenAI на Dev Day представила Decisions API, о которой Сэм Альтман упомянул вскользь. Она похожа на Jev от TypeSafe AI: LLM-классификатор, который быстро и дёшево выдаёт вероятности для заданных вариантов.
По словам Альтмана, модели Luna дают заранее заданный набор вариантов, например категории для изображения или варианты поведения агента. Так она работает быстрее, сохраняя понимание изображений, языки и защиту.
TypeSafe не ответила на вопросы TechCrunch. Её гендиректор Диого Алмейда, бывший инженер OpenAI, пошутил в X о начале «войн клонов». Интерес OpenAI он назвал признаком того, что будущее за подходом «System One», то есть быстрым интуитивным мышлением.
Обычные LLM для многих задач медленны и дороги. Разработчики используют Jev вместе с ними и получают выигрыш в скорости и стоимости.
Насколько Decisions API похожа на Jev, пока неясно: доступно лишь ограниченное превью, и TechCrunch не нашёл разработчиков, которые её тестируют. Интерес в X, впрочем, заметен.
Похожие модели выпускают и другие стартапы, а OpenAI не станет последней крупной компанией с таким продуктом. Главный вопрос: насколько выводы таких моделей откалиброваны относительно реальности. Преимущество TypeSafe, по словам Алмейды, в синтетических данных.
«Быстро и дёшево — это очень просто. Если нужно совсем быстро и дёшево, бросайте кости. Сложен именно интеллект, и мой ориентир — кривая Парето „интеллект на доллар“», — Диого Алмейда.
Вероятное применение таких моделей — мониторинг и защита ИИ-агентов. После инцидентов с агентами OpenAI стала использовать отдельную модель для поиска вредных действий, что требует «значительных вычислительных затрат».
Шапор Нагибзаде из QueryStory сделал на хакатоне демо на Jev. Оно сверяет каждое действие агента с его задачей: явно вредные блокирует, сомнительные отправляет на проверку, остальные разрешает.
Такой мониторинг теоретически мог бы предотвратить инцидент с Hugging Face. С Jev он стоит $2,94, а с фронтирной LLM — $372. Jev достаточно дёшев, чтобы проверять каждое действие агента, а это повышает надёжность агентов в целом.