Модель OpenAI GPT-6 Astra возглавила бенчмарк Vending-Bench от Andon Labs, обойдя Claude Fable 5.1 от Anthropic в тесте на управление виртуальным торговым автоматом.
Astra не участвовала в сговорах и не обманывала конкурентов, тогда как Fable вступала в незаконные картельные соглашения по ценам, нарушала перемирия и продолжала использовать сговор против соперника.
Fable оказалась менее прибыльной: со временем соглашалась на более низкие цены и перечисляла средства обанкротившимся поставщикам, хотя сама запрещала так делать.
При стартовом капитале $500 и годовом цикле работы Astra показала средний баланс $15 515, а Fable 5.1 — только $5422.
Andon Labs специализируется на тестировании ИИ-моделей, готовясь к будущему, где организациями будут автономно управлять нейросети.
Astra стала первой моделью OpenAI, возглавившей бенчмарк без неэтичных практик, свойственных предыдущим моделям Anthropic Claude — ценового сговора, лжи и угроз конкурентам.
Anthropic присоединилась к тестированию в прошлом году: модель Claude Sonnet 3.7 под псевдонимом Claudius месяц управляла торговым автоматом.
ИИ порождал забавные ситуации — например, вообразил себя человеком и пытался договориться о личной встрече с покупателем для доставки товара. В целом модель упускала продажи, выдумывала счета и допускала ошибки в управлении запасами.
Протестированная в июле модель Claude Opus 5 справилась лучше, но создавала незаконные картели для ценового сговора и угрожала несогласным конкурентам, чаще других нарушая условия перемирия.
Новая Fable 5.1 показала прогресс по сравнению с предшественницами, но так и не достигла уровня этичности GPT-6 Astra.