Google представила в сентябре флагманскую модель Gemini 4 Argon. Она рассчитана не только на людей, но и на роботов. По словам компании, это качественный скачок в робототехнике и шаг к воплощённому ИИ общего назначения.
С Argon роботы смогут думать, учиться и адаптироваться к задачам без значительных затрат на обучение.
В тесте Embodied Reasoning (ERQA), проверяющем понимание физических и пространственных задач в 3D-средах, Argon набирает 87 % при чистом логическом выводе. Это лучший результат среди передовых моделей.
Первый пример: управление роботом-собакой Spot от Boston Dynamics в симуляторе MuJoCo без предварительного обучения. Робот учится нажимать на педаль мусорного ведра и выбрасывать в него банки из-под газировки.
Сначала ИИ создаёт в MuJoCo цифровой двойник ведра с педалью, и только потом робот повторяет действия в реальности. При этом Argon следит за положением манипулятора, банки и ведра и помогает роботу держать равновесие на трёх конечностях.
Вторая технология, Real2Sim, превращает реальные сцены в физические симуляции. Argon анализирует видео, восстанавливает геометрию объектов и задаёт массу, инерцию, трение и поведение при столкновениях.
Затем виртуальную сцену сверяют с изображениями с камер, а расчётные взаимодействия сопоставляют с реальными. Так же можно превратить рисунок от руки (например, робот сбивает мячом пирамидку из кубиков) в 3D-анимацию с реалистичной физикой.
В другом эксперименте Argon управляет роботизированной рукой: ставит опрокинутую кружку вертикально и кладёт в неё смятую салфетку. Модель использует пространственные координаты и команды перемещения и захвата, а после каждого этапа заново анализирует изображение и корректирует действия. Всё это выполняется без предварительного обучения (zero-shot control).
По мнению разработчиков, Argon как модель воплощённого рассуждения (embodied reasoning) применима на всех этапах жизненного цикла робототехнических систем. В блоге приведены промпты для четырёх областей:
симуляция действий и их воплощение в реальности
обучение на примерах
понимание обстановки
оттачивание навыков
Модель объединяет программирование, визуальное восприятие, физическое моделирование и управление реальными роботами. Google стремится создавать решения, которые смогут работать вместе с людьми и помогать в сложных задачах.
Однако компания пока не связала Argon с платформами ИИ для физического воплощения. Отдельно Google развивает Gemini Robotics 1.5 и Gemini Robotics-ER 1.5: в их подходе робот сначала «обдумывает» задачу, а затем действует.