Исследователи Nvidia разработали универсальный ИИ-контроллер SONIC для гуманоидных роботов. Он превращает команды из VR, видео или текстовых подсказок в плавные, скоординированные движения всего тела робота.
Модель обучена на более чем 100 миллионах кадров записей движений человека. Это позволило ей усвоить широкий спектр двигательных паттернов, а не заучивать отдельные задачи по отдельности.
По словам ведущего научного сотрудника Nvidia Юке Чжу, современные роботы обучаются с использованием отдельных контроллеров под каждый навык, что затрудняет масштабирование. Команда хотела создать единую основу для множества движений всего тела.
Такой подход способен приблизить робототехнику к универсальному двигательному интеллекту, избавив инженеров от необходимости разрабатывать отдельный контроллер для каждой операции.
В тестах на реальном гуманоидном роботе SONIC точно воспроизводил как знакомые, так и новые эталонные движения, опираясь на единую модель вместо отдельных стратегий для каждого действия.
В физическом симуляторе контроллер справился с разными сценариями передвижения и манипуляций объектами, включая действия, отсутствовавшие в обучающей выборке. Один и тот же контроллер работает с VR-телеуправлением, видео и командами мультимодальных моделей без переобучения.
Далее команда планирует улучшить восприятие окружающей обстановки роботом для снижения риска столкновений и повышения качества навигации на пересечённой местности. Также готовится интеграция SONIC с платформой Nvidia Isaac GR00T.
По мнению Чжу, подход способен ускорить разработку человекоподобных роботов для производства, складов и логистики. SONIC станет универсальной базой моторики, связывающей рассуждения ИИ высокого уровня с физическими действиями.