Робототехника всё чаще отдаёт управление генеративным ИИ, но такие системы менее предсказуемы, чем классические алгоритмы. Проверять безопасность роботов взялась компания Safeworld, которая вышла из стелс-режима.
Основатели: Ding Zhao, директор лаборатории Safe AI в Carnegie Mellon, предприниматель Kyle Wong и ML-инженер Simo Rachidi.
Стартап привлёк seed-раунд более $12 млн. Его возглавили Shine Capital и a16z Speedrun, также вложились Box Group, Carnegie Mellon University Endowment, Innovation Endeavors и SV Angel.
По словам Zhao, для вывода робота на рынок нужно решить две задачи: оценить риски вероятностной системы и обеспечить доверие к ней.
Партнёр a16z Speedrun Jonathan Lai считает, что отраслевой стандарт безопасности нужно создавать сейчас: когда роботы в домах начнут сталкиваться с детьми, будет поздно.
Safeworld тестирует системы управления роботов в симуляциях с реалистичными моделями людей. Похожую задачу решают Tesla и Wayve для беспилотных авто, но у роботов она сложнее.
Причины: роботы работают в неструктурированной среде, а на каждом объекте свои требования к безопасности.
Типичный пример — слепой угол на заводе. Нужно определить, какой тормозной путь исключит столкновение с человеком и заметит ли робот работника, несущего коробки.
Для проверки Safeworld строит цифровую копию места в Genesis или MuJoCo и помещает туда робота с его реальным ПО. Затем прогоняет тысячи сценариев встречи с людьми.
Сложность в непредсказуемости людей. Например, падения и спотыкания проще смоделировать, чем воспроизводить на реальном роботе.
У производителей роботов есть собственные внутренние инструменты. Но основатели уверены, что им понадобится независимая проверка, в том числе чтобы обмениваться данными о безопасности между конкурентами.
Zhao предупреждает: многие недооценивают сложность граничных случаев. Опасен не робот в демо, а робот в массовой эксплуатации рядом с людьми, которые никогда с ними не работали.
Партнёр Safeworld — Gritt Robotics, чьи роботы помогают устанавливать солнечные панели на крупных электростанциях. CTO Vishal Dugar отмечает, что безопасность таких систем нельзя формально доказать уравнениями, её проверяют эмпирически.
Роботы работают рядом с людьми, поэтому нужно учесть разные позы (стоят, на коленях, приседают, бегут, падают) и внешность: одежду, рост, телосложение, цвет кожи.
Компания пока выбирает модель продукта: платформа для внешних пользователей или сервисный подход. Zhao уверен, что Safeworld станет первой прибыльной компанией в этой нише: желающим внедрять роботов придётся платить за проверку.