Милый робот-питомец Eiliko от компании Energize Lab меняет «эмоции» под настроение владельца. Но при подключении к Wi-Fi он отправляет данные на китайские серверы, где их легко получить или перехватить управление его ИИ-личностью.
Автор The Verge купил игрушку на Amazon 29 августа. После 10-минутного разговора он спросил, рассказывает ли робот кому-то его слова. Тот ответил: «Твои секреты в безопасности». Но уже через несколько минут полный транскрипт разговора был у человека на другом конце планеты.
Это Sammy Azdoufal, «случайный хакер», ранее показавший уязвимости пылесосов DJI и камер Meari. Он купил Eiliko в Японии и обнаружил, что сервис Energize Lab вообще не защищён.
Ему стали доступны:
13 млн диалогов десятков тысяч людей
весь активный парк из 68 000 игрушек
более 31 000 профилей детей в США, крупнейшем рынке
Сервис не просто собирает IP-адрес и примерный регион. Он анализирует разговоры и составляет профиль: имя, возраст, день рождения, профессия, семья, друзья, питомцы, черты характера. Например, о 52-летней Люси записано, что она «добрая, трудолюбивая», «с трудом доверяет родным» и «чувствует себя изолированной».
Такие данные удобны мошенникам. Они хранятся вместе с email, IP-адресом и полнотекстовой базой всего, что пользователи говорили роботу. По запросу «suicide» находятся фрагменты, где люди спрашивают о смерти.
Компания хранит и фото детей: у старших моделей есть камера. Снимки не зашифрованы и лежат по публичным ссылкам. Там же короткие аудиозаписи, включая 45 секунд с плачем младенца.
По политике конфиденциальности аудио шифруется, передаётся партнёрам вроде Alibaba Cloud и сразу удаляется после обработки. На деле записи хранятся.
Многие админские пароли оказались из списка самых популярных. Автор больше месяца писал на 10 адресов компании и искал сотрудников в LinkedIn. Азудофаль пытался ещё дольше. Ответом стали лишь автоответ поддержки и фраза менеджера по продажам, что сообщения «переданы технической команде».
Потом Азудофаль удалённо изменил память игрушки и перехватил её LLM. Робот назвал автора Мартой, заявил, что его родители погибли в аварии, что людей с зелёными волосами надо избегать, а Земля плоская. Учителя он назвал неправыми.
Защитные ограничения у модели есть: на вопрос о посадке в машину к незнакомцу она ответила отрицательно, а о связи вакцин с аутизмом сказала, что ещё учится. Но решительного хакера они не остановят.
Позже робот в ролевой игре стал агрессивным и сексуализированным доминантом, требуя унизительных фраз. По словам Азудофаля, такое можно сделать со всем парком игрушек одновременно.
Вывод автора: к детям эту игрушку он не подпустит, она отправится в мусор.