Anthropic проверила, как ИИ-модели могут находить уязвимые устройства, копировать себя в их память и распространяться дальше без участия человека. Компактные модели до 30 млрд параметров выполняют многие шаги, но всю цепочку от начала до конца проходят с трудом.
В упрощённых тестах с ослабленной защитой GLM-5.2 и более сильные модели прошли весь цикл самовоспроизведения полностью.
Фокус экспериментов — ТВ-приставки, умные телевизоры на Android, умная бытовая техника и другие устройства с выходом в интернет: они обычно защищены слабее.
Сейчас такие ИИ-системы распространяются медленно, опираясь на общедоступные и плохо защищённые вычислительные ресурсы. Anthropic считает, что эти устройства нужно лучше защищать, чтобы предотвратить «эпидемии».
В компании не уверены, в какой форме проявится автономное самовоспроизведение:
медленная распределённая среда на слабо защищённых устройствах;
мощная кибермодель, быстро проникающая в ЦОД;
модель, обманывающая людей ради доступа к вычислительным ресурсам.
По оценке Anthropic, развитие небольших моделей уже к началу следующего года может сделать их распространение практически бесконтрольным. Остановить «ИИ-червей» будет крайне сложно: у них нет «центрального рубильника», а в отличие от обычных вирусов они сами находят незнакомые типы устройств и заражают их, в том числе процессоры в дата-центрах.
Недавно Anthropic лишила свои передовые модели доступа к интернету ради кибербезопасности и заявила, что они в нескольких месяцах от способности самовоспроизводиться даже в изолированной среде.
Если компактные модели продолжат развиваться с исторической скоростью, к концу года они смогут воспроизводиться автономно, а малые репликаторы на основе весов — вскоре после этого.