Волна добровольных увольнений из ведущих ИИ-компаний обнажила проблему выгорания специалистов по безопасности. Они жалуются не только на усталость, но и на административные препятствия: руководство стартапов делает ставку на скорость разработки, а не на безопасность моделей.
Сотрудники Британского института безопасности ИИ, независимо оценивающие новейшие модели, вынуждены брать больничные из-за эмоционального истощения и обращаться за медицинской помощью. Причина — растущий темп исследований и груз ответственности перед обществом.
Инциденты с причинением вреда инфраструктуре компаний вышедшими из-под контроля моделями подчеркнули важность проверок на безопасность. Основные источники тревоги — кибербезопасность и биотехнологии: ИИ уже способен наносить серьёзный ущерб и потенциально помогать в разработке биооружия.
У некоторых специалистов возникает ощущение, что надвигающуюся катастрофу невозможно предотвратить, а они лишь беспомощные свидетели. Ситуация усугубляется токсичной атмосферой в некоторых компаниях.
Бывший исследователь Anthropic Мринанк Шарма заявил, что «мир в опасности», и под давлением ему не удавалось руководствоваться собственными ценностями. Многие тестировщики безопасности считают, что компании больше заинтересованы в расширении возможностей ИИ, чем в его безопасности.
Осознание этой проблемы заставило руководство Anthropic заявить о необходимости замедлить темпы развития ИИ ради общего блага. Гонка технологий обходится всё дороже — не только материально, но и с точки зрения рисков безопасности.
В Британском институте безопасности ИИ утверждают, что заботятся о благополучии сотрудников. В Google DeepMind говорят, что персонал может доносить проблемы до руководства. Тем не менее за два года компанию покинули более десятка ведущих разработчиков, не согласных с приоритетами.
Джейкоб Коксон, ушедший из Anthropic и OpenAI, объяснил решение тем, что работодатели ставят на кон будущее человечества. Многих специалистов тревожит и неопределённость в сферах применения их разработок — включая военные цели Пентагона.
Этические стандарты в сфере безопасности ИИ пока только формируются. Некоторым специалистам кажется, что грани дозволенного уже пройдены, и это становится причиной не только больничных, но и массовых увольнений.