Anthropic впервые за год с лишним обновила политику использования. Добавлены правила о вмешательстве в выборы, разработке оружия, слежке, а также о медицинском и финансовом применении Claude.
Главное новшество — запрет «длительного и бессмысленного жестокого или оскорбительного поведения» по отношению к Claude. Оно связано с исследованиями «благополучия модели».
Завершение разговора остаётся «основным механизмом» применения правила. Станут ли блокировки пользователей дополнительной мерой, компания не сообщила.
Правило рассчитано на крайние случаи. Раздражение, критика, мрачные творческие темы, тестирование и исследования моделей под него не подпадают.
Разрозненные ограничения объединены в запрет на обманные коммерческие и политические кампании. Он закрывает сокрытие авторства сообщений и накрутку контента через фейковые аккаунты.
Раздел о выборах запрещает обман избирателей: дезинформацию о кандидатах и голосовании, имитацию кандидатов и чиновников, подавление явки.
Запрет на разработку оружия расширен на ПО и компоненты, обеспечивающие его работу, а также на вооружение дронов и других автономных машин. Компания фиксировала попытки использовать Claude для этого.
Правила о слежке уточнены после отчёта о том, что Claude применяли для отслеживания «политических диссидентов». Запрещено:
отслеживать людей без согласия, в реальном времени или по ранее собранным данным;
решать или рекомендовать, кого расследовать, арестовывать или обвинять;
создавать и улучшать инструменты слежки.
Для контрактов с отдельными государственными клиентами правила могут смягчаться, если Anthropic сочтёт защитные меры достаточными. Ранее компания уже работала с армией США.
Если модели подключены к оборудованию, способному причинить вред, квалифицированный оператор должен наблюдать за ним и уметь его остановить. Должен ли это быть человек, неясно.
Это отражает тренд: ИИ-лаборатории вкладываются в робототехнику и физические воплощения ИИ. Возможно, правило намекает на будущие партнёрства Anthropic в этой области.
За последний год Anthropic не раз допускала, что её модели могут быть в какой-то мере сознательными. Кайл Фиш, глава исследований благополучия моделей, называл вопросы сознания и морального статуса серьёзными.
Дарио Амодеи заявил: «Мы не знаем, сознательны ли модели».
Microsoft AI придерживается противоположной позиции. Её кодекс отвергает идею, что модели заслуживают благополучия или прав, хотя черновик Мустафы Сулеймана звучал резче.