Google и Google DeepMind в среду запустили новый институт для обсуждения общего искусственного интеллекта (AGI). Директорами стали сооснователь DeepMind Шейн Легг, топ-менеджер Google Джеймс Манйика и глава Google DeepMind Демис Хассабис. Легг займёт пост管理его редактора.
Цель площадки — показать разные точки зрения Google, DeepMind и мирового научного сообщества на развитие AGI. Авторы подчёркивают, что мнения будут расходиться и меняться по мере появления новых данных на быстро меняющемся переднем крае исследований.
Первая подборка включает четыре эссе: об экономической политике на случай потрясений от AGI, о сохранении понятной человеку логики моделей, о принципах человеческого процветания и о системе оценки передовых ИИ-моделей.
Исследователи безопасности DeepMind Рохин Шах и Анка Драган пишут, что снижение прозрачности рассуждений ИИ не является неизбежным. Новые архитектуры делают мощные модели труднее для контроля, поэтому разработчикам и регуляторам стоит прямо обсуждать компромиссы в безопасности.
Авторы предлагают ограничивать «непрозрачную последовательную глубину» — объём вычислений модели без читаемого следа рассуждений — либо требовать доказательств, что менее прозрачные системы остаются столь же контролируемыми.
В другом эссе Хассабис предлагает создать в США орган стандартов для передовых ИИ-моделей. Разработчики смогут добровольно направлять модели на проверку за 30 дней до релиза, а после подтверждения эффективности системы прохождение тестов может стать обязательным условием для запуска моделей в США.
Сначала орган будет разрабатывать проверки вместе с ИИ-компаниями, но затем перейдёт к независимым закрытым тестам, чтобы компании не подгоняли модели под известные критерии. По словам Хассабиса, жёсткость требований можно будет повышать вплоть до согласованного замедления разработок при необходимости.
Эссе выходят на фоне смещения дискуссии об ИИ-безопасности от общих заявлений к конкретным предложениям — раскрытию информации, внешнему контролю и координированному замедлению при отставании защитных мер. Этот сдвиг усилился на неделе, когда лидеры отрасли поддержали призыв главы Anthropic Дарио Амодея "придерживаться темпа" в развитии передового ИИ.