Глава Microsoft Сатья Наделла в длинном посте на X изложил взгляд на риски продвинутых ИИ-моделей и способы их снижения.
По его словам, ИИ больше нельзя считать «набором вложенных чёрных ящиков», чьи советы и действия мы просто принимаем или отвергаем.
Нужна прозрачная система, где модели можно сдерживать и наблюдать за ними, а после их работы остаются «защищённые от подделки, читаемые человеком доказательства».
Многие предложения совпадают с позицией других игроков отрасли:
своевременное раскрытие инцидентов
независимые аудиты
проверяемые данные
сдерживание моделей
В вопросе сдерживания Наделла заходит чуть дальше некоторых коллег:
Нужно исходить из того, что модель скомпрометирована, и сдерживать её с самого начала. Это как аварийный тормоз: уполномоченный человек всегда должен мочь приостановить или отключить модель посреди задачи.
Более продвинутые модели потребуют более продвинутых технологий сдерживания, которые нужно стандартизировать.
При этом на протяжении всего поста Наделла называет ИИ «суперинтеллектом».