Sonata

Бывший автор отчётов о безопасности OpenAI призвал ИИ-лаборатории работать как АЭС

image source

Дэвид Робинсон, прежде готовивший отчёты о безопасности к каждому крупному релизу моделей OpenAI, уволился и выступил с колонкой в The Atlantic.

Скептицизм к тем, кто сам создал технологию, а теперь предупреждает о её опасности, понятен, но это не повод игнорировать их слова.

По словам Робинсона, проблема в самой культуре индустрии, а не в нехватке правил для обучения моделей. Кремниевая долина действует с «чрезмерной уверенностью», в режиме «вечных спринтов» и недооценивает риски.

Он призывает ИИ-компании проявить скромность и выйти за пределы замкнутого мира «двигайся быстро и ломай вещи». Нужны меры безопасности уровня атомной отрасли.

Передовые лаборатории должны работать как АЭС или загруженные аэропорты: с многоуровневым резервированием и тщательным планированием, чтобы неизбежная человеческая ошибка не привела к катастрофе.

Робинсон — лишь последний в череде исследователей, покинувших ведущие ИИ-компании. Волну, судя по всему, начал Джейкоб Коксон, уволившийся из Anthropic и заявивший, что ИИ «может убить нас всех к концу десятилетия».

Следом ушли Роберт О’Каллахан, Билал Чугтай и Джош Энгельс из Google DeepMind, а также Джо Бентон из Anthropic.

источник

Загрузка страницы