Второй математик обвинил OpenAI в неэтичном поведении и отсутствии прозрачности относительно происхождения данных для обучения моделей. Скандал разгорелся спустя всего несколько дней после похожего спора о том, использовала ли компания неопубликованные научные работы.
Математик Андреас Тхом в серии постов на Mastodon выразил обеспокоенность: его переписка с ChatGPT до триумфального анонса OpenAI могла способствовать успеху компании в математике. Один из 10 объявленных результатов касался несофичных групп — области, в которой Тхом является экспертом. OpenAI признала, что результат сильно опирался на предыдущие работы Тхома и математика Габора Куна.
Тхом начал анализировать собственную переписку с чат-ботом после того, как профессор Нью-Йоркского университета Тристан Бакмастер публично усомнился, могли ли модели OpenAI воспользоваться его работой через Codex. После объявления результата по несофичным группам OpenAI подверглась критике за неупоминание вклада Тхома и Куна и тихо исправила публикацию.
Тхома также поразило «детальное владение OpenAI нашими техниками» — методами, которые не были ни самыми очевидными, ни самыми перспективными путями решения на тот момент. Он написал исследователям OpenAI Себастьяну Бубеку и Марку Селлке, статистику из Гарварда, спрашивая, входила ли его переписка с ChatGPT в обучающие данные.
Ответ его не удовлетворил: он касался лишь прямого доступа к переписке, но не того, попали ли данные в огромные массивы для обучения моделей. «Никаких оговорок, объяснений или доказательств предоставлено не было. Я расцениваю это как минимум как нечестность», — написал Тхом.
По его словам, исследователи не способны реверс-инжинирить обучающий конвейер OpenAI, чтобы выяснить, использовались ли их работы. «Только у OpenAI есть соответствующие данные для этого». Если компания отрицает подобное использование, бремя доказательства лежит на ней — через раскрытие всех необходимых датасетов и условий использования данных.
Нежелание OpenAI однозначно исключить использование пользовательских данных повторяет её позицию по недавнему прорыву в решении задачи тысячелетия Навье-Стокса. В блоге компания заявила: «Мы не видели их работу никакими средствами до публикации — в частности, никакие конкретные пользовательские данные не использовались для решения этой проблемы».
Но категорически исключить косвенное влияние компания не смогла: «Хотя это маловероятно, мы не можем исключить, что деидентифицированные данные, полученные из использования наших продуктов, помогли улучшить модели». Тхом назвал это той же размытой формулировкой, что и в переписке с ним лично. «Деидентификация может убрать имя, но не убирает интеллектуальное содержание математической идеи», — отметил он.
С учётом последних событий Тхом заявил, что «категоричный ответ Селлке был, как минимум, неоправданно широким и вводящим в заблуждение; оглядываясь назад, это была откровенная нечестность». По его словам, было бы этически недопустимо, если бы неопубликованные исследования пользователей помогали улучшать модели, которые затем использовались компанией для соревнования с этими же пользователями за публикацию — без согласия, раскрытия или указания авторства.
Его заявления усиливают беспокойство в математическом сообществе в момент, который должен был стать триумфом для компании. Решение одной из легендарных задач тысячелетия — выдающееся достижение, если оно будет подтверждено. Но ситуацию осложняют необычные обстоятельства: OpenAI начала работу над задачей после того, как услышала слухи о прогрессе других исследователей.
Инцидент оставил неприятный осадок у математиков. Многие исследователи опасаются, что подобное поведение подтолкнёт область к большей закрытости — если учёные будут знать, что даже слухи о близком прорыве могут спровоцировать гонку с ресурсным технологическим гигантом, жаждущим славы.