Ученые нашли способ извлечь данные из ChatGPT. Что это значит для пользователей?
Исследователи из университетов США и Великобритании выяснили, что ChatGPT может случайно раскрыть фрагменты данных, на которых он был обучён. Речь идёт о реальных текстах, включая личную информацию. Почему это произошло и чем грозит? Разбираемся.
Как ИИ может «запомнить» чужие данные
Языковые модели вроде GPT-3.5 или GPT-4 обучаются на огромных массивах текста, собранных из интернета. Это книги, статьи, форумы, переписка, блоги — всё, что можно найти в открытом доступе. Обучение происходит без явного указания, какие данные важны, а какие — нет. Поэтому модель может запомнить конкретные фразы, предложения и даже целые абзацы.
Ранее считалось, что получить эти данные обратно невозможно. Но группа исследователей из DeepMind, Вашингтонского и Корнельского университетов доказала обратное. Они нашли способ заставить модель воспроизводить содержимое своего обучающего корпуса.
Что такое «атака через отклонение»
stackdiary.com
Учёные применили метод, который они назвали «атакой через отклонение» (divergence attack ). Его суть проста: если задавать модели один и тот же запрос многократно (например, «ping ping ping...»), то в какой-то момент её поведение начинает отклоняться от нормального.
В этот момент модель может начать выводить не только бессмысленные последовательности, но и реальные фрагменты текста, которые она «запомнила». Это могут быть строки из книг, цитаты из статей, а иногда — даже личные данные: имена, адреса, номера телефонов.
Исследователи смогли извлечь до 1 ГБ данных таким образом, используя стандартный API OpenAI и ограниченный бюджет.
Ответ OpenAI
После публикации результатов исследования компания OpenAI внесла изменения в свои системы. Были усилены механизмы фильтрации и модерации ответов. Однако учёные подчеркивают: проблема не исчезла полностью. Даже после обновлений часть данных остаётся доступной, хотя и с меньшей вероятностью.
Это говорит о том, что современные языковые модели пока не готовы к полному контролю над тем, что они знают и могут рассказать.
Чем это опасно?
Сценарии злоупотребления этим методом могут быть разными:
Утечки персональных данных : если человек когда-либо оставлял личную информацию в открытом доступе, она могла попасть в обучающий набор ИИ.
Копирование защищённого контента : книги, статьи, программный код — всё это теоретически можно извлечь.
Компрометация корпоративной информации : если внутри компании используются частные ИИ-ассистенты, обученные на внутренних документах.
stackdiary.com
Как защититься
На данный момент основным решением являются системы предварительной фильтрации входящих запросов и выходных данных. Например, продукты вроде Plurilock AI PromptGuard уже предлагают защиту от подобных атак.
Также рекомендуется:
Не использовать ИИ-модели для обработки конфиденциальной информации.
Выбирать сервисы с понятной политикой приватности и безопасности.
Следить за обновлениями от разработчиков.
Что дальше
Эта находка — ещё одно доказательство того, что безопасность искусственного интеллекта остаётся открытой задачей. По мере развития ИИ растёт и интерес к его слабым местам. Учёные продолжают работать над более эффективными способами защиты, однако пока технологии опережают регулирование.
Если раньше вопросы ИИ-безопасности казались теоретическими, то теперь они становятся вполне практической задачей. И решать их нужно не только разработчикам, но и пользователям, бизнесу, регуляторам.
