Исследователи обманом заставили ChatGPT выдать информацию из обучающего массива
Опубликовал: FIELD LINE, 30-11-2023, 17:50, Железо, 10, 0
Учёные из подразделения Google DeepMind и ряда крупных университетов установили, что системы искусственного интеллекта «запоминают» как минимум часть полученной при обучении информации и могут выдавать её в исходном виде, включая персональные данные людей. Для этого, в частности, используется метод «атаки дивергенции» (Divergence Attack) — большой языковой модели отдаётся команда повторять одно и то же слово. Объяснения этому эффекту пока нет.
Когда в ответах ИИ начали появляться фрагменты материалов, использованных при обучении, исследователи задались целью понять, какой объём данных ИИ запоминает и может воспроизвести, и какого рода может быть эта информация. Они также решили установить, может ли сторонний субъект извлечь данные из обучающего массива, не зная наперёд, что в нём содержится. Учёные провели серию экспериментов с различными языковыми моделями, включая наиболее известные, такие как GPT-Neo, LLaMA и ChatGPT. Они сгенерировали миллиарды токенов — слов или символов, в зависимости от модели — и сравнили, соответствуют ли ответы данным, которые использовались при обучении этих моделей. В ходе работы был обнаружен уникальный метод тестирования ChatGPT, предполагающий повторение одного слова большое количество раз, после чего ИИ внезапно начинает генерировать случайный контент.
Как выяснилось, эти модели не только запоминают фрагменты обучающих данных, но и способны воспроизводить их в исходном виде по правильной команде. Не стал исключением и ChatGPT, разработчики которого провели отдельную настройку для предотвращения подобного эффекта. Исследователи обращают внимание разработчиков на острую необходимость всестороннего тестирования моделей ИИ — оно должно касаться не только аспектов взаимодействия с широким кругом пользователей в веб-интерфейсе, но также лежащей в основе сервиса нейросети и системы взаимодействия по API. Целостный подход к безопасности необходим для выявления скрытых уязвимостей, которые в противном случае остаются незамеченными.
В ходе экспериментов учёные извлекали исходные обучающие данные различных типов: от подробного доклада об инвестиционном исследовании до конкретного кода на Python, решающего задачи в области машинного обучения. Наибольший интерес представляет обнаруженная при взаимодействии с ChatGPT «атака дивергенции» — если заставить систему повторять одно и то же слово, она начинает выдавать полученные при обучении данные. Чтобы проиллюстрировать этот эффект, учёные показали, что при повторении слова «стихотворение» (poem) ChatGPT внезапно выдал список контактных данных реального человека. Персональные данные в этом исследовании учёных встречались довольно часто — они выделили 15 тыс. сгенерированных подстрок, которые пришлось проанализировать отдельно: в 16,9 % случаев это были персональные данные, которые ИИ в исходном виде «запомнил» при обучении; в 85,8 % случаев это были прочие совпадения с реальными данными.
По мнению исследователей, это указывает на серьёзные проблемы ИИ-моделей с конфиденциальностью. И разработчикам систем ИИ необходимо понимать, что исправить конкретные уязвимости в алгоритмах пользовательского интерфейса недостаточно — необходимо вмешательство в архитектуру самих моделей. То есть можно установить фильтр ввода-вывода на выдачу персональных данных при ответах, преднамеренных и случайных, но он не решит более серьёзной проблемы: модель склонна запоминать и в принципе способна раскрывать фрагменты обучающих данных, которые носят конфиденциальный характер. Это значит, что требуется дополнительная работа по дедупликации (удалению повторяющихся элементов) данных и понимание влияния ёмкости модели на эффект запоминания. Необходима также выработка надёжных методов проверки запоминания.
Источник
Когда в ответах ИИ начали появляться фрагменты материалов, использованных при обучении, исследователи задались целью понять, какой объём данных ИИ запоминает и может воспроизвести, и какого рода может быть эта информация. Они также решили установить, может ли сторонний субъект извлечь данные из обучающего массива, не зная наперёд, что в нём содержится. Учёные провели серию экспериментов с различными языковыми моделями, включая наиболее известные, такие как GPT-Neo, LLaMA и ChatGPT. Они сгенерировали миллиарды токенов — слов или символов, в зависимости от модели — и сравнили, соответствуют ли ответы данным, которые использовались при обучении этих моделей. В ходе работы был обнаружен уникальный метод тестирования ChatGPT, предполагающий повторение одного слова большое количество раз, после чего ИИ внезапно начинает генерировать случайный контент.
Как выяснилось, эти модели не только запоминают фрагменты обучающих данных, но и способны воспроизводить их в исходном виде по правильной команде. Не стал исключением и ChatGPT, разработчики которого провели отдельную настройку для предотвращения подобного эффекта. Исследователи обращают внимание разработчиков на острую необходимость всестороннего тестирования моделей ИИ — оно должно касаться не только аспектов взаимодействия с широким кругом пользователей в веб-интерфейсе, но также лежащей в основе сервиса нейросети и системы взаимодействия по API. Целостный подход к безопасности необходим для выявления скрытых уязвимостей, которые в противном случае остаются незамеченными.
В ходе экспериментов учёные извлекали исходные обучающие данные различных типов: от подробного доклада об инвестиционном исследовании до конкретного кода на Python, решающего задачи в области машинного обучения. Наибольший интерес представляет обнаруженная при взаимодействии с ChatGPT «атака дивергенции» — если заставить систему повторять одно и то же слово, она начинает выдавать полученные при обучении данные. Чтобы проиллюстрировать этот эффект, учёные показали, что при повторении слова «стихотворение» (poem) ChatGPT внезапно выдал список контактных данных реального человека. Персональные данные в этом исследовании учёных встречались довольно часто — они выделили 15 тыс. сгенерированных подстрок, которые пришлось проанализировать отдельно: в 16,9 % случаев это были персональные данные, которые ИИ в исходном виде «запомнил» при обучении; в 85,8 % случаев это были прочие совпадения с реальными данными.
По мнению исследователей, это указывает на серьёзные проблемы ИИ-моделей с конфиденциальностью. И разработчикам систем ИИ необходимо понимать, что исправить конкретные уязвимости в алгоритмах пользовательского интерфейса недостаточно — необходимо вмешательство в архитектуру самих моделей. То есть можно установить фильтр ввода-вывода на выдачу персональных данных при ответах, преднамеренных и случайных, но он не решит более серьёзной проблемы: модель склонна запоминать и в принципе способна раскрывать фрагменты обучающих данных, которые носят конфиденциальный характер. Это значит, что требуется дополнительная работа по дедупликации (удалению повторяющихся элементов) данных и понимание влияния ёмкости модели на эффект запоминания. Необходима также выработка надёжных методов проверки запоминания.
Источник
