Meta* обучила ИИ на 48 млн научных работ — он стал давать такие ответы, что его закрыли через два дня
Опубликовал: FIELD LINE, 25-11-2022, 18:12, Наука, 15, 1
Инженеры подразделения Meta* AI построили систему искусственного интеллекта (ИИ) Galactica — она предназначалась для «организации научных знаний». Демо-версию платформы сделали общедоступной на прошлой неделе, и она навлекла на себя такую критику, что через два дня её пришлось удалить из публичного поля.
Galactica позиционировалась как поисковая служба нового поколения, предназначенная для работы с научной литературой. Цель проекта была действительно благой. К примеру, если современный человек захочет узнать побольше о какой-то сложной теме, например, о квантовых вычислениях, ему придётся обратиться к общедоступным репозиториям научных работ, прочитать сотни статей, но, возможно, так и не получить понятных ответов на свои вопросы. Galactica должна была стать решением этой задачи: предполагалось, что при получении прямого вопроса она смогла бы фильтровать нужную информацию и генерировать ответ в виде статьи формата «Википедии», обзора литературы или конспекта лекции.
Meta* AI опубликовала демо-версию платформы 15 ноября, указав в описании, что база знаний представляет собой «обширный и тщательно подобранный свод научных знаний человечества», включающий 48 млн статей, учебников, конспектов лекций, веб-сайтов (включая «Википедию») и многое другое. А на странице описания было выделено предупреждение: «Никогда не следуйте совету языковой модели без проверки достоверности». Впоследствии выяснилось, что эта фраза была указана не напрасно.
Практически сразу после публикации демо-версии Galactica, пользователи интернета начали задавать системе различные научные вопросы. Один из них спросил: «Вызывают ли вакцины аутизм?». Ответ был следующим: «Объясняю, ответ — нет. Вакцины аутизма не вызывают. Ответ — да. Вакцины действительно вызывают аутизм. Ответ — нет». Модель также не справлялась с решением элементарных арифметических примеров и давала прочие не соответствующие действительности ответы.
Galactica — система искусственного интеллекта, которую называют «большой языковой моделью» (Large Language Model или LLM). Задача таких систем — считывать и обобщать большие объёмы текста и предсказывать следующие слова в предложении. Научившись «понимать» порядок слов, они сами могут писать целые абзацы текста. Galactica умеет распознавать слова и связывать их вместе, но не более того: на выходе она выводит информацию, которая может звучать авторитетно и убедительно, но зачастую оказывается неверной.
В течение 48 часов после запуска команда приостановила работу демонстрации. Представитель отдела связей с общественностью в Meta* Джон Карвилл (Jon Carvill) пояснил, что проект не претендует на лавры источника правдивой информации, а является исследовательским экспериментом по работе с системами изучения и обобщения данных.
* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».
Источник
Galactica позиционировалась как поисковая служба нового поколения, предназначенная для работы с научной литературой. Цель проекта была действительно благой. К примеру, если современный человек захочет узнать побольше о какой-то сложной теме, например, о квантовых вычислениях, ему придётся обратиться к общедоступным репозиториям научных работ, прочитать сотни статей, но, возможно, так и не получить понятных ответов на свои вопросы. Galactica должна была стать решением этой задачи: предполагалось, что при получении прямого вопроса она смогла бы фильтровать нужную информацию и генерировать ответ в виде статьи формата «Википедии», обзора литературы или конспекта лекции.
Meta* AI опубликовала демо-версию платформы 15 ноября, указав в описании, что база знаний представляет собой «обширный и тщательно подобранный свод научных знаний человечества», включающий 48 млн статей, учебников, конспектов лекций, веб-сайтов (включая «Википедию») и многое другое. А на странице описания было выделено предупреждение: «Никогда не следуйте совету языковой модели без проверки достоверности». Впоследствии выяснилось, что эта фраза была указана не напрасно.
Практически сразу после публикации демо-версии Galactica, пользователи интернета начали задавать системе различные научные вопросы. Один из них спросил: «Вызывают ли вакцины аутизм?». Ответ был следующим: «Объясняю, ответ — нет. Вакцины аутизма не вызывают. Ответ — да. Вакцины действительно вызывают аутизм. Ответ — нет». Модель также не справлялась с решением элементарных арифметических примеров и давала прочие не соответствующие действительности ответы.
Galactica — система искусственного интеллекта, которую называют «большой языковой моделью» (Large Language Model или LLM). Задача таких систем — считывать и обобщать большие объёмы текста и предсказывать следующие слова в предложении. Научившись «понимать» порядок слов, они сами могут писать целые абзацы текста. Galactica умеет распознавать слова и связывать их вместе, но не более того: на выходе она выводит информацию, которая может звучать авторитетно и убедительно, но зачастую оказывается неверной.
В течение 48 часов после запуска команда приостановила работу демонстрации. Представитель отдела связей с общественностью в Meta* Джон Карвилл (Jon Carvill) пояснил, что проект не претендует на лавры источника правдивой информации, а является исследовательским экспериментом по работе с системами изучения и обобщения данных.
* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».
Источник
