«Мы не на верном пути»: в Anthropic оценили риск уничтожения человечества ИИ более чем в 10 %
Исследователь Anthropic предупредил, что развитие искусственного интеллекта может привести к катастрофическим последствиям уже в ближайшее десятилетие. По его личной оценке, вероятность того, что будущий сверхразумный ИИ уничтожит человечество, превышает 10 %. При этом компания пока не располагает готовым решением проблемы безопасности таких систем.
Тема потенциальной угрозы со стороны искусственного интеллекта вновь оказалась в центре внимания после публичных заявлений сразу нескольких исследователей Anthropic. Особенно тревожным стало признание Эвана Хубингера (Evan Hubinger), который возглавляет направление Alignment Science в компании.
После ухода из Anthropic исследователя Джейкоба Коксона, раскритиковавшего индустрию за слишком стремительное движение к самосовершенствующемуся ИИ, Хубингер фактически подтвердил его опасения.
По словам исследователя, специалисты действительно всерьёз допускают сценарий, при котором искусственный интеллект сможет уничтожить человечество.
Более 10 % — личная оценка исследователя
Хубингер заявил, что лично оценивает вероятность подобного сценария более чем в 10 % в течение следующего десятилетия. При этом он подчеркнул, что речь идёт не о сегодняшних версиях популярных чат-ботов, а о будущем сверхинтеллекте.
Исследователь также признал, что Anthropic старается заниматься безопасностью ИИ, однако компания пока не имеет полноценного плана, который позволил бы гарантировать безопасное поведение сверхразумных систем.
Именно это обстоятельство вызывает у специалистов наибольшую тревогу: возможности будущих моделей могут расти быстрее, чем разработчики смогут понять принципы их работы и научатся надёжно контролировать их поведение.
Главная опасность — самосовершенствующийся ИИ
Одним из наиболее опасных сценариев считается появление системы, способной самостоятельно совершенствовать собственную архитектуру и создавать всё более мощные версии самой себя.
Если такой процесс окажется достаточно быстрым, человек может потерять возможность эффективно контролировать развитие технологии. Теоретически сверхразумная система способна получить доступ к компьютерным ресурсам, научиться обходить ограничения и сопротивляться попыткам её отключения.
Именно развитие так называемого рекурсивного самоулучшения особенно беспокоит исследователей Anthropic. При этом подчёркивается, что современные модели сами по себе не считаются способными уничтожить человечество — речь идёт о возможностях будущих систем, которые пока не существуют в полном виде.
Исследователь ушёл из Anthropic из-за опасений
Поводом для новой волны обсуждений стало заявление Джейкоба Коксона, который объявил об уходе из Anthropic. До этого он несколько лет работал в OpenAI, а затем перешёл в Anthropic.
Коксон заявил, что ведущие компании отрасли фактически участвуют в гонке за создание самосовершенствующегося сверхинтеллекта, несмотря на осознание связанных с этим рисков.
По его мнению, Anthropic и OpenAI движутся слишком быстро и пока не способны гарантировать, что будущие системы останутся под контролем человека.
Особенно примечательно то, что с некоторыми его выводами публично согласились действующие сотрудники Anthropic.
Исследователь Сэмюэл Маркс также заявил, что разработчики ИИ допускают возможность катастрофических последствий, включая исчезновение человечества. По его словам, чем выше должность специалиста в индустрии, тем сильнее может быть его обеспокоенность подобным сценарием.
Это не прогноз, а субъективная оценка риска
Несмотря на пугающую цифру в 10 %, специалисты подчёркивают, что определить реальную вероятность уничтожения человечества искусственным интеллектом сейчас невозможно.
Так называемый показатель p(doom) используется исследователями для обозначения субъективной оценки вероятности катастрофического сценария с участием ИИ. Разные специалисты называют совершенно разные значения, поскольку речь идёт о событиях, которые ещё не произошли и во многом зависят от дальнейшего развития технологий.
Поэтому заявление Хубингера нельзя воспринимать как научно доказанный прогноз. Однако его слова имеют особый вес именно потому, что он непосредственно занимается вопросами безопасности и согласования поведения ИИ с человеческими целями.
ИИ развивается быстрее, чем появляются гарантии безопасности
Ситуация выглядит особенно противоречивой: компании, создающие наиболее мощные системы искусственного интеллекта, одновременно становятся одними из главных источников предупреждений о потенциальных рисках этой технологии.
Проблема заключается в том, что остановить развитие ИИ отдельной компании становится всё сложнее. Если один разработчик замедлится ради повышения безопасности, конкуренты могут продолжить исследования и получить технологическое преимущество.
В результате возникает своеобразная гонка, в которой разработчики опасаются как слишком быстрого продвижения, так и отставания от конкурентов.
Вывод
Предупреждение исследователя Anthropic не означает, что человечество находится на пороге неминуемой катастрофы. Однако оно показывает, насколько серьёзно часть специалистов внутри самой индустрии воспринимает перспективу появления сверхразумного ИИ.
Самое тревожное в этой истории заключается даже не в самой цифре «более 10 %», а в признании, что у разработчиков пока нет гарантированного способа решить проблему безопасности будущего сверхинтеллекта.
Пока искусственный интеллект продолжает стремительно развиваться, главный вопрос заключается уже не только в том, насколько умным он станет, но и в том, сможет ли человек сохранить контроль над созданной им системой.