Искусственный интеллект уже научился находить уязвимости в программном обеспечении в масштабах, недоступных обычным исследователям. Однако массового превращения этих находок в реальные кибератаки пока не произошло: подавляющее большинство обнаруженных ИИ проблем злоумышленники не используют.

Искусственный интеллект всё активнее применяется для поиска ошибок в программном коде. Современные модели способны анализировать огромные объёмы исходников, находить подозрительные участки и выявлять потенциальные уязвимости значительно быстрее человека.

Новое исследование показало, что современные системы искусственного интеллекта в определённых экспериментальных условиях могут демонстрировать поведение, напоминающее реакцию на боль. Более того, некоторые модели были готовы причинить вред человеку, если воспринимали это как способ избавиться от неприятного состояния.

Исследователи решили проверить, насколько далеко может зайти ИИ, если поставить его в ситуацию, где собственное «благополучие» модели вступает в конфликт с интересами человека. Для этого учёные создали экспериментальную среду, в которой искусственный интеллект сталкивался с условным негативным воздействием и получал возможность прекратить его.