Глава Microsoft потребовал создать «аварийный тормоз» для ИИ: мощные модели нужно контролировать с самого запуска

Генеральный директор Microsoft Сатья Наделла призвал пересмотреть подход к безопасности искусственного интеллекта и встроить в инфраструктуру ИИ специальные механизмы экстренной остановки. По его мнению, компании не должны безоговорочно доверять даже самым продвинутым моделям: их необходимо контролировать с момента запуска, отслеживать каждое значимое действие и сохранять возможность немедленно вмешаться в работу системы.

Сатья Наделла предложил считать ИИ потенциально скомпрометированным

В своей публикации от 10 октября 2026 года глава Microsoft заявил, что разработчикам и компаниям, внедряющим искусственный интеллект, пора пересмотреть архитектуру доверия к таким системам. Вместо того чтобы полагаться на заверения создателей моделей, необходимо исходить из того, что ИИ потенциально может оказаться скомпрометированным.

Особенно актуальна эта проблема для ИИ-агентов, которые способны самостоятельно выполнять последовательности задач, обращаться к корпоративным данным, использовать инструменты и взаимодействовать с программными системами. Если такой агент получит избыточные полномочия или начнёт выполнять нежелательные действия, последствия могут затронуть не только отдельного пользователя, но и целую организацию.

Наделла считает, что безопасность нельзя обеспечивать исключительно на уровне самой языковой модели. Необходимо отделять её от программной инфраструктуры, которая управляет выполнением задач, и выносить важнейшие ограничения во внешние механизмы контроля.

Как должен работать «аварийный тормоз» для искусственного интеллекта

Предложенная концепция предполагает создание системы, которая позволит уполномоченному человеку приостановить работу ИИ или полностью остановить его выполнение задачи. Такой механизм должен действовать даже в том случае, если модель уже начала выполнять последовательность автономных операций.

Речь идёт не просто о привычной кнопке остановки генерации текста. В случае автономных агентов необходимо контролировать и внешние действия: обращения к базам данных, запуск инструментов, изменение информации и выполнение команд во внешних системах.

В числе ключевых принципов Наделла выделил несколько направлений:

• Независимый контроль. Критически важные ограничения должны находиться вне самой модели, чтобы она не могла самостоятельно отменить установленные правила.

• Возможность экстренной остановки. Уполномоченный сотрудник должен иметь возможность приостановить или завершить работу ИИ в любой момент выполнения задачи.

• Защищённый журнал действий. Все значимые операции необходимо фиксировать в понятном человеку виде, обеспечивая защиту записей от незаметного изменения.

• Проверяемость и аудит. Компании должны проводить независимые проверки безопасности и иметь возможность устанавливать, какие действия совершила модель и на каких основаниях.

• Отказ от единственной точки принятия решений. В критически важных процессах не следует полагаться исключительно на выводы одной модели искусственного интеллекта.

По мнению главы Microsoft, отрасли также необходимо выработать общие стандарты управления рисками. Чем больше возможностей получают ИИ-системы, тем более совершенными должны становиться механизмы их ограничения и изоляции.

Почему проблема становится особенно острой именно сейчас

Главная причина беспокойства — переход от чат-ботов, которые преимущественно отвечают на вопросы, к агентным системам, способным самостоятельно выполнять реальные действия. Чем больше инструментов и полномочий получает такой ИИ, тем выше потенциальный ущерб от ошибки, неправильной интерпретации инструкции или компрометации системы.

При этом даже если модель не обладает намерением причинить вред, она может выполнить опасную операцию из-за некорректных данных, уязвимости в программном окружении или недостаточно строгих ограничений. Поэтому безопасность должна обеспечиваться не только обучением модели, но и всей инфраструктурой, в которой она работает.

Наделла также выступил за более оперативное раскрытие информации об инцидентах безопасности. Организациям необходимо не только обнаруживать проблемы, но и своевременно сообщать о них тем, кого они могут затронуть, а затем устранять причины произошедшего.

Подобный подход особенно важен для корпоративных ИИ-агентов, которые могут получать доступ к конфиденциальным документам, внутренним сервисам и критически важным процессам.

Что это означает для будущего ИИ

Предложение главы Microsoft отражает более широкий сдвиг в индустрии: по мере расширения возможностей искусственного интеллекта контроль над его действиями становится не менее важным, чем точность ответов и производительность моделей.

Однако наличие экстренной остановки само по себе не гарантирует безопасности. Механизм должен быть технически независимым от контролируемой модели, защищённым от обхода и способным останавливать не только генерацию ответа, но и связанные с ней операции во внешних системах.

Пока речь идёт о принципах организации безопасной инфраструктуры, а не о готовом универсальном стандарте, который уже внедрён во всех ИИ-системах.

Вывод: Сатья Наделла предлагает строить безопасность искусственного интеллекта по принципу минимального доверия — контролировать его действия, проверять результаты и сохранять возможность вмешательства человека. По мере развития автономных ИИ-агентов такой «аварийный тормоз» может стать одним из важнейших элементов защиты цифровых систем.