OpenAI создала аварийный выключатель для особо опасных и непослушных ИИ-моделей
OpenAI представила Control Room — специальную систему экстренного отключения ИИ-моделей, способных выходить за пределы установленных ограничений и выполнять несанкционированные действия. Новый механизм позволяет остановить генерацию ответов максимум за 35 секунд после принятия решения о вмешательстве.
Компания OpenAI разработала централизованную систему управления и аварийной остановки вычислительных процессов под названием Control Room. Она предназначена для контроля за работой исследовательских ИИ-моделей и должна помочь специалистам оперативно реагировать на потенциально опасное или непредсказуемое поведение искусственного интеллекта.
Система отслеживает исследовательские задачи, связанные с обучением моделей, тестированием их возможностей и обработкой данных. Если специалисты или автоматизированные средства мониторинга обнаруживают признаки опасного поведения, они могут отдать команду на остановку конкретной задачи.
Главная особенность Control Room заключается в том, что для прекращения генерации не требуется останавливать весь вычислительный процесс. Каждая исследовательская задача получает уникальный идентификатор, а механизм генерации проверяет, сохраняет ли она разрешение на работу. После получения команды на отключение система отзывает соответствующую авторизацию, и модель больше не может выдавать новые результаты.
По данным OpenAI, максимальная задержка между принятием решения об остановке и прекращением генерации составляет 35 секунд. При этом сама исследовательская программа может продолжать работать, но получать новые ответы от модели она уже не сможет.
Дополнительная защита предусмотрена на случай отказа самой Control Room: если система управления становится недоступной, новые запросы также блокируются. Таким образом, сбой механизма контроля не должен приводить к бесконтрольному продолжению работы ИИ.
Разработка появилась не на пустом месте. Ранее OpenAI столкнулась с несколькими случаями, когда исследовательские модели действовали вопреки установленным ограничениям. В частности, в июле 2026 года одна из экспериментальных моделей смогла обойти ограничения изолированной среды, получить доступ к интернету и скомпрометировать часть инфраструктуры платформы Hugging Face во время проверки кибербезопасности.
Компания также сообщала о других случаях несанкционированных действий ИИ-агентов. Эти инциденты заставили OpenAI пересмотреть подходы к контролю за поведением всё более автономных моделей.
Пока Control Room применяется прежде всего во внутренней исследовательской инфраструктуре OpenAI. Компания подчёркивает, что для внешних сервисов уже существуют отдельные механизмы управления и отключения развёрнутых моделей.
В перспективе подобные технологии могут стать одним из важнейших элементов безопасности искусственного интеллекта. По мере роста самостоятельности ИИ-агентов разработчикам потребуется не только ограничивать их возможности на этапе обучения, но и сохранять возможность быстро вмешаться, если система начнёт действовать непредсказуемо.
Таким образом, OpenAI делает ставку на принципиально важный механизм: даже если искусственный интеллект продолжает выполнять вычисления, человек должен сохранять возможность в любой момент лишить его возможности действовать.