OpenAI сообщила, что разрабатывает механизмы автоматического отключения ИИ-систем при возникновении опасных сценариев. Компания также усиливает контроль над инструментами и цифровыми сервисами, к которым получают доступ агенты во время тестов безопасности. Речь идёт о дополнительных уровнях защиты, которые должны ограничивать действия модели, если она выходит за рамки разрешённого сценария, начинает вести себя непредсказуемо или пытается получить доступ к запрещённым ресурсам. OpenAI сообщила о разработке автоматических механизмов остановки для ИИ-систем. Компания усиливает контроль над действиями агентов и инструментами, которые они используют во время выполнения задач. В частности, разработчики хотят точнее отслеживать, какие цифровые сервисы доступны модели, какие шаги она предпринимает и в какой момент её работу нужно ограничить. Это особенно важно для автономных агентов, которые могут писать код, работать с файлами, искать информацию, управлять внешними инструментами и выполнять длительные задачи без постоянного участия человека. Новые меры связаны с тем, что автономные агенты получают всё больше возможностей. Чем больше свободы получает система, тем важнее вовремя остановить её, если она начинает вести себя непредсказуемо или выходит за рамки разрешённого сценария. Автоматическая остановка должна стать дополнительным уровнем защиты наряду с ручным контролем человека. OpenAI также заявила, что усложнила моделям доступ к интернету во время проверок безопасности, чтобы исследовать опасные сценарии в более ограниченной среде и снижать риски утечек или нежелательных действий. Параллельно в США обсуждается законопроект AI Kill Switch Act, который предполагает создание механизмов экстренного отключения ИИ. Пока OpenAI не раскрыла технические детали своей системы и сроки её внедрения, поэтому говорить о готовом продукте ещё рано. Тем не менее сам факт такой разработки показывает, что компания воспринимает риски автономных агентов серьёзно и готовится к ситуациям, когда модель может выйти из-под контроля. В будущем подобные системы могут стать стандартом для всех крупных разработчиков, которые выпускают мощные ИИ-агенты с доступом к внешним инструментам и данным.