OpenAI усиливает безопасность по мере приближения Astra к критическому уровню кибервозможностей
OpenAI заявляет, что первые внутренние тесты её готовящейся модели Astra показали значительный прогресс в автономном программировании и кибербезопасности. Компания пока не может исключить, что Astra достигнет критического уровня кибервозможностей в рамках своей Preparedness Framework. На этом уровне модель может самостоятельно находить ранее неизвестные уязвимости и создавать работающие эксплойты нулевого дня — атаки, использующие прежде неизвестные недостатки программного обеспечения, — для множества хорошо защищённых критически важных систем либо планировать и осуществлять новую атаку, имея лишь общую цель.
Оценка носит предварительный характер, и OpenAI заявляет, что Astra не была причастна к эксплуатации уязвимостей Hugging Face. Пока тестирование продолжается, компания усиливает меры безопасности вокруг модели: использует изолированные среды, ограничивает доступ к сетям и инструментам, укрепляет шифрование и защиту весов модели, применяет выполнение кода в песочнице и расширяет мониторинг. Работы, не соответствующие новым требованиям, приостановлены. OpenAI также планирует совместное тестирование с государственными ведомствами и отдельными организациями, занимающимися безопасностью ИИ.
Почему это важно
- —Модель критического уровня потенциально способна обнаруживать неизвестные уязвимости программного обеспечения и проводить сложные атаки практически без участия человека.
- —Те же возможности могут помочь специалистам по защите находить и устранять уязвимости до того, как ими воспользуются преступники или враждебные группы.
- —Решение OpenAI приостановить часть внутренних работ показывает, что для внедрения ИИ с продвинутыми кибервозможностями могут потребоваться более строгие меры контроля.
Ключевые факты
- Предварительные испытания выявили значительный прогресс в возможностях Astra в области автономного программирования и кибербезопасности.
- Сейчас OpenAI не может исключить, что Astra достигнет критического порога кибервозможностей, установленного в программе Preparedness Framework.
- Компания внедряет изолированное тестирование, ограниченный доступ к сети и инструментам, усиленную защиту модели, мониторинг и выполнение в песочнице.
- Внутренние работы с Astra, не соответствующие усиленным требованиям безопасности, приостановлены.
- Государственные ведомства и отдельные организации, занимающиеся безопасностью ИИ, будут приглашены к тестированию модели.
Полный текст — в первоисточнике. Здесь — краткое изложение и ключевые факты.
