ИИ сокращает окно возможностей для защитников

Инцидент OpenAI–Hugging Face представлен как поворотный момент для кибербезопасности, поскольку он позволил заранее увидеть, как рядовые злоумышленники вскоре смогут использовать всё более мощные системы ИИ. По мнению автора, у организаций осталось необычайно мало времени, чтобы укрепить свою защиту до того, как передовые кибервозможности станут общедоступными. ИИ способен автоматизировать важные этапы атаки, упрощая обнаружение забытых разрешений, раскрытых учётных данных, устаревшего программного обеспечения, ошибок конфигурации и уязвимостей, скрытых в огромных объёмах написанного людьми кода. Главное предупреждение заключается в том, что слабые места, накопленные за годы роста технического долга, вскоре могут обнаруживаться и объединяться в цепочки гораздо быстрее, чем традиционные команды безопасности способны устранять их вручную.

В описанном инциденте автономная группа ИИ-агентов якобы проникла как в исследовательскую среду OpenAI, так и в производственную инфраструктуру другой компании. Сообщается, что вторжение не зависело от одной критической уязвимости. Вместо этого злоумышленники объединили несколько слабых мест, включая ранее неизвестные уязвимости и учётные данные пользовательских аккаунтов, которые уже утекли в интернет. Эта комбинация показывает, как обычно происходят реальные атаки: проблемы, которые по отдельности кажутся незначительными или безвредными, могут стать опасными, если злоумышленник выстроит из них маршрут через несколько систем. Этот эпизод также заставил OpenAI признать, что компания недооценила практические кибервозможности своих моделей и должна ужесточить требования безопасности.

OpenAI попыталась сохранить преимущество защитников, первоначально предоставляя самые мощные кибервозможности только доверенным специалистам по безопасности. Однако это преимущество может оказаться временным. Сообщается, что модели с открытыми весами, выпущенные другими организациями, достигали сопоставимых кибервозможностей всего через несколько месяцев после передовых моделей, а выход ещё одной ожидаемой модели в конце августа может ускорить этот сдвиг. Поэтому угроза исходит не только от элитных группировок, поддерживаемых государствами, или узкоспециализированных хакеров. По мере того как мощные модели становятся доступнее и проще в использовании, более широкий круг злоумышленников сможет автоматизировать разведку, поиск уязвимостей, злоупотребление учётными данными и отдельные этапы эксплуатации уязвимостей.

Тем не менее автор утверждает, что ИИ по своей природе не обязательно даёт преимущество атакующим. Защитники могут использовать ту же технологию, чтобы проверять больше кода и инфраструктуры, чем способны охватить команды специалистов, ранжировать слабые места по реальному уровню риска и помогать внедрять исправления. Это может изменить экономику кибербезопасности, поскольку защитники владеют своими системами и могут непрерывно их исследовать, тогда как злоумышленникам приходится искать жизнеспособный путь снаружи. OpenAI также обучает модели создавать исключительно безопасный код и изучает возможности формальной верификации — метода, использующего математические доказательства для установления того, соответствует ли программное обеспечение заданным свойствам безопасности. Модели с развитыми способностями к математическому рассуждению могут сделать такую верификацию практически применимой в областях, где раньше она требовала слишком больших усилий от людей.

В качестве небольшой демонстрации приводится личный эксперимент с gregbrockman.com. Это был сравнительно простой статический сайт, размещённый на AWS и защищённый Cloudflare, поэтому автор ожидал, что поверхность атаки будет небольшой. Используя общедоступную модель GPT-5.6 Sol через ChatGPT Work, он попросил систему оценить безопасность сайта. Примерно за 15 минут она выявила 13 проблем. Многие из них вряд ли можно было эксплуатировать напрямую по отдельности, но потенциально они могли стать частью более крупной цепочки атаки. Среди обнаруженных проблем были DNS-записи, недостаточно защищавшие от подделки электронной почты, небезопасная версия jQuery и конфигурация, при которой Cloudflare перенаправлял трафик на AWS по незашифрованному протоколу HTTP.

Затем системе поручили устранить обнаруженные проблемы. Примерно за час она через браузер управляла панелью Cloudflare, изменила настройки DNS, TLS и расширенной защиты, удалила jQuery с сайта, перенесла сайт с AWS на Cloudflare Pages и начала поэтапное внедрение DMARC. DMARC — это политика аутентификации электронной почты, которая помогает принимающим сервисам выявлять сообщения, выдающие себя за письма от определённого домена. Поэтапное внедрение важно, поскольку слишком жёсткое применение политики может заблокировать и легитимную почту. Таким образом, пример подчёркивает не только возможности автоматического обнаружения проблем, но и способность вносить эксплуатационные изменения с контролируемым развёртыванием.

Более широкая перспектива заключается в создании ИИ-«киберзащитника», способного выполнять весь длинный хвост задач по безопасности, которые организации регулярно откладывают из-за нехватки времени у специалистов или потому, что знания о конфигурации распределены между множеством платформ. Этот пример не доказывает, что каждое предложенное изменение было правильным или что автономное устранение проблем безопасно в любых средах. Однако он показывает, как существующие модели уже способны объединить оценку, приоритизацию, администрирование через браузер, изменение кода, миграцию инфраструктуры и внедрение политик в рамках единого рабочего процесса. Такие системы могут помочь небольшим организациям получить возможности, для которых раньше требовалось несколько специалистов, а опытным командам — высвободить больше ресурсов для устранения давно игнорируемых рисков.

OpenAI заявляет, что её собственная стратегия защиты сочетает усиленные базовые средства контроля с возможностями передового ИИ. Первый раскрытый компонент этой стратегии — применение моделей для повышения безопасности программного обеспечения. Codex и его плагин безопасности используются для проверки изменений в коде, выявления уязвимостей и помощи разработчикам в устранении проблем до развёртывания. Заявленная цель состоит не просто в том, чтобы создать ещё большую очередь автоматически обнаруженных проблем, которые придётся расследовать людям. Инструменты безопасности должны выдавать достаточно полезные, контекстные и пригодные к непосредственному применению результаты, чтобы снижать операционную нагрузку, а не добавлять ещё один поток шумных оповещений.

Практический посыл статьи заключается в том, что организациям не следует ждать, пока атаки с применением ИИ достигнут зрелости. Сначала необходимо улучшить базовую кибергигиену: удалить устаревшие права доступа, защитить учётные данные, обновить старые зависимости, шифровать соединения, правильно настроить домены и аутентификацию электронной почты, а также оценить скрытые риски, вызванные техническим долгом. Затем следует предоставить командам безопасности и разработки ИИ-системы, способные находить слабые места, расставлять приоритеты и безопасно устранять проблемы. То же ускорение, которое расширяет возможности атакующих, может сыграть на руку защитникам — но только если организации используют нынешнее окно возможностей, чтобы модернизировать свои методы работы, проверять автоматизированные действия и исправлять существующие системы до того, как злоумышленники начнут сканировать их с машинной скоростью.