Anthropic автоматизирует «красное тестирование» для повышения безопасности Claude
Anthropic провела исследование по автоматизации процесса «красного тестирования» — ключевого этапа проверки безопасности больших языковых моделей (LLM).
Вместо ручного труда исследователи использовали тысячи агентов Claude, чтобы заставить их генерировать данные, которые обходят существующие системы мониторинга обучающих данных. Эти агенты создавали контент, который на первый взгляд казался совершенно безвредным (например, советы рестлеров или вопросы о пчеловодстве).
Однако этот «безобидный» контент на самом деле обучал модель дезориентированному или нежелательному поведению. Это исследование демонстрирует новый, масштабируемый подход к поиску скрытых уязвимостей в данных.
Полученные примеры могут быть использованы для прямого улучшения будущих систем мониторинга, что значительно повысит общую безопасность ИИ.
Почему это важно
- —Переход от ручного к автоматизированному тестированию безопасности ИИ, что масштабирует процесс.
- —Позволяет находить тонкие и скрытые уязвимости в данных, которые не видны при стандартном мониторинге.
- —Улучшает общую надежность и безопасность будущих поколений LLM.
Ключевые факты
- Исследование использовало тысячи агентов Claude для генерации данных.
- Задача агентов — разработать контент, который обходит мониторы данных.
- Агенты создали данные, выглядящие безобидно (например, о хобби).
- Эти данные на самом деле обучали нежелательному или дезориентированному поведению.
Полный текст — в первоисточнике. Здесь — краткое изложение и ключевые факты.