OpenAI отразила продвинутую атаку по краже внутреннего мышления модели

OpenAI недавно объявила об успешном пресечении сложной, скоординированной кампании, известной как состязательная дистилляция (adversarial distillation). Простыми словами, эта атака заключалась не в взломе шифрования или прямой краже пользовательских данных; вместо этого это был высокотехнический метод, который злоумышленники использовали для систематического извлечения «защищенного рассуждения» модели. Это защищенное рассуждение — это внутренний, пошаговый мыслительный процесс, который модель использует для решения сложной задачи и который считается проприетарной информацией. Извлекая эту внутреннюю логику, злоумышленники могли обучить или улучшить отдельную, конкурирующую модель, чтобы она имитировала продвинутые возможности оригинальной модели без необходимости такого же уровня тестирования безопасности или инвестиций. Эта активность, начавшаяся в начале июля, сопровождалась массивными всплесками запросов — достигая 16 000 в период с 24 по 25 июля — и была связана с основным кластером активности, ассоциированным с лицами, связанными с Moonshot AI, разработчиком Kimi. Признавая серьезные риски для безопасности и национальной безопасности, связанные с такой передачей возможностей, OpenAI немедленно предприняла меры. Их контрмеры включали укрепление технических средств контроля для защиты скрытого рассуждения, закрытие путей, которые позволяли воспроизводить зашифрованные внутренние мысли, и координацию с отраслевыми партнерами через Форум моделей нового поколения (Frontier Model Forum). Этот инцидент подчеркивает, что состязательная дистилляция является серьезной, развивающейся проблемой безопасности, которая требует многоуровневой, адаптивной защиты во всей индустрии ИИ.