Правильная проверка источника, а не только факта: верификация с учетом источника для агентов MCP

В статье представлен ProvenanceGuard — сложный и критически важный уровень верификации после генерации, разработанный специально для устранения серьезной уязвимости в продвинутых агентах Large Language Model (LLM), особенно тех, которые работают в сложных, чувствительных к данным средах. Эта уязвимость называется «cross-source conflation» (смешение источников), что представляет собой режим отказа, при котором агент генерирует факт, который является фактически верным, но ошибочно приписывает этот факт источнику, который его не предоставлял. Традиционные «source-blind» (слепые к источнику) верификаторы недостаточны, поскольку они проверяют лишь фактическое существование факта в объединенном доказательстве, тем самым пропуская вводящие в заблуждение ответы. Однако ProvenanceGuard создан для поддержания и проверки точной связи между каждым сгенерированным утверждением и его первоисточником, что делает его незаменимым для высокорисковых приложений.

Рассмотрим практические последствия сбоя атрибуции источника. В условиях поддержки клиентов агент может правильно указать, что существует «30-дневный период возврата», но если ответ подразумевает, что этот факт взят из конкретной «записи учетной записи» клиента, тогда как на самом деле он происходит из общего «документа о политике», атрибуция ошибочна. В таком контексте, чувствительном к данным, эта неверная атрибуция может быть столь же пагубной, если не более, чем простое указание неверного факта. Аналогичный, крайне критичный паттерн возникает в клинических условиях: детали медикамента, специфичные для пациента и правильно извлеченные из инструмента истории болезни, становятся вводящими в заблуждение, если агент представляет их как вывод, полученный из общей медицинской литературы. ProvenanceGuard напрямую решает эту проблему, гарантируя, что подтверждающий источник явно соответствует источнику, который заявляет или подразумевает ответ.

Из-за этой критической потребности в достоверности источника авторы утверждают, что существующие «faithfulness scores» (оценки достоверности) неадекватны для агентов Multi-Component Process (MCP). Ответ, сгенерированный агентом MCP, по своей сути несет «provenance» (происхождение) — это запись о том, откуда поступила информация, которая может быть явно указана (например, «согласно записи учетной записи») или неявно понята. Основная функция ProvenanceGuard — сохранять эту жизненно важную связь между утверждением и его источником для тщательной проверки на протяжении всего конвейера ИИ. Он делает это, выступая в качестве верификационного уровня, расположенного поверх black-box агента MCP, что означает, что ему не требуется переобучение базовой модели агента.

Когда агент выдает ответ, ProvenanceGuard перехватывает процесс. Важно отметить, что он никогда не сводит доказательства в один анонимный контекст; вместо этого он тщательно сохраняет идентификатор источника на каждом этапе. Он обрабатывает захваченный трассировочный след MCP, который включает подробные выводы из различных инструментов и их соответствующие уникальные идентификаторы источников. Процесс верификации высоко структурирован и последователен, включая пять отдельных шагов: Во-первых, система разбивает сложный ответ на дискретные, проверяемые утверждения. Во-вторых, она определяет материал источника, наиболее релевантный для каждого отдельного утверждения. В-третьих, она выполняет проверку поддержки, чтобы убедиться, что этот идентифицированный источник действительно подтверждает утверждение. В-четвертых, и это наиболее критично, она сравнивает подтверждающий источник с источником, который ответ явно называет или неявно предполагает. Наконец, он выдает два типа вердиктов: вердикт по источнику для каждого утверждения и глобальное решение на уровне ответа — «разрешить» или «заблокировать». Этот структурированный поток гарантирует, что идентификатор источника сохраняется в процессе декомпозиции, маршрутизации, оценки поддержки, проверки атрибуции и потенциального исправления, а не теряется или объединяется.

Для экспериментальной установки исследователи использовали локальные модели, чтобы обеспечить контролируемую, офлайн-среду для обработки захваченных трассировок. Эта установка включала MiniLM для задачи поиска наиболее релевантного источника, верификатор DeBERTa Natural Language Inference (NLI) для проверки того, поддерживал ли источник утверждение, и локальную языковую модель для выполнения первоначальной декомпозиции утверждений. Кроме того, верификатор включает строгую проверку литеральных значений — это означает, что любое число, дата или идентификатор, упомянутый в ответе, должен физически присутствовать в исходном материале, предотвращая правдоподобно звучащие, но неподтвержденные утверждения. Вся система завершается калиброванным этапом принятия решений, который объединяет все эти сигналы. Если ответ заблокирован, может быть предпринят сложный механизм исправления в стиле RARR, который попытается провести ревизию, основанную на источнике, или безопасный откат, который затем снова подвергается проверкам верификатора, создавая надежную обратную связь.

Хотя для первоначальной оценки использовались названные модели, дизайн-философия ProvenanceGuard является модульной. Основные шаги утверждения, источника и принятия решений могут быть адаптированы для облачно размещенных моделей, при условии, что новая установка пройдет собственное тщательное тестирование и калибровку. Однако представленные результаты получены с использованием локальной конфигурации, что отмечено за его консервативную политику принятия решений. Эта осторожность крайне желательна в средах обзора, чувствительных к данным, где приоритетом является обеспечение правильности источника, даже если это означает потерю скорости сгенерированного ответа. Система была протестирована с использованием медицинского агента, который обращался к разнообразным инструментам, включая записи пациентов и общие исследовательские статьи, предоставив 281 реальную трассировку для исследования. Медицина служит идеальным тестовым примером, поскольку факт, полученный из уникальной записи пациента, не может рассматриваться так же, как факт, полученный из общих академических исследований. Основное тестирование включало экспертов-людей, которые просматривали 361 утверждение, взятое из 40 ответов, которые были полностью исключены из данных разработки системы. Результаты были весьма убедительными: эксперты определили, что 139 утверждений должны были быть заблокированы, и ProvenanceGuard успешно поймал 138 из них. Более того, система продемонстрировала высокую степень осторожности, пометив 67 утверждений, которые эксперты-люди считали подтвержденными, отправив их на обязательный обзор или исправление. Эта производительность подчеркивает приверженность системы безопасности. Для утверждений, где был идентифицирован источник, ProvenanceGuard правильно идентифицировал источник примерно в 86% случаев в этом тесте. По сравнению с четырьмя другими проверщиками поддержки, ProvenanceGuard достиг наивысшего балла по метрике статьи для отлова утверждений, которые должны были быть заблокированы, при сохранении высокой степени точности для подтвержденных утверждений.