NVIDIA запускает набор Nemotron 3.5 для мультимодального извлечения данных для агентов

Эффективность и надежность продвинутых AI-агентов фундаментально связаны с качеством доказательств, которые они могут извлекать из обширных, сложных корпусов документов. Когда агенту поручают решение сложной задачи, его первоначальные ответы хороши ровно настолько, насколько хороша информация, к которой он может получить доступ. Если извлеченные доказательства неполные, нерелевантные или плохо структурированные, агент вынужден вступать в цикл повторных поисков и глубокого анализа дополнительных документов. Этот процесс, хотя и необходим для обоснования ответа, приводит к значительному и часто массивному расходу токенов инференса, особенно при развертывании в корпоративном масштабе. Такая потеря токенов представляет собой серьезную операционную неэффективность, подчеркивая критическую потребность в сложных и высокоточных моделях извлечения и надежных системах, чтобы гарантировать, что агенты могут достигать действенных выводов с минимальными вычислительными затратами.

Чтобы решить эти ограничения, NVIDIA значительно расширила свою коллекцию Nemotron Retriever. Это расширение представляет несколько новых, открытых и коммерчески доступных передовых моделей, разработанных для трех критически важных функций: встраивания (embedding), переранжирования (reranking) и парсинга документов (document parsing). Новый набор включает модели Nemotron 3.5 Embed (доступные в вариантах 8B, 1B и NVFP4), Nemotron 3.5 Rerank (8B) и Nemotron 3.5 Parse (631M параметров). Совокупно эти модели повышают производительность рабочих процессов корпоративных агентов, интегрируя мультимодальные возможности извлечения, точное ранжирование релевантности и продвинутую обработку документов в единую, слаженную систему.

Качество процесса извлечения имеет первостепенное значение, поскольку оно напрямую влияет на две ключевые метрики: фактическую точность ответа, который генерирует агент, и общую вычислительную стоимость, связанную с инференсом Большой Языковой Модели (LLM). Гарантируя, что доказательства, попадающие в контекст агента, являются высокорелевантными, агент может принимать более правильные решения о своих следующих шагах или отвечать на первоначальный вопрос более точно. Более того, включение специализированного этапа переранжирования значительно улучшает общее качество доказательств перед их передачей в LLM, тем самым максимизируя полезность каждого потраченного токена.

Рассмотрим высокосложный сценарий реального мира: агент должен определить продукты, которые рискуют закончиться в следующем квартале, и предоставить подробное объяснение. Для выполнения этой задачи агент не может полагаться на единственный источник. Он должен синтезировать информацию из разрозненных форматов — комбинируя прогнозы спроса, представленные в диаграммах, текущие уровни запасов, детализированные в таблицах, и сроки поставки от поставщиков, задокументированные в текстовых отчетах. Затем агент должен выполнить сложное рассуждение, чтобы определить, прибудут ли пополняющие поставки до истощения имеющихся запасов. Успешное выполнение этой задачи требует не просто поиска, а нахождения наиболее релевантных доказательств из множества разнообразных типов документов и их связной интеграции в единый, последовательный анализ.

Чтобы эмпирически продемонстрировать влияние качества извлечения, разработчики оценили модели Nemotron 3.5 Embed и Rerank по трем сложным бенчмаркам: ViDoRe v3, BRIGHT и BrowseComp-Plus. Эти бенчмарки имитируют поведение агента в реальном мире. Конвейер оценки включает запрос агентом корпуса с использованием инструмента поиска, анализ извлеченных доказательств, а затем уточнение последующих поисковых попыток для выявления наиболее подходящей информации для заданного запроса. Эксперименты систематически варьировали конфигурацию извлечения — сравнивая поиск только по встраиванию против встраивания плюс переранжирование, и тестируя различные комбинации моделей — при этом сохраняя неизменными основные компоненты, включая LLM, питающую агента, доступные инструменты, набор задач, корпус документов и политику выполнения. Основными измеряемыми метриками были способность агента находить релевантную информацию для каждой задачи и общее количество токенов инференса агента, потребленных на задачу, охватывающее все входные и выходные токены за каждый ход диалога.

Результаты продемонстрировали существенный прирост производительности. В частности, интеграция модели Nemotron 3.5 Rerank значительно снижает стоимость токенов агента на запрос. Используя модель Nemotron 3.5 Embed 8B, переранжировщик достиг приблизительного снижения стоимости токенов на 14%, а с моделью Nemotron 3.5 Embed 1B снижение составило около 13%. Что особенно важно, эта экономия затрат была достигнута одновременно с улучшением общей точности извлечения. Более того, при сравнении качества извлечения при сопоставимых затратах токенов агента, Nemotron 3.5 Embed 8B в сочетании с Nemotron 3.5 Rerank показал показатель nDCG@10 примерно на 0,9 балла выше, чем модель Qwen3-VL-Reranker-8B. Это демонстрирует, что набор Nemotron обеспечивает превосходную производительность и экономическую эффективность одновременно, что является критическим прорывом для масштабирования AI-агентов.

В основе этих успехов лежат модели Nemotron 3.5 Embed и Nemotron 3.5 Rerank, разработанные для извлечения доказательств, охватывающих как текст, так и изображения, и последующего приоритизации этих доказательств для рабочего контекста агента. Модель Nemotron 3.5 Embed представляет собой крупный скачок вперед по сравнению с предыдущими поколениями, поскольку она способна извлекать доказательства не только из стандартного текста документа, но и из визуального контента, встроенного в документы. Этот визуальный контент включает такие сложные элементы, как таблицы, диаграммы, инфографика, технические листы и схемы. Эта возможность позволяет корпоративным приложениям искать и использовать информацию, переданную визуальными данными, наряду с традиционными текстовыми описаниями, значительно расширяя область поисковых знаний.

Четыре модели в наборе предлагают высокогибкие варианты развертывания. Они поддерживают комплексное извлечение текста и изображений, что позволяет осуществлять поиск по разнообразным типам документов. С точки зрения глобального охвата, поиск по тексту оценивался в 34 языках, а мультилингвидальные возможности визуального извлечения были протестированы на таких бенчмарках, как MIRACL Vision (охватывающий 18 языков) и KoViDoRe, что предполагает широкую международную применимость. Мультимодальная функция переранжирования выполняется 8B кросс-энкодером, который оценивает релевантность пар «запрос–документ» как для текстовых, так и для изображений. Для гибкости развертывания модель встраивания 1B доступна как в форматах BF16, так и NVFP4, с применением квантования как к текстовым, так и к визуальным энкодерам. Более того, модели поддерживают адаптацию к предметной области, позволяя дообучать их на пользовательских коллекциях документов. Например, в специализированных экспериментах с диаграммами и инфографикой модели Nemotron-3.5-Embed-1B-BF16 и Nemotron-3.5-Embed-8B-BF16 достигли относительного прироста nDCG@10 в 18% и 3% соответственно. На строгом бенчмарке ViDoRe v3.1 модель Nemotron 3.5 Embed 8B BF16 достигла впечатляющего показателя nDCG@10 в 61,17, утвердившись в качестве ведущей модели плотного извлечения. Этот показатель представляет собой существенное улучшение на 8,94 балла по сравнению с показателем 52,23, достигнутым моделью Llama Nemotron Embed VL 1B. Кроме того, меньшая модель 1B успешно улавливает большую часть этого высокого качества визуального извлечения, набрав 58,38 nDCG@10, что сохраняет впечатляющие 95,4% производительности более крупной обучающей модели 8B. Сочетание превосходной мультимодальной точности извлечения, значительного снижения затрат за счет переранжирования и гибких вариантов развертывания делает этот набор преобразующим инструментом для создания высокоэффективных корпоративных AI-агентов нового поколения.