NVIDIA Nemotron 3.5: Ведущая модель с открытыми весами для интеллектуальной многоязычной транскрипции

Nemotron 3.5 Transcribe, разработанный NVIDIA, представляет собой значительный скачок в технологиях обработки речи, выходя далеко за рамки простого транскрибирования слово за словом. Это модель с открытым весом, высокоадаптивная и поддающаяся промптингу, разработанная для преобразования сырого записанного аудио в структурированный, действенный и контекстно насыщенный текст. Основная сила модели заключается в ее способности справляться со сложностями реальной речи, такими как многоязычные разговоры, быстрые совещания и специализированные медицинские диктанты, которые часто требуют не просто транскрипта — им требуется идентификация говорящего, точный перевод и форматирование, специфичное для предметной области.

Изначально базовый транскрипт фиксирует только произнесенные слова, оставляя критические вопросы без ответа: Кто что сказал? Как это следует перевести? И как следует отформатировать жаргон, специфичный для предметной области? Nemotron 3.5 Transcribe устраняет эти пробелы, интегрируя множество передовых функций в единый, унифицированный чекпоинт. Этот комплексный пакет включает надежное транскрибирование на 40 языках, атрибуцию говорящего (также известную как диаризация) для до 13 языков, возможности перевода на 31 язык или с него на английский, и даже способность отвечать на вопросы на основе аудиоконтента. Кроме того, он разработан для обработки записей продолжительностью до часа и может точно маркировать до восьми различных говорящих, что делает его подходящим для сложных многолюдных взаимодействий.

Одним из самых революционных аспектов модели является ее уровень контроля и адаптивности. Разработчики не ограничены одним форматом вывода; они могут направлять вывод модели с помощью промптов на естественном языке. Это означает, что одну и ту же аудиозапись можно обработать несколькими способами, просто изменив инструкцию. Например, разработчик может попросить ее просто «Транскрибировать эту запись и пометить каждого говорящего», или задать более высокий вопрос, такой как «Какие решения были приняты на этом совещании?». Эта возможность позволяет модели функционировать не просто как транскрибировщик, а как интеллектуальный аналитик совещаний. Способность модели обрабатывать сложный аудиоматериал, такой как быстрый, сильно перекрывающийся диалог, характерный для классических фильмов вроде His Girl Friday (1940), демонстрирует ее устойчивость и глубокое понимание речевых паттернов.

Помимо общего транскрибирования, система превосходна в узкоспециализированных приложениях, особенно в здравоохранении. В медицинском контексте модель позволяет проводить проактивное определение контекста до обучения. Разработчики могут предоставить список возможных терминов (например, HbA1c, metformin) и поручить модели использовать стандартное медицинское написание и записывать числа в общепринятой письменной форме, гарантируя, что вывод соответствует строгим профессиональным стандартам. Такой уровень контроля достигается за счет интеграции Granary v2, который предоставляет многоязычные данные и повторно используемый конвейер курирования. В сочетании с инструментами тонкой настройки NeMo Speech это позволяет разработчикам адаптировать модель к специфическим речевым паттернам и словарному запасу, встречающимся в их приложениях. Эта возможность тонкой настройки имеет огромное значение, как показано на примере медицинского исследования, где тонкая настройка снизила частоту ошибок слов (Word Error Rate, WER) для отложенных говорящих на впечатляющие 45,8% по сравнению с лучшими результатами, полученными с помощью промптов.

Показатели производительности закрепляют позицию Nemotron 3.5 Transcribe как лидера рынка среди моделей с открытым весом. На рейтинге Hugging Face Open ASR Leaderboard она занимает первое место среди моделей с открытым весом для английского языка (средний WER 5,33%) и сохраняет самый низкий средний WER среди семи языков в многоязычном треке (4,62%). Ее производительность на длинном аудио также находится на высшем уровне (средний WER 10,98%). Кроме того, ее техническая эффективность замечательна. Она делит первое место среди моделей с открытым весом на лидерборде AA-WER от Artificial Analysis со значением 2,8% AA-WER. Что особенно важно, эта высокая точность достигается при использовании всего около 4 миллиардов активных параметров из общего числа в 30 миллиардов. Эта эффективность помещает ее на парето-фронт открытых весов точности против активных параметров, что означает, что она достигает передовых результатов при значительно меньших вычислительных ресурсах, чем многие проприетарные или более крупные модели. Модель достигает этой эффективности, объединяя свой кодировщик речи с гибридной языковой моделью «смесь экспертов» Mamba–Transformer, гарантируя, что для каждого обработанного токена активен только небольшой, высокооптимизированный набор параметров.

На практике демонстрируется универсальность модели. Для образовательных учреждений платформы, такие как Agora, использовали временные метки на уровне слов, чтобы преобразовать записанный класс в транскрипт с двойным представлением, позволяя студентам видеть, что именно было сказано и точно когда это было сказано, что улучшает процесс обучения. Модель также поддерживает временные метки на уровне слов, что жизненно важно для приложений, требующих точной синхронизации между аудио и текстом, таких как субтитры или образовательные инструменты воспроизведения. Хотя карточка модели предоставляет исчерпывающие рекомендации, включая матрицы задач по языкам и рекомендуемые пресеты, пользователям рекомендуется всегда проверять критические детали — такие как имена, смена говорящих и ответы — по отношению к оригинальной записи, как это является стандартной практикой для любой продвинутой системы распознавания речи.