IBM запускает Granite Speech 5.0: Расширенные модели для корпоративной транскрипции и перевода

IBM представила значительные обновления своей коллекции Granite Speech, выпустив новую, высокоэффективную языковую модель для речи — granite-speech-5.0-2b, а также внедрив крупные ревизии в две уже популярные модели: granite-speech-5.0-470m-turboctc и granite-speech-4.1-2b-plus. Эти три модели разработаны для предоставления комплексного набора корпоративных решений для обработки речи, охватывающих всё: от высокоточной транскрипции и перевода до сверхбыстрой обработки на периферии (edge processing) и сложной атрибуции говорящих для многолюдных записей. Общая цель — предоставить предприятиям надёжные, гибкие и высокоточные инструменты для обработки данных устной речи.

Флагманская модель, granite-speech-5.0-2b, позиционируется как преемник модели 4.1-2b, сохраняя то же количество параметров, но значительно улучшая производительность. Эта модель обладает впечатляющими мультиязычными возможностями, поддерживая транскрипцию и перевод на английский, французский, немецкий, испанский, португальский и японский языки. Кроме того, она расширяет возможности перевода, добавив поддержку английского на итальянский и мандаринский языки, что значительно расширяет её полезность для глобальных предприятий. Обучение этой модели было обширным и использовало 390 000 часов общедоступных аудиоданных, дополненных специализированными синтетическими данными. Эти синтетические данные критически важны для улучшения специфических функций, таких как японское распознавание речи (ASR), внедрение смещения по ключевым словам (keyword biasing) и повышение качества перевода, что демонстрирует глубокое понимание проблем реальных данных.

Одним из наиболее заметных улучшений в granite-speech-5.0-2b является повышенная точность ASR для английского языка. Модель показывает превосходную производительность на коротких англоязычных эталонных тестах, что указывает на более высокий уровень точности. Помимо простой точности, она была разработана для работы в сложных акустических условиях, включая фоновый шум, реверберацию (эхо в помещениях) и речь, записанную с удалённых микрофонов. Для мультиязычных сценариев модель вводит «подсказку Языкового определения» (Language ID prompting) — функцию, которая позволяет пользователям явно указать язык входных данных в промпте, тем самым направляя модель на выполнение мультиязычной транскрипции с большей точностью и надёжностью. Возможности перевода также были усовершенствованы: теперь модель выходит за рамки простой транскрипции коротких, зачитанных предложений и справляется с более длинными, естественными и разговорными речевыми паттернами, что делает её гораздо более полезной для анализа реальной коммуникации. Более того, разработчики теперь могут использовать списки ключевых слов, содержащие до 2000 терминов. Эта мощная функция смещения позволяет модели отдавать приоритет и правильно транскрибировать или переводить конкретные названия продуктов, имена людей или внутренние аббревиатуры, что критически важно для поддержания согласованности в специализированном отраслевом жаргоне. Наконец, модель предлагает гранулярный контроль над форматированием вывода, позволяя пользователям запрашивать пунктуацию и заглавные буквы непосредственно через промпт, при этом точность капитализации (F1) впечатляюще варьируется от 89,7 до 99,5 на различных тестовых наборах.

Для сценариев, требующих чистой скорости и эффективности, представлена обновлённая модель granite-speech-5.0-470m-turboctc. Эта ревизия основана на оригинальном кодировщике Turbo CTC, который изначально был англоязычной моделью с 470 миллионами параметров, оптимизированной исключительно для скорости. Обновлённая версия сохраняет этот компактный размер, одновременно значительно расширяя свою полезность. Теперь она поддерживает мультиязычную транскрипцию на английском, японском, испанском, немецком, французском, итальянском и португальском языках. Критически важно, что она интегрирует нативную пунктуацию и капитализацию, что означает, что вывод готов к немедленной публикации без необходимости отдельного этапа постобработки. Кроме того, процесс обучения явно нацелен на реверберирующую аудиозапись, что делает модель исключительно надёжной в сложных акустических условиях, таких как эхо в конференц-залах или записи из дальнего поля. С точки зрения производительности, обновления привели к значительному приросту скорости. Оптимизировав архитектуру — в частности, скомпилировав один блок Conformer и повторно используя его граф по стеку — IBM смогла сократить время прогрева и увеличить пропускную способность до 19 870 RTFx на Open ASR Leaderboard, что представляет собой улучшение примерно в 1,6 раза по сравнению с показателями на момент запуска, при этом сохраняя сопоставимый уровень точности. Эта комбинация мультиязычной поддержки, нативного форматирования и существенного прироста скорости делает её идеальной для периферийных вычислений и приложений на устройствах.

Для решения сложных задач крупных предприятий обновлённая модель granite-speech-4.1-2b-plus специально настроена на типы записей, с которыми сталкиваются предприятия ежедневно: продолжительные совещания, звонки в службу поддержки клиентов и интервью с несколькими говорящими. Хотя она сохраняет наименование 4.1 — чтобы обеспечить бесшовную замену для существующих пользователей, поскольку основная архитектура, формат промпта и API остаются неизменными — улучшенные веса обеспечивают существенный прирост производительности в четырёх ключевых областях. Во-первых, значительно улучшена атрибуция говорящих. Показатель ошибки диаризации слов (WDER) и общий показатель WER с атрибуцией говорящего (cpWER) снизились на 7%, что означает, что модель гораздо лучше определяет, кто говорил и когда. Во-вторых, значительно повышена точность временных меток: Средний сдвиг временных меток (AAS) сокращён более чем вдвое, что приводит к гораздо более плотным и надёжным данным о времени для создания субтитров, индексации поиска и процессов обзора. В-третьих, наблюдается драматическое улучшение производительности при обработке длинной речи: WER на тестовых наборах длинной формы снизился на 24%. Наконец, улучшена и возможность смещения по ключевым словам, достигая снижения ошибок на 45% при использовании списков ключевых слов из 20 терминов. Эти целенаправленные улучшения делают эту модель окончательным выбором для анализа сложных, многоучастниковых и продолжительных разговорных данных.

Для разработчиков IBM обеспечила максимальную доступность и гибкость. Все три модели выпущены под разрешительной лицензией Apache 2.0, что гарантирует открытое использование и модификацию. Они предлагают нативную поддержку в основных фреймворках машинного обучения, включая Transformers, vLLM, llama.cpp и mlx-audio для Apple Silicon, обеспечивая простоту интеграции в различные производственные среды. IBM также рекомендует сочетать эти модели речи с Granite Guardian для производственных развёртываний, требующих дополнительных уровней обнаружения рисков, укрепляя позицию платформы как полного, сквозного корпоративного решения на базе ИИ. Чёткое сегментирование сценариев использования — точность/перевод (5.0-2b), скорость/периферия (5.0-470m) и многоговорящие (4.1-2b-plus) — предоставляет разработчикам чёткую дорожную карту для выбора оптимального инструмента для их конкретной бизнес-задачи.