MistralAI представила Voxtral 3: продвинутые модели для голосовых агентов
MistralAI представила Voxtral 3 — комплекс новейших моделей для обработки речи, охватывающий транскрипцию и синтез речи. Эти инструменты предназначены для создания высокофункциональных голосовых агентов.
Модель Voxtral Small Transcribe 3 обеспечивает передовую многоязычную транскрипцию, включая диаризацию (разделение речи разных спикеров) и контекстное смещение, что позволяет агентам реагировать без задержек.
Для синтеза речи представлена Voxtral Mini TTS 3, которая достигает высокой выразительности на более чем 35 языках и 50 диалектах. Она способна не только имитировать эмоции, темп и акцент, но и следовать явным инструкциям, заданным в виде тегов (например, [emotion=sad]).
Кроме того, MistralAI выводит профессиональную адаптацию голоса (Pro Voice), позволяя воссоздать голос пользователя с высокой точностью, записав всего до 30 минут аудио. Все это объединяется в SDK для голосовых агентов, создавая единый конвейер: транскрипция -> рассуждение (вызов инструментов) -> ответ голосом.
Почему это важно
- —Продвинутая интеграция: Voxtral 3 создает полный конвейер от распознавания речи до ответа, имитируя естественный диалог.
- —Высокая эмоциональная выразительность: Новая TTS-модель способна учитывать эмоции, темп и акцент, что критически важно для реалистичных голосовых помощников.
- —Профессиональная адаптация голоса: Возможность клонирования голоса с высокой точностью открывает новые возможности для корпоративного использования.
Ключевые факты
- Voxtral Small Transcribe 3 поддерживает многоязычную транскрипцию и диаризацию.
- Voxtral Mini TTS 3 работает на 35+ языках и 50+ диалектах, имитируя эмоции и темп.
- Внедрена функция Pro Voice для профессиональной адаптации голоса по записи до 30 минут.
- Выпущен SDK для голосовых агентов, объединяющий транскрипцию, логику рассуждений и синтез речи.
Полный текст — в первоисточнике. Здесь — краткое изложение и ключевые факты.