Комплект инструментов ML с открытым исходным кодом для обработки речи и структурированных решений на устройствах Apple

Языковые модели, несмотря на невероятную универсальность для таких задач, как написание, суммирование и перевод, представляют собой лишь одну грань обширных возможностей в области машинного обучения. Реальные корпоративные приложения часто требуют последовательности специализированных шагов машинного обучения, например, сначала понимания устной речи, а затем принятия структурированного решения на основе этого понимания. Хотя может показаться интуитивно передать обе задачи в одну большую языковую модель (LLM), разработчики AnySpeechRecognizer и AnyDecisionModel утверждают, что специализированные, выделенные модели часто превосходят — предлагая лучшую производительность, более высокую скорость обработки и более низкие эксплуатационные расходы. Развивая свою предыдущую работу с AnyLanguageModel и swift-huggingface, эти новые пакеты расширяют принцип предоставления привычных Swift API, предлагая разработчикам важнейший выбор базовых механизмов машинного обучения как для обработки речи, так и для принятия структурированных решений.

AnySpeechRecognizer разработан для взаимодействия с современными возможностями преобразования речи в текст Apple, в частности, имитируя функциональность, представленную в macOS 26 и iOS 26 через новый API SpeechAnalyzer. Этот пакет сохраняет привычную структуру фреймворка Apple, позволяя разработчикам беспрепятственно интегрировать его в существующие приложения. Однако его ключевая инновация заключается в отделении основного API от самого механизма распознавания. Вместо того чтобы быть привязанным к проприетарному движку Apple, разработчики могут выбирать из нескольких мощных альтернатив с открытым исходным кодом. К этим альтернативам относятся Parakeet от NVIDIA и Qwen3-ASR от Alibaba, которые разработаны для локального запуска на устройстве с использованием Core ML, что обеспечивает конфиденциальность и низкую задержку.

При рассмотрении доступных механизмов, Parakeet от NVIDIA предлагает высокоэффективное полиглотное решение, то есть он может распознавать речь на 25 различных европейских языках без необходимости предварительного указания локали разработчиком. Parakeet доступен в нескольких версиях — включая высокоточный Parakeet Ultra и общий Parakeet Unified — и все они работают на пользовательском рантайме Core ML. Этот рантайм надежен и поддерживает как транскрипцию на основе файлов, так и живой ввод в реальном времени. Кроме того, пакет улучшает опыт живого ввода, включая 8-секундный кодировщик, который значительно сокращает время анализа для потоковых данных, хотя это сопряжено с небольшой потерей в частоте ошибок слов. Еще одной критически важной функцией, добавленной AnySpeechRecognizer, является диаризация говорящих. Поскольку нативный фреймворк Apple не имеет выделенного модуля для этого, AnySpeechRecognizer интегрирует Streaming Sortformer от NVIDIA. Этот модуль жизненно важен для разговорного анализа, поскольку он может точно отслеживать и приписывать речь до четырех различных говорящих, даже в сложных сценариях, когда несколько человек говорят одновременно или перекрывают друг друга. Результаты собираются в SpeakerTimeline, что позволяет приложению представить очень подробную расшифровку, организованную по репликам говорящих.

В отличие от компонента распознавания речи, AnyDecisionModel решает проблему структурированного, программного принятия решений. Вместо того чтобы полагаться на генеративную природу LLM для создания свободного текста, который может быть непредсказуемым, AnyDecisionModel фокусируется на получении точных, количественно измеримых ответов. Он разработан для ответа на определенные типы вопросов — такие как вопросы «да/нет», выбор из нескольких вариантов или оценки по шкале — и выводит эти результаты в виде структурированных данных, сопровождаемых соответствующими вероятностями. Этот вероятностный подход предоставляет разработчикам меру уверенности для каждого ответа, что критически важно для критически важных приложений. Модель может питаться различными бэкендами, включая MLX, Core AI или llama.cpp для выполнения на устройстве, или она может интегрироваться с внешними моделями принятия решений, предоставленными такими платформами, как Jev или Ollama. Этот акцент на структурированном, вероятностном выводе, а не на чистой генерации текста, представляет собой значительный сдвиг в сторону повышения надежности и предсказуемости ИИ для корпоративных сценариев использования.

Технически оба пакета разработаны для максимальной гибкости и доступности. Они способны загружать и использовать модели с открытым исходным кодом непосредственно из Hugging Face Hub, позволяя разработчикам запускать передовые модели полностью на устройстве пользователя. Детали реализации очень сложны. Например, преобразование этих мощных моделей в формат Core ML, необходимый для бесшовной интеграции в приложения Apple, управляется скрупулезно. Каждый репозиторий отслеживает свою исходную контрольную точку и контрольную сумму, а пакет закрепляет эти ресурсы на фиксированных версиях, обеспечивая воспроизводимость. Требования к ресурсам существенны; например, модель Qwen3-ASR, которая поддерживает огромный набор языков и 22 диалекта китайского языка (включая мандаринский, кантонский, японский и корейский), которые не покрывает Parakeet, требует большого размера загрузки (от 0,9 до 2,4 ГБ). И наоборот, модели Parakeet меньше, около 600 МБ каждая, но общая структура пакета гарантирует, что загрузка происходит только тогда, когда приложение явно запрашивает это, оптимизируя пользовательский опыт и использование пропускной способности. Возможность запуска сложных, многоязычных и высокоспециализированных моделей, таких как Qwen3-ASR или Parakeet, полностью на устройстве, без постоянного подключения к облаку, является крупным архитектурным прорывом для приложений, чувствительных к конфиденциальности и работающих в автономном режиме.

Кроме того, архитектура разработана так, чтобы быть модульной и расширяемой. Для разработчиков, желающих интегрировать третий механизм распознавания речи, пакет предоставляет четкие интерфейсы: реализацию SpeechRecognitionModel для конфигурации и SpeechRecognitionExecutor для управления сеансами. Эта модульность гарантирует, что система остается адаптируемой по мере развития ландшафта машинного обучения. Вся система построена на имитации установленных, надежных API экосистемы Apple, минимизируя кривую обучения для разработчиков и одновременно максимизируя их выбор базовых, передовых технологий с открытым исходным кодом. Таким образом, AnySpeechRecognizer и AnyDecisionModel предоставляют комплексный инструментарий с открытым исходным кодом, который дает разработчикам возможность создавать сложные, надежные и сохраняющие конфиденциальность приложения с использованием ИИ как для понимания речи, так и для принятия структурированных решений на платформах Apple.