Apertus 1.5 выходит с контекстом 262K, мультимодальностью и расширенным рассуждением

Apertus 1.5 знаменует собой значительную эволюцию в ландшафте больших языковых моделей с открытым исходным кодом, представляя собой массивный технический скачок по сравнению со своим предшественником. Этот релиз — не просто инкрементальное обновление, а всесторонний пересмотр, сфокусированный на масштабе, мультимодальном понимании и расширенных возможностях рассуждения. Основа обновления включает существенное увеличение обучающих данных: модель с 8B параметрами прошла предварительное обучение на дополнительных 4 триллионах токенов, а модель с 70B получила 2 триллиона токенов. Это доводит общий обучающий корпус до 19 триллионов и 17 триллионов токенов соответственно. Приверженность полностью открытым значениям — открытые веса, открытые данные и прозрачные детали обучения — укрепляет позиции Apertus как лидера в области доступного ИИ исследовательского уровня.

С технической точки зрения, архитектура модели была улучшена для обработки значительно более сложных входных данных. Окно контекста, которое определяет, сколько информации модель может запомнить и обработать в одном разговоре, было резко расширено до 262 144 токенов, что представляет собой четырехкратное увеличение по сравнению с Apertus 1.0. Эта огромная контекстная емкость позволяет модели обрабатывать целые книги, объемные юридические документы или обширные кодовые базы, не теряя связности или не забывая о более ранних деталях. Кроме того, модель вводит специализированный «Режим мышления» (Thinking Mode). Это критически важная функция, которая позволяет модели внутренне рассуждать о вводе — симулировать пошаговый мыслительный процесс — перед генерацией окончательного ответа. Этот механизм значительно повышает производительность, особенно в сложных задачах рассуждения, требующих логических выводов, выводя модель за рамки простого сопоставления шаблонов.

Одним из наиболее заметных технических достижений является нативное мультимодальное понимание. Apertus 1.5 больше не ограничен текстом; он беспрепятственно принимает изображения, диаграммы и аудио наряду с письменными запросами. Эта возможность достигается с помощью метода «раннего слияния» (early-fusion). Вместо использования отдельного, изолированного кодировщика изображений (который обрабатывает изображения независимо, а затем передает результаты текстовой модели), изображения и аудио токенизируются и напрямую вводятся в основную последовательность текстовых токенов. Например, изображение токенизируется с использованием токенизатора Emu3.5, превращая изображение 512x512 в 1024 дискретных токена, а аудио обрабатывается через WavTokenizer. Эта интеграция высокоэффективна, поскольку она лишь расширяет словарь модели, оставляя основную архитектуру и скорость обучения неизменными, что позволяет модели понимать богатые сенсорные данные, при этом генерируя только текстовый вывод. Способность модели обрабатывать устную речь, хотя и остается экспериментальной, указывает на будущие достижения в области разговорного ИИ в реальном времени.

Для достижения этой передовой производительности процесс разработки был тщательно структурирован по нескольким этапам. Сама фаза предварительного обучения была разделена на четыре отдельных этапа: 1) Непарные данные, где модель учится ассоциировать отдельные изображения и аудио с текстом; 2) Парные данные, которые выравнивают конкретные пары «изображение-подпись» или «аудио-транскрипт» с языком; 3) «Охлаждение» (Cooldown), сфокусированное на более качественных, специализированных данных, особенно в математике и кодировании; и 4) Обучение с длинным контекстом, которое систематически масштабировало окно контекста до 262k токенов. Крайне важно, что более половины общего количества обучающих токенов оставались текстовыми, что гарантировало сохранение и улучшение надежных языковых способностей, установленных в Apertus 1.0.

После предварительного обучения модель прошла через пять строгих этапов дообучения (post-training). Эти этапы преобразуют сырые, массивные знания в пригодный, безопасный и высокоэффективный продукт. Процесс начинается с контролируемого тонкого тюнинга (Supervised Fine-Tuning, SFT) на 3,7 миллионах текстовых образцов, дополненных данными изображений и речи. За ним следует SFT с длинным контекстом (Long-Context SFT), который жизненно важен для восстановления способности к длинному контексту, которая иногда может быть потеряна во время более коротких, сфокусированных сеансов тонкой настройки. Далее происходит Обучение с подкреплением с проверяемыми наградами (Reinforcement Learning with Verifiable Rewards, RLVR), которое использует проверяемые награды в задачах математики, кода и следования инструкциям, смешивая режимы «мышления над» и «мышления вне». Затем модель проходит прямую оптимизацию предпочтений (Direct Preference Optimization, DPO), используя пары предпочтений, оцененные судьями, для резкого улучшения качества чата, использования инструментов и общей безопасности. Наконец, процесс завершается самодистилляционной оптимизацией предпочтений (Self-Distillation Preference Optimization, SDPO), которая согласовывает модель с основной Хартией Apertus, обеспечивая прозрачность и соблюдение определенных этических и операционных принципов. Сочетание этих пяти специализированных этапов дообучения — это то, что превращает массивный набор данных в надежного, предсказуемого и высокофункционального помощника ИИ.

Помимо основных улучшений модели, Apertus 1.5 значительно расширяет свой набор оценочных тестов. Процесс оценки теперь включает специализированные мультимодальные конвейеры оценки, объединяющие такие крупные фреймворки, как lmms-eval и VLMEvalKit. Это комплексное тестирование гарантирует, что производительность модели измеряется не только на традиционных текстовых бенчмарках, но и по ее способности интерпретировать сложную визуальную и слуховую информацию. Тесты производительности показывают, что, хотя Apertus 1.5 может все еще отставать от абсолютных передовых моделей, он демонстрирует высокую конкурентоспособность. В частности, версия 8B показывает превосходное следование инструкциям и мультиязычные возможности по сравнению с моделями открытого веса аналогичного размера. Отмечается, что его мультимодальная производительность конкурентоспособна с такими моделями, как Gemma 4 12B, а его способность понимать пространственные отношения и интерпретировать сложные документы и диаграммы высоко ценится в сообществе с открытым исходным кодом. Более того, модель продемонстрировала сильную, отраслево значимую производительность, соответствуя ведущим моделям открытого веса в таких сложных задачах, как анализ швейцарских юридических документов, и достигая возможностей машинного перевода, сравнимых с GPT-OSS-20B. Это глубокое погружение в возможности и прозрачная оценка закрепляют Apertus 1.5 в качестве эталона для открытых, мощных и универсальных систем ИИ.