LFM3: Новая мультимодальная фундаментальная модель для Edge AI и агентов

LFM3 представляет собой значительный скачок в развитии Liquid Foundation Models (LFMs), устанавливая новый стандарт специализированного мультимодального интеллекта. В отличие от предыдущих поколений, LFM3 разработан вокруг единой, общей архитектуры основы (backbone), что позволяет ему бесшовно интегрировать и обрабатывать несколько модальностей — включая текст, изображение, аудио, всенаправленные данные и сложные процессы принятия решений — и всё это в рамках высокоэффективного диапазона параметров в 2 миллиарда. Эта архитектурная разработка революционна, поскольку она отказывается от необходимости в массивных, монолитных моделях общего назначения, вместо этого предоставляя разработчикам возможность выбирать, дорабатывать и развертывать высокоспециализированные модели, точно настроенные под уникальные данные, терминологию и рабочую среду их приложения. Основной прорыв заключается в достижении высокой функциональности при радикальном снижении количества параметров, что делает передовой ИИ доступным для развертывания на ресурсоограниченных периферийных устройствах (edge devices).

По сравнению со своим предшественником, семейством LFM2, LFM3 вводит несколько критически важных архитектурных и тренировочных улучшений. Одним из самых впечатляющих достижений является повышение эффективности: модель LFM3-1.7B демонстрирует превосходную производительность по сравнению с моделью LFM2.5-2.6B, при этом используя примерно на 35% меньше параметров. Эта эффективность не случайна; она является результатом сложной новой тригибридной архитектуры и усовершенствованного тренировочного рецепта. Кроме того, LFM3 расширяет сферу мультимодальности, предлагая шесть различных моделей класса 2B, которые все ветвятся от основы LFM3-1.7B-Base. Этот расширенный набор включает первую выделенную всенаправленную (omni) модель и критически важно интегрирует возможности обработки видео в модель зрения, расширяя ее применимость от простого распознавания изображений до сложного временного рассуждения.

Критически важно, что LFM3 разработан с учетом периферийных устройств. Например, текстовая модель может быть сжата до объема около 1 ГБ при квантовании до 4-битной точности, что является огромным преимуществом для локальных, встроенных приложений ИИ. Эта эффективность поддерживается новыми внутренними кодировщиками зрения и аудио, разработанными для ускорения обработки. Более того, текстовая модель может похвастаться обширным контекстным окном в 256K, что является жизненно важной функцией для обеспечения автономной работы сложных агентов ИИ на локальном оборудовании. Вся система спроектирована как модульная, что позволяет разработчикам дорабатывать каждую специализированную модель на одном GPU, обеспечивая максимальную кастомизацию без необходимости в массивной облачной инфраструктуре.

Под капотом архитектурные улучшения являются высокотехничными и сложными. Модель LFM3-1.7B-Base имеет новый тригибридный микс слоев. Этот микс состоит из 13 вентильных коротких сверток (gated short convolutions), 5 слоев внимания скользящего окна (SWA), которые работают в окне из 256 токенов, и 6 слоев глобального внимания. Свертки используют увеличенный размер ядра в 7, по сравнению с предыдущими 3, использованными в LFM2. Ключевым нововведением является внедрение вентильного внимания по головам (head-wise gated attention), которое использует вентиль сигмоиды для динамического масштабирования вывода каждой головы внимания. Этот механизм позволяет модели эффективно «отключать» любую голову, которая не вносит значимой информации, тем самым подавляя выбросы активации, которые часто снижают производительность во время квантования. Дополняет это использование Partial RoPE (Rotary Position Embedding) в слоях глобального внимания, который поворачивает только высшие частоты каждой головы, гарантируя, что оставшаяся половина остается не зависящей от содержания независимо от расстояния между токенами. Наконец, принятие нормы Sandwich гарантирует, что как вход, так и выход каждого блока правильно нормализованы, поддерживая стабильные и хорошо масштабированные активации по всей сети.

Эти архитектурные решения обеспечивают существенный прирост производительности, особенно в сценариях с длинным контекстом. На основе параметров LFM3-1.7B может соответствовать производительности LFM2-1.2B на коротких запросах на различных периферийных устройствах. Более драматично, при обработке контекстного окна в 8K токенов, LFM3 оказывается примерно на 25% быстрее. Режим обучения модели не менее продвинут: LFM3-1.7B-Base изначально предварительно обучалась на массивном корпусе из 22 триллионов токенов, используя ту же лексику в 128K, что и LFM2.5-8B-A1B. Критически важно, что последние 3,5 триллиона токенов в середине обучения были специально собраны на данных, содержащих бо́льшую долю трассировок агентов и вызовов инструментов. Это специализированное обучение не только расширяет контекстное окно до 256K токенов, но и закрепляет способность модели выполнять сложное многоэтапное рассуждение, необходимое для автономных агентов.

Вместо того чтобы заставлять пользователей запускать одну массивную модель общего назначения, фреймворк LFM3 предписывает модульный подход. Каждая специализированная модель LFM3 напрямую ветвится от LFM3-1.7B-Base. Это позволяет разработчикам выбрать точную модель, соответствующую их типу ввода — будь то текст, изображение или аудио — настроить ее под свою область и эффективно запустить на устройстве. Модальности зрения и аудио также выигрывают от совершенно новых, оптимизированных внутренних кодировщиков. Кодировщик зрения, например, сочетает свертку и внимание и достигает поразительного снижения вычислительной нагрузки, требуя в три раза меньше вычислений, чем кодировщик SigLIP2, используемый в предыдущих моделях зрения LFM. При сохранении точности, сравнимой с Qwen3.5-2B, он требует в 2,2 раза меньше операций с плавающей запятой (FLOPs). Для обработки видео система дополнительно оптимизирует временные данные, встраивая каждую пару кадров выборки в один временной срез, что эффективно сокращает длину последовательности вдвое и повышает эффективность. Аудиоконвейер не менее продвинут, оснащен кодировщиком аудио, который смешивает SWA и короткие свертки, делая его полностью причинным (causal). Эта причинность позволяет модели начать обработку (prefill) еще до того, как пользователь закончит говорить, достигая чрезвычайно низкого времени до первого токена — всего 50 миллисекунд. Кроме того, сопровождающий токенизатор LiquidCodec преобразует сгенерированные токены в речь с поразительной скоростью около 87 раз в реальном времени на одном потоке CPU на Apple M4 Max, поддерживая бесшовную потоковую декодировку.

С точки зрения практического применения, LFM3-1.7B специально рекомендуется для сценариев использования, требующих локальных агентов, надежных возможностей вызова инструментов, генерации структурированного вывода или в качестве базовой основы для доменной доработки. Он предварительно обучен для работы в агентских системах, таких как Hermes Agent, Pi и OpenClaw. Его прирост производительности наиболее заметен в агентских задачах: на бенчмарке WebArena-Verified он набирает 38,42, что является огромным улучшением по сравнению с показателем его предшественника в 3,02, и даже превосходит производительность Qwen3.5-9B в сложных, длительно выполняемых задачах в симуляциях браузеров и бизнес-приложений. Аналогично, модель LFM3-VL-2B, разработанная для визуального понимания на устройстве, отмечена как первая модель зрения LFM, принимающая видеовход. Она способна выполнять пошаговое рассуждение и анализ размещения объектов, что делает ее мощной основой для передовых робототехнических приложений. По сравнению с LFM2.5-VL-3B, LFM3-VL-2B использует меньше параметров (1,9B против 3,1B), но повышает средний балл по 62 бенчмаркам зрения с 57,6 до 71,4, достигая паритета с производительностью гораздо более крупной модели Gemma 4 12B, что укрепляет ее позицию в качестве ведущего, эффективного и высокофункционального мультимодального решения ИИ.