Luma Labs AI повышает эффективность мультимодальных моделей с помощью нового механизма внимания
Luma Labs AI представила новый механизм внимания, разработанный для упакованных мультимодальных масок, который эффективно обрабатывает смешанные типы данных, такие как каузальный текст, двунаправные изображения и видеокадры.
Эта система планирует весь процесс, используя метаданные для каждого токена, что устраняет необходимость построения массивных полных масок внимания. Основные улучшения сосредоточены на оптимизации ресурсоемких шагов, таких как кольцевое внимание (ring attention) и разреженный поиск ключей/значений (sparse key/value fetching).
Интегрируя контекстное параллельное вычисление PyTorch (PTRR) и поддерживая высокую точность (сохраняя состояние softmax в fp32), новый метод значительно повышает эффективность. Наиболее заметные результаты показывают существенный прирост производительности, достигая улучшения в 2,63 раза по сравнению с существующими методами при использовании 128 GPU.
Почему это важно
- —Он решает проблему вычислительного узкого места при обработке сложных, смешанных по модальностям данных (текст, видео, изображения).
- —Повышение эффективности продемонстрировано в массивном масштабе (до 128 GPU H100), что делает крупномасштабный мультимодальный ИИ более осуществимым.
- —Технические улучшения (например, использование разреженного all-to-all fetching) представляют собой значительный прогресс в распределенном обучении моделей.
Ключевые факты
- Механизм обрабатывает упакованные последовательности, смешивающие текст, изображения и видеоданные.
- Он улучшает кольцевое внимание (ring attention), балансируя его с контекстным параллелизмом PyTorch (PTRR), что примерно сокращает время слоя вдвое.
- Система поддерживает высокую точность, сохраняя состояние softmax в формате fp32 на протяжении всех шагов кольца.
- Производительность масштабируется значительно, демонстрируя улучшение в 2,63 раза по сравнению с FlashMask + Ulysses на 128 GPU.
Полный текст — в первоисточнике. Здесь — краткое изложение и ключевые факты.