Pika раскрыла подробности о своей модели Soundtrack для преобразования видео в аудио
Pika Labs поделилась техническими подробностями о Pika Soundtrack — своей модели для генерации аудио на основе видео. Система ориентирована на соответствие звуков смыслу сцены, движению и таймингу — факторам, которые существенно влияют на воспринимаемое качество.
В бенчмарке из 67 клипов Pika Soundtrack заняла первое место по семантическому соответствию и аудиовизуальной синхронизации, получив оценку ImageBind 0,2457 и DeSync 0,5537. В предварительно прогретом тесте на собственной инфраструктуре модель сгенерировала аудио для 529,2 секунды видео при среднем времени обработки 0,617 секунды на каждую сгенерированную секунду. По заявлению Pika, благодаря такому приросту эффективности модель может быть до двух раз экономичнее сопоставимых систем.
Модель сжимает видео в компактные представления, называемые латентными токенами, сохраняя при этом тайминг, движение и структуру сцены. Текстовые промпты преобразуются в семантические токены, описывающие предполагаемый звук. Затем диффузионный трансформер использует оба типа входных данных для постепенного создания синхронизированного аудио.
Почему это важно
- —Точная синхронизация помогает сделать созданные ИИ саундтреки более естественными и убедительными.
- —Быстрая генерация аудио может снизить затраты на инфраструктуру при обработке длинных видео.
- —Архитектура демонстрирует, как структуру видео и текстовые инструкции можно объединить для управления генерацией звука.
Ключевые факты
- Pika Soundtrack протестировали на бенчмарке из 67 видеоклипов.
- По данным Pika, модель заняла первое место по семантическому соответствию и аудиовизуальной синхронизации.
- Заявленные результаты в бенчмарке составили 0,2457 по метрике ImageBind и 0,5537 по метрике DeSync.
- Модель обработала 529,2 секунды видео из бенчмарка со скоростью 0,617 секунды обработки на каждую сгенерированную секунду.
- Pika утверждает, что система может быть до двух раз экономичнее сопоставимых моделей.
Полный текст — в первоисточнике. Здесь — краткое изложение и ключевые факты.
