Новые модели NVIDIA Cosmos 3 для интерактивного моделирования мира

NVIDIA значительно расширила свои исследовательские возможности, выпустив четыре новых чекпоинта с открытыми весами в рамках своей платформы разработки мировой модели Cosmos 3. Этот набор моделей предназначен для генерации высокоинтерактивных и сложных симулированных миров, что делает его мощным инструментом для исследователей и разработчиков, работающих в таких областях, как автономное вождение, продвинутная робототехника и разработка общих агентов ИИ. Основная цель платформы Cosmos 3 — предоставить фундаментальную, адаптируемую отправную точку, позволяя сообществу создавать более богатые и отзывчивые симулированные среды, имитирующие сложности реального мира.

Этот релиз особенно важен, поскольку он решает фундаментальную проблему дефицита и вариативности данных в реальном обучении ИИ. Вместо того чтобы полагаться исключительно на дорогостоящие, ограниченные или трудноразмечаемые данные реального мира, эти модели позволяют пользователям синтетически генерировать огромные объемы разнообразных мультисенсорных данных в контролируемых, но при этом высоко вариативных условиях. Все четыре модели основаны на архитектуре Cosmos 3 Nano и обладают 16 миллиардами обучаемых параметров, что обеспечивает высокую степень сложности и потенциал для приложений глубокого обучения. Кроме того, модели используют OpenMDW1.1, что разрешает как коммерческое, так и некоммерческое использование, значительно снижая барьер входа для промышленного внедрения.

Одной из флагманских моделей является Cosmos3-Nano-Transfer-Auto. Этот чекпоинт представляет собой двунаправленную систему, разработанную для генерации офлайн-синтетических данных вождения. Его способность генерировать синхронизированное видео по до одиннадцати различным ракурсам камер, включая специализированные широкоугольные объективы (fisheye lenses), является новаторской. Критически важно, что он поддерживает совместную генерацию как RGB (цветных), так и LiDAR (данных о глубине/геометрии). Система управляется контроллерами карты сценария мира для каждой камеры (Per-camera World Scenario Map, WSM), которые определяют общую структуру сцены и движение транспортных элементов. Дополняют это текстовые промпты, которые направляют визуальный облик сцены, позволяя пользователям указывать детали, выходящие за рамки только геометрии. Разработчики могут манипулировать условиями окружающей среды — такими как изменение погоды, освещения и времени суток — чтобы массово расширить покрытие своих наборов данных для обучения и оценки. Включение необязательных начальных изображений RGB помогает закрепить визуальный облик сцены, а совместная генерация LiDAR дополнительно использует выровненные контроллеры диапазонов HD-карт, гарантируя, что сгенерированная геометрия идеально соответствует визуальным данным. Эта комплексная, мультимодальная и управляемая возможность генерации данных делает ее беспрецедентным инструментом для обучения надежным автономным системам.

Развивая основу Transfer-Auto, появляется Cosmos3-Nano-Sim-Auto. Эта модель представляет собой критическую эволюцию: это причинно дистиллированная, потоковая версия Transfer-Auto. В то время как Transfer-Auto отлично подходит для больших, офлайн-пакетов данных, Sim-Auto оптимизирован для интерактивной симуляции в реальном времени. Он генерирует последовательные, небольшие порции синхронизированного видео с камер и данных LiDAR всего за несколько шагов шумоподавления. Эта скорость и эффективность достигаются за счет использования сгенерированной истории и обновленных управляющих данных вождения для поддержки быстрого потокового вещания и длинных, интерактивных прогонов. Для практического использования разработчик сначала адаптирует Transfer-Auto к своему конкретному сенсорному комплексу и домену (например, изменяя компоновку камер или целевую среду), а затем дистиллирует его в Sim-Auto. Этот двухэтапный процесс гарантирует, что модель остается высокоспециализированной, одновременно получая необходимую потоковую производительность для замкнутого контура взаимодействия. Процесс требует среды выполнения симуляции и рендерера WSM для непрерывного обновления управляющих данных на основе входных данных вождения агента, что обеспечивает истинное, непрерывное взаимодействие.

Для специализированной области робототехники платформа представляет Cosmos3-Nano-Sim-Bimanual. Этот чекпоинт разработан для симуляции того, как вся среда эволюционирует в ответ на действия двуручного робота. Он поддерживает интерактивную двухручную симуляцию, которая может управляться либо сложной политикой ИИ, либо джойстиками, управляемыми человеком. Процесс очень динамичен: пользователь начинает с начального изображения, перемещает робота или камеру, а затем модель генерирует последующие наблюдения, эффективно симулируя физические последствия действий робота на окружение. Эта возможность жизненно важна для обучения роботов безопасно и эффективно взаимодействовать со сложными, динамичными условиями.

Другая специализированная модель — Cosmos3-Nano-Sim-Transfer. Этот чекпоинт устраняет разрыв между традиционными физическими симуляторами и генерацией визуальных наблюдений. В типичном конвейере симуляции симулятор обрабатывает физику, движение и обновления физического состояния. Sim-Transfer принимает пространственные управляющие данные симулятора и простой текстовый промпт, а затем рендерит полученные цветные наблюдения, которые может использовать политика ИИ. Рабочий процесс ясен: совершается действие, симулятор обновляет физическое состояние, соответствующие образом обновляются пространственные управляющие данные, и, наконец, модель генерирует соответствующее изображение RGB. Это разделение обязанностей — где симулятор поддерживает физику "правды" (ground truth physics), а модель генерирует визуальный облик — является мощной парадигмой для исследований, позволяя исследователям тестировать политики на основе высокореалистичных, но полностью контролируемых визуальных входных данных.

В совокупности эти чекпоинты предоставляют взаимодополняющие способы создания сложных симуляционных сред. Для автономного вождения акцент на синхронизированной генерации камер и LiDAR гарантирует, что визуальный облик и лежащая в основе 3D-геометрия остаются идеально согласованными, что является не подлежащим обсуждению требованием для систем, критически важных для безопасности. Более того, возможность варьировать управляющие данные сцены и светофоров позволяет исследователям систематически изучать, как политика вождения реагирует на редкие или сложные крайние случаи, значительно повышая надежность конечного продукта. Открытые веса платформы и подробные рецепты пост-тренировки являются приверженностью NVIDIA демократизации мировой модели, предоставляя общую отправную точку для всего исследовательского сообщества ИИ для сравнения методов, адаптации моделей и внесения улучшений. Хотя предстоящая работа значительна — требуя тщательного измерения того, где модели достоверно поддерживают обучение политик, понимания их внутренних ограничений и повышения производительности в сложных сценариях — набор Cosmos 3 закладывает мощный, открытый фундамент для следующего поколения воплощенного ИИ и исследований симуляции.