NVIDIA запускает генеративный ИИ-симулятор для клинической хирургии в реальном времени

NVIDIA представила Cosmos3-H-Dreams — революционную генеративную симуляционную систему, разработанную для переноса сложных клинических хирургических процедур, таких как холецистэктомия, в высокореалистичную интерактивную виртуальную среду. Эта система представляет собой огромный скачок вперед в области хирургической робототехники и медицины с помощью ИИ, выходя за рамки теоретических моделей и позволяя обучать на фактических данных реальной клинической практики.

Изначально концепция Cosmos-H-Dreams была представлена для симуляции наложения швов на столе, служа основополагающей полигонной площадкой для хирургической робототехники. Основная инновация заключается в ее функции в качестве World Foundation Model (WFM). В отличие от традиционных численных симуляций, которые требуют от инженеров явного моделирования каждого физического аспекта — такого как точная геометрия сцены, как деформируется ткань под напряжением или точная физика взаимодействия инструментов — Cosmos-H-Dreams использует принципиально иной подход. Вместо этого она изучает сложную визуальную динамику хирургической сцены непосредственно из синхронизированных видеозаписей и записанной кинематики робота. Это позволяет ей генерировать высокореалистичные интерактивные симуляции задач даже в контролируемой настольной обстановке.

Сегодняшнее усовершенствование, Cosmos3-H-Dreams, повышает эту возможность, обучаясь на фактических клинических процедурах, выполненных на платформе CMR Surgical Versius. Это монументальное достижение, поскольку оно знаменует собой, по утверждению NVIDIA, первый генеративный хирургический симулятор в реальном времени, обученный специально на записях клинической холецистэктомии для поддержки живого, интерактивного кинематического управления. Вся система работает на базе Cosmos 3 и ускорена с помощью FlashDreams — специализированной библиотеки потоковой инференции NVIDIA, что позволяет ей работать в режиме реального времени на одной мощной видеокарте NVIDIA RTX PRO 6000 GPU. Эта комбинация передового моделирования ИИ и оптимизированной аппаратной производительности критически важна для хирургических приложений в реальном времени.

Задача симуляции человеческого тела огромна. В контролируемой настольной среде инструменты работают на относительно простом фоне. Однако внутри человеческого тела взаимодействие небольших инструментов может вызвать каскад сложных визуальных и физических изменений. Например, когда инструмент тянет за ткань, ткань растягивается, меняются отражения, анатомические структуры могут временно скрываться (окклюзия), и даже дым может изменить видимость. Генеративный симулятор должен улавливать все эти динамические реакции, строго сохраняя при этом анатомическую целостность и геометрию инструментов при генерации каждого нового блока видео. Критическим техническим препятствием является поддержание временной согласованности; небольшие ошибки в симуляции могут накапливаться со временем, приводя к постепенным, но заметным изменениям в геометрии инструмента или самой анатомической структуры. Поэтому система должна не только выглядеть реалистично, но и строго соответствовать предоставленным физическим командам, гарантируя, что правдоподобно выглядящее развертывание всегда направляется предполагаемым смещением, вращением и командами захвата.

Чтобы функционировать как надежная интерактивная среда для живого управления, система должна достигать крайне низкой задержки генерации. Cosmos3-H-Dreams решает эту проблему, используя модель, специализированную для клинической холецистэктомии и тщательно дистиллированную для работы в реальном времени. Это позволяет ей привнести условное взаимодействие в сцены, характеризующиеся сложной анатомией, динамическим движением тканей и частой окклюзией. Модель основана на Cosmos3-H-Embodied-Nano — большой модели с 16 миллиардами параметров, которая изначально была предварительно обучена на Open-H-Embodiment. Для конкретной хирургической задачи двунаправленная учительская модель была специализирован с использованием курированных видео и кинематических данных холецистэктомии. Процесс обучения был высокоцеленаправленным, сфокусированным на двух видимых, задействованных инструментах — захвате Cadiere слева и монополярном крюке справа — и ограничивающим команды камеры, чтобы подчеркнуть взаимодействие, обусловленное самими инструментами.

Технический конвейер обучения сложен и включает процесс передачи знаний от учителя к ученику, разработанный для длинных авторегрессивных видеороллов. Изначально двунаправленный учитель был адаптирован с использованием 24 будущих кадров. Затем эта длина последовательности была значительно увеличена до 72 кадров, что соответствует 2,4 и 7,2 секундам симулированного времени при частоте дискретизации 10 Гц. Это предоставило учителю гораздо более длинные последовательности для изучения тонкой динамики хирургических действий. После этого был использован процесс дистилляции для преобразования мощного, но сложного двунаправленного учителя в причинно-следственного ученика. Этот ученик разработан для генерации видео короткими, управляемыми блоками по мере поступления новых действий, что делает его пригодным для использования в реальном времени. Для дальнейшего повышения надежности ученик проходит обучение Self-Forcing. Этот шаг обучает модель на собственном сгенерированном контексте, руководствуясь исходным учителем и изученным критиком. Этот механизм имеет решающее значение, поскольку он помогает смягчить накопление ошибок, которое неизбежно происходит во время длинных интерактивных симуляционных роллов.

Кроме того, разработчики предоставили две отдельные контрольные точки для разработчиков, чтобы изучить компромисс между визуальным качеством и вычислительными затратами. Первая выпущенная ученическая модель использовала четыре шага шумоподавления на каждый сгенерированный блок, обеспечивая высокую визуальную точность. Вторая, отдельная модель, была обучена с использованием всего двух шагов шумоподавления. Хотя меньшее количество шагов приводит к более быстрому времени инференса, это происходит ценой несколько более низкого визуального качества, что дает разработчикам гибкость при развертывании. Для управления вычислительной нагрузкой генерации длинных последовательностей система включает две ключевые оптимизации. Во-первых, FlashDreams обеспечивает ускоренный потоковый рантайм, необходимый для производительности в реальном времени. Во-вторых, интеграция использует адаптированный модуль FadeMem. Этот модуль необходим, поскольку длинные роллы генерируют растущий кэш "ключ/значение" (компонент памяти механизма внимания модели). FadeMem консолидирует этот растущий кэш, гарантируя, что модель может поддерживать когерентность и контекст в течение длительных периодов потоковой генерации. Эта консолидация кэша дополняет процесс Self-Forcing, который решает, как модель учится из своей сгенерированной истории, гарантируя, что как хранение памяти, так и процесс обучения оптимизированы для непрерывного интерактивного использования.

Критически важно, что конечная цель такого симулятора — обобщение. Во время реальной клинической процедуры могут возникнуть осложнения, или хирург может выполнить движения, которые никогда не были замечены во время сбора обучающих данных. Поэтому симулятор должен обладать способностью обобщать данные за пределами своего обучающего набора и все равно генерировать когерентные, анатомически правильные кадры, даже при столкновении с невиданными движениями или неожиданными хирургическими сценариями. Именно эта способность делает Cosmos3-H-Dreams преобразующим инструментом, обещающим революционизировать хирургическое обучение и потенциально помогать в принятии сложных, реальных хирургических решений.