Модели компьютерного зрения Meta сократили анализ научных изображений до 15 минут

Национальная лаборатория имени Лоуренса в Беркли управляет усовершенствованным источником света (Advanced Light Source, ALS) — установкой, использующей исключительно яркие рентгеновские пучки для исследования материи в масштабах от атомов и молекул до целых растительных структур. Приборы на её каналах вывода пучка стали гораздо быстрее и точнее, однако эти усовершенствования породили серьёзную проблему с анализом данных. Детекторы, которые раньше делали один снимок каждые шесть секунд, теперь способны регистрировать до 100 000 изображений в секунду. В результате приборы на источниках света и нейтронных установках Министерства энергетики США ежегодно производят десятки петабайт данных — миллионы гигабайт, что сопоставимо примерно с двумя миллионами часов видео высокой чёткости.

Учёные не могут обрабатывать этот поток с помощью традиционных ручных процессов. Нехватка специалистов усугубляет проблему, поскольку интерпретация научных изображений требует глубоких предметных знаний. Особенно остро эта проблема стоит в экспериментах in situ, позволяющих наблюдать в реальном времени за такими событиями, как химические реакции, биологические отклики или разрушение материалов. Наибольшую ценность эти эксперименты представляют тогда, когда исследователи могут немедленно интерпретировать результаты и корректировать текущую работу, однако команды специалистов физически не способны вручную анализировать изображения со скоростью, хотя бы близкой к той, с которой их создают современные приборы.

Одна из центральных задач в этом процессе — сегментация изображений: выявление значимых структур и точное определение их границ. Сегментация превращает неразличимое поле пикселей в оттенках серого в карту, компоненты которой — например, клеточные стенки, минеральные зёрна, сосуды растений или слои полупроводника — можно измерять и сравнивать. Этот же общий метод компьютерного зрения помогает отличать опухоли от здоровых тканей на медицинских снимках и пешеходов от проезжей части в системах автономного вождения. Однако в лабораторных исследованиях специалисты традиционно тратили дни или недели на разметку каждого набора данных, из-за чего сегментация стала одним из самых серьёзных препятствий для быстрой научной интерпретации.

В конце 2025 года Белый дом запустил возглавляемую Министерством энергетики миссию Genesis, призванную использовать передовой ИИ для ускорения научных открытий и укрепления технологического лидерства. Одной из первых инициатив стал проект SYNAPS-I — сокращение от Synergistic Neutron And Photon Science–Intelligence. Проект, разработанный совместно с национальными лабораториями имени Лоуренса в Беркли, Аргоннской, Брукхейвенской, Ок-Риджской и другими, призван устранить многомесячные задержки при анализе рентгеновских и нейтронных данных с помощью системы, способной выдавать полезные результаты ещё во время эксперимента. Одним из главных направлений работы является научная визуализация, в особенности сегментация.

Конвейер SYNAPS-I объединяет две фундаментальные модели Meta с открытым исходным кодом — Segment Anything Model 3 и DINOv3, — чтобы превращать необработанные экспериментальные изображения в семантически размеченные трёхмерные реконструкции. DINOv3 — это модель компьютерного зрения с самообучением, то есть она учится распознавать повторяющиеся визуальные закономерности на неразмеченных изображениях, а не полагается исключительно на дорогостоящие примеры, подготовленные людьми. Она предоставляет более широкий контекст о присутствующих на изображении структурах и их расположении. SAM 3 дополняет эту возможность, точно очерчивая границы отдельных объектов на уровне пикселей и за считаные секунды выполняя задачу, которую учёному иначе пришлось бы кропотливо выполнять вручную.

Исследовательская группа адаптировала обе модели с помощью специализированных научных изображений, собранных на каналах вывода пучка установок Министерства энергетики. Затем конвейер развернули на 300 графических процессорах Nvidia A100 в национальных центрах высокопроизводительных вычислений, включая NERSC. SAM 3 формирует подробные контуры объектов, а DINOv3 помогает определить, что представляют собой эти структуры и как они связаны с окружающим образцом. После обработки и реконструкции система отправляет размеченный трёхмерный объём исследователю, работающему у канала вывода пучка. Полный цикл занимает около 15 минут, благодаря чему результаты можно интерпретировать ещё до завершения эксперимента, а не спустя несколько недель.

Исследователи продемонстрировали этот подход, изучив реакцию виноградной лозы на засуху на клеточном уровне. Микро-КТ-сканы, полученные на усовершенствованном источнике света, были реконструированы в виде трёхмерных объёмов стеблей лозы. ИИ-конвейер автоматически выявил сосуды ксилемы — микроскопические трубки, по которым вода перемещается внутри растения. Отслеживание изменений в этих сосудах по мере развития засухи может показать, как транспортировка воды нарушается или адаптируется в стрессовых условиях, потенциально способствуя будущим исследованиям по созданию более устойчивых к засухе сельскохозяйственных культур и укреплению устойчивости сельского хозяйства в целом.

Раньше разметка одного временного шага в эксперименте такого рода могла требовать около месяца работы специалиста. SYNAPS-I сократил этот срок примерно до 15 минут. Значение этой технологии заключается не просто в удешевлении обработки изображений: теперь учёные могут изучать изменяющиеся биологические процессы практически в том же темпе, в котором приборы собирают исходные данные. Проект показывает, как универсальные модели компьютерного зрения с открытым исходным кодом могут превратиться в практическую научную инфраструктуру после дообучения на специализированных данных и подключения к суперкомпьютерам национальных лабораторий. Он также демонстрирует предполагаемую роль первых проектов миссии Genesis: использовать существующие достижения в области ИИ для устранения конкретных ограничений экспериментальной работы и преобразования стремительно растущего потока данных от научных приборов в информацию, на основе которой исследователи могут действовать практически в реальном времени.