Grabette открывает сбор данных для роботов всем желающим

Обучение роботов сталкивается с дефицитом данных. Современные системы уже располагают эффективными архитектурами политик, включая трансформерные модели «зрение-язык-действие», диффузионные политики и политики на основе сопоставления потоков, а также модели мира, — и достаточными вычислительными мощностями для обучения. Более сложная проблема заключается в получении достаточного количества разнообразных демонстраций физических манипуляций в реальном мире. Традиционный сбор данных обычно требует настоящего робота и системы телеуправления, из-за чего процесс становится дорогим, утомительным, технически сложным и плохо воспроизводимым для множества задач и сред, необходимых для создания универсальных роботизированных политик.

Grabette решает эту проблему, отделяя запись демонстраций от их выполнения роботом. Вместо дистанционного управления роботом человек выполняет задачу напрямую с помощью ручного захвата, оснащённого камерами и датчиками. Система фиксирует действия руки и захвата, восстанавливает положение устройства с шестью степенями свободы — трёхмерную позицию и ориентацию инструмента — и объединяет эту траекторию с визуальными наблюдениями и состоянием захвата. В результате получается чистый набор данных, который впоследствии можно использовать для обучения робота. Основная идея заключается в том, что полезные демонстрации роботизированных манипуляций можно собирать без присутствия робота во время записи.

Проект позиционируется как открытая и сравнительно недорогая система, которую можно собрать из доступных в продаже компонентов и использовать за пределами специализированной лаборатории. Его более масштабная цель — сделать запись демонстрации манипуляции похожей на съёмку обычного видео. Если этот процесс станет доступен множеству участников, создатели считают, что Grabette поможет заложить основу крупного открытого совместного набора данных о манипуляциях, включающего больше задач и сред, чем одна лаборатория реально могла бы собрать самостоятельно.

Grabette напрямую вдохновлён проектом Stanford Universal Manipulation Interface, или UMI. В нём был продемонстрирован похожий подход: использовать ручной захват с камерой типа «рыбий глаз» для записи демонстраций в реальном мире, восстанавливать траектории камеры с помощью одновременной локализации и построения карты и обучать на полученных данных зрительно-моторные политики. Авторы также упоминают коммерческие решения или решения с закрытым исходным кодом, включая захват MEgo от Agibot, захват DAS от Genrobot и перчатку для записи навыков от Sunday Robotics. Отличительная черта Grabette — акцент на открытости, доступности сборки, стандартных компонентах и интеграции с существующей открытой экосистемой машинного обучения.

Ручное устройство оснащено двумя камерами с намеренно разделёнными функциями. Недорогая широкоугольная камера типа «рыбий глаз» записывает насыщенное контекстом изображение, похожее на то, которое роботизированная политика получала бы с камеры, установленной на запястье. Камера OAK-D RGBD, снимающая цвет и глубину, обеспечивает более надёжное отслеживание положения с шестью степенями свободы. Устройство также содержит инерциальный измерительный модуль и магнитные энкодеры, измеряющие состояние суставов захвата. Разделение визуального наблюдения и отслеживания движения между специализированными датчиками призвано предоставить обучаемой политике подходящую точку обзора, не заставляя ту же недорогую камеру выполнять более сложную задачу отслеживания.

Grabette записывает демонстрации, но не выполняет выученные движения. Эта роль отведена Gripette — связанному с ним моторизованному концевому эффектору, предназначенному для установки на реальную или симулируемую роботизированную руку. Оба устройства используют общий аппаратный подход: Grabette представляет собой ручной инструмент записи с камерами, IMU и захватом, а Gripette объединяет камеру с двумя сервомоторами для воспроизведения выученных действий. Заявленная стоимость компонентов составляет приблизительно €490 для Grabette и €120 для Gripette. Хотя записанные данные и процесс их сбора спроектированы так, чтобы не зависеть от конкретной роботизированной платформы, на целевую руку всё равно необходимо установить соответствующий Gripette.

Выпуск включает не только физическое устройство записи. В него входят CAD- и производственные файлы для обоих устройств, программное обеспечение Raspberry Pi для встроенного сервиса записи, конвейер постобработки, который можно запускать локально или через Hugging Face Space, а также пример последующего рабочего процесса со стандартным обучением в LeRobot и оценкой на OpenArm. Аппаратная часть основана на обычных компонентах, а не на проприетарном конвейере: Raspberry Pi, стандартной камере Raspberry Pi, готовой камере глубины OAK-D и магнитных энкодерах. Цель — дать пользователям возможность воспроизводить, изучать, изменять и расширять систему без привязки к программному форку конкретного поставщика.

На уровне набора данных записываемое представление не зависит от конкретного робота. Каждая демонстрация хранит локальную относительно камеры декартову позу с шестью степенями свободы вместе с состоянием захвата. Обработанные эпизоды экспортируются в виде стандартных наборов данных LeRobot и могут распространяться через Hugging Face Hub. Теоретически такой формат позволяет использовать одни и те же демонстрации для разных роботизированных рук и методов обучения, хотя для физического выполнения по-прежнему необходимо оснастить руку соответствующим концевым эффектором Gripette.

Процесс записи рассчитан на пользователей без специального опыта. Нажатие кнопки запускает синхронную запись с камеры наблюдения, а также потоков цвета, глубины и данных IMU с камеры отслеживания и показаний энкодеров захвата. Все сигналы используют общие часы, благодаря чему изображения, оценки движения и значения суставов остаются согласованными по времени. Повторное нажатие кнопки завершает эпизод и сохраняет его необработанные данные локально на Raspberry Pi. Затем пользователь открывает браузерную панель управления, выбирает нужные эпизоды и одним нажатием запускает постобработку.

Во время обработки Hugging Face Space grabette-slam использует библиотеку RTAB-MAP для одновременной локализации и построения карты, а также восстановления траектории устройства. Он также проверяет результат на разрывы и потерю отслеживания, предотвращая попадание повреждённых траекторий движения в итоговый набор данных. Принятые эпизоды преобразуются в формат LeRobot и загружаются в пространство пользователя на Hub, где каждый эпизод можно просмотреть с помощью визуализатора LeRobot. Объединяя синхронную запись, проверку траекторий, стандартизованное преобразование, браузерную обработку и обмен наборами данных, Grabette стремится сократить путь от демонстрации задачи до получения готовых для обучения робота данных.

Создатели сообщают, что разрабатывали систему несколько месяцев и теперь считают её достаточно пригодной для публичного выпуска. Проект не устраняет необходимость в роботизированном оборудовании на этапах оценки после обучения или развёртывания, а его широкое влияние будет зависеть от того, насколько надёжно демонстрации переносятся между разными роботами и средами. Тем не менее он нацелен на одно из наиболее практических ограничений воплощённого ИИ: сбор разнообразного физического опыта в масштабах, которых трудно достичь с помощью традиционных лабораторных процессов телеуправления.