Обучение двуногих роботов: от симуляции до развертывания в реальном мире с Microduck и Isaac Lab

В статье подробно описывается значительный прогресс в области робототехники, демонстрирующий надёжный рабочий процесс для обучения и развёртывания сложных политик локомоции на физическом оборудовании с использованием робота Microduck с открытым исходным кодом и фреймворка NVIDIA Isaac Lab. Этот процесс решает крайне сложную проблему «sim-to-real» (от симуляции к реальности) — задачу обеспечения надёжной работы политики, идеально обученной в симулированной среде, при взаимодействии с непредсказуемой физикой реального робота.

Microduck, доступный и открытый двуногий робот, разработанный Pollen Robotics и Hugging Face, служит физической платформой для этой демонстрации. Основная инновация заключается в интеграции Isaac Lab, мощного фреймворка симуляции с открытым исходным кодом, с Newton, специализированным инструментом для продвинутного моделирования актуаторов. Эта комбинация позволяет разработчикам обучать сложные политики ходьбы в высокопараллелизованных симуляциях, готовя их к развёртыванию на самом двуногом роботе.

Обучение политики для реального робота намного сложнее, чем просто симуляция движения. Политика должна учитывать реальные физические несовершенства, включая вариации трения, механические задержки и присущий «люфт» сервомеханизмов. Для решения этих проблем рабочий процесс использует несколько передовых методов. Isaac Lab разработан для запуска тысяч GPU-параллельных симуляций, что значительно ускоряет процесс обучения. Более того, интеграция Newton имеет решающее значение, поскольку она моделирует фактический отклик сервопривода, включая такие элементы, как контроллер прошивки, электрические пределы двигателя, трение и задержка команд. Такой уровень детализации выходит за рамки простого физического моделирования и переходит в реалистичную электромеханическую симуляцию.

Для максимального повышения способности политики передаваться из виртуального мира в реальность, система использует обширную доменную рандомизацию. Эта техника предполагает намеренное изменение многочисленных физических параметров во время фазы обучения в симуляции. В частности, система рандомизирует такие переменные, как масса и центр масс робота, коэффициенты трения грунта, инерция суставов, смещения энкодеров, колебания напряжения батареи (просадка) и задержка команд. Помимо этих системных вариаций, среда обучения также рандомизируется путём изменения типа местности и приложения внешних толчков. Особо критичным элементом, который моделируется, является «люфт» (backlash), который определяется как небольшой механический зазор или люфт, возникающий в редукторе, когда сустав меняет направление. Моделирование и изменение люфта в разных суставах во время обучения подвергает полученную политику широкому спектру механических расхождений, делая её гораздо более устойчивой при столкновении с реальной вариативностью физического робота.

После того как политика обучена и оценена в симулированной среде с пересечённой местностью — включающей ступени, склоны и неровную поверхность — следующим критическим шагом является развёртывание. Обученная политика экспортируется в формат ONNX (Open Neural Network Exchange). Этот стандартизированный формат позволяет плавно загрузить и выполнить политику на бортовой системе Microduck. Фреймворк Isaac Lab облегчает этот процесс с помощью рабочего процесса воспроизведения RSL-RL, который автоматически экспортирует как файлы TorchScript, так и ONNX. Крайне важно, что при развёртывании файла ONNX порядок наблюдений, методы нормализации и масштабирование действий, использованные во время фазы обучения, должны быть абсолютно согласованы с теми, что использовались при настройке симуляции. Эта согласованность является техническим стержнем, который обеспечивает успешную передачу на аппаратное обеспечение.

Вся эта конвейерная система не только предоставляет функциональную демонстрацию, но и создает комплексную экосистему для сообщества. Пользователи могут делиться своими успешными моделями на Hugging Face Hub, проверять свои политики для соревновательного тестирования в Microduck Arena или просто интегрировать рабочий процесс в свои собственные физические устройства Microduck. В статье подчёркивается, что хотя ходьба является базовой задачей, модульная природа Isaac Lab предоставляет связанные примеры, побуждая разработчиков исследовать более продвинутые и сложные задачи робототехники, укрепляя роль платформы как ведущего инструмента для передовых исследований и разработок в области робототехники.