Разработка роботов, способных эффективно выполнять повседневные бытовые или промышленные задачи, остается непростой задачей. Многие методы обучения роботов основаны на имитационном обучении, когда им демонстрируются видео или другие данные с людьми, выполняющими нужные действия.
Однако такие техники требуют большого объема демонстрационных данных, которые сложно и дорого собирать. Существующие открытые базы данных часто не содержат достаточного количества материалов для эффективного обучения роботов.
Предложенный подход позволяет роботам обучаться на любых демонстрационных видео, найденных в интернете, в том числе на видео с повседневными задачами. Он состоит из трех основных компонентов:
- Real2Sim - отслеживает движение объекта на видео и воспроизводит его в симуляции.
- Learn@Sim - находит точки захвата и размещения, позволяющие роботу выполнять те же действия с помощью обучения с подкреплением.
- Sim2Real - переносит найденные в симуляции действия на реального робота с двумя руками.
Исследователи продемонстрировали эффективность этого подхода на примере обучения робота завязывать галстук - сложной задаче для машин. Они считают, что в будущем эта технология может быть применена и к другим сложным задачам манипуляции роботами, упрощая процесс их обучения.
Ученые также задаются вопросом, можно ли воспроизвести реальный мир в симуляции, что могло бы помочь сообществу робототехники решить проблему нехватки данных для обучения.