Наши последние достижения в области ловкости робота

Две новые системы искусственного интеллекта, Aloha, выпущенные и Demostart, помогают роботам научиться выполнять сложные задачи, которые требуют ловкого движения

Люди выполняют много задач ежедневно, например, привязывание шнурков или затягивание винта. Но для роботов изучать эти высококременные задачи невероятно сложно получить правильно. Чтобы сделать роботов более полезными в жизни людей, им нужно лучше вступить в контакт с физическими объектами в динамических средах.

Сегодня мы представляем две новые статьи с участием наших последних достижений в области искусственного интеллекта (ИИ) в исследованиях ловкости робота: Aloha развязан, который помогает роботам научиться выполнять сложные и новые задачи с двумя вооруженными манипуляциями; и Demostart, который использует симуляции для повышения производительности реальной миры на многокрасной роботизированной руке.

Помогая роботам учиться на человеческих демонстрациях и переводить изображения в действие, эти системы прокладывают путь для роботов, которые могут выполнять широкий спектр полезных задач.

Улучшение имитационного обучения с двумя роботизированными руками

До сих пор большинство продвинутых роботов ИИ могли забрать и разместить объекты, используя одну руку. В нашей новой статье мы представляем Aloha развязать, который достигает высокого уровня ловкости в манипуляции с двумя руками. С этим новым методом наш робот научился связывать шнурку, повесить рубашку, отремонтировать другого робота, вставлять снаряжение и даже чистить кухню.

Метод развязки Aloha основан на нашей платформе Aloha 2, которая была основана на оригинальной Aloha (недорогой аппаратной системе с открытым исходным кодом для бимануального телеоперации) из Стэнфордского университета.

Aloha 2 значительно более ловкая, чем предыдущие системы, потому что у него есть две руки, которые могут быть легко телеоперацией для целей обучения и сбора данных, и это позволяет роботам изучать, как выполнять новые задачи с меньшим количеством демонстраций.

Мы также улучшили эргономику роботизированного оборудования и улучшили процесс обучения в нашей последней системе. Во-первых, мы собрали демонстрационные данные, удаленно управляя поведением робота, выполняя сложные задачи, такие как привязывание шнурков и висящие футболки. Затем мы применили метод диффузии, прогнозируя действия робота от случайного шума, аналогично тому, как наша модель Imagen генерирует изображения. Это помогает роботу учиться на данных, поэтому он может выполнять те же задачи самостоятельно.

Изучение роботизированного поведения из нескольких моделируемых демонстраций

Управление ловкой роботизированной рукой является сложной задачей, которая становится еще более сложной с каждым дополнительным пальцем, суставом и датчиком. В другой новой статье мы представляем Demostart, который использует алгоритм обучения подкрепления, чтобы помочь роботам приобретать ловкое поведение при моделировании. Это изученное поведение особенно полезны для сложных вариантов осуществления, таких как многократные руки.

DeMostart впервые учится из простых состояний и со временем начинает учиться на более сложных состояниях, пока не получит задачу в меру своих способностей. Это требует в 100 раз меньше имитируемых демонстраций, чтобы узнать, как решить задачу в симуляции, чем то, что обычно требуется при обучении на примерах реального мира для той же цели.

Робот достиг успеха более 98% по ряду различных задач по моделированию, включая переориентацию кубиков с определенным цветом, затягивая гайку и болт, а также инструменты при выявлении. В реальной настройке он достиг 97% успеха при переориентации и подъеме куба и 64% в задаче вставки плагин-сокета, которая требовала координации и точности высокого пальца.

Мы разработали Demostart с Mujoco, нашего симулятора физики с открытым исходным кодом. После освоения ряда задач по моделированию и использования стандартных методов для уменьшения разрыва с рисованием, например, рандомизацией доменов, наш подход был способен перенести почти нулевой выстрел в физический мир.

Роботизированное обучение в моделировании может снизить стоимость и время, необходимое для проведения фактических физических экспериментов. Но трудно спроектировать эти симуляции, и, кроме того, они не всегда успешно переводятся в реальное представление. Объединяя обучение подкрепления с обучением на нескольких демонстрациях, прогрессивное обучение Demostart автоматически генерирует учебную программу, которая преодолевает разрыв с рисунком, что облегчает передачу знаний из моделирования в физический робот и снижая стоимость и время, необходимые для Запуск физических экспериментов.

Чтобы обеспечить более продвинутое обучение роботов с помощью интенсивных экспериментов, мы проверили этот новый подход на роботизированной руке с тремя пальцами, называемой Dex-EE, которая была разработана в сотрудничестве с Shadow Robot.

Будущее ловкости робота

Робототехника – это уникальная область исследований искусственного интеллекта, которая показывает, насколько хорошо работают наши подходы в реальном мире. Например, большая языковая модель может рассказать вам, как затянуть болт или связать вашу обувь, но даже если она была воплощена в роботе, она не сможет выполнить эти задачи самостоятельно.

Однажды роботы ИИ помогут людям со всеми видами задач дома, на рабочем месте и многое другое. Исследования локализации, в том числе эффективные и общие подходы к обучению, которые мы описали сегодня, помогут сделать это будущее возможным.

Нам еще предстоит пройти долгий путь, прежде чем роботы смогут понять и обрабатывать объекты с легкостью и точностью людей, но мы добиваемся значительного прогресса, и каждая новаторская инновация является еще одним шагом в правильном направлении.