Ученые из Университета Брауна разработали искусственный интеллект (ИИ), который преобразует текстовые команды в движения для роботов и анимированных персонажей. Новый ИИ, названный MotionGlot, позволяет пользователям вводить простые команды, такие как «сделать несколько шагов вперед и повернуть направо», и получать точные действия для управления роботами и виртуальными фигурами.
Главное нововведение этой модели заключается в ее способности адаптировать движения для различных типов тел, от человекоподобных роботов до четвероногих. Это позволяет генерировать движения для множества типов роботов, независимо от их формы и особенностей.
По словам одного из исследователей, Сударшана Харитаса, они рассматривают движение как язык, который можно «переводить», подобно тому как это происходит с текстами, например, с английского на китайский. Это открывает новые возможности для множества приложений, от взаимодействия с роботами до использования в виртуальной реальности.
Исследование уже представлено на сервере arXiv, а в этом месяце будет показано на Международной конференции по робототехнике и автоматизации. Модель обучалась на двух наборах данных, содержащих детальные аннотации движений людей и роботов.
MotionGlot способна не только точно воспроизводить движения по текстовым инструкциям, но и адаптировать их для различных фигур. Например, команда «показать движение при кардио-тренировке» вызовет модель, генерирующую изображение бегущего человека. Это открывает широкие возможности для разработки приложений в области робототехники, видеоигр и анимации.
arXiv