Учёные из Института AIRI и МФТИ в партнёрстве с Центром робототехники «Сбера» разработали подход для управления роботами при помощи больших языковых моделей.
Существующие роботы не могут воспринимать устные команды из-за отсутствия полноценных систем распознавания и обработки речи, а также алгоритмов, преобразующих команды в конкретные действия для роботов.
Российские учёные попытались решить эту проблему и создать универсальную систему для устного управления мобильными роботами. Исследователи разработали подход, который позволяет роботу-роверу с манипулятором классифицировать окружающие его объекты и определять, какие действия с ними необходимо совершить для выполнения команд.
«Наша команда одной из первых в мире продемонстрировала возможность составления иерархического плана действий робота с помощью языковой модели и показала, как такую модель можно встроить в сложную систему управления мобильным роботом», — рассказали исследователи.
