Введение в проблему планирования для роботов
Современные роботы становятся все более сложными и универсальными, и одна из ключевых задач при их использовании — это планирование действий в изменяющихся условиях. Исследователи из MIT представили новый гибридный метод, который вдвое эффективнее существующих решений для планирования сложных визуальных задач.
Этот метод основан на использовании генеративных моделей искусственного интеллекта, которые способны анализировать изображение и предсказывать необходимые действия для достижения цели. Затем результаты анализа преобразуются в стандартный язык программирования для задач планирования, что позволяет автоматизировать генерирование планов действий.
Как работает новый метод
Использование моделей зрение-язык
В основе системы лежат две специализированные модели зрение-язык (VLM), которые работают в тандеме. Первая модель, названная SimVLM, описывает сценарий на изображении с использованием естественного языка и симулирует последовательность действий. Вторая модель, GenVLM, на основе описания от SimVLM генерирует набор файлов на языке Planning Domain Definition Language (PDDL), которые затем передаются в классическое программное обеспечение для планирования.
Этот подход позволяет системе автоматически генерировать планы с высокой степенью успеха — около 70%, что значительно превосходит базовые методы с показателем в 30%.
Преимущества и гибкость системы
Одно из ключевых преимуществ использования PDDL заключается в том, что файл домена одинаков для всех случаев в данной среде. Это позволяет системе эффективно обобщать решения на новые, ранее не встречавшиеся задачи. В ходе тестирования система успешно справилась с 60% задач в 2D и более 80% в 3D, включая многороботные коллаборации и сборку роботов.
Такая гибкость делает систему особенно ценной в реальных условиях, где обстановка может изменяться мгновенно.
Перспективы и будущие направления исследований
В будущем исследователи планируют расширить возможности системы для работы с более сложными сценариями и изучить методы предотвращения ошибок, вызванных моделями VLM.
В долгосрочной перспективе генеративные модели ИИ могут стать агентами, способными решать еще более сложные задачи. Однако для этого важно понимать, какие инструменты нужны для решения конкретных задач и как их интегрировать в работу системы.
Работа исследователей из MIT является важным шагом в развитии планирования на основе визуальных данных и открывает новые возможности для применения роботов в различных сферах.
Эта работа была частично профинансирована MIT-IBM Watson AI Lab.
