Современные технологии не стоят на месте, и передовые разработки в области искусственного интеллекта продолжают удивлять нас своими возможностями. Исследователи из MIT представили новую гибридную систему, способную значительно улучшить планирование долгосрочных визуальных задач, таких как навигация роботов или координация команд роботов при сборке. Эта система, основанная на генеративных моделях ИИ, демонстрирует успех в два раза превышающий возможности существующих методов.
Основы работы системы
Система использует специализированную модель "видение-язык" (VLM), которая воспринимает ситуации на изображении и моделирует необходимые действия для достижения цели. Затем вторая модель переводит эти симуляции в стандартный язык программирования для задач планирования и дорабатывает решение. В конечном итоге система автоматически генерирует набор файлов, которые могут быть загружены в классическое программное обеспечение для планирования, где вычисляется план достижения цели.
Эта двухступенчатая система генерирует планы с успехом около 70%, превосходя лучшие базовые методы, которые достигали лишь 30%.
Как это работает?
Одной из ключевых особенностей системы является её способность решать новые задачи, с которыми она ранее не сталкивалась, что делает её идеальной для реальных сред, где условия могут меняться мгновенно. Система VLMFP (видение-язык модели управляемого формального планирования) использует два специализированных VLM, которые совместно превращают визуальные задачи планирования в готовые к использованию файлы для формального программного обеспечения планирования.
Первоначально обученная модель SimVLM описывает сценарий на изображении на естественном языке и моделирует последовательность действий. Затем более крупная модель GenVLM использует это описание для генерации начальных файлов на языке планирования, известном как PDDL (Planning Domain Definition Language).
Файлы готовы к загрузке в классический PDDL-решатель, который вычисляет пошаговый план для решения задачи. GenVLM сравнивает результаты решателя с результатами симулятора и итерационно дорабатывает PDDL-файлы.
Преимущества и перспективы
Одним из значительных преимуществ использования PDDL является то, что файл домена остаётся неизменным для всех случаев в данной среде. Это делает нашу систему способной обобщать для невиданных ранее случаев в том же домене. При тестировании SimVLM успешно описывала сценарий, моделировала действия и определяла достижение цели примерно в 85% экспериментов.
В будущем исследователи планируют развивать систему для работы с более сложными сценариями и изучать методы идентификации и устранения ошибок восприятия моделями VLM.
- Генерация планов с успехом более 70%.
- Эффективное решение задач, с которыми система ранее не сталкивалась.
- Гибкость в решении различных визуальных задач планирования.
Эта работа финансировалась, в том числе, MIT-IBM Watson AI Lab, и уже успела вызвать интерес на международной конференции по изучению представлений.
Таким образом, новая гибридная система от MIT открывает новые горизонты в сфере робототехники и планирования, предлагая инновационные решения для сложных задач, с которыми сталкиваются современные технологии.
