Роботы обрели пространственную память
Представьте ситуацию: вы оставили ключи в непонятном месте, и теперь не можете их найти. Обычный робот-пылесос или складской манипулятор в такой ситуации был бы беспомощен — они видят мир только в моменте. Однако исследователи из Массачусетского технологического института (MIT) разработали систему долгосрочной памяти, которая позволяет машинам запоминать детали окружающей среды так же, как это делают люди.
Новая методика, получившая название DAAAM (Describe Anything, Anywhere, Anytime, at Any Moment), объединяет 3D-картирование с богатыми текстовыми описаниями. Теперь робот может не просто знать, где находится стена, а понимать, что рядом стоит красный велосипед с проколотым колесом у входа в здание Stata Center.
От сырых данных к осмысленным воспоминаниям
Проблема традиционных систем навигации заключается в их «бессловесности». Они создают геометрические карты, но не понимают, что именно находится в пространстве. С другой стороны, современные модели компьютерного зрения отлично описывают объекты на фото, но не умеют связывать эти описания с конкретными координатами в пространстве и времени.
Команда под руководством профессора Луки Карлоне из лаборатории SPARK Lab решила эту задачу, объединив оба подхода. Робот, перемещаясь по помещению или территории, автоматически прикрепляет подробные описания к объектам, которые он видит. Эта информация хранится в виде пространственной базы данных, где каждый объект имеет свои координаты и текстовый профиль.
Ключевая особенность системы — скорость. Ранние аналоги требовали секунд на обработку одного объекта, что делало их бесполезными для быстрых роботов. DAAAM использует оптимизацию кадров и группировку объектов, что позволяет ускорить вычисления в 10 раз. Робот запоминает каждый объект всего один раз, что делает систему эффективной даже в огромных пространствах, таких как целые кампусы университетов.
Разговор на человеческом языке
Главное преимущество новой системы — возможность взаимодействия с пользователем на естественном языке. Робот использует большие языковые модели (LLM) с инструментами семантического поиска, чтобы быстро находить нужную информацию в своей памяти.
- Точность: При тестировании DAAAM показал точность на 21–53% выше, чем существующие аналоги, в зависимости от типа вопроса.
- Скорость ответа: Система способна ответить на сложный запрос о местоположении объекта за считанные секунды.
- Пример: Если попросить робота найти скульптуру, он не просто покажет точку на карте, а вспомнит контекст: какая это скульптура, где именно она стояла и какие детали были вокруг.
«Если мы хотим, чтобы роботы работали бок о бок с людьми, они должны говорить на одном языке. Они должны рассуждать о времени и пространстве так же, как люди», — объясняет Карлоне. По сути, система превращает сухую карту в язык-based карту, доступную для понимания через текстовые запросы.
Зачем это нужно индустрии ИИ
Разработка имеет широкие перспективы за пределами робототехники. Подобные системы пространственной памяти критически важны для развития дополненной реальности (AR), которая может помогать рабочим в выявлении аномалий на производстве или помогать пассажирам в навигации по сложным транспортным узлам.
В перспективе такая технология позволит создать универсальных роботов-ассистентов. Фабричный рабочий сможет отправить робота за деталью, сказав: «Зайди в цех и принеси ту деталь, которую мы собирали вчера вечером». Робот вспомнит не только место, но и контекст события, исключив ошибки, связанные с человеческой забывчивостью или неточными инструкциями.
Исследование представлено на конференции CVPR 2026 (Conference on Computer Vision and Pattern Recognition). В будущем авторы планируют расширить функционал системы, добавив возможность запоминания не только объектов, но и значимых событий, произошедших в пространстве, а также внедрение оценки уверенности робота в своих ответах.
