Рынок мультимодальных ИИ столкнулся с новой реальностью: традиционные модели одностороннего анализа изображений уже не достаточны. Всплыла проблема: зачастую небольшие детали — серийные номера, символы — остаются без внимания, а время выполнения растёт. Google шагнула вперёд, внедрив Agentic Vision — технологию активного поиска и анализа, основанную на использовании Python-кода внутри модели.
В основе метода — цикл «Думай, Действуй, Наблюдай»: AI планирует, что и где проверить на изображении, вызывает встроенные инструменты для анализа, изменяет изображение и снова его рассматривает, пока не получит нужный ответ. Благодаря этому подходу модель способна автоматически приближаться к деталям — например, увеличивать части плана, распознавать таблицы или детали на чертежах. Особенно это ценно для задач точного считывания текста, анализа плотных таблиц и сложных схем.
К примеру, в платформе PlanCheckSolver.com модель использует возможность автоматически зумировать крупные архитектурные планы, извлекая правила и проверяя их на соответствие. Это позволило повысить точность обработки данных на 5%. Визуальные аннотации — ещё один повод для использования: модель, обозначая границы, метки и цифры, существенно снижает ошибки подсчёта, например, цифр на руке или в технических схемах.
Обработка математических задач, генерация графиков и таблиц — все это теперь делается с помощью вызовов Python, что исключает халлюцинации и снижает ошибки в ответах. Разработчики уже могут подключать Agentic Vision через API Google, в Google AI Studio, Vertex AI и приложении Gemini. В тестовых режимах есть возможность включать или отключать выполнение кода, что повышает контроль и точность.
Главный итог — Gemini 3 Flash превращается в активного визуального агента, который не просто воспринимает, а исследует, планирует и пересматривает свои решения. В результате — в задачах, связанных с детальным анализом и точной механикой, точность verbessert на 5-10%. В будущем ожидается, что этот подход станет стандартом для комплексных мультимодальных систем, а возможности активного взаимодействия должны вывести их на новый уровень.
Технология уже доступна для тестирования и интеграции, помогая бизнесу автоматизировать сложные визуальные задачи, повышая качество и снижая стоимость аналитики. Помимо этого, команда Google обещает продолжать развитие инструментария и делиться обновлениями через соцсети и рассылки — одними словами, мы смотрим на новую эру активных ИИ-агентов в задачах визуального восприятия.
