Исследователи из MIT и лаборатории MIT-IBM Computing Research Lab представили ChartNet — большой обучающий набор данных для моделей, которые должны понимать графики, диаграммы и научные иллюстрации. В него вошло более миллиона разнообразных изображений графиков, а также данные, которые помогают ИИ связать картинку с числами и текстом.
Разработка нацелена на vision-language models, или VLM. Это модели, которые работают сразу с изображениями и языком: например, могут посмотреть на диаграмму из финансового отчета и объяснить, что на ней происходит. Проблема в том, что даже современные коммерческие системы часто ошибаются, когда нужно одновременно распознать визуальные элементы, понять подписи и корректно извлечь числовые значения.
Почему графики до сих пор сложны для ИИ
Для человека линейный график, столбчатая диаграмма или тепловая карта обычно читаются почти автоматически. Мы понимаем оси, легенду, подписи, цвета и общий смысл тренда. Для ИИ это гораздо более сложная задача: ему нужно не просто «увидеть картинку», а сопоставить ее с таблицей значений и сделать вывод.
В бизнесе такая возможность особенно важна. Финансовые отчеты, рыночные обзоры, презентации и аналитические панели часто состоят из десятков графиков. Если модель неправильно извлечет данные или пропустит важный тренд, компания может получить искаженное резюме и принять неверное решение.
В MIT отмечают, что одна из главных причин слабой точности — нехватка качественных обучающих данных. Многие прежние датасеты содержали ограниченное число графиков из интернета и не давали модели достаточно контекста: исходных чисел, описаний, кода построения и проверочных вопросов.
Что такое ChartNet
ChartNet — это мультимодальный датасет, созданный специально для глубокого понимания графиков. Он включает не только изображения, но и дополнительные слои информации: код, с помощью которого построен график, текстовое описание, таблицу с числовыми данными и пары «вопрос-ответ».
Такой подход помогает модели учиться не поверхностному распознаванию, а более надежной связке между визуальной формой и смыслом. Например, ИИ может понять, что синяя линия показывает рост продаж, что пик пришелся на конкретный месяц, а разница между двумя категориями выражается определенным числом.
По словам команды MIT, ChartNet задумывался как универсальный ресурс для обучения моделей работе с диаграммами. Он должен закрывать разные сценарии: от извлечения данных до краткого пересказа графика и ответов на уточняющие вопросы.
Как исследователи получили миллион графиков
Чтобы собрать такой объем данных, команда использовала синтетическую генерацию. Это метод, при котором данные создаются алгоритмами, но выглядят и ведут себя похоже на реальные примеры. В случае ChartNet исследователи брали исходный график как основу, превращали его в код, а затем автоматически меняли параметры.
Система могла варьировать тип диаграммы, числовые значения, тему, цвета, подписи и другие элементы. Из одного исходного примера получались сотни новых вариантов. Благодаря этому датасет стал не только большим, но и разнообразным.
При этом исследователи не ограничились массовой генерацией. Они добавили автоматическую проверку качества: код должен запускаться, график должен корректно отображаться, а данные — оставаться осмысленными. Часть примеров также была размечена экспертами-людьми, что повышает надежность набора для практических задач.
Малые модели смогли обойти крупные коммерческие системы
MIT и IBM протестировали ChartNet на серии открытых моделей, включая IBM Granite Vision. После обучения на новом датасете модели стали лучше справляться с несколькими задачами: восстановлением структуры графика, извлечением данных, кратким описанием диаграмм и ответами на вопросы по изображению.
Самый заметный результат — небольшие открытые модели в ряде тестов превзошли гораздо более крупные коммерческие системы. Это важно для рынка: компании с ограниченным бюджетом могут получить сильные инструменты анализа без зависимости от дорогих закрытых моделей.
Для индустрии ИИ это еще один сигнал, что качество данных иногда важнее размера модели. Если обучающий набор хорошо устроен и покрывает реальные сценарии, компактная система может показывать конкурентный результат.
Где это пригодится
ChartNet может быть полезен не только финансистам. Похожие задачи есть в науке, медицине, образовании, промышленной аналитике и корпоративной отчетности. Везде, где данные представлены в виде графиков, ИИ должен уметь не просто распознать изображение, а объяснить его смысл.
- Бизнес-аналитика: автоматическое чтение отчетов, выявление трендов и подготовка резюме.
- Научные публикации: интерпретация графиков из статей и презентаций.
- Финансы: анализ динамики рынков, доходов, рисков и сравнительных показателей.
- Образование: помощь студентам в понимании диаграмм и статистики.
Почему это важно для развития ИИ
Современные ИИ-системы все чаще должны работать не только с текстом, но и со сложными форматами данных. Графики — один из таких форматов: они выглядят просто, но содержат визуальную, числовую и языковую информацию одновременно.
ChartNet показывает, как можно улучшать мультимодальные модели через качественные специализированные датасеты. Это особенно важно для открытого ИИ: если небольшие модели становятся точнее в узких, но востребованных задачах, доступ к полезным технологиям получают не только крупные корпорации.
В дальнейшем исследователи планируют расширять ChartNet и добавлять более сложные типы данных. Они также рассчитывают на обратную связь от научного сообщества, чтобы сделать набор еще полезнее для обучения и проверки моделей.
