Исследователи из MIT Sea Grant, Woodwell Climate Research Center, MIT CSAIL, MIT Lincoln Laboratory и компании Intuit представили рабочую систему мониторинга рыбы на базе компьютерного зрения и глубокого обучения. Проект посвящен речной сельди, численность которой заметно сократилась за последние десятилетия. Результаты опубликованы в журнале Remote Sensing in Ecology and Conservation.
Главная идея проста: не заменять людей, а усилить программы гражданской науки. Вместо редких ручных подсчетов система анализирует подводное видео почти непрерывно и автоматически считает проходящую рыбу.
Почему старые методы уже не справляются
Традиционный учет обычно строится на визуальных наблюдениях у берега и помощи волонтеров. Это важная работа, но у нее есть ограничения: наблюдения часто ведутся днем и короткими интервалами, а активная миграция может происходить ночью или резкими «волнами» по несколько минут. В такие моменты через участок проходит сразу много рыбы, и часть данных теряется.
Даже когда используют видео, его ручная разметка занимает огромное количество времени. Поэтому экологи давно ищут недорогой и масштабируемый способ автоматизировать подсчеты без потери качества.
Как устроена новая ИИ-система
Команда собрала сквозной pipeline, то есть полный рабочий цикл: от подводных камер в реках до обучения модели и итогового подсчета. Видео записывали в трех реках Массачусетса: Coonamessett (Фалмут), Ipswich (Ипсвич) и Santuit (Мэшпи).
Чтобы модель была устойчивой к реальным условиям, в датасет включили ролики с разным освещением, мутностью воды, временем суток, плотностью рыбы и сезонами. Далее специалисты вручную разметили кадры: отмечали рыбу прямоугольниками и отслеживали ее движение. Всего подготовлено 1 435 видеоклипов и размечено 59 850 кадров.
Проверка точности
Автоматические подсчеты сравнили с несколькими источниками: ручным просмотром видео, визуальными наблюдениями у реки и данными PIT-меток (пассивные транспондеры, которые фиксируют перемещения отдельных рыб). Лучшие результаты дали модели, обученные на данных из разных рек и разных лет.
Итог: система выдает подробные сезонные оценки, которые хорошо совпадают с классическими методами, но дает более высокое временное разрешение, то есть показывает динамику почти в реальном времени.
Что удалось узнать о поведении рыбы
На видео миграции 2024 года в реке Coonamessett алгоритм насчитал 42 510 особей речной сельди. Анализ показал, что движение вверх по течению чаще достигало пика на рассвете, а обратное движение вниз в основном происходило ночью. Это может указывать на поведенческую стратегию: рыба выбирает темные и более тихие периоды, чтобы снижать риск встречи с хищниками.
Почему это важно для ИИ-отрасли и экологии
Этот кейс показывает практическую ценность AI for Science: ИИ решает не абстрактную лабораторную задачу, а конкретную проблему природоохранного мониторинга. Технология может снизить стоимость наблюдений, ускорить получение данных и улучшить решения в управлении рыбными ресурсами.
При этом авторы подчеркивают: гражданская наука остается ключевой частью процесса. Волонтеры нужны для обслуживания камер, разметки новых данных и проверки модели. На переходном этапе традиционные методы также необходимо сохранять, чтобы не ломать долгие исторические ряды наблюдений.
Что дальше
Исследователи хотят использовать этот подход как шаблон для других водных видов и регионов. Если такие системы станут стандартом, экологический мониторинг сможет перейти от редких «снимков состояния» к непрерывной, более полной картине изменений в экосистемах.
- Технология: компьютерное зрение + глубокое обучение
- Объект: миграция речной сельди
- Результат: точный автоматический подсчет и новые поведенческие инсайты
- Практическая ценность: поддержка природоохранных решений и управления рыболовством
