Команда из MIT Sea Grant, Woodwell Climate Research Center и партнерских организаций представила практическую систему мониторинга рыбы на базе глубокого обучения. Проект посвящен речной сельди (river herring), которая каждую весну поднимается из прибрежных вод Массачусетса в реки для нереста. За последние десятилетия популяция этой рыбы заметно снизилась, поэтому ее учет критически важен для экологии и рыболовного управления.
Результаты опубликованы в журнале Remote Sensing in Ecology and Conservation. Авторы показали, что связка «подводные камеры + компьютерное зрение» может дать непрерывный и детальный подсчет, который раньше было трудно получить только силами людей.
Почему старых методов уже недостаточно
Традиционный мониторинг часто опирается на визуальные наблюдения волонтеров у реки. Это полезно, но такие наблюдения ограничены временем суток, погодой и человеческими ресурсами. Если массовый проход рыбы случается ночью или длится всего несколько минут, часть данных теряется.
Даже ручной просмотр подводного видео, который считается доступным вариантом, требует огромных трудозатрат. На фоне роста задач по охране водных экосистем это становится узким местом.
Как устроена новая система
Исследователи собрали полный рабочий конвейер: от съемки в реке до обучения модели. Видео записывали в трех реках Массачусетса: Coonamessett (Фалмут), Ipswich (Ипсвич) и Santuit (Мэшпи).
Чтобы модель работала в реальных условиях, в датасет включили сложные сценарии: разное освещение, мутность воды, плотность рыб, сезоны и время суток. Затем специалисты вручную размечали кадры, отмечая рыбу «рамками» (bounding boxes) для обучения алгоритма обнаружению и трекингу.
- Размечено 1 435 видеоклипов.
- Аннотировано 59 850 кадров.
- Проверка шла по нескольким источникам: ручной просмотр видео, визуальные подсчеты на берегу и данные PIT-меток.
Простыми словами о технологии
Компьютерное зрение здесь, по сути, «видит» рыбу в кадре, отслеживает ее движение и считает проходы вверх и вниз по течению. Глубокое обучение помогает модели распознавать объекты в сложной среде, где есть блики, течение, тени и разная прозрачность воды.
Что показали результаты в поле
По данным авторов, лучшие результаты дали модели, обученные на разнообразных данных из разных рек и сезонов. Такие модели формируют стабильные оценки за весь сезон и хорошо согласуются с классическими методами учета.
На видео миграции 2024 года в реке Coonamessett система насчитала 42 510 особей речной сельди. Дополнительно ИИ выявил поведенческие закономерности: пик движения вверх по течению приходился на рассвет, а движение вниз чаще происходило ночью, когда меньше риск встречи с хищниками.
Почему это важно для индустрии ИИ и экологии
Это пример того, как AI for Nature переходит из экспериментов в прикладные инструменты. Проект показывает, что ИИ может не просто автоматизировать рутину, но и открывать новые поведенческие сигналы, полезные для биологов и регуляторов.
Для индустрии это важный кейс масштабируемого внедрения: недорогая инфраструктура, открытые инструменты разметки и реальная верификация на многолетних данных. Для экологических служб это шанс получать более точные и частые оценки без резкого роста затрат.
ИИ не заменяет людей, а усиливает их
Исследователи отдельно подчеркивают: полностью отказываться от традиционного мониторинга пока рано. Длинные исторические ряды данных нужно сохранять сопоставимыми, а значит, ручные методы еще будут нужны.
Волонтеры также остаются частью процесса: обслуживание камер, помощь в разметке, проверка качества модели. В итоге наиболее рабочая схема, по мнению авторов, это комбинация гражданской науки и автоматического анализа видео.
Источник: news.mit.edu
