Искусственный интеллект стремительно развивается, однако обучение мощных моделей по-прежнему требует гигантских серверных мощностей и дорогих видеокарт. Исследователи из Массачусетского технологического института (MIT) сделали важный шаг к тому, чтобы перенести этот ресурсоемкий процесс на обычные гаджеты. Они представили новый метод, который ускоряет обучение ИИ на смартфонах, умных часах и датчиках на впечатляющие 81%.
Главное преимущество новой технологии заключается в том, что она позволяет сохранить полную конфиденциальность пользовательских данных. Это открывает двери для внедрения умных алгоритмов в такие критически важные сферы, как здравоохранение и финансы, где безопасность информации всегда стоит на первом месте.
Что такое федеративное обучение и где его слабое звено?
В основе нового подхода лежит улучшение технологии федеративного обучения (Federated Learning). Традиционно для обучения нейросети все данные собираются на едином облачном сервере. Федеративное обучение работает иначе: центральный сервер отправляет саму модель на граничные устройства (телефоны, часы, IoT-датчики). Каждый гаджет обучает ИИ на своих локальных данных, а затем отправляет обратно на сервер лишь математические обновления модели, а не личные файлы, фотографии или переписки.
Однако на практике этот процесс сталкивается с серьезной проблемой. В реальном мире сети состоят из гетерогенных устройств — гаджетов с абсолютно разными характеристиками. Один пользователь подключается с мощного флагманского смартфона по 5G, а другой — с дешевого телефона прошлых лет или умных часов со слабым процессором.
Обычно центральный сервер ждет, пока все устройства пришлют свои обновления, чтобы усреднить их и завершить цикл обучения. Из-за самых слабых гаджетов возникает эффект «бутылочного горлышка»: система простаивает в ожидании, обучение сильно замедляется или вовсе прерывается.
Движок FTTE: как MIT решил проблему задержек
Чтобы обойти аппаратные ограничения, команда MIT разработала инновационный фреймворк под названием FTTE (Federated Tiny Training Engine). Этот движок базируется на трех ключевых нововведениях:
- Передача только нужных параметров. Вместо того чтобы загружать тяжелую модель целиком на каждое устройство, FTTE отправляет лишь небольшую часть параметров (внутренних настроек нейросети). Система сама определяет, какие именно переменные нужно обновить для достижения максимальной точности, не превышая лимит памяти самого слабого гаджета в сети.
- Полуасинхронный подход. Сервер больше не ждет отстающих. Он накапливает поступающие обновления от устройств до достижения определенного лимита, после чего сразу переходит к следующему этапу обучения. Это позволяет мощным гаджетам не простаивать без дела.
- Умное взвешивание по времени. Поскольку данные приходят неравномерно, сервер присваивает им разную значимость. Устаревшие обновления, пришедшие с большой задержкой, получают меньший вес. Это не дает старым данным тянуть общую точность модели вниз.
Впечатляющие результаты тестирования
Исследователи проверили работу FTTE в симуляциях с сотнями различных устройств, а также на реальном оборудовании. Результаты превзошли ожидания: новый метод позволил завершить процесс обучения на 81% быстрее по сравнению со стандартными алгоритмами.
Кроме того, потребление оперативной памяти на самих устройствах снизилось на 80%, а объем передаваемого сетевого трафика упал на 69%. Авторы исследования отмечают, что ради такой скорости и экономии заряда батареи пришлось пойти на незначительный компромисс в точности ИИ, однако для большинства мобильных приложений это совершенно оправданно.
Почему это изменит правила игры в ИИ?
Доступность искусственного интеллекта не должна зависеть от того, насколько дорогой у вас смартфон. Как отмечает ведущий автор исследования Ирен Тенисон, далеко не у всех есть последние модели iPhone. В развивающихся странах люди часто пользуются бюджетными устройствами, и алгоритм FTTE позволит им стать полноправными участниками экосистемы ИИ, внося свой вклад в глобальные модели.
В будущем команда планирует доработать метод так, чтобы нейросети могли не только обучаться сообща, но и персонализироваться под уникальные привычки каждого конкретного пользователя, сохраняя при этом строжайший уровень приватности.
