Современные модели искусственного интеллекта требуют колоссальных вычислительных мощностей. Обычно они обучаются на гигантских серверах и кластерах видеокарт. Однако исследователи из Массачусетского технологического института (MIT) сделали важный шаг к тому, чтобы перенести этот процесс на устройства, которые мы используем каждый день. Их новый метод позволяет эффективно обучать ИИ прямо на умных часах, датчиках и смартфонах прошлых поколений.
Что такое федеративное обучение и в чем его проблема
Чтобы обучить нейросеть понимать предпочтения пользователя, ей нужны данные. В таких чувствительных сферах, как медицина или финансы, отправлять личную информацию на облачные серверы небезопасно. Здесь на помощь приходит федеративное обучение (federated learning).
При таком подходе центральный сервер отправляет базовую модель на множество пользовательских устройств. Каждое устройство дообучает модель на своих локальных данных, а затем отправляет обратно на сервер только математические обновления, а не сами данные. Таким образом, личная информация никогда не покидает ваш смартфон.
Но есть серьезная проблема. В реальном мире устройства имеют разную мощность: у кого-то новейший флагман, а у кого-то — старый бюджетный телефон со слабым интернетом. Классическое федеративное обучение требует, чтобы сервер дождался обновлений от всех участников сети. Из-за этого слабые гаджеты становятся «бутылочным горлышком», вызывая задержки и сбои во всем процессе.
Технология FTTE: ИИ для маломощных гаджетов
Команда инженеров из Лаборатории компьютерных наук и искусственного интеллекта MIT (CSAIL) разработала новый фреймворк под названием FTTE (Federated Tiny Training Engine). Он решает проблему нехватки памяти и медленной связи на периферийных устройствах (edge devices).
Инновация опирается на три ключевых принципа:
- Частичная передача модели. Вместо того чтобы отправлять тяжелую нейросеть целиком, алгоритм FTTE выбирает и передает лишь небольшую часть параметров. Размер этой части подстраивается под самое слабое устройство в сети, чтобы не перегрузить его память.
- Асинхронный сбор данных. Сервер больше не ждет отстающих. Он накапливает обновления от тех устройств, которые справились быстрее, формирует пакет определенного размера и запускает следующий цикл обучения.
- Обесценивание устаревших данных. Если старый смартфон прислал свое обновление слишком поздно, сервер придаст ему меньший вес. Это гарантирует, что неактуальные данные не замедлят прогресс и не снизят точность модели.
Впечатляющие результаты и компромиссы
Исследователи протестировали FTTE в симуляциях с сотнями устройств разной мощности. Результаты оказались впечатляющими: новый метод завершает процесс обучения на 81% быстрее, чем стандартные подходы федеративного обучения.
Кроме того, потребление оперативной памяти на устройствах снизилось на 80%, а объем передаваемых по сети данных упал на 69%. Авторы исследования признают, что ради такой скорости и экономии заряда батареи пришлось пойти на незначительное снижение точности модели. Однако для большинства мобильных приложений этот компромисс более чем оправдан.
Почему это важно для индустрии искусственного интеллекта
Этот прорыв имеет огромное значение для демократизации технологий. Далеко не у всех пользователей есть современные смартфоны с мощными процессорами, особенно в развивающихся странах. Технология FTTE позволяет включить эти устройства в глобальную сеть обучения ИИ.
В будущем это позволит создавать высокоточные системы для здравоохранения и банковского сектора, которые будут работать быстро, не разряжать батарею и, самое главное, гарантировать абсолютную конфиденциальность пользовательских данных. В дальнейших планах команды MIT — тестирование алгоритма на реальном оборудовании и создание персонализированных ИИ-моделей под нужды каждого конкретного пользователя.
