Сегодня искусственный интеллект стремительно выходит за пределы гигантских серверных станций и мощных видеокарт. Разработчики хотят, чтобы умные алгоритмы работали прямо на наших смартфонах, фитнес-браслетах и датчиках умного дома. Однако обучение таких систем требует огромных вычислительных мощностей, которых нет у портативной электроники.
Исследователи из Массачусетского технологического института (MIT) нашли изящное решение этой проблемы. Они разработали новый метод, который ускоряет процесс приватного обучения ИИ почти в два раза. Эта технология открывает двери для использования сложных нейросетей в сферах, где безопасность данных критически важна — например, в медицине и банковском секторе.
Почему ваши данные должны оставаться на устройстве?
Традиционно для обучения ИИ компании собирают пользовательские данные и отправляют их на центральные серверы. Это создает огромные риски для конфиденциальности. Чтобы защитить информацию, индустрия начала использовать федеративное обучение (federated learning).
Суть этой технологии проста: центральный сервер отправляет базовую модель ИИ на тысячи пользовательских устройств. Каждое устройство «дообучает» модель, используя локальные данные владельца. Затем обратно на сервер отправляются только математические обновления модели, а сами личные файлы, фотографии или медицинские показатели никогда не покидают ваш телефон.
Но у этого подхода есть серьезный недостаток. Для эффективной работы все устройства в сети должны обладать достаточным объемом памяти, мощным процессором и стабильным интернетом. В реальном мире так не бывает.
Как слабые гаджеты тормозят глобальный ИИ
В сети федеративного обучения могут одновременно находиться флагманские смартфоны, бюджетные телефоны пятилетней давности и маломощные умные часы. Это создает так называемую гетерогенную (разнородную) сеть.
Обычно центральный сервер ждет, пока абсолютно все устройства закончат свой цикл обучения и пришлют обновления, чтобы усреднить результаты. Если старый телефон с плохим мобильным интернетом зависает, весь процесс останавливается. По словам исследователей из MIT, такие задержки могут замедлить обучение в разы или даже привести к полному сбою системы.
Технология FTTE: три секрета ускорения от MIT
Чтобы обойти эти ограничения, команда MIT создала новый фреймворк под названием FTTE (Federated Tiny Training Engine). Он кардинально снижает нагрузку на память устройств и объем передаваемых данных. Система базируется на трех ключевых инновациях:
- Обучение по частям. Вместо того чтобы отправлять на устройство всю тяжелую ИИ-модель, FTTE передает лишь небольшую часть ее параметров (внутренних настроек нейросети). Система автоматически определяет, какие именно параметры нужно обновить для максимальной точности, подстраиваясь под объем памяти самого слабого гаджета в сети.
- Асинхронный подход. Сервер больше не ждет «отстающих». Он накапливает поступающие обновления от быстрых устройств до определенного лимита, а затем сразу переходит к следующему раунду обучения. Это исключает простои мощных смартфонов.
- Временные коэффициенты. Если старое устройство все же присылает свои данные с большой задержкой, сервер принимает их, но присваивает им меньший вес. Это гарантирует, что устаревшая информация не снизит общую точность итоговой модели.
Впечатляющие результаты: экономия батареи и памяти
Тестирование фреймворка FTTE в симуляциях с сотнями различных устройств показало выдающиеся результаты. В среднем процесс обучения завершался на 81% быстрее по сравнению со стандартными методами федеративного обучения.
Кроме того, новая технология сократила потребление оперативной памяти на устройствах на 80%, а объем данных, передаваемых по сети — на 69%. Хотя исследователи отмечают незначительное падение итоговой точности модели, это оправданный компромисс ради колоссальной экономии заряда батареи и вычислительных ресурсов.
ИИ становится доступным для всех
Эта разработка имеет огромное социальное значение. Далеко не у всех пользователей есть последние модели iPhone или флагманы на Android. В развивающихся странах большинство людей используют бюджетные или устаревшие аппараты.
Метод MIT позволяет включить эти слабые устройства в глобальный процесс обучения ИИ. В будущем команда планирует доработать систему так, чтобы она не просто улучшала общую модель на сервере, но и создавала глубоко персонализированные, умные алгоритмы для каждого конкретного пользователя, сохраняя его данные под надежным замком.
