Умные часы, медицинские датчики и даже устаревшие смартфоны вскоре смогут обучать сложные модели искусственного интеллекта. Исследователи из Массачусетского технологического института (MIT) представили инновационный алгоритм, который ускоряет процесс безопасного машинного обучения на 81%. Технология открывает двери для внедрения ИИ в сферы с высокими требованиями к конфиденциальности, такие как здравоохранение и финансы.
Почему ИИ должен работать на смартфонах, а не на серверах?
Сегодня большинство мощных нейросетей обучаются и работают на гигантских серверных фермах, оснащенных дорогими графическими процессорами. Это создает серьезную проблему для конфиденциальности: чтобы ИИ стал умнее, он должен получить доступ к вашим личным данным, отправив их в облако.
Решением этой проблемы стало федеративное обучение (Federated Learning). Суть метода проста: центральный сервер отправляет базовую модель ИИ на устройства пользователей. Ваш смартфон или умные часы дообучают эту модель локально, используя ваши личные данные, а затем отправляют на сервер лишь математические обновления параметров. Сами данные никогда не покидают устройство.
Однако на практике этот идеальный сценарий сталкивается с суровой реальностью. Периферийные устройства (edge devices) имеют разный объем памяти, слабую вычислительную мощность и нестабильный интернет. В классическом федеративном обучении сервер ждет, пока все устройства закончат работу. Если один старый смартфон теряет связь, весь процесс обучения глобальной нейросети останавливается.
Технология FTTE: как обойти аппаратные ограничения
Чтобы решить проблему «слабого звена», команда MIT разработала новую архитектуру под названием FTTE (Federated Tiny Training Engine). Этот фреймворк специально создан для разнородных сетей, где одновременно работают и флагманские планшеты, и простые фитнес-трекеры.
Алгоритм базируется на трех ключевых инновациях, которые полностью меняют подход к распределенному обучению:
- Фрагментация модели. Вместо того чтобы отправлять тяжеловесную нейросеть целиком, FTTE анализирует память самого слабого устройства в сети. Затем алгоритм выделяет и отправляет только ту часть параметров (внутренних переменных модели), которая гарантированно поместится в оперативную память гаджета, сохраняя при этом общую эффективность обучения.
- Асинхронные обновления. Сервер больше не ждет отстающих. Он собирает поступающие обновления от устройств до достижения определенного лимита, после чего сразу запускает следующий цикл обучения. Это позволяет мощным гаджетам не простаивать в ожидании слабых.
- Временное взвешивание данных. Если устройство со слабым интернетом присылает свои расчеты слишком поздно, сервер принимает их, но придает им меньший вес. Устаревшие данные могут снизить точность модели, поэтому система автоматически снижает их влияние на финальный результат.
Впечатляющие результаты и будущее индустрии
Исследователи протестировали FTTE в симуляциях с сотнями различных устройств. Результаты превзошли ожидания: новый метод позволил завершить обучение на 81% быстрее по сравнению со стандартными подходами.
Кроме того, потребление оперативной памяти на мобильных устройствах снизилось на 80%, а объем передаваемого по сети трафика упал на 69%. Ученые признают, что ради такой скорости пришлось пойти на минимальный компромисс в точности модели, однако в реальных условиях колоссальная экономия заряда батареи и времени полностью оправдывает эту жертву.
Доступный ИИ для развивающихся стран
Главный автор исследования, Ирен Тенисон, подчеркивает социальную значимость проекта. Далеко не у всех пользователей есть новейшие модели смартфонов с мощными нейронными процессорами. В развивающихся странах люди часто используют бюджетные или устаревшие гаджеты.
Технология FTTE позволит вовлечь эти миллионы устройств в глобальный процесс машинного обучения. В будущем команда MIT планирует доработать алгоритм так, чтобы он не только улучшал общую глобальную модель, но и адаптировал ИИ под уникальные потребности каждого конкретного пользователя прямо на его устройстве.
