Искусственный интеллект стремительно развивается, но большинство мощных нейросетей по-прежнему «живут» на гигантских серверах. Чтобы сделать ИИ по-настоящему полезным и безопасным, его нужно перенести на наши смартфоны, умные часы и датчики. Исследователи из Массачусетского технологического института (MIT) сделали огромный шаг в этом направлении, разработав новый метод локального обучения ИИ без ущерба для конфиденциальности.
Новая технология позволяет обучать модели прямо на устройствах пользователей в условиях ограниченной памяти и слабого интернета. Это открывает двери для внедрения умных алгоритмов в такие критически важные сферы, как здравоохранение и финансы, где утечка личных данных недопустима.
Проблема: почему сложно обучать ИИ на смартфонах?
Сегодня для защиты пользовательской информации часто применяется федеративное обучение. Это подход, при котором центральный сервер отправляет базовую модель ИИ на множество клиентских гаджетов. Каждое устройство (например, ваш телефон) дообучает эту модель на ваших личных данных, а затем отправляет обратно на сервер только полученные результаты (обновления весов нейросети), а не сами данные. Таким образом, личная информация никогда не покидает ваш смартфон.
Однако на практике этот процесс сталкивается с серьезными техническими препятствиями. Разные гаджеты имеют разный объем памяти, вычислительную мощность и скорость интернета. В классическом сценарии сервер ждет ответов от абсолютно всех устройств, чтобы усреднить результаты. Если один старый телефон с плохим соединением «тормозит», весь процесс обучения останавливается. Это приводит к огромным задержкам и быстрому разряду батарей.
Решение от MIT: технология FTTE
Чтобы решить проблему «бутылочного горлышка», команда MIT создала новую архитектуру под названием FTTE (Federated Tiny Training Engine). Этот фреймворк кардинально меняет подход к распределенному обучению ИИ и базируется на трех ключевых инновациях:
- Передача только нужных параметров. Вместо того чтобы отправлять на слабое устройство всю огромную модель целиком, FTTE отбирает и отправляет лишь небольшую часть параметров. Система сама вычисляет, какие именно переменные дадут максимальный прирост точности при минимальных затратах памяти телефона.
- Асинхронное обновление. Сервер больше не ждет отстающих. Он собирает обновления от устройств по мере их поступления. Как только накапливается определенный пул данных, сервер обновляет глобальную модель и запускает следующий цикл обучения.
- Временная приоритизация. Если старое устройство отправляет данные слишком долго, они могут устареть и навредить качеству модели. FTTE присваивает таким «запоздалым» обновлениям меньший вес, чтобы они не тормозили общий прогресс алгоритма.
Впечатляющие результаты: быстрее на 81%
Исследователи протестировали FTTE в масштабных симуляциях с сотнями различных устройств, имитируя реальные условия с нестабильным интернетом и слабыми мобильными процессорами. Результаты превзошли ожидания стандартных методов.
Новый подход позволил ускорить процесс обучения ИИ на целых 81%. При этом потребление оперативной памяти на самих устройствах снизилось на 80%, а объем передаваемых по сети данных сократился на 69%. Хотя ученые отмечают небольшое снижение итоговой точности модели ради скорости, этот компромисс абсолютно оправдан для большинства мобильных задач, где экономия заряда батареи стоит на первом месте.
Что это значит для индустрии ИИ?
Развитие граничных вычислений (Edge AI) — один из главных трендов современных технологий. Работа инженеров MIT делает этот тренд доступным для всех, а не только для владельцев самых дорогих флагманских смартфонов. Это особенно важно для развивающихся стран, где преобладают бюджетные мобильные устройства со скромными характеристиками.
В ближайшем будущем технология FTTE позволит создавать персонализированные медицинские приложения, которые будут анализировать пульс и симптомы прямо на умных часах, не отправляя врачебную тайну в облако. Финансовые сервисы смогут точнее выявлять мошенничество прямо на устройстве пользователя, гарантируя полную безопасность его транзакций. Искусственный интеллект становится по-настоящему карманным, быстрым и приватным.
