Исследователи из Массачусетского технологического института (MIT) представили новый метод, который ускоряет обучение искусственного интеллекта на обычных гаджетах на 81%. Эта разработка позволяет использовать сложные нейросети на смарт-часах, медицинских датчиках и бюджетных смартфонах. Главное преимущество подхода заключается в том, что личные данные пользователей остаются в полной безопасности.
В таких сферах, как здравоохранение и финансы, конфиденциальность информации критически важна. До сих пор масштабное внедрение ИИ там тормозилось из-за высоких рисков утечки данных при их передаче на сервер. Новая технология решает эту проблему, перенося процесс обучения прямо на устройства пользователей.
Что такое федеративное обучение и почему оно тормозит?
Традиционно нейросети обучаются на мощных серверах, куда стекаются гигабайты пользовательской информации. Федеративное обучение работает иначе: центральный сервер отправляет базовую ИИ-модель на гаджеты. Каждое устройство дообучает её на своих локальных данных и отправляет обратно только математические результаты (обновления параметров), а не саму личную информацию.
Однако у этого подхода есть серьезный недостаток. В реальном мире устройства сильно отличаются друг от друга по мощности. У одного пользователя последняя модель смартфона с отличным интернетом, а у другого — старый телефон с перебоями в сети. Сервер вынужден ждать ответа от всех гаджетов, чтобы обновить общую модель. Это создает эффект «бутылочного горлышка», из-за которого весь процесс сильно замедляется.
FTTE: как ИИ адаптировали для слабых устройств
Чтобы обойти эти ограничения, команда MIT разработала систему Federated Tiny Training Engine (FTTE). Это инновационная программная среда, которая радикально снижает нагрузку на память и процессоры мобильных устройств. Она базируется на трех ключевых принципах:
- Отправка части параметров. Вместо того чтобы загружать тяжелую нейросеть целиком, алгоритм отправляет на слабые гаджеты лишь небольшую часть данных. Система сама вычисляет, какие именно параметры нужны для сохранения точности при минимальных затратах памяти устройства.
- Асинхронные обновления. Сервер больше не ждет отстающих. Он накапливает поступающие данные от быстрых устройств и обновляет ИИ-модель, как только собирает нужный объем информации.
- Оценка актуальности данных. Алгоритм строго учитывает время задержки. Если слабый смартфон прислал обновления слишком поздно, система присвоит им меньший вес. Это не позволяет устаревшим данным портить общую картину и снижать точность нейросети.
Впечатляющие результаты и перспективы
Тестирование FTTE на сотнях различных устройств показало рекордные результаты. В среднем процесс обучения ускорился на 81% по сравнению со стандартными методами федеративного обучения. При этом потребление оперативной памяти на гаджетах снизилось на 80%, а объем передаваемого трафика сократился на 69%.
По словам ведущего автора исследования Ирэн Тенисон, ради такой скорости пришлось пойти на минимальное снижение точности. Однако для большинства мобильных приложений это абсолютно приемлемо, особенно учитывая огромную экономию заряда батареи и интернет-трафика.
Эта технология открывает новые горизонты для развивающихся стран, где большинство людей пользуются недорогими и устаревшими смартфонами. Теперь они тоже смогут стать полноценной частью глобальной экосистемы ИИ. В будущем команда MIT планирует доработать алгоритм так, чтобы он создавал глубоко персонализированный ИИ для каждого конкретного пользователя.
