Искусственный интеллект стремительно развивается, но большинство мощных моделей по-прежнему «заперты» на гигантских серверах в дата-центрах. Исследователи из Массачусетского технологического института (MIT) нашли способ кардинально изменить эту ситуацию. Они разработали новый метод, который ускоряет обучение ИИ на обычных пользовательских устройствах на 81%, сохраняя при этом полную конфиденциальность личных данных.
Почему ИИ сложно обучать на умных часах и смартфонах
Для защиты пользовательской информации в индустрии применяется федеративное обучение (Federated Learning). Эта технология позволяет не отправлять ваши личные данные (например, медицинские показатели или финансовые транзакции) в облако. Вместо этого центральный сервер отправляет саму нейросеть прямо на ваше устройство — на смартфон, планшет или умные часы.
Устройство локально обучает ИИ на ваших данных и возвращает серверу только обновленные математические параметры. Ваши личные файлы никогда не покидают гаджет. Однако на практике этот элегантный подход сталкивается с суровой реальностью. В мире существуют миллионы устройств, и все они разные: у одних мощные процессоры и быстрый Wi-Fi, у других — критически мало памяти и нестабильная мобильная связь.
Обычно центральный сервер ждет ответа от всех участников сети, чтобы усреднить результаты. Если хотя бы один старый смартфон «тормозит» из-за слабого процессора, весь процесс обучения глобальной нейросети замедляется или вовсе останавливается. Это главное узкое горлышко современных мобильных ИИ-технологий.
Как работает технология FTTE от MIT
Чтобы решить проблему «слабого звена», команда инженеров MIT создала новую систему под названием FTTE (Federated Tiny Training Engine). Этот инновационный фреймворк специально разработан для гетерогенных сетей — то есть для систем, состоящих из совершенно разных гаджетов с ограниченными вычислительными ресурсами.
Три главных секрета ускорения
- Отправка только части модели: Вместо того чтобы загружать в память устройства всю тяжелую нейросеть целиком, алгоритм FTTE отправляет лишь небольшую часть параметров. Система автоматически подбирает их так, чтобы уложиться в жесткий лимит оперативной памяти самого слабого гаджета в сети.
- Асинхронное обновление: Сервер больше не ждет отстающих. Он собирает обновления по мере их поступления. Как только накапливается достаточный объем данных от любых устройств, сервер запускает следующий цикл обучения. Это позволяет мощным смартфонам не простаивать в ожидании более слабых собратьев.
- Обесценивание старых данных: Если слабое устройство слишком долго обрабатывало информацию и прислало обновление с большим опозданием, сервер присвоит этим данным меньший вес. Это защищает алгоритм от устаревшей информации, которая может снизить общую точность и адекватность нейросети.
Впечатляющие результаты и будущее локального ИИ
В ходе масштабных симуляций с сотнями различных устройств технология FTTE показала выдающиеся результаты. Время полного цикла обучения моделей сократилось на невероятные 81% по сравнению с классическими методами федеративного обучения. Кроме того, потребление оперативной памяти на мобильных устройствах снизилось на 80%, а объем передаваемого по сети трафика упал на 69%.
Ирен Тенисон, ведущий автор исследования из лаборатории MIT CSAIL, отмечает, что ради такой феноменальной скорости пришлось пойти на незначительное снижение итоговой точности модели. Однако для большинства реальных задач этот компромисс более чем оправдан, так как он колоссально экономит заряд батареи мобильных гаджетов и делает обучение вообще возможным.
Для индустрии искусственного интеллекта это огромный шаг вперед. Технология открывает двери для внедрения умных алгоритмов в медицине и финансах — сферах со строгими стандартами безопасности, где запрещено передавать личные данные на сторонние сервера. Кроме того, новый метод позволит использовать передовые ИИ-функции на старых и бюджетных мобильных телефонах. Это особенно актуально для развивающихся стран, где у пользователей нет доступа к последним моделям флагманских устройств.
