Современные модели искусственного интеллекта требуют огромных вычислительных мощностей. Обычно они работают на гигантских серверах, куда пользователи отправляют свои данные. Однако такой подход создает серьезные риски для конфиденциальности, особенно когда речь идет о медицинских или финансовых показателях. Исследователи из Массачусетского технологического института (MIT) предложили элегантное решение этой проблемы.
Команда ученых разработала новый метод под названием FTTE (Federated Tiny Training Engine). Эта технология позволяет обучать сложные нейросети прямо на обычных гаджетах — смартфонах, умных часах и датчиках. При этом личная информация никогда не покидает устройство пользователя, а скорость обучения возрастает на 81%.
В чем проблема классического федеративного обучения?
Чтобы защитить данные пользователей, разработчики используют технологию федеративного обучения (federated learning). Ее суть проста: вместо того чтобы отправлять личные фото или переписки на центральный сервер, сервер сам отправляет базовую ИИ-модель на устройство пользователя.
Гаджет дообучает алгоритм на локальных данных, а затем отправляет обратно только «опыт» — обновленные настройки модели. Сервер собирает эти обновления сотен тысяч устройств и создает финальную, поумневшую нейросеть. Данные остаются в безопасности.
Однако на практике возникает проблема. В сети находятся совершенно разные устройства: от мощных флагманов до старых бюджетных телефонов с плохим интернетом и нехваткой памяти. Центральный сервер вынужден ждать ответа от самых медленных гаджетов. Это создает огромные задержки, перегружает сети связи и быстро разряжает батареи мобильных устройств.
Как работает технология FTTE от MIT?
Чтобы преодолеть эти барьеры, инженеры MIT полностью переработали процесс синхронизации между сервером и устройствами (граничными вычислениями). Их фреймворк опирается на три ключевых нововведения:
- Передача только нужных параметров. Вместо того чтобы скачивать всю тяжелую ИИ-модель целиком, умные часы или датчик получают лишь небольшую часть ее параметров. Алгоритм сам вычисляет, какие именно настройки нужно обновить, чтобы добиться максимальной точности, не превышая лимит памяти самого слабого устройства в сети.
- Полуасинхронное обновление. Сервер больше не ждет, пока ответят абсолютно все гаджеты. Как только набирается определенный пул ответов от быстрых смартфонов, сервер обновляет общую модель и запускает следующий цикл. Это не дает мощным устройствам простаивать впустую.
- Умная оценка устаревших данных. Если старый телефон с плохим интернетом прислал свои расчеты слишком поздно, сервер не отбрасывает их, но снижает их значимость. Таким образом, медленные гаджеты все равно вносят свой вклад, но их неактуальные данные не портят общую точность нейросети.
Впечатляющие результаты и компромиссы
Команда протестировала новый алгоритм как в масштабных симуляциях, так и на реальном оборудовании. Результаты превзошли ожидания стандартных методов федеративного обучения.
Использование FTTE позволило сократить потребление оперативной памяти на устройствах на 80%. Объем передаваемых данных через интернет снизился на 69%. В итоге общее время, необходимое для полного обучения ИИ-модели, сократилось на 81%.
Авторы исследования признают, что ради такой невероятной скорости пришлось пойти на небольшой компромисс в виде незначительного снижения итоговой точности. Однако для большинства мобильных приложений экономия заряда батареи и скорость работы имеют решающее значение.
Почему это важно для индустрии ИИ?
Сегодня внедрение искусственного интеллекта в сферу здравоохранения или финансов тормозится строгими законами о защите персональных данных. Разработка MIT открывает двери для безопасного использования ИИ в этих высокорисковых областях, так как данные не нужно отправлять в облако.
Кроме того, технология стирает цифровое неравенство. «Не у всех есть последние модели мощных смартфонов», — отмечает Ирен Тенисон, ведущий автор исследования из MIT. По ее словам, в развивающихся странах люди часто пользуются бюджетными телефонами. Новый алгоритм позволит интегрировать передовые функции машинного обучения даже на устаревшем оборудовании, делая умные технологии доступными для каждого пользователя.
