Внедрение искусственного интеллекта в повседневную жизнь часто сталкивается с серьезной проблемой — защитой личных данных. Исследователи из Массачусетского технологического института (MIT) представили новый алгоритм, который делает возможным эффективное обучение ИИ прямо на пользовательских устройствах.
Технология позволяет использовать умные часы, фитнес-трекеры и недорогие смартфоны для тренировки нейросетей. При этом скорость процесса возрастает на 81%, а конфиденциальная информация пользователей никогда не покидает их гаджеты.
Что такое федеративное обучение и почему оно тормозит?
В основе новой разработки лежит концепция федеративного обучения (federated learning). Это особый подход, при котором общая ИИ-модель рассылается на множество устройств пользователей. Каждый гаджет обучает нейросеть на своих локальных данных, а затем отправляет на центральный сервер только результаты этого обучения — так называемые обновления весов. Сервер объединяет их и улучшает глобальную модель.
Главное преимущество такого подхода — абсолютная приватность. Однако на практике возникает проблема так называемого «бутылочного горлышка». В реальном мире устройства сильно отличаются друг от друга: у кого-то последняя модель смартфона с мощным процессором, а у кого-то — старый телефон с медленным интернетом или простые умные часы.
В классическом федеративном обучении центральный сервер вынужден ждать, пока все устройства пришлют свои обновления. Из-за этого слабые гаджеты сильно тормозят весь процесс, вызывая критические задержки.
Инновация MIT: знакомьтесь, FTTE
Чтобы решить эту проблему, команда MIT создала фреймворк под названием FTTE (Federated Tiny Training Engine). Это легковесный движок для федеративного обучения, который радикально снижает нагрузку на память и каналы связи.
Работа FTTE строится на трех ключевых инновациях:
- Передача части модели: Вместо того чтобы отправлять огромную нейросеть целиком, сервер посылает каждому устройству лишь небольшую часть параметров. Размер этой части адаптируется под объем памяти самого слабого гаджета в сети.
- Асинхронные обновления: Сервер больше не ждет отстающих. Он собирает обновления по мере их поступления. Как только накапливается определенный пул данных, сервер обновляет глобальную модель и запускает следующий цикл.
- Умное взвешивание данных: Если слабое устройство прислало свои результаты слишком поздно, система присваивает им меньший вес. Это не позволяет устаревшим данным «тянуть» модель назад и снижать ее точность.
Впечатляющие результаты и компромиссы
Исследователи протестировали алгоритм FTTE в симуляциях с сотнями различных устройств, используя популярные наборы данных. В среднем новый метод завершал обучение на 81% быстрее, чем стандартные подходы.
Кроме того, потребление оперативной памяти на устройствах снизилось на 80%, а объем передаваемых по сети данных сократился на 69%. Хотя ради такой феноменальной скорости пришлось пойти на незначительный компромисс в точности модели, для большинства мобильных приложений это снижение абсолютно некритично, так как экономия заряда батареи важнее.
Почему это важно для индустрии ИИ?
Сегодня передовые ИИ-модели требуют огромных вычислительных мощностей и работают преимущественно на гигантских серверах с дорогими видеокартами. Разработка MIT делает важнейший шаг к децентрализации искусственного интеллекта.
Во-первых, это открывает двери для использования ИИ в сферах с жесткими требованиями к безопасности — например, в здравоохранении и финансах. Медицинские датчики смогут обучаться на показателях пациентов, не передавая их в облако.
Во-вторых, технология делает ИИ более инклюзивным. В развивающихся странах люди часто пользуются бюджетными устройствами. Благодаря FTTE даже такие гаджеты смогут участвовать в глобальном обучении нейросетей, делая передовые технологии доступными для каждого.
