Искусственный интеллект стремительно развивается, но большинство мощных нейросетей по-прежнему «живут» на гигантских серверах. Исследователи из Массачусетского технологического института (MIT) решили изменить эту ситуацию. Они разработали новый метод, который позволяет обучать сложные ИИ-модели прямо на обычных смартфонах, умных часах и датчиках, сохраняя при этом полную конфиденциальность данных пользователя.
Новая технология ускоряет процесс приватного обучения искусственного интеллекта на 81 процент. Это открытие открывает двери для внедрения точных алгоритмов в критически важные сферы, такие как здравоохранение и финансы, где утечка личной информации абсолютно недопустима.
Почему локальное обучение ИИ — это важно?
В современной индустрии ИИ доминирует централизованный подход: данные пользователей отправляются в облако, где на них обучаются алгоритмы. Однако это создает серьезные риски для кибербезопасности. Альтернативой выступает федеративное обучение (federated learning).
При федеративном обучении центральный сервер отправляет базовую модель на множество устройств. Каждое устройство (например, ваш смартфон) дообучает модель на ваших личных данных локально. Затем обратно на сервер отправляются только обновленные настройки модели, а не сами данные. Таким образом, ваша личная информация никогда не покидает ваш гаджет.
Несмотря на очевидные плюсы, у этого метода есть огромный недостаток. Не все гаджеты обладают достаточной вычислительной мощностью, памятью и стабильным интернетом для обработки тяжелых моделей. Если сервер постоянно ждет ответа от самого слабого устройства в сети, процесс обучения сильно замедляется или вовсе останавливается из-за сбоев связи.
Технология FTTE: как MIT решил проблему «слабых» гаджетов
Команда MIT под руководством аспирантки Ирен Тенисон представила фреймворк FTTE (Federated Tiny Training Engine). Он специально разработан для работы в гетерогенных сетях, где устройства радикально отличаются друг от друга по мощности — от современных флагманов до старых бюджетных телефонов.
Система базируется на трех ключевых инновациях:
- Передача только нужных параметров. Вместо того чтобы скачивать всю ИИ-модель целиком, устройство получает лишь небольшой набор параметров. FTTE использует специальный алгоритм поиска, чтобы выбрать только те настройки, которые максимально повысят точность при минимальных затратах оперативной памяти. Лимит устанавливается по самому слабому устройству в сети.
- Асинхронные обновления. Сервер больше не ждет, пока абсолютно все устройства пришлют свои данные. Он накапливает входящие обновления до определенного фиксированного предела и сразу запускает следующий цикл обучения.
- Временное взвешивание данных. Система учитывает, когда именно было получено обновление. Данные от «отставших» гаджетов получают меньший вес, чтобы устаревшая информация не тормозила прогресс всей нейросети и не снижала ее точность.
Впечатляющие результаты и новые перспективы
В ходе масштабных симуляций с сотнями различных устройств технология FTTE показала выдающиеся результаты. В среднем процесс обучения завершался на 81% быстрее по сравнению со стандартными методами федеративного обучения.
Кроме того, исследователям удалось снизить нагрузку на память мобильных гаджетов на 80%, а объем передаваемых по сети данных сократился на 69%. Хотя ради такой скорости разработчикам пришлось пойти на незначительное снижение итоговой точности модели, они уверены, что этот компромисс полностью оправдан экономией заряда батареи и ресурсов.
Будущее безопасного ИИ для всех
Внедрение таких технологий, как FTTE, имеет колоссальное значение для развития индустрии Edge AI (граничных вычислений). По словам авторов исследования, мы постоянно носим умные устройства с собой, и искусственный интеллект должен уметь работать прямо на них, а не только на удаленных кластерах из мощных GPU.
Особенно актуально это для развивающихся стран, где пользователи часто используют менее производительные мобильные телефоны. Новый метод позволит интегрировать передовые алгоритмы машинного обучения даже в условиях жестко ограниченных ресурсов, делая высокие технологии доступными и безопасными для каждого.
