Исследователи из MIT разработали новый метод, который может значительно улучшить обучение моделей искусственного интеллекта (ИИ) на устройствах с ограниченными ресурсами, таких как умные часы и сенсоры. Это открытие особенно важно для областей с высокими требованиями к безопасности, таких как здравоохранение и финансы.
Ускорение обучения с сохранением конфиденциальности
Новая техника позволяет ускорить метод обучения ИИ с сохранением конфиденциальности на 81%. Она основана на усовершенствовании федеративного обучения — подхода, при котором устройства обучают одну и ту же модель, используя свои локальные данные, не передавая их на сервер.
Федеративное обучение направлено на то, чтобы данные оставались на устройстве, что делает процесс более безопасным. Однако не все устройства обладают достаточной мощностью и стабильным подключением для эффективного выполнения таких задач.
Преодоление ограничений устройств
Исследователи из MIT предложили решение, которое помогает устройствам с разными возможностями работать в одной сети. Их метод снижает нагрузку на память и уменьшает задержки в передаче данных.
Система FTTE (Federated Tiny Training Engine) использует три ключевых нововведения: отправка только необходимых параметров модели, асинхронное обновление модели и взвешивание обновлений в зависимости от времени их получения.
Практическое применение и будущее исследования
Тестирование метода на реальных устройствах показало, что FTTE может ускорить процесс обучения на 81% по сравнению с традиционными подходами, сохраняя при этом приемлемую точность.
В будущем команда планирует изучить возможности персонализации ИИ на каждом устройстве, а также провести более масштабные испытания на реальных устройствах.
Это исследование частично финансировалось PhD-стипендией Takeda.
