В мире высоких технологий появилась новая разработка, которая может изменить подход к обучению искусственного интеллекта (ИИ). Учёные из MIT предложили метод, который позволяет более эффективно обучать ИИ на устройствах с ограниченными ресурсами, таких как умные часы и датчики.
Эта технология основана на усовершенствовании метода федеративного обучения. Суть этой методики в том, что устройства в сети совместно обучают общий ИИ, не передавая при этом свои данные на сервер, что обеспечивает конфиденциальность информации.
Преодоление ограничений устройств
Федеративное обучение обычно предполагает, что все устройства в сети способны быстро обрабатывать и передавать данные. Однако, в действительности, многие из них имеют ограниченные вычислительные возможности и память. Это может замедлять процесс обучения и снижать его эффективность.
Исследователи из MIT разработали специальную FTTE (Federated Tiny Training Engine), которая уменьшает нагрузку на память и коммуникационные ресурсы каждого устройства. Эта система позволяет передавать не все параметры модели, а только их небольшую часть, что снижает требования к памяти.
Ускорение процесса обучения
Новая методика позволяет ускорить обучение ИИ на 81% по сравнению с традиционными методами федеративного обучения. Это достигается за счет асинхронного подхода, при котором сервер не ждет ответа от всех устройств, а продолжает обучение с теми данными, которые уже получил.
Также используется система взвешивания обновлений модели, что позволяет учитывать временные задержки в получении данных от различных устройств. Это позволяет избежать замедления процесса обучения.
Важность разработки для индустрии ИИ
Новая методика открывает возможность использовать мощные ИИ-модели в таких областях, как здравоохранение и финансы, где важна конфиденциальность данных. Благодаря FTTE, ИИ может эффективно работать даже на устройствах с ограниченными ресурсами, что особенно актуально для развивающихся регионов.
В будущем исследователи планируют изучить возможности персонализации ИИ-моделей для каждого устройства и провести более масштабные эксперименты на реальном оборудовании.
