Исследователи из Массачусетского технологического института (MIT) нашли способ ускорить обучение больших языковых моделей (LLM), используя время простоя вычислительных ресурсов. Это нововведение позволяет удвоить скорость обучения моделей без потери точности.
Как работает новая методика
Основным элементом этой методики является автоматическое обучение меньшей и более быстрой модели, которая предсказывает результаты больших моделей. Большая модель затем проверяет эти предсказания. Этот процесс позволяет сократить объем работы, который необходимо выполнить в процессе обучения, и значительно ускоряет его.
Ключевая особенность системы заключается в способности адаптивно обучать и внедрять меньшую модель, используя простои процессоров. Это позволяет ускорить обучение без дополнительных затрат.
Преимущества для индустрии ИИ
При тестировании на различных моделях новая методика позволила удвоить скорость обучения без потери точности. Это может значительно снизить затраты и увеличить энергоэффективность при разработке сложных языковых моделей, используемых в таких областях, как финансовый анализ и управление рисками на энергетических предприятиях.
Технология «Укрощение длинного хвоста»
Эта инновация, получившая название «Укрощение длинного хвоста (TLT)», состоит из двух основных компонентов: адаптивного тренера для быстрой модели и адаптивного механизма проверки. Эти элементы позволяют оптимально использовать ресурсы и ускорять процесс обучения.
Исследователи также разработали простую модель, которую можно быстро обучить, используя компоненты процесса обучения основной модели, что дает дополнительные возможности для ускорения.
Будущие планы и потенциальные применения
В дальнейшем разработчики планируют интегрировать TLT в другие виды обучающих и предсказательных систем, а также искать новые приложения для ускоренного обучения с подкреплением. Это может стать важным шагом в развитии эффективных вычислительных систем ИИ.
Исследование было поддержано такими организациями, как MIT-IBM Watson AI Lab, Hyundai Motor Company и Национальным научным фондом США.
