Фуданьский университет представил новую разработку в области искусственного интеллекта — LoRSA (Low-Rank Sparse Attention). Эта технология позволяет эффективно восстанавливать атомарные блоки внимания, скрытые в суперпозиции внимания трансформеров.
Современные трансформеры используют сложные механизмы внимания, часто объединяя множество слабых, но значимых единиц внимания в общую структуру. Исследователи из Китая предложили метод, который не только выявляет эти скрытые единицы, но и делает это с высокой точностью и низкими вычислительными затратами.
В основе LoRSA лежит идея, что матрицы внимания имеют низкоранговую разреженность, и их можно декомпозировать на простые, независимые компоненты — атомарные единицы внимания (AAUs). Это открытие позволяет:
- Упростить анализ поведения моделей трансформеров
- Повысить интерпретируемость ИИ-систем
- Снизить ресурсоёмкость без ущерба для точности
Эксперименты показали, что LoRSA превосходит традиционные методы, такие как Sparse PCA и NMF, по точности восстановления скрытых структур внимания. Кроме того, метод эффективно масштабируется и применим к различным архитектурам, включая LLaMA и GPT.
Данный подход открывает перспективы для создания более компактных, интерпретируемых и производительных ИИ-моделей.
