Появилась TabArena – новая живая платформа для оценки моделей табличного машинного обучения с полным воспроизведением экспериментов и возможностями масштабного ансамблирования.
Разработчики вручную отобрали репрезентативный набор публичных наборов данных и реализовали широкий спектр моделей – от градиентного бустинга до глубинных сетей и foundation-моделей. На старте TabArena провели обширное масштабное исследование, результаты которого легли в основу открытого лидераборда.
«Мы создали динамичный бенчмарк, который будет постоянно обновляться по мере выхода новых моделей и обнаружения недостатков существующих подходов», – отмечают авторы проекта.
Исследование выявило, что традиционные градиентные деревья остаются сильными претендентами в большинстве практических сценариев, тогда как глубокие модели при более высокой вычислительной «ставке» догоняют их с помощью ансамблей. Foundation-модели, напротив, демонстрируют лучшие результаты на небольших выборках.
По мнению экспертов, наличие «живого» бенчмарка позволит быстрее выявлять прорывные методы и объективно сравнивать их эффективность. Ожидается, что TabArena ускорит развитие табличных алгоритмов и станет стандартом для исследователей и индустрии.
