ByteDance выпустила работу, которая может перевернуть всё в развитии reasoning AI. Уже годы разработчики мучаются с тем, как «заставлять» большие языковые модели (LLMs) правильно мыслить по цепочке. Большинство теряли нить или не могли переносить шаблоны в многошаговых рассуждениях.
Авторы выяснили: проблема кроется в понимании самого процесса reasoning. Вместо сосредоточения на словах или узлах, они предложили мыслить о reasoning как о молекулярных связях. В работе описываются три «химические связи»: ковалентные — как логическая основа, водородные — для саморефлексии и стабилизации, ван дер Ваальс — слабые силы для поиска новых гипотез, пока не закрепить выводы.
Сегодня большинство подходов — это просто имитация поверхностных слов вроде «подожду» или «может быть». Но модель учится пониманию поведения и переходам между шаблонами, а не только словам. Авторы подчеркивают феномен «семантических изомеров»: цепочки решения одной и той же задачи, построенные по разным логическим связям. Такое расхождение мешает слиянию данных из различных источников, особенно разных качественных моделей.
Чтобы решить проблему, ByteDance предложила MOLE-SYN — метод переноса графов поведения взаимосвязей от продвинутых моделей к более дешевым, чтобы научить их строить эффективные Long CoT. Он отделяет reasoning-структуру от поверхности текста, что уже дало роста результатам на GSM8K, MATH-500 и OlymBench. Также в работе подчёркивается, что модели могут защитить свои внутренние reasoning-процессы, применяя техники сжатия данных и уменьшая токенов на 45%, усложняя их клонирование.
Общий вывод — reasoning можно представить как молекулы, а поведение — как связи. Важнее не слова, а структура. В будущем такие подходы сделают reasoning более устойчивым и прозрачным, а также повысят безопасность моделей. Это направление открывает новые горизонты для развития AI — и в мире, и внутри корпораций, защищающих свою внутреннюю логику.
