В индустрии ИИ давно царил консенсус: для обучения используют гибкие, многофункциональные GPU. Но для inference, то есть запуска уже обученных моделей, держали индустрию на крохотных мощностях. Компания Taalas из Торонто вызвала настоящий бум: их новые хардварные AI-чипы HC1 заменяют привычные GPU, достигая скорости 17 тысяч токенов в секунду — в десятки раз быстрее лучших NVIDIA H100.
Традиционные GPU оставались популярными из-за своей гибкости, но они тратят до 90% энергии на память и перемещение данных. Таллас придумала встроенные в чип модели, где веса и архитектура залиты «кругом» — это полностью исключает цикл обращения к памяти. Итог: рост скорости в тысячу раз, меньший расход энергии и упрощение инфраструктуры — вместо жидкостных систем охлаждения используют воздух.
Ключевой прорыв — создание автоматизированной системы, которая за неделю генерирует кастомные чипы под конкретную модель. Это перерастает все сроки и бюджеты традиционной разработки ASIC, которая обычно занимает годы и миллионы долларов. Теперь инновационная география производства — не только гиганты вроде NVIDIA, но и небольшие foundries, такие как Taalas, получают шанс выйти на рынок этого нового типа устройств.
Переход от софта, управляемого программно, к аппаратному — это глобальный сдвиг: AI становится не только облачным сервисом, а интегрируется прямо в устройства. В ближайшие месяцы и годы мы увидим рост масового производства таких чипов, котоые поменяют всю картину: inference движется ближе к пользователю, на устройствах, в которых будет залит собственный AI-ускоритель. , — считают эксперты. Весь рынок может разделиться на две части: обычное облачное обучение и новейшие инференс-чипы, созданные буквально за неделю у локальных foundries. Эта эволюция снизит издержки, ускорит внедрение и откроет новые возможности для AI в низкоэнергетичных и локальных приложениях.
