Перплексия объявила о выпуске pplx-embed — набора моделей векторных представлений, способных эффективно управляться с шумными и сложными данными из web-источников. Эти модели создавались как альтернатива проприетарным API для embedding, предлагая готовое решение для промышленного использования. Архитектура включает bidirectional attention и diffusion-based pretraining, что помогает моделям лучше понимать контекст и восстанавливаться после искажений.
Что особенно важно — в отличие от типичных больших языковых моделей (например, GPT), эти модели обрабатывают целые последовательности одновременно, обеспечивая точное семантическое понимание. Diffusion pretraining позволяет моделям восстанавливать смысл сигналов даже из шумных данных, что актуально для работы с веб-контентом, насыщенным мусором и неоднородной информацией.
Perplexity подготовила две вариации для разных сценариев поиска: pplx-embed-v1 — для коротких запросов и текста, и pplx-embed-context-v1 — для более длинных документов в pipelines RAG (Retrieval-Augmented Generation). Модели протестированы на реальных задачах с десятками миллионов документов. Размеры — 0.6 млрд и 4 млрд параметров с поддержкой INT8 и бинарной квантанией, что обеспечивает меньший расход памяти и ускорение inference.
Особенность 4B-модели — поддержка матричной квантанции (binary quantization), уменьшающей хранилище в 32 раза при минимальной потере точности. Использование Matryoshka Representation Learning (MRL) — подхода, балансирующего качество и стоимость. Компания обещает, что будущие релизы будут еще более производительными и энергоэффективными, делая гигантский web-поиск более точным и быстрым.
В целом, эта разработка — прорыв в области масштабного поискового индексирования с точными, шумоустойчивыми embedding моделями, которые смогут заменить устаревшие решения и ускорить внедрение semantic search в крупные системы. Очевидно, что индустрия движется к тому, чтобы разрабатывать более компактные, эффективные и адаптивные модели под реальные задачи бизнеса и науки, и Perplexity явно хочет стать лидером этого движения.
