Perplexity AI улучшила контекстные встраивания для лучшего извлечения информации
Perplexity AI представила новый подход к обучению контекстных встраиваний (embeddings) — модели, которые кодируют не просто отдельные фрагменты текста, а весь документ целиком. Это решает фундаментальную проблему систем извлечения информации (Retrieval systems), которые традиционно обрезают длинные документы на мелкие части, теряя при этом окружающий контекст.
Вместо этого, новая модель сначала обрабатывает весь документ, а затем агрегирует векторы фрагментов. Для обучения она использует инновационный метод, который извлекает релевантность, оценивая каждый токен документа относительно поискового запроса, что позволяет обойти ограничения старых методов, основанных на «золотых» фрагментах.
Модель pplx-embed-v2-context-9b-preview показала высокую производительность на новом бенчмарке context-bench, лидируя в задачах извлечения ответов и доказательств. При этом она значительно эффективнее конкурентов, используя в 8 раз меньше памяти для хранения векторов.
Почему это важно
- —Это критически важно для систем RAG (Retrieval-Augmented Generation), поскольку улучшает качество извлекаемого контекста, делая ответы более точными и обоснованными.
- —Новый подход, кодирующий весь документ, решает проблему потери контекста, которая была основной слабостью предыдущих систем.
- —Высокая эффективность и низкое потребление ресурсов (в 8 раз меньше памяти) делают модель привлекательной для коммерческого внедрения.
Ключевые факты
- Модель pplx-embed-v2-context-9b-preview кодирует весь документ, а не только его фрагменты.
- Обучение основано на оценке релевантности каждого токена относительно запроса.
- Модель лидирует на бенчмарке ConTEB по задачам извлечения ответов и доказательств.
- Модель использует в 8 раз меньше памяти (1 КБ) по сравнению с конкурентами (8 КБ).
Полный текст — в первоисточнике. Здесь — краткое изложение и ключевые факты.