LlamaIndex：产品、工程与评测·2023-11-06 00:00· 2023-11-06精选AI 评分71

LlamaIndex 集成 LongLLMLingua：用提示词压缩缓解 RAG 的 Lost in the Middle 并降本

LongLLMLingua: Bye-bye to Middle Loss and Save on Your RAG Costs via Prompt Compression

AI 导读

LlamaIndex 介绍如何在 RAG 中使用 LongLLMLingua，通过问题感知的粗粒度重排、细粒度提示词压缩和子序列恢复来增强 LLM 对关键信息的感知。

推荐理由

原文拆解了 LongLLMLingua 的粗细粒度压缩与重排细节，并给出在 LlamaIndex 中作为 NodePostprocessor 的用法，可迁移到自己的 RAG 成本优化。