MAGIC: Marginal-Guided Compression with Optimal Transport for Efficient Visual Document Retrieval
The Hong Kong Polytechnic University(香港理工大学);Southern University of Science and Technology(南方科技大学)
针对视觉文档检索中多向量嵌入存储和评分开销大的问题,提出基于最优传输的边缘引导压缩方法MAGIC,无需训练即可高效压缩,在ViDoRe基准上优于现有事后压缩器。
2026-09-21 cs.CV cs.IR
CANOPY: Adaptive-Granularity Evidence Compression for Multimodal RAG
GSAI, POSTECH(全球人工智能研究所,浦项科技大学);CSE, POSTECH(计算机科学系,浦项科技大学)
CANOPY通过层级表示和节点编码器评分实现多模态RAG的自适应粒度证据压缩,并利用评论器触发后续检索,在五个QA基准上提升准确率并减少14.2%-27.7%的输入token。
2026-10-02 cs.IR
A fast compression-based similarity measure with applications to content-based image retrieval
German Aerospace Center (DLR)(德国航空航天中心)
基于压缩的相似性度量可以有效地应用于各种数据类型的应用中,并且基本上没有参数。然而,在将这些技术应用于中型到大型数据集时存在很少解决的问题。本文提出了一种基于字典压缩的相似性度量,快速压缩距离(FCD),它降低了这些方法的复杂性,而不会降低性能。在此基础上定义了一个基于内容的彩色图像检索系统,它可以与基于不变颜色特征的最新方法相比较。通过FCD更好地理解基于压缩的技术,通过对比文献中迄今为止分析的数据集更大的数据集进行实验来实现。
2012-10-02 cs.IR cs.LG stat.ML
The Future is Sparse: Embedding Compression for Scalable Retrieval in Recommender Systems
Recombee(Recombee公司);Czech Technical University in Prague(捷克技术大学布拉格分校);Charles University Prague(布拉格查尔斯大学)
针对工业级推荐系统高基数实体密集嵌入存储访问的内存瓶颈,提出一种轻量级可学习嵌入压缩技术,将嵌入投影到高维稀疏激活空间,在保性能的同时降内存,为大规模推荐系统效率提升提供了可行思路并开源代码。
2025-05-16 cs.IR cs.LG
Compressible and Searchable: AI-native Multi-Modal Retrieval System with Learned Image Compression
Sensetime Research(商汤科技研究院)
本文提出融合 LIC 与 CLIP 的 AI 原生多模态检索框架,通过简单适配器兼顾图像压缩效率与语义搜索准确性,并在 Kodak 数据集上验证其优势。
2024-04-16 cs.AI cs.CV cs.IR
xRAG: Extreme Context Compression for Retrieval-augmented Generation with One Token
Peking University(北京大学);Microsoft(微软公司);National Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室)
本研究提出xRAG检索增强生成上下文压缩方法,通过模态桥接器融合检索文档嵌入与语言模型空间,冻结检索器和大模型,实现极致压缩,在多项任务上性能提升超10%且FLOPs降低3.53倍。
2024-12-09 cs.AI cs.CL cs.IR
PISCO: Pretty Simple Compression for Retrieval-Augmented Generation
NAVER LABS Europe(NAVER LABS欧洲)
PISCO是一种无需预训练或标注数据的文档压缩方法,通过序列级知识蒸馏在RAG问答任务中实现16倍压缩率且精度损失极小,比现有模型高8%。
2025-01-27 cs.AI cs.CL cs.IR
Rethinking Soft Compression in Retrieval-Augmented Generation: A Query-Conditioned Selector Perspective
Shanghai Key Laboratory of Data Science, College of Computer Science and Artificial Intelligence(上海数据科学 key 实验室,计算机科学与人工智能学院);Fudan University(复旦大学);Shanghai(上海);China(中国)
本文提出SeleCom框架,通过查询条件选择器改进RAG中的软压缩,提升信息密度并减少计算开销,实验显示其性能优于现有方法且效率更高。
2026-03-21 cs.AI cs.CL cs.IR
TCRA-LLM: Token Compression Retrieval Augmented Large Language Model for Inference Cost Reduction
Meetyou AI Lab(美柚人工智能实验室);Xiamen Key Laboratory of Women’s Internet Health Management(厦门市女性互联网健康管理重点实验室);Osaka University(大阪大学);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局)
提出TCRA-LLM词元压缩方案,通过摘要压缩和语义压缩两种方法,有效降低检索增强LLMs的输入词元大小和推理成本,在Food-Recommendation DB数据集上实现65%的词元缩减且准确率提升0.3%,或20%缩减仅损失1.6%准确率。
2023-10-25 cs.CL cs.IR
Spatial Matryoshka Training for Multi-Granularity Visual Document Retrieval
IBM(国际商业机器公司)
针对视觉文档检索的多模态晚期交互检索器存储成本高、压缩级别固定的问题,提出ColSNAP训练方法,可生成嵌套压缩层级,实现灵活的精度-存储权衡,大幅压缩下仍保持检索性能并可迁移至多类骨干网络。
2026-09-01 cs.AI cs.IR
Familiarity-Aware Evidence Compression for Retrieval-Augmented Generation
University of California, Davis(加州大学戴维斯分校);University of Southern California(南加州大学);Arizona State University(亚利桑那州立大学)
针对RAG中检索证据不一致、不相关且对目标模型陌生的问题,本文提出免训练的FaviComp,通过熟悉度感知压缩并融合参数化知识,在多个开放域QA数据集上最高提升准确率28.1%。
2025-10-17 cs.AI cs.CL cs.IR
Contextual Compression in Retrieval-Augmented Generation for Large Language Models: A Survey
IBM Watsonx
本文综述RAG中上下文压缩范式的发展,分析其解决上下文窗口、无关信息与处理开销问题的方法,并指出挑战与未来研发方向。
2024-10-02 cs.CL cs.IR
EXIT: Context-Aware Extractive Compression for Enhancing Retrieval-Augmented Generation
School of Computing(计算机学院);Graduate School of AI(人工智能研究生院);Korea Advanced Institute of Science and Technology(韩国科学技术院)
提出抽取式上下文压缩框架EXIT,通过保留上下文依赖的可并行化句子分类适应查询复杂度,在单跳和多跳QA任务中超越现有方法与未压缩基线,显著提升了RAG的准确率与效率。
2025-05-29 cs.AI cs.CL cs.IR
Self-Indexing Attention for Compression-Compatible Sparse Long-Context LLM Inference
Hunan University(湖南大学);Tencent(腾讯)
提出自索引注意力框架,利用共享变换域符号-幅度表示实现预填充与解码阶段的统一令牌检索,支持KV缓存压缩,在5%密度下接近密集注意力性能并显著加速。
2026-10-08 cs.CL cs.IR cs.LG
Hierarchical Patch Compression for ColPali: Efficient Multi-Vector Document Retrieval with Dynamic Pruning and Quantization
FPT University Sun Asterisk(FPT大学Sun Asterisk)
本文提出HPC-ColPali框架,通过K-Means量化、注意力引导动态剪枝和可选二进制编码,在保持ColPali检索精度的同时显著降低存储、计算和查询延迟,并减少法律摘要中的幻觉率。
2025-07-02 cs.CV cs.IR
AdaMem: Adaptive Memory Token Allocation for Soft Compression in Retrieval-Augmented Generation
AdaMem提出相关性引导的软压缩框架,按查询相关性动态分配记忆令牌预算,在开放域QA基准上优于均匀分配基线,显著提升压缩效率与答案质量。
2026-09-22 cs.CL cs.IR cs.LG
SARA: Selective and Adaptive Retrieval-augmented Generation with Context Compression
Georgia Institute of Technology(佐治亚理工学院);Visa Research(Visa研究)
SARA通过结合自然语言片段与语义压缩向量,在紧凑上下文预算下平衡局部精度与全局覆盖,迭代重排序证据,显著提升RAG的答案相关性、正确性和语义相似性。
2025-07-08 cs.AI cs.CL cs.IR
Knowledge Compression via Question Generation: Enhancing Multihop Document Retrieval without Fine-tuning
Instituto Politécnico Nacional (IPN)(国家理工学院(IPN))
本研究提出基于问题生成的知识编码方法,无需微调即可增强RAG系统的多跳检索,结合句法重排序与paper-cards,在多项检索任务上性能显著优于基线,同时大幅降低存储与延迟。
2025-06-09 cs.AI cs.CL cs.IR
Structural Anchor Pruning: Training-Free Multi-Vector Compression for Visual Document Retrieval
Aalto University(阿alto大学)
本文提出结构锚点剪枝(SAP),一种无需训练的多向量压缩方法,通过保留评分、指导窗口选择和视觉入度中心性评分三个组件,在不进行模型参数调整的情况下,实现了超过90%的视觉token剪枝同时保持NDCG@5超过90%的性能。
2026-09-01 cs.CL cs.CV cs.IR
Relative Lempel-Ziv Factorization for Efficient Storage and Retrieval of Web Collections
支持快速随机访问的压缩技术是任何信息系统的核心组成部分。当前最先进的方法将文档分组为固定大小的块,并使用通用自适应算法(如GZIP)压缩每个块。随机访问一个特定的文件,然后需要解压缩一个块。块大小的选择至关重要:它在压缩效率和文档检索时间之间进行权衡。在本文中,我们提出了一个可扩展的压缩方法,大型文档集合,允许快速随机访问。我们构建一个集合的代表性样本,并将其用作集合其余部分的LZ 77编码中的字典(相对于字典)。我们证明了大型集合,使用小到0.1%的集合大小的字典,我们的算法是显着快于以前的方法,并在一般情况下提供更好的压缩。
2011-12-09 cs.DB cs.DS cs.IR
AnchorFold: A Focus-Then-Fold Framework via Recursive Attention Propagation for Efficient Multi-Vector Visual Document Retrieval
AnchorFold是无训练的文档侧索引压缩框架,通过递归注意力传播实现先聚焦后折叠,在多数据集多骨干下,强压缩时仍保持高检索性能,优于同类无训练基线。
2026-08-11 cs.CL cs.CV cs.IR
SmartChunk Retrieval: Query-Aware Chunk Compression with Planning for Efficient Document RAG
University of Michigan(密歇根大学);Adobe Research(Adobe研究)
SmartChunk通过查询自适应框架和强化学习方案提升长文档问答效率与准确性。
2025-12-17 cs.AI cs.CL cs.IR
Context-augmented Retrieval: A Novel Framework for Fast Information Retrieval based Response Generation using Large Language Model
针对RAG问答系统因语料库增大导致回答质量下降的问题,提出结合经典文本分类与LLM的上下文增强检索(CAR)框架,通过实时分类分区向量数据库实现快速检索并提升生成质量。
2024-07-31 cs.IR
AdaMerge: Tuning-Free Patch Compression for Multi-Vector Visual Document Retrieval
Université de Montréal(蒙特利尔大学);Concordia University(康考迪亚大学)
AdaMerge通过检测合并余弦序列中的悬崖边界,实现无需每数据集调参的补丁压缩,在保持检索精度的同时显著降低存储和延迟,并优于现有方法。
2026-09-22 cs.CV cs.IR
Controlled Retrieval-augmented Context Evaluation for Long-form RAG
University of Amsterdam(阿姆斯特丹大学);Leiden University(莱顿大学);Johns Hopkins University, HLTCOE(约翰斯·霍普金斯大学,HLTCOE)
CRUX提出了一种受控检索增强上下文评估框架,用于评估长形式RAG任务中检索增强上下文的质量和影响。
2026-01-09 cs.IR
Optimal compression with quantum retrieval
MIT World Peace University(MIT世界和平大学);Indian Institute of Technology, Hyderabad(印度理工学院海德拉巴分校);International Center for Theoretical Sciences, Tata Institute of Fundamental Research(塔塔基础科学研究院国际理论科学中心)
研究量子查询下的数据压缩问题,提出自适应查询可达到对数因子内的最优压缩,非自适应查询在依赖 $m$ 上最优、依赖 $n$ 上至多二次方差的方案。
2026-10-06 cs.DS cs.IR cs.IT
Same Image, Different Meanings: Toward Retrieval of Context-Dependent Meanings
Tokyo Metropolitan University(东京都立大学);CyberAgent
研究图像意义的上下文依赖性及其对检索的影响,提出L1-L4框架,探讨嵌入式叙事上下文对不同抽象层次检索效果的影响。
2026-05-13 cs.IR
Spectral Tempering for Embedding Compression in Dense Passage Retrieval
University of Amsterdam(阿姆斯特丹大学)
本文提出Spectral Tempering方法,通过分析语料库的光谱特性,自适应调整光谱缩放参数γ,实现高效的嵌入压缩,无需标注数据或验证搜索。
2026-04-16 cs.AI cs.CL cs.IR
Dimension vs. Precision: A Comparative Analysis of Autoencoders and Quantization for Efficient Vector Retrieval on BEIR SciFact
Involead Services Pvt Ltd(Involead Services 私人有限公司)
针对密集检索模型高维高精度向量的存储与内存挑战,本研究在BEIR SciFact基准上对比降维(自编码器)与精度降低(量化)策略,发现int8标量量化在4倍压缩下性能损失可忽略,为高效检索系统部署提供实用参考。
2025-11-18 cs.AI cs.IR
Knowledge Base Index Compression via Dimensionality and Precision Reduction
Saarland University(萨尔大学)
最近,基于神经网络的知识密集型NLP任务的方法,如问答,开始严重依赖于神经检索器和读者的组合。检索通常在需要大量存储器和计算资源的大型文本知识库(KB)上执行,特别是当按比例放大时。在HotpotQA上,我们系统地研究了通过维度(稀疏随机投影,PCA,自动编码器)和数值精度降低来减少KB索引的大小。我们的研究结果表明,PCA是一种简单的解决方案,只需要很少的数据,并且只比不太稳定的自动编码器略差。所有方法都对预处理和后处理敏感,数据在降维前后都应始终居中和归一化。最后,我们表明,它是可能的PCA与使用1位每维。总体而言,我们实现了(1)100 $\times$压缩75%,(2)24 $\times$压缩92%的原始检索性能。
2022-04-18 cs.CL cs.IR
ResRank: Unifying Retrieval and Listwise Reranking via End-to-End Joint Training with Residual Passage Compression
Qwen Applications Business Group of Alibaba(阿里巴巴Qwen应用业务组)
ResRank通过端到端联合训练与残差段落压缩技术,解决传统重排序方法中输入长度增加导致的排名质量下降和推理延迟问题,实现高效且有效的检索与重排序统一。
2026-04-24 cs.AI cs.IR
Hamming Sentence Embeddings for Information Retrieval
在检索应用中,二进制哈希已知在存储器和速度方面提供显著的改进。我们研究的压缩句子嵌入使用神经编码器-解码器架构,这是通过最小化重建误差训练。而不是采用原来的实值嵌入,我们使用潜在的表示在汉明空间产生的编码器的相似性计算。在语义相似性任务的几个基准的定量实验中,我们表明,我们的压缩汉明嵌入产生了可比的性能未压缩的嵌入(Sent 2 Vec,InferSent,手套-BoW),在压缩比高达256:1。我们进一步证明了我们的模型强烈地去相关输入特征,并且压缩器在对维基百科句子进行预训练时泛化良好。我们在Github上发布了源代码和所有实验结果。
2019-08-15 cs.CL cs.IR cs.LG
Optimization of Latent-Space Compression using Game-Theoretic Techniques for Transformer-Based Vector Search
School of Computer Engineering, KIIT Deemed to be University, Bhubaneswar, Odisha - India(计算机工程学院,KIIT大学,巴胡瓦斯瓦尔,奥里萨-印度)
本文提出基于博弈论的潜在空间压缩优化方法,通过平衡检索准确性和存储效率,提升Transformer向量搜索的效率和语义效用。
2025-08-26 cs.AI cs.IR cs.LG
OSCAR: Online Soft Compression And Reranking
NAVER LABS Europe(NAVER欧洲实验室)
OSCAR通过在线软压缩和重排序方法提升RAG管道效率,实现推理速度提升2-5倍且准确率无损失。
2026-03-04 cs.AI cs.CL cs.IR
Multi-Vector Index Compression in Any Modality
Johns Hopkins University(约翰霍普金斯大学)
本文提出注意力引导聚类方法,用于在任意模态中高效压缩多向量索引,提升检索性能。
2026-02-24 cs.CL cs.CV cs.IR
Sculpting the Vector Space: Towards Efficient Multi-Vector Visual Document Retrieval via Prune-then-Merge Framework
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Alibaba Cloud Computing(阿里云计算)
本文提出剪枝-然后-融合框架,通过两阶段方法提升多向量视觉文档检索效率,实验表明其在压缩率与特征保真度间取得平衡,显著扩展近无损压缩范围。
2026-04-20 cs.CL cs.CV cs.IR
Content Based Image Indexing and Retrieval
VJTI(韦什瓦卡马拉理工学院)
在本文中,我们提出了有效的基于内容的图像检索系统,利用图像的颜色,纹理和形状信息,以促进检索过程。为了有效地提取图像的特征提取,本文利用在信号处理和图像压缩中广泛应用的边缘检测技术自动提取图像的颜色、纹理和形状特征。为了便于快速检索,我们实现了对极树算法的图像索引。
2014-01-08 cs.CV cs.GR cs.IR
Search Is Not Retrieval: Decoupling Semantic Matching from Contextual Assembly in RAG
Services AI Research Group, Dell Technologies(Dell Technologies人工智能服务研究组)
针对现有RAG检索系统混淆相关信息查找与推理上下文供给的问题,提出SINR双层解耦框架,在无额外开销下提升检索性能,为下一代检索增强AI系统提供基础。
2025-11-12 cs.AI cs.IR
Context Tuning for Retrieval Augmented Generation
Apple(苹果公司)
针对RAG工具检索依赖完整查询的问题,提出Context Tuning,利用多信号轻量级上下文检索及RRF与LambdaMART融合,显著提升Recall@K、规划准确率并减少幻觉。
2023-12-09 cs.AI cs.IR cs.LG
RARe: Retrieval Augmented Retrieval with In-Context Examples
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Princeton University(普林斯顿大学);New York University(纽约大学)
RARe通过在检索查询中引入语义相似的上下文示例,提升开放域检索性能,实现nDCG最高+2.72%的提升。
2026-02-08 cs.AI cs.CL cs.IR
How Can Context Help? Exploring Joint Retrieval of Passage and Personalized Context
IBM Research AI(IBM研究院人工智能部门);Rensselaer Polytechnic Institute(伦斯勒理工学院)
针对个性化上下文融入文档对话系统研究不足的问题,提出上下文感知段落检索任务,构建专用数据集并提出PCAS方法,实验证明其在段落检索和相关上下文识别上均优于基线,可为该方向研究提供支撑。
2023-08-26 cs.AI cs.CL cs.IR
Agent Retrieval Bench: Evaluating Repository Context Retrieval for Coding Agents
National University of Singapore (NUS)(新加坡国立大学);Peking University(北京大学)
研究代码智能体仓库上下文检索问题,引入智能体检索基准,涵盖多种检索任务和样本。评估多种检索方法,发现无单一方法占优,存在校准差距,且记录轨迹有缺失。通过试验表明检索得出的初始上下文有优势,神谕金上下文还有提升空间。
2026-07-29 cs.AI cs.CL cs.IR
RecaLLM: Addressing the Lost-in-Thought Phenomenon with Explicit In-Context Retrieval
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
RecaLLM通过交替推理与显式上下文检索解决推理过程中因长上下文导致的检索性能下降问题,显著提升了RULER和HELMET基准测试表现。
2026-04-10 cs.AI cs.CL cs.IR
From Retrieved Context to Runtime Control: Adaptive Compression for Edge-based RAG
Northeastern University(东北大学)
该研究针对边缘RAG的上下文压缩问题,提出遥测驱动的自适应压缩方案,通过实验发现中等压缩可显著降低能耗且质量损失极小,主张基于工作负载和边缘遥测动态管理压缩。
2026-08-21 cs.AI cs.CL cs.DC