MAIR: A Massive Benchmark for Evaluating Instructed Retrieval
本文提出包含6个领域126个任务的异构信息检索基准MAIR，通过评估指令微调模型发现其整体优于非微调模型，但在长尾任务上仍显不足。
2024-10-14 cs.IR
Evaluating Fairness in Argument Retrieval
现有的商业搜索引擎通常难以表示搜索查询的不同视角。论点检索系统解决了搜索引擎的这种限制，并且提供关于用户对有争议的主题（例如，气候变化）。这种论点检索系统的有效性通常基于主题相关性和论点质量进行评估，而不考虑为论点立场（PRO或CON）显示的文档的数量通常不同。因此，系统可能会检索相关的段落，但会有偏见地暴露论点。在这项工作中，我们分析了一系列的非随机公平意识的排名和多样性指标，以评估在何种程度上，参数的立场是公平地暴露在参数检索系统。使用CLEF 2020的论点检索任务Touché的官方运行，以及合成数据来控制排名中论点立场的数量和顺序，我们表明，在主题相关性方面具有最佳有效性的系统不一定是最公平或最多样化的论点立场。我们发现（不）公平和多样性指标之间的关系揭示了如何评估组公平性-除了主题相关性-在参数检索设置。
2021-09-19 cs.IR
DS@GT at LongEval: Evaluating Temporal Performance in Web Search Systems and Topics with Two-Stage Retrieval
DS@GT团队在CLEF 2025 LongEval中，基于Qwant数据集采用查询扩展与文档重排序的两阶段稀疏检索系统，评估并缓解Web内容演变导致的IR模型性能下降问题，最佳系统平均NDCG@10达0.296。
2025-07-11 cs.IR
Evaluating D-MERIT of Partial-annotation on Information Retrieval
本文提出 D-MERIT 数据集，揭示了部分标注数据集会导致检索模型评估失真，并建议在资源效率与可靠评估间取得平衡。
2024-10-13 cs.IR
RankArena: A Unified Platform for Evaluating Retrieval, Reranking and RAG with Human and LLM Feedback
RankArena是一个统一评估平台，通过人类与LLM反馈，支持检索、重排序和RAG的多模式评估，并提供结构化数据集以训练相关模型。
2025-08-07 cs.IR
Evaluating the retrieval effectiveness of Web search engines using a representative query sample
搜索引擎检索有效性研究通常是小规模的，仅使用有限的查询样本。此外，查询由研究人员选择。我们从德国一家主要的搜索引擎中随机抽取了1,000个信息查询和1,000个导航查询，并根据这个样本比较了谷歌和必应的结果，从而解决了这些问题。陪审员是通过众包找到的，数据是使用专门的软件，相关性评估工具（RAT）收集的。我们发现，虽然Google在这两种查询类型上都优于Bing，但信息查询的性能差异相当小。然而，对于导航查询，Google在95.3%的情况下找到了正确答案，而Bing只找到了76.6%的正确答案。我们的结论是，搜索引擎性能的导航查询是非常重要的，因为在这种情况下，用户可以清楚地识别查询，返回正确的结果。因此，这种查询类型的性能可能有助于解释用户对搜索引擎的满意度。
2014-05-09 cs.IR
Evaluating the Robustness of Retrieval Pipelines with Query Variation Generators
用于语言建模的大量预先训练的Transformers，如BERT，已被证明对信息检索（IR）任务非常有效，通常用于对第一阶段检索模型的结果进行重新排序。IR基准评估检索管道的有效性的前提下，一个单一的查询是用来实例化的基础信息需求。然而，以前的研究表明，（1）用户对固定信息需求产生的查询是极其可变的，特别是（2）神经模型是脆弱的，在使用修改的输入进行测试时经常出错。出于这些观察，我们的目标是回答以下问题：如何强大的检索管道相对于不同的变化，查询不改变查询的语义？为了获得代表用户查询变化的查询，我们首先基于用户创建的查询变化的数据集（UQV100）中发生的转换的手动注释创建了一个分类。对于我们的分类法的每个语法变化类别，我们采用了不同的自动方法，当应用于查询时生成查询变体。我们在两个数据集上针对两个IR任务的实验结果表明，检索管道对这些查询变化并不鲁棒，平均有效性下降了$\approx20\%$。代码和数据集可在https://github.com/Guzpenha/query_variation_generators上获得。
2022-02-15 cs.IR
Evaluating Brand Retrieval and Ranking in Large Language Model Recommendations
Northwestern University（西北大学）；Boston University（波士顿大学）
该研究提出一个评估LLM品牌推荐的框架，通过BRP@k和MRR@k指标及重复采样，发现推荐显著性更受市场可见性影响，且品牌可条件性检索，强调应视推荐为随机检索排名过程。
2026-09-16 cs.IR
Beyond Benchmarks: Evaluating Embedding Model Similarity for Retrieval Augmented Generation Systems
本研究针对RAG系统嵌入模型选择难题，通过居中核对齐、Jaccard系数和排名相似性评估模型相似性，在BEIR的五个数据集上识别出系列内及跨系列聚类，发现低k值检索相似性方差高，并找到Mistral等开源替代方案。
2024-07-11 cs.IR
Evaluating Generative Ad Hoc Information Retrieval
Leipzig University（莱比锡大学）；The University of Queensland（昆士兰大学）；Bauhaus-Universität Weimar（魏玛包豪斯大学）；Friedrich-Schiller-Universität Jena（弗里德里希·席勒大学耶拿分校）；University of Kassel（卡塞尔大学）
针对生成式即席检索缺乏可靠评估方法的问题，本文通过文献调研、任务与架构识别、新用户模型构建及其操作化研究，为开发新的评估方法奠定基础。
2024-05-22 cs.CL cs.IR
FinDER: Financial Dataset for Question Answering and Evaluating Retrieval-Augmented Generation
本研究提出面向金融领域RAG的专家构建数据集FinDER，含5703个真实查询-证据-答案三元组，更贴合真实搜索场景，同时评估了多个前沿模型，为金融领域准确的RAG研究提供基准与方向。
2025-09-03 cs.IR
Evaluating Stochastic Rankings with Expected Exposure
我们引入了\emph{expected exposure}的概念，作为平均关注度排名项目收到来自用户的重复样本相同的查询。此外，我们主张采用平等的预期曝光原则：给定一个固定的信息需求，没有一个项目的预期曝光应该比相同相关性等级的任何其他项目更多或更少。我们认为，这一原则是可取的许多检索目标和场景，包括主题多样性和公平的排名。利用现有的检索指标的用户模型，我们提出了一个通用的评估方法，基于预期的曝光和绘制连接到相关的指标在信息检索评估。重要的是，这种方法放松了经典的信息检索假设，允许系统响应于查询产生一个\emph{distribution over rankings}，而不是一个单一的固定排名。我们研究的行为，预期的曝光度量和随机排名在各种信息访问条件，包括\emph{ad hoc}检索和推荐。我们相信，使用随机化来测量和优化预期的暴露度量为检索算法的开发和进步开辟了一个新的领域。
2020-10-20 cs.IR
Evaluating Chunking Strategies for Retrieval-Augmented Generation on Academic Texts
研究在检索增强生成系统中，基于聚类的语义分块是否优于固定大小和递归分块，通过RAGAs框架在长结构化学术论文上评估检索和答案质量，发现聚类分块未超越简单策略。
2026-07-03 cs.AI cs.CL cs.IR
Evaluating Retrieval Quality in Retrieval-Augmented Generation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
提出eRAG评估方法，通过大型语言模型单独处理检索列表中的每个文档并基于下游任务真实标签评估输出，有效提升与下游RAG性能的相关性并大幅降低计算成本。
2024-04-21 cs.CL cs.IR
Towards More Robust Retrieval-Augmented Generation: Evaluating RAG Under Adversarial Poisoning Attacks
本文通过受控实证研究分析对抗性投毒攻击下 RAG 的生成与检索脆弱性，分类上下文影响并评估检索器，发现怀疑式提示可促成部分自我防御。
2025-07-26 cs.IR
Fréchet Distance for Offline Evaluation of Information Retrieval Systems with Sparse Labels
针对稀疏标签下信息检索系统评估困难的问题，借鉴FID在视觉任务中的成功，提出利用Fréchet Distance度量相关判定项与检索结果分布的距离，并在MS MARCO等数据集上验证了其有效性。
2024-02-18 cs.IR
Evaluating the Retrieval Component in LLM-Based Question Answering Systems
Thomson Reuters AI Labs（汤森路透人工智能实验室）
本文提出一种用于评估RAG聊天机器人中检索组件的直接基线方法，证明其比传统指标更贴合问答系统整体表现，并考虑了大语言模型忽略无关上下文及产生幻觉的特点。
2024-06-10 cs.CL cs.IR
Context is Gold to find the Gold Passage: Evaluating and Training Contextual Document Embeddings
本文提出上下文感知基准 ConTEB 和对比后训练方法 InSeNT，结合晚期分块池化，在不牺牲基础模型性能的前提下显著提升需要文档级上下文的检索质量。
2025-06-06 cs.IR
mmRAG: A Modular Benchmark for Retrieval-Augmented Generation over Text, Tables, and Knowledge Graphs
针对现有RAG评估侧重文本、依赖不透明端到端评估的局限，研究推出覆盖文本、表格与知识图谱的模块化基准mmRAG，可细粒度评估RAG组件，并确立了基准性能。
2025-05-16 cs.IR
Evaluating Modern RAG: Textual, Multimodal, Dense, and Late Interaction Pipelines
\" O zye g in University, Istanbul, T\" u rkiye
该研究针对传统RAG在含视觉元素文档上的局限，提出数据驱动的RAG管道选择方法，评估了文本、多模态等现代RAG管道的性能与效率权衡，为实际应用提供指导。
2026-08-25 cs.IR
Automatic Construction of Evaluation Sets and Evaluation of Document Similarity Models in Large Scholarly Retrieval Systems
学术文献检索系统为科学界提供了搜索、探索和下载跨各种科学学科的学术文章的能力。这些系统主要由特定领域的专家使用，包含用户社区日志，包括用户特定下载文章的信息。在本文中，我们提出了一种新的方法，自动评估文档相似性模型在大量的学术出版物。与使用由查询文档和人类注释的相关性判断组成的测试集合的典型评估设置不同，我们使用下载日志来自动生成类似文档对的伪相关集。更具体地说，我们表明，连续下载的文件对，从学术信息检索（IR）系统中提取，可以用作测试集合，用于评估文档相似性模型。我们的方法的另一个新颖的方面在于，我们采用的方法，通过比较连续下载的文档对和随机文档对在日志空间中的分布来评估模型的性能。在两个家族的相似性模型，表示文档的术语向量和主题空间，我们表明，我们的评估方法实现了非常高的相关性与传统的性能指标，如平均平均精度（MAP），同时更有效地计算。
2016-01-07 cs.IR
LINE Conversation History Retrieval for Personal Memory RAG: Evaluating Search Representations and Hybrid Retrieval
本研究针对一名用户的LINE对话历史开展检索增强生成的初始案例，构建三种搜索表示并对比多种检索方法，发现特定混合检索配置在100个评估问题上的检索性能最优，但研究存在单用户单标注等局限性。
2026-08-31 cs.IR
Evaluating RAG for French immigration law: a benchmark and baseline study
Talan（塔兰公司）
研究法国国际招聘的法律框架，通过公开基准比较参数化语言模型基线与密集检索增强在两种模型规模下对52个合成档案的效果，发现检索能改进行政指导，凸显检索基础的重要性，推动混合检索策略研究。
2026-07-28 cs.AI cs.IR
Evaluating Embedding APIs for Information Retrieval
University of Waterloo（滑铁卢大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文在BEIR和MIRACL基准上评估语义嵌入API的领域泛化与多语言检索能力，发现对BM25结果重排序在英语中最具性价比，非英语场景下BM25混合模型效果最佳但成本更高。
2023-07-06 cs.CL cs.IR
Large Language Models vs. Search Engines: Evaluating User Preferences Across Varied Information Retrieval Scenarios
本研究调查了100名美国用户在20种信息检索场景下对搜索引擎与LLM的偏好，发现用户倾向于用搜索引擎处理事实性查询，用LLM处理需细致理解的任务，为开发混合模型提供了依据。
2024-01-11 cs.IR
Evaluating a Generative Adversarial Framework for Information Retrieval
Princeton University（普林斯顿大学）；Indian Institute of Technology, Madras（马德拉斯印度理工学院）
生成对抗网络（GANs）的最新进展使其在多个领域得到了广泛的应用。最近的一个模型，IRGAN，适用于这个框架的信息检索（IR），并在过去的几年中获得了显着的关注。在这项重点工作中，我们批判性地分析了IRGAN的多个组成部分，同时提供了一些缺点的实验和理论证据。具体来说，我们确定的问题与恒定的基线长期的策略梯度优化，并表明发电机损害IRGAN的性能。我们的研究结果的动机，我们提出了两个模型的自我对比估计和共同训练的表现优于IRGAN的三个任务中的两个。
2020-10-01 cs.CL cs.IR cs.LG
ProCIS: A Benchmark for Proactive Retrieval in Conversations
本文构建含280万余段对话的 ProCIS 数据集与 npDCG 指标，用于评估系统在多方对话中适时主动检索文档的能力。
2024-05-10 cs.IR
Evaluating Perspectival Biases in Cross-Modal Retrieval
Department of Computer Engineering, Chulalongkorn University（楚莱隆坤大学计算机工程系）；School of Information Science and Technology, VISTEC（信息科学与技术学院，VISTEC）
本文提出3XCM基准，揭示跨模态检索中语言和文化偏见的影响，强调需通过解耦策略实现公平检索。
2026-09-01 cs.CL cs.IR
Reconstructing Context: Evaluating Advanced Chunking Strategies for Retrieval-Augmented Generation
Department of Computer Science and Engineering, University of Bologna（计算机科学与工程系，博洛尼亚大学）
本研究评估了RAG中late chunking与contextual retrieval两种高级分块策略，发现前者效率高但牺牲相关性，后者语义连贯性更好但计算成本更高。
2025-04-28 cs.AI cs.CL cs.IR
REANIMATOR: Reanimate Retrieval Test Collections with Extracted and Synthetic Resources
本文提出 REANIMATOR 框架，通过从 PDF 提取全文、表格及上下文信息并利用大语言模型生成合成相关性标签来丰富和复用现有检索测试集，在 TREC-COVID 上验证了其对检索增强生成系统的价值。
2025-04-10 cs.IR
IFIR: A Comprehensive Benchmark for Evaluating Instruction-Following in Expert-Domain Information Retrieval
School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉科学学院）；Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）；Zhejiang University（浙江大学）；Yale University（耶鲁大学）
本文提出IFIR基准，包含2,426个高质量示例覆盖四个专业领域，通过不同复杂度指令评估信息检索模型的指令遵循能力，并提出基于LLM的评估方法，实验表明当前15个前沿模型在复杂领域指令遵循上存在显著挑战。
2025-03-06 cs.CL cs.IR
FAIR: Fairness-Aware Information Retrieval Evaluation
随着为搜索和推荐系统创建公平意识解决方案的需求不断涌现，评估此类解决方案存在着令人生畏的挑战。虽然许多传统的信息检索（IR）的指标可以捕捉的相关性，多样性和新颖性的效用相对于用户，他们不适合推断是否呈现的结果是公平的负责任的信息曝光的角度来看。另一方面，现有的公平性指标不考虑用户效用或不充分衡量它。为了解决这个问题，我们提出了一个新的度量称为公平。通过将标准IR指标和公平性度量统一到一个综合指标中，该指标为评估公平性感知的排名结果提供了一个新的视角。基于此度量，我们开发了一个有效的排名算法，联合优化用户效用和公平性。实验结果表明，我们的FAIR指标可以突出具有良好的用户效用和公平的信息暴露的结果。我们展示了FAIR如何与一组现有的效用和公平性度量相关，并证明了我们基于FAIR的算法的有效性。我们相信，我们的工作开辟了一个新的方向，追求一个衡量标准，评估和实施公平的制度。
2022-03-29 cs.IR
Beyond Case Law: Evaluating Structure-Aware Retrieval and Safety in Statute-Centric Legal QA
Graduate School of Data Science, Seoul National University（数据科学研究生院，首尔国立大学）
针对法规中心型法律问答中层级检索困难与模型幻觉问题，提出结构-安全感知基准SearchFireSafety，通过图引导检索提升性能，但揭示领域适应模型在证据缺失时更易幻觉。
2026-06-16 cs.AI cs.IR
Evaluating Dense Passage Retrieval using Transformers
University of Waterloo（滑铁卢大学）
虽然基于Transformers的表征检索模型在过去几年中已经取得了重大进展，尽管广泛接受的公约和最佳实践来测试这样的模型，一个$\textit{standardized}$评估框架来测试它们还没有开发。在这项工作中，我们正式确定了文献中研究人员遵循的最佳实践和惯例，为更标准化的评估铺平了道路-因此模型之间的比较更加公平。我们的框架（1）嵌入文档和查询;（2）对于每个查询-文档对，基于文档和查询嵌入的点积计算相关性得分;（3）使用MSMARCO数据集的$\texttt{dev}$集来评估模型;（4）使用$\texttt{trec_eval}$脚本来计算MRR@100，这是用于评估模型的主要指标。最重要的是，我们展示了使用这个框架的一些最著名的稠密检索模型的实验。
2022-08-15 cs.AI cs.IR cs.LG
T$^2$-RAGBench: Text-and-Table Benchmark for Evaluating Retrieval-Augmented Generation
University of Hamburg（汉堡大学）；dida Datenschmiede GmbH（dida 数据秘密有限公司）
T$^2$-RAGBench是一个用于评估检索增强生成在文本和表格数据上性能的基准，通过上下文无关的问题测试RAG方法，发现Hybrid BM25在处理此类数据时表现最佳，但仍然对最先进的模型构成挑战。
2026-01-16 cs.IR
Explainable Information Retrieval: A Survey
可解释信息检索是一个新兴的研究领域，旨在使透明和可信的信息检索系统。鉴于复杂机器学习模型在搜索系统中的使用越来越多，可解释性对于构建和审计可靠的信息检索模型至关重要。这项调查填补了一个重要的空白，否则主题多样的文献解释信息检索。它分类和讨论最近的可解释性方法开发的不同应用领域的信息检索，提供了一个共同的框架和统一的观点。此外，它反映了评估解释的共同关注，并强调了开放的挑战和机遇。
2022-11-04 cs.IR
Evaluating the Effectiveness and Scalability of LLM-Based Data Augmentation for Retrieval
Microsoft Research India（微软研究院印度分部）
本文通过100多种实验设置系统研究LLM数据增强对检索的有效性与可扩展性，发现增强收益随规模递减、小模型增强可媲美大模型，且对预训练不足的模型收益最大。
2025-09-19 cs.CL cs.IR
Can QPP Choose the Right Query Variant? Evaluating Query Variant Selection for RAG Pipelines
UC Berkeley（伯克利大学）；Databricks（Databricks公司）
本文研究了在RAG流水线中如何选择最佳查询变体，通过大规模实验评估了预检索和后检索预测器的性能，发现检索相关性与生成保真度之间存在'效用差距'，但QPP能有效提升端到端质量。
2026-04-24 cs.CL cs.IR
Still Fresh? Evaluating Temporal Drift in Retrieval Benchmarks
University of Waterloo（滑铁卢大学）
本研究评估了时间变化对检索基准FreshStack的影响，发现语料库更新后大部分查询仍能得到支持，模型排名变化较小，表明基准在时间演变下仍具可靠性。
2026-03-04 cs.AI cs.CL cs.IR
Optimizing and Evaluating Enterprise Retrieval-Augmented Generation (RAG): A Content Design Perspective
IBM（国际商业机器公司）
本文从内容设计视角分享企业级RAG的构建经验，提出模块化、与模型无关的解决方案策略，发现简单调整知识库内容创建方式对RAG成功影响巨大，并采用灵活的“以人为先”方法监控评估新用户问题的响应。
2024-10-01 cs.AI cs.IR
HumanMCP: A Human-Like Query Dataset for Evaluating MCP Tool Retrieval Performance
HumanMCP数据集通过生成多样化的高质量用户查询，评估MCP工具检索性能，提升工具使用和生态系统评估的准确性。
2025-12-18 cs.AI cs.IR
Faithful or Findable? Evaluating LLM-Generated Metadata for RDF Dataset Search
University of Southern Denmark（南部丹麦大学）
研究RDF数据集六种元数据生成设置，评估其检索有效性与忠实性。发现无约束重写检索增益强但忠实性低，更有根据的设置提高了忠实性，基于配置文件的重写权衡最佳，将合成元数据定位为需综合评估多方面的系统级信息检索问题。
2026-07-08 cs.AI cs.IR
GenTREC: The First Test Collection Generated by Large Language Models for Evaluating Information Retrieval Systems
本文提出 GenTREC，首个完全由大语言模型生成文档、无需人工相关性判断的 IR 测试集，实验证明其系统排名与传统 TREC 评估兼容，为低成本 IR 评估提供了新途径。
2025-01-05 cs.IR
CoRECT: A Framework for Evaluating Embedding Compression Techniques at Scale
University of Passau（帕绍大学）；Interdisciplinary Transformation University Austria（奥地利跨学科转型大学）
CoRECT框架通过大规模评估和新数据集，展示非学习压缩在减少索引大小的同时保持性能，为压缩方法的选择提供一致比较依据。
2026-01-15 cs.IR
FreshStack: Building Realistic Benchmarks for Evaluating Retrieval on Technical Documents
University of Waterloo（滑铁卢大学）；Databricks（Databricks公司）
本研究提出FreshStack框架，通过自动语料收集、信息点生成、融合检索三步构建技术文档IR评估基准，实验发现现有模型表现弱于最优参考方法，部分主题重排器无增益，为构建真实可扩展的IR/RAG基准提供支持。
2025-06-13 cs.AI cs.CL cs.IR
Agent Retrieval Bench: Evaluating Repository Context Retrieval for Coding Agents
National University of Singapore (NUS)（新加坡国立大学）；Peking University（北京大学）
研究代码智能体仓库上下文检索问题，引入智能体检索基准，涵盖多种检索任务和样本。评估多种检索方法，发现无单一方法占优，存在校准差距，且记录轨迹有缺失。通过试验表明检索得出的初始上下文有优势，神谕金上下文还有提升空间。
2026-07-29 cs.AI cs.CL cs.IR
Evaluating Chunking Strategies For Retrieval-Augmented Generation in Oil and Gas Enterprise Documents
Digital and Innovation Department, Nigeria LNG Limited（尼日利亚LNG公司数字与创新部门）
本文研究了四种分块策略在石油和天然气企业文档中的效果，发现结构感知分块在检索效果和计算成本上表现最佳，但对图表类文档仍有限。
2026-03-25 cs.AI cs.IR
SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval
University of Waterloo（滑铁卢大学）；TU Darmstadt（达姆施塔特工业大学）
本研究推出基于Pyserini和Lucene的统一神经稀疏检索评估工具包SPRINT，在BEIR基准上建立零样本稀疏检索基线，揭示SPLADEv2性能最优的关键原因。
2023-07-19 cs.CL cs.IR cs.LG
Evaluating Large Language Models for Cross-Lingual Retrieval
MaiNLP, Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心 MaiNLP）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文首次系统评估大语言模型在跨语言检索中的两阶段交互，发现多语言双编码器可替代机器翻译提升检索效果，且现有重排序器在无翻译条件下直接用于跨语言检索时性能严重不足。
2025-09-18 cs.CL cs.IR
Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）
基于神经Transformer架构的预训练多语言文本编码器，如多语言BERT（mBERT）和XLM，在无数的语言理解任务上取得了很好的性能。因此，它们已被采用作为多语言和跨语言表示学习和迁移的一个去范例，使跨语言词嵌入（CLWEs）有效地过时。然而，问题仍然存在，在何种程度上这一发现推广1）无监督的设置和2）特设跨语言IR（CLIR）的任务。因此，在这项工作中，我们提出了一个系统的实证研究集中在国家的最先进的多语言编码器跨语言的文档和句子检索任务在大量的语言对的适用性。与有监督的语言理解相比，我们的研究结果表明，对于无监督的文档级CLIR -一种没有针对IR特定微调的相关性判断的设置-预训练编码器未能显着优于基于CLWE的模型。对于高级CLIR，我们证明了可以实现最先进的性能。然而，使用通用多语言文本编码器“现成的”并不能达到峰值性能，而是依赖于它们的变体，这些变体进一步专门用于句子理解任务。
2021-01-21 cs.CL cs.IR
Evaluating Hybrid Retrieval Augmented Generation using Dynamic Test Sets: LiveRAG Challenge
Emory University, USA（埃默里大学）
本文针对LiveRAG挑战赛提出一种结合BM25和E5检索并使用rankLLaMA重排序与Falcon3-10B-Instruct生成的混合RAG系统，在忠实度上取得第4名。
2025-06-27 cs.CL cs.IR
RAG-Check: Evaluating Multimodal Retrieval Augmented Generation Performance
University of Maryland（马里兰大学）；NEC Laboratories America（美国NEC实验室）
本文提出RAG-Check框架，通过相关性分数RS和正确性分数CS评估多模态RAG可靠性，并构建5000条人工标注数据验证其接近人类判断。
2025-01-07 cs.CV cs.IR cs.IT
Enhancing Translation Language Models with Word Embedding for Information Retrieval
在本文中，我们探讨使用词嵌入语义资源的信息检索（IR）任务。这种由浅神经网络产生的嵌入已经被证明可以捕捉单词之间的语义相似性（Mikolov等人，2013年）的报告。因此，我们的目标是通过解决术语不匹配问题来增强IR语言模型。为此，我们应用了Zuccon等人（2015）在信息检索中集成和评估神经词嵌入的论文中提出的模型，该模型提出使用词嵌入之间的余弦相似度来估计翻译语言模型的翻译概率。到目前为止，我们得到的结果并没有显示出统计上的显着改善相比，经典的语言模型。
2018-01-11 cs.IR
Constructing and Evaluating Declarative RAG Pipelines in PyTerrier
该研究提出PyTerrier-RAG扩展，支持在声明式PyTerrier架构中便捷构建RAG流水线，可接入标准数据集、前沿LLM阅读器及各类检索排序组件，验证了其构建简洁性与生态兼容性。
2025-06-12 cs.IR
