Passage-Mask: A Learnable Regularization Strategy for Retriever-Reader Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
检索者-阅读者模型在许多不同的NLP任务中实现了有竞争力的性能,例如开放式问答和对话。在这项工作中,我们注意到这些模型很容易过拟合的顶级检索通道和标准的训练未能在整个检索通道的原因。我们引入了一个可学习的通道掩模机制,该机制降低了顶级检索通道的影响,并防止模型过拟合。我们的可学习正则化策略使用较少的掩码候选项控制梯度方差,并使用一次性双层优化选择掩码候选项,从而强制答案生成集中于整个检索通道。在开放式问答、对话和事实验证等不同任务上的实验表明,我们的方法始终优于其基线。大量的实验和消融研究表明,我们的方法可以通用,有效,并有利于许多NLP任务。
2022-11-03 cs.AI cs.CL cs.LG
MLLM as Retriever: Interactively Learning Multimodal Retrieval for Embodied Agents
School of Computer Science, Peking University(北京大学计算机科学学院);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
针对现有检索忽视轨迹有效性,提出MART方法,利用交互数据微调MLLM检索器,结合轨迹抽象,显著提升具身智能体在未见场景的任务成功率。
2025-05-22 cs.LG
Variational Open-Domain Question Answering
Technical University of Denmark(丹麦技术大学);FindZebra;Rigshospitalet, Copenhagen University Hospital(哥本哈根大学医院国立医院);University of Copenhagen(哥本哈根大学)
本文提出变分开放域(VOD)框架,通过自归一化Rényi变分界端到端训练检索增强模型,在医学问答数据集上以远少于Med-PaLM的参数量取得更优性能,并验证了学习检索器在医学语义搜索中的有效性。
2023-05-31 cs.CL cs.IR cs.LG
HealthNLP_Retrievers at ArchEHR-QA 2026: Cascaded LLM Pipeline for Grounded Clinical Question Answering
University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);Jahangirnagar University(贾旺吉拉大学)
本文提出基于Gemini 2.5 Pro的级联管道,通过多阶段模块实现患者问题理解、证据检索与回答生成,提升临床问答的准确性和专业性。
2026-04-29 cs.CL cs.LG
Phrase Retrieval for Open-Domain Conversational Question Answering with Conversational Dependency Modeling via Contrastive Learning
Korea Advanced Institute of Science Technology(韩国科学技术院)
本文提出基于短语检索的 ODConvQA 单阶段答案预测方法,并通过对比学习建模多轮会话依赖,在两个数据集上显著优于检索器-阅读器基线。
2023-06-07 cs.CL cs.IR cs.LG
Enhancing Multi-Image Question Answering via Submodular Subset Selection
Indian Institute of Technology Bombay(印度理工学院班加罗尔学院)
针对多图像问答中图像数量增长导致的可扩展性与检索难题,本文在 MIRAGE 检索框架中引入 GraphCut 等查询感知次模子集选择,并用基于锚点的查询和数据增强提升大规模检索效果。
2025-05-15 cs.CV cs.LG
Fine-Tuning Large Language Models and Evaluating Retrieval Methods for Improved Question Answering on Building Codes
University of Alberta(阿尔伯塔大学);Aligarh Muslim University(阿里格尔穆斯林大学)
本文研究基于建筑规范的问答系统,通过评估多种检索方法并微调语言模型,发现Elasticsearch检索效果最佳,且领域微调能提升模型生成能力,从而优化RAG系统在NBCC上的表现。
2025-05-07 cs.CL cs.IR cs.LG
Learning Efficient and Generalizable Graph Retriever for Knowledge-Graph Question Answering
Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·扎耶德人工智能大学);Peking university(北京大学);Georgia Institute of Technology(佐治亚理工学院);The University of Sydney(悉尼大学);Carnegie Mellon University(卡内基梅隆大学)
针对知识图谱问答中基于图的检索器泛化能力不足的问题,提出RAPL框架,通过两阶段标注、模型无关图变换和基于路径的推理策略,显著提升检索性能与泛化性,缩小不同规模推理器及跨数据集的性能差距。
2025-06-11 cs.CL cs.IR cs.LG
Prompt Generate Train (PGT): Few-shot Domain Adaption of Retrieval Augmented Generation Models for Open Book Question-Answering
Microsoft(微软)
本文提出PGT框架,通过合成数据生成、监督微调与强化学习对齐,在少样本下高效适配RAG模型,实现低成本且与GPT-4媲美的开放书问答。
2023-07-26 cs.LG
MST-R: Multi-Stage Tuning for Retrieval Systems and Metric Evaluation
Indic aiDias Team(Indic aiDias团队)
针对监管领域FRAG系统的检索与回答性能问题,提出多阶段调优的检索方法MST-R,在RIRAG挑战赛数据集上取得领先成绩,同时发现RePASs指标存在可被利用的漏洞并给出研究启示。
2024-12-13 cs.IR cs.LG
Salient Phrase Aware Dense Retrieval: Can a Dense Retriever Imitate a Sparse One?
Meta AI
尽管其最近的流行和众所周知的优势,密集检索器仍然落后于稀疏的方法,如BM 25在其可靠地匹配查询中的突出短语和罕见的实体,并推广到域外数据的能力。有人认为,这是密集模型的固有局限性。我们反驳这种说法,通过引入显着短语感知检索器(SPAR),一个密集的检索与词汇匹配能力的稀疏模型。我们证明了一个稠密的词汇模型Λ可以被训练来模仿一个稀疏的词汇模型,SPAR是通过用Λ来增强一个标准的稠密检索器来构建的。从经验上看,SPAR在一系列任务上表现出卓越的性能,包括五个问答数据集,MS MARCO段落检索,以及用于域外评估的BattletyQuestions和BEIR基准,超过了最先进的密集和稀疏检索器的性能。SPAR的代码和型号可在以下网址获得:https://github.com/facebookresearch/dpr-scale/tree/main/spar
2022-11-11 cs.CL cs.IR cs.LG
MetaGen Blended RAG: Unlocking Zero-Shot Precision for Specialized Domain Question-Answering
IBM
针对企业专业领域RAG零样本精度低的问题,提出MetaGen Blended RAG,通过元数据生成与混合查询索引增强检索,在PubMedQA上超越现有零样本基准并媲美微调模型。
2025-08-05 cs.AI cs.CL cs.IR
Beyond Prompting: An Efficient Embedding Framework for Open-Domain Question Answering
King’s College London(伦敦国王学院);The Alan Turing Institute(艾伦·图灵研究所)
本文提出嵌入级框架EmbQA,通过无监督对比学习细化查询表示并引入探索性嵌入与熵选择机制,在提升开放域问答准确性的同时显著降低计算开销。
2025-09-20 cs.AI cs.CL cs.CY
VQA-GEN: A Visual Question Answering Benchmark for Domain Generalization
Arizona State University(亚利桑那州立大学)
针对现有VQA域泛化基准仅关注文本偏移的问题,提出首个多模态分布偏移基准VQA-GEN,揭示模型在联合视觉-文本偏移下的脆弱性并提升跨域与域内性能。
2023-11-01 cs.CV cs.LG
HybGRAG: Hybrid Retrieval-Augmented Generation on Textual and Relational Knowledge Bases
Carnegie Mellon University(卡内基梅隆大学);Amazon(亚马逊)
HybGRAG针对半结构化知识库上的混合问答问题,提出结合检索器库与评判模块的混合检索增强生成方法,在STaRK基准上Hit@1平均相对提升51%。
2025-06-02 cs.AI cs.IR cs.LG
Ranking Paragraphs for Improving Answer Recall in Open-Domain Question Answering
Korea University(高丽大学)
最近,开放域问答(QA)已经与机器理解模型相结合,以在大型知识源中找到答案。由于开放域问答需要从文本语料库中检索相关文档来回答问题,其性能在很大程度上取决于文档检索器的性能。然而,由于传统的信息检索系统不能有效地获得具有高概率包含答案的文档,因此它们降低了QA系统的性能。简单地提取更多的文档会增加不相关文档的数量,这也会降低QA系统的性能。在本文中,我们介绍了段落排名检索到的文件的段落,以更高的答案召回,噪音更少。我们发现,使用段落排名器对段落进行排名并聚合答案,平均将开放域QA管道在四个开放域QA数据集上的性能提高了7.8%。
2018-10-01 cs.CL cs.LG
Neural Arabic Question Answering
American University of Beirut(贝鲁特美国大学)
本文处理的问题,开放领域的事实阿拉伯语问答(QA)使用维基百科作为我们的知识来源。这限制了任何问题的答案在维基百科中的文本跨度。阿拉伯语的开放领域QA需要三个挑战:阿拉伯语的注释QA数据集,大规模有效的信息检索和机器阅读理解。为了解决缺乏阿拉伯语问答数据集的问题,我们提出了阿拉伯语阅读理解数据集(ARCD),由众包工作者在维基百科文章上提出的1,395个问题组成,以及斯坦福问答数据集(Arabic-SQuAD)的机器翻译。我们的系统开放领域的问答阿拉伯语(SOQAL)是基于两个组件:(1)一个文档检索器使用分层TF-IDF方法和(2)神经阅读理解模型使用预先训练的双向Transformer BERT。我们在ARCD上的实验表明了我们的方法的有效性,我们的基于BERT的阅读器获得了61.3的F1分数,我们的开放域系统SOQAL获得了27.6的F1分数。
2019-06-12 cs.CL cs.LG
W-RAG: Weakly Supervised Dense Retrieval in RAG for Open-domain Question Answering
Santa Clara University(圣克拉拉大学);Meta AI
本文提出W-RAG方法,通过从LLM下游任务提取弱监督信号微调稠密检索器,利用BM25检索和LLM生成概率重排序段落,显著提升了开放域问答的检索与生成性能。
2025-04-25 cs.AI cs.CL cs.IR
Efficient and Reproducible Biomedical Question Answering using Retrieval Augmented Generation
School of Engineering, Zurich University of Applied Sciences, Winterthur, Switzerland(工程学院,应用科学大学,温特图尔,瑞士)
本研究提出了一种高效的生物医学问答系统,通过检索增强生成方法,在PubMed语料库上优化检索深度与响应时间的平衡。
2026-01-13 cs.AI cs.DB cs.IR
Investigating Information Inconsistency in Multilingual Open-Domain Question Answering
University of Maryland, College Park(马里兰大学帕克分校)
基于检索的开放域QA系统使用检索到的文档和对检索到的文档的答案跨度选择来找到最佳答案候选者。我们假设,多语言问答(QA)系统很容易出现信息不一致,当涉及到不同语言编写的文件,因为这些文件往往提供一个模型与不同的信息相同的主题。为了理解信息的可获得性偏差和文化影响的影响,我们分析了多语言开放域问答模型的行为,重点是检索偏差。我们分析如果不同的检索模型呈现不同的段落给定相同的问题在不同的语言上的TyDi QA和XOR-TyDi QA,两个多语言QA数据集。我们推测,跨语言文档的内容差异可能反映了文化差异和/或社会偏见。
2022-05-25 cs.AI cs.CL cs.IR
Robust Explanations for Visual Question Answering
Indian Institute of Technology, Kanpur(坎普尔印度理工学院)
在本文中,我们提出了一种方法来获得强大的解释视觉问答(VQA)的答案相关性很好。我们的模型通过提供视觉和文本解释来解释通过VQA模型获得的答案。我们解决的主要挑战是:i)通过当前方法获得的答案和文本解释没有很好的相关性; ii)当前的视觉解释方法没有关注解释答案的正确位置。我们通过使用协作相关模块来解决这两个挑战,该模块确保即使我们不针对基于噪声的攻击进行训练,增强的相关性也确保可以生成正确的解释和答案。我们进一步表明,这也有助于改善生成的视觉和文本解释。相关模块的使用可以被认为是一种验证答案和解释是否一致的鲁棒方法。我们使用VQA-X数据集评估该模型。我们观察到,所提出的方法产生更好的文本和视觉的理由,支持的决定。我们展示了该模型对基于噪声的扰动攻击的鲁棒性,使用相应的视觉和文本解释。详细的实证分析显示。这里我们提供了模型\url{https://github.com/DelTA-Lab-IITK/CCM-WACV}的源代码链接。
2020-01-23 cs.AI cs.CL cs.CV
Learning Convolutional Text Representations for Visual Question Answering
Washington State University(华盛顿州立大学)
视觉问答是最近提出的一项人工智能任务,需要对图像和文本都有深入的理解。在深度学习中,图像通常通过卷积神经网络建模,文本通常通过递归神经网络建模。虽然对图像建模的要求类似于传统的计算机视觉任务,例如对象识别和图像分类,但与其他自然语言处理任务相比,视觉问答对文本表示提出了不同的需求。本文对视觉问答中的自然语言问句进行了详细的分析。基于分析,我们建议依靠卷积神经网络学习文本表示。通过探索专门用于文本数据的卷积神经网络的各种属性,例如宽度和深度,我们提出了我们的“CNN Inception + Gate”模型。我们表明,我们的模型提高了问题的表示,从而提高了视觉问答模型的整体准确性。我们还表明,在视觉问答的文本表示的要求是更复杂和全面的比传统的自然语言处理任务,使它成为一个更好的任务,以评估文本表示方法。像fastText这样的浅层模型可以在文本分类等任务中获得与深度学习模型相当的结果,但不适合视觉问答。
2018-04-18 cs.CL cs.LG cs.NE
Hybrid Retriever Evolution for Multimodal Document Reasoning Agents
ServiceNow;University of Washington(华盛顿大学)
提出失败驱动的演化框架,让元代理自动学习任务代理如何协调多种检索器进行多步文档问答,实现自适应检索路由,在MMLongBench-Doc和DocBench上提升高达19.6分。
2026-06-28 cs.AI cs.CL cs.LG
The Multilingual Curse at the Retrieval Layer: Evidence from Amharic
Independent Researcher(独立研究者);University of Amsterdam(阿姆斯特丹大学)
针对零样本多语言检索在低资源形态丰富语言(如阿姆哈拉语)上表现不佳的问题,通过对比实验发现单语检索器显著优于多语言检索器,并揭示了多语言基准测试的局限性。
2026-05-23 cs.CL cs.IR cs.LG
R2-D2: A Modular Baseline for Open-Domain Question Answering
Brno University of Technology(布尔诺理工大学)
本文提出了一种新的四阶段开放域QA流水线R2-D2(Rank两次,reaD两次)。该管道由检索器、通道重排序器、提取读取器、生成读取器和聚合来自所有系统组件的最终预测的机制组成。我们在三个开放领域的QA数据集上展示了它的实力:NaturalQuestions,TriviaQA和EfficientQA,在前两个数据集上超过了最先进的水平。我们的分析表明:(i)组合提取读取器和生成读取器产生高达5个精确匹配的绝对改进,并且它是具有不同参数的相同模型的后验平均集合的至少两倍有效,(ii)具有较少参数的提取读取器可以匹配生成读取器在提取QA数据集上的性能。
2021-09-08 cs.CL cs.IR cs.LG
EDUQA: Educational Domain Question Answering System using Conceptual Network Mapping
Million Sparks Foundation(百万星火基金会)
大多数现有的问答模型可以在很大程度上被编译成两类:i)开放域问答模型,其回答通用问题并使用大规模知识库以及目标网络语料库检索;以及ii)封闭域问答模型,其解决集中的提问区域并使用复杂的深度学习模型。上述两种模式都是通过文本理解的方法来得出答案的。由于它们无法捕捉文本内容的教学意义,这些模型不适合教育领域的教学。在本文中,我们提出了一个飞行概念网络模型,结合教育语义。该模型通过在概念网络上应用智能索引算法来保持概念实体之间的相关性,从而提高答案的生成。该模型可用于构建交互式对话代理以帮助课堂学习。
2019-11-12 cs.AI cs.CL cs.LG
Retrieval Augmented Generation for Domain-specific Question Answering
Adobe(奥多比公司)
本文针对特定领域问答中通用大模型缺乏领域知识的问题,提出构建大型问答数据库并对检索器进行微调的检索增强生成框架,显著减少幻觉并提升生成质量。
2024-05-29 cs.AI cs.CL cs.IR