Retrieval-Enhanced Adversarial Training for Neural Response Generation
Microsoft Research Asia(微软亚洲研究院);Harbin Institute of Technology(哈尔滨工业大学)
对话系统通常建立在基于生成或基于检索的方法上,但它们不能从不同模型的优点中获益。在本文中,我们提出了一种用于神经响应生成的检索增强对抗训练(REAT)方法。与现有方法不同的是,REAT方法在对抗训练范式方面利用编码器-解码器框架,同时利用基于检索的系统中的N-最佳响应候选来构建模型。在大规模公共基准数据集上的实证研究表明,REAT方法的性能显着优于香草Seq 2Seq模型以及传统的对抗训练方法。
2019-05-23 cs.CL
Towards Comprehensive Vietnamese Retrieval-Augmented Generation and Large Language Models
Foundation Models Lab, BKAI(BKAI基础模型实验室);Hanoi University of Science and Technology(河内科技大学);University of Information Technology(信息技术大学);Vietnam National University HCMC(胡志明市越南国家大学)
该研究通过开发发布越南语RAG和LLM的开放数据集与预训练模型,推动越南语理解与生成领域的技术发展。
2024-03-05 cs.CL
DioR: Adaptive Cognitive Detection and Contextual Retrieval Optimization for Dynamic Retrieval-Augmented Generation
Zhejiang Key Laboratory of Intelligent Education Technology and Application, Zhejiang Normal University(浙江智能教育技术与应用重点实验室,浙江师范大学);School of Computer Science and Technology, Zhejiang Normal University(浙江师范大学计算机科学与技术学院);School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Department of Computer Science and Engineering, Hong Kong University of Science and Technology(香港科技大学计算机科学与工程系);School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
针对现有动态RAG方法存在的检索触发机制不足、检索内容缺乏审查的问题,提出包含自适应认知检测与上下文检索优化组件的DioR方法,在所有任务上性能更优。
2025-05-17 cs.CL
Reducing Redundancy in Retrieval-Augmented Generation through Chunk Filtering
AI Lab – VO2 Group(AI实验室–VO2小组)
本文通过语义、主题和命名实体过滤策略减少检索增强生成中的冗余,实验表明实体过滤可减少向量索引大小25%-36%并保持高检索质量。
2026-04-27 cs.CL
BSharedRAG: Backbone Shared Retrieval-Augmented Generation for the E-commerce Domain
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
本文提出BSharedRAG框架,通过领域持续预训练构建共享骨干,并训练两个LoRA模块分别优化检索与生成,在电商数据集上显著提升检索和生成性能。
2024-09-30 cs.CL
IterKey: Iterative Keyword Generation with LLMs for Enhanced Retrieval Augmented Generation
Nara Institute of Science and Technology(奈良科学技術研究所);TDSE Inc.(TDSE公司)
针对现有RAG方法难以兼顾准确性与可解释性的问题,提出由LLM驱动的三阶段迭代关键词生成框架IterKey,通过稀疏检索增强RAG,在四项QA任务上准确率较BM25基线提升5%-20%,性能媲美密集检索类方法,实现了准确性与可解释性的平衡。
2025-07-30 cs.CL
SeaKR: Self-aware Knowledge Retrieval for Adaptive Retrieval Augmented Generation
Tsinghua University(清华大学);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);Beijing Institute of Technology(北京理工大学);Siemens Technology(西门子技术公司)
本文提出SeaKR模型,通过提取LLM内部状态的自感知不确定性来决定何时检索、重排序知识片段并选择推理策略,在多类问答数据集上优于现有自适应RAG方法。
2024-06-27 cs.CL
RetrievalQA: Assessing Adaptive Retrieval-Augmented Generation for Short-form Open-Domain Question Answering
University of Technology Sydney(悉尼科技大学);University of Liverpool(利物浦大学)
本文提出RetrievalQA基准评估自适应检索增强生成,并发现现有方法依赖阈值或提示不足,进而提出无需校准与训练的TA-ARE方法以有效判断检索必要性。
2024-06-05 cs.CL
Meta-prompting Optimized Retrieval-augmented Generation
University of Lisbon(里斯本大学);Faculdade de Ciências (FCUL)(理学院(FCUL))
本文提出利用元提示优化精炼检索内容,以缓解检索增强生成中内容过载与焦点分散问题,并在StrategyQA多跳问答任务上取得超过30%的性能提升。
2024-07-04 cs.CL
Coordinated Semantic Alignment and Evidence Constraints for Retrieval-Augmented Generation with Large Language Models
Cornell University(康奈尔大学);Virginia polytechnic institute and state University(弗吉尼亚理工学院暨州立大学);University of Southern California(南加州大学)
本文提出一种通过协同语义对齐与证据约束提升检索增强生成效果的方法,增强事实可靠性和生成流畅性。
2026-03-04 cs.CL
Corrective Retrieval Augmented Generation
Department of Computer Science, University of California, Los Angeles(加利福尼亚大学洛杉矶分校计算机科学系);Google DeepMind(谷歌DeepMind)
针对大语言模型幻觉及RAG依赖检索质量的问题,提出即插即用的CRAG方法,通过轻量检索评估器、网页搜索扩展和先分解再重组算法,显著提升各类RAG方法的生成鲁棒性与性能。
2024-10-07 cs.CL
Building A Coding Assistant via the Retrieval-Augmented Language Model
本研究提出代码助手CONAN,由结构感知检索器和双视图检索增强生成模型组成,通过代码-文档对齐等预训练任务提升代码表示能力,在代码生成任务上优于现有检索增强模型,还可辅助大语言模型提升代码任务效能。
2024-11-02 cs.CL
ParetoRAG: Leveraging Sentence-Context Attention for Robust and Efficient Retrieval-Augmented Generation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cybersecurity, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Alibaba Group(阿里巴巴集团)
针对RAG系统检索效率低和LLMs无法过滤无关信息的问题,提出无监督框架ParetoRAG,通过帕累托原则指导的句子级优化,在无需额外资源的情况下提升检索精度和生成质量,并在多数据集、LLMs和检索器上验证有效性。
2025-02-12 cs.CL
After Retrieval, Before Generation: Enhancing the Trustworthiness of Large Language Models in Retrieval-Augmented Generation
Southeast University(东南大学);University of New South Wales(新南威尔士大学);Noah’s Ark Lab(诺亚实验室)
BRIDGE框架通过动态确定响应策略,提升检索增强生成中大型语言模型的可信度,实验显示其在准确性上优于基线方法。
2026-01-07 cs.CL
Generating patient cohorts from electronic health records using two-step retrieval-augmented text-to-SQL generation
Bayer AG(勃林格殷曼公司)
本文提出一种利用大语言模型结合标准解析、两级检索增强生成和SQL生成的自动化系统,从电子健康记录中识别患者队列,达到0.75的F1分数,验证了自动化队列生成的可行性。
2025-10-17 cs.CL
Retrieval-Augmented Generation Based Nurse Observation Extraction
本文提出自动流程减轻护士负担,通过RAG方法提取临床观察,达到0.796的F1分数。
2026-03-27 cs.CL
End-to-End Trainable Retrieval-Augmented Generation for Relation Extraction
National Institute of Standards and Technology(美国国家标准与技术研究院);Colorado State University(科罗拉多州立大学);Toyota Technological Institute(丰田工业大学)
针对检索增强生成中实例检索不可微导致无法端到端训练的问题,提出ETRAG框架,通过可微的k近邻选择实现检索器与关系抽取目标的联合优化,在TACRED数据集上显著提升性能。
2024-10-10 cs.CL
Unified Active Retrieval for Retrieval Augmented Generation
Shanghai AI Laboratory(上海人工智能实验室);Shanghai Collaborative Innovation Center of Intelligent Visual Computing(上海智能视觉计算协同创新中心);Fudan University(复旦大学)
本文提出统一主动检索(UAR),通过四个正交准则和即插即用分类任务,以可忽略的额外推理成本实现多方面的检索时机判断,并在四类用户指令上显著优于现有方法。
2024-10-03 cs.CL
A Survey on Retrieval And Structuring Augmented Generation with Large Language Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本综述探讨了大型语言模型在检索与结构化(RAS)增强生成中的方法,通过整合动态信息检索与结构化知识表示,解决幻觉、知识过时和领域知识有限等问题,并指出了技术挑战与未来研究方向。
2025-09-12 cs.CL
Leveraging In-Context Learning and Retrieval-Augmented Generation for Automatic Question Generation in Educational Domains
IIT Kharagpur(印度理工学院卡哈拉格普尔分校)
本研究提出结合上下文学习(ICL)与检索增强生成(RAG)的混合模型,利用GPT-4和BART在教育领域自动生成更符合上下文且教学法合理的问题,实验证明ICL与混合模型优于基线方法。
2025-01-29 cs.CL
CommunityKG-RAG: Leveraging Community Structures in Knowledge Graphs for Advanced Retrieval-Augmented Generation in Fact-Checking
University of California, Davis(加利福尼亚大学戴维斯分校)
针对大语言模型与RAG系统未整合实体关系和社区结构、限制事实核查信息检索效果的问题,提出融合知识图谱社区结构的零样本框架CommunityKG-RAG,利用多跳特性提升检索准确率与相关性,实验证明其性能优于传统方法,为事实核查提供鲁棒高效的可扩展方案。
2024-08-16 cs.CL
Unlocking Multi-View Insights in Knowledge-Dense Retrieval-Augmented Generation
School of Artificial Intelligence, Beihang University(北航人工智能学院);Zhongguancun Laboratory(中关村实验室)
本文提出MVRAG框架,通过多领域视角的意图感知查询重写提升知识密集型RAG的检索精度,在法律和医学案例检索中显著提高召回率和精确率。
2025-10-23 cs.CL
When Retrieval Succeeds and Fails: Rethinking Retrieval-Augmented Generation for LLMs
Alibaba-NTU Global e-Sustainability CorpLab(阿里巴巴-国立大学全球可持续性公司实验室);Nanyang Technological University(南洋理工大学);Tongyi Lab, Alibaba Group(通义实验室,阿里巴巴集团);College of Computing & Data Science, Nanyang Technological University(计算与数据科学学院,南洋理工大学)
本文综述了检索增强生成(RAG)的目标、组件、关键挑战及其在LLM单独表现不佳时的应用,旨在重新评估RAG的价值并启发下一代系统开发。
2025-10-10 cs.CL
Entailment Tree Explanations via Iterative Retrieval-Generation Reasoner
Northwestern University(西北大学);AWS AI Labs(亚马逊云科技人工智能实验室)
大语言模型在各种问答(QA)基准测试中取得了很高的性能,但其输出的可解释性仍然很难解释。结构化的解释,称为蕴涵树,最近被建议作为一种解释和检查QA系统答案的方法。为了更好地生成这样的蕴涵树,我们提出了一个架构称为迭代检索生成推理(IRGR)。我们的模型能够通过系统地从文本前提中生成一步一步的解释来解释给定的假设。IRGR模型迭代地搜索合适的前提,每次构造一个单一的蕴涵步骤。与以前的方法相反,我们的方法结合了生成步骤和前提检索,允许模型利用中间结论,并减轻了基线编码器-解码器模型的输入大小限制。我们使用EntailmentBank数据集进行实验,在那里我们在前提检索和蕴涵树生成方面优于现有的基准,总体正确性提高了约300%。
2022-07-19 cs.CL
Searching for Best Practices in Retrieval-Augmented Generation
School of Computer Science, Fudan University(复旦大学计算机科学学院);Shanghai Key Laboratory of Intelligent Information Processing(上海智能信息处理重点实验室)
本文通过系统实验探索现有RAG方法及其组合,提出兼顾性能与效率的最佳部署策略,并展示多模态检索与“检索即生成”策略对视觉问答和多模态内容生成的显著提升作用。
2024-07-01 cs.CL
GraphSearch: An Agentic Deep Searching Workflow for Graph Retrieval-Augmented Generation
IDEA Research, International Digital Economy Academy(IDEA研究机构、国际数字经济学院);Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));DataArc Tech Ltd.(DataArc科技有限公司);Hithink RoyalFlush Information Network Co., Ltd(Hithink皇家Flush信息网络有限公司)
针对现有GraphRAG存在的浅层检索、结构图数据利用效率低的问题,提出具备双通道检索的模块化智能体深度搜索工作流GraphSearch,多基准实验验证其能提升答案准确率与生成质量。
2025-09-30 cs.CL
XRAG: Cross-lingual Retrieval-Augmented Generation
Heidelberg Institute for Theoretical Studies gGmbH(海德堡理论研究所);Amazon AGI(亚马逊人工智能研究院)
该研究提出 XRAG 基准,利用需外部知识和复杂推理的新闻问答评估跨语言 RAG,并通过五个 LLM 揭示单语与多语检索中的不同挑战。
2025-05-15 cs.CL
Retrieval Augmented Code Generation and Summarization
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Columbia University(哥伦比亚大学)
软件开发人员在软件开发过程中编写了大量的源代码和文档。本质上,开发人员经常回忆他们过去在实现软件或编写文档时编写的部分源代码或代码摘要。为了模仿开发人员的代码或摘要生成行为,我们提出了一个检索增强框架,REDCODER,检索相关的代码或摘要从检索数据库,并提供它们作为补充代码生成或摘要模型。Redcoder有几个独特之处。首先,它扩展了最先进的稠密检索技术,以搜索相关代码或摘要。其次,它可以与包括单峰(仅代码或自然语言描述)或双峰实例(代码描述对)的检索数据库一起工作。我们进行了实验和广泛的分析,在Java和Python的代码生成和摘要的两个基准数据集,和有前途的结果认可我们提出的检索增强框架的有效性。
2021-09-10 cs.CL cs.SE
CoIR: A Comprehensive Benchmark for Code Information Retrieval Models
Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出COIR代码信息检索综合基准,涵盖七个领域八类任务的十个数据集,并评估九种检索模型,以揭示代码检索难点并推动该领域研究。
2025-06-06 cs.CL cs.IR
Aligning Extraction and Generation for Robust Retrieval-Augmented Generation
Meta;Institute for Clarity in Documentation(清晰文档研究所);Inria Paris-Rocquencourt(Inria 巴黎-罗克quencourt 分所);Rajiv Gandhi University(拉朱·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒尔研究实验室)
针对检索增强生成(RAG)易受检索噪声影响导致幻觉的问题,提出Ext2Gen先抽取再生成框架,通过联合证据选择与生成、偏好对齐优化提升鲁棒性,无需独立压缩模块,性能优于现有方法且能结合检索改进技术。
2025-11-17 cs.AI cs.CL
DuetRAG: Collaborative Retrieval-Augmented Generation
Zhejiang University(浙江大学)
针对复杂领域问题中RAG检索不相关导致生成质量低的问题,提出DuetRAG框架,通过同时整合领域微调和RAG模型提升检索质量,并在HotPot QA上达到专家水平。
2024-05-12 cs.AI cs.CL
Enhancing Multi-modal and Multi-hop Question Answering via Structured Knowledge and Unified Retrieval-Generation
Harbin Institute of Technology(哈尔滨工业大学)
本文提出SKURG方法,通过实体中心融合编码器和统一检索-生成解码器解决多模态多跳问答中检索与生成割裂的问题,在MultimodalQA和WebQA上以更少参数超越现有最优模型。
2023-08-07 cs.CL cs.CV
On the Challenges and Opportunities of Learned Sparse Retrieval for Code
NAVER LABS Europe(NAVER欧洲实验室)
本文探讨了学习稀疏检索在代码检索中的挑战与机遇,提出SPLADE-Code模型,通过轻量级训练流程实现高性能代码检索,展示了稀疏检索在效率与效果上的优势。
2026-03-23 cs.CL cs.IR
Enhancing Document-Level Question Answering via Multi-Hop Retrieval-Augmented Generation with LLaMA 3
Independent Researcher(独立研究者);Cornell University(康奈尔大学);University of Southern California(南加州大学)
本文提出基于LLaMA 3的多跳检索增强生成框架,通过密集检索、上下文融合及联合优化,提升长文档问答的准确性与连贯性,实验优于现有基线。
2025-06-19 cs.CL cs.LG
RbFT: Robust Fine-tuning for Retrieval-Augmented Generation against Retrieval Defects
Tsinghua University(清华大学)
提出RbFT方法,通过两项针对性微调任务增强LLMs对检索缺陷的鲁棒性,显著提升RAG系统在多种检索条件下的表现,同时保持高推理效率与兼容性。
2025-01-30 cs.CL cs.IR
Predictive Prefetching for Retrieval-Augmented Generation
Department of Computer Science, University of Massachusetts Boston(马萨诸塞大学波士顿分校计算机科学系)
本文提出了一种先进的异步检索框架,通过预测检索触发时机和所需信息,以减少延迟并提高生成效率,同时保持回答质量。
2026-05-18 cs.AI cs.CL
Exploring Retrieval Augmented Generation in Arabic
Newgiza University(新吉萨大学)
针对阿拉伯语RAG应用研究不足的问题,本文通过全面案例研究探索检索阶段的多种语义嵌入模型与生成阶段的若干LLM,还涉及方言差异问题,证实现有模型可有效构建阿拉伯语RAG流水线。
2024-08-14 cs.AI cs.CL
Retrieval-Augmented Generation: A Comprehensive Survey of Architectures, Enhancements, and Robustness Frontiers
Independent Researcher(独立研究者)
本综述全面总结了检索增强生成(RAG)系统的架构分类与增强技术,分析了其在检索优化、解码控制等方面的进展与权衡,并指出了自适应检索与隐私保护等未来研究方向。
2025-05-28 cs.CL cs.IR
Keyphrase Generation for Scientific Document Retrieval
LS2N, Université de Nantes(南特大学LS2N实验室);National Institute of Informatics(国立信息学研究所)
序列到序列模型在关键词生成方面取得了重大进展,但它们是否足够可靠以有利于文档检索仍然是未知的。这项研究提供了经验证据表明,这样的模型可以显着提高检索性能,并介绍了一个新的外在评估框架,允许更好地了解关键词生成模型的局限性。使用这个框架,我们指出并讨论了补充文档中遇到的困难-不存在文本-关键词,并概括模型跨域。我们的代码可在https://github.com/boudinfl/ir-using-kg上获得
2021-06-28 cs.CL cs.IR
Novelty Controlled Paraphrase Generation with Retrieval Augmented Conditional Prompt Tuning
Bloomberg(彭博社)
释义生成是自然语言处理中一项基本而长期的任务。在本文中,我们集中在两个贡献的任务:(1)我们提出检索增强提示微调(RAPT)作为一个参数有效的方法,以适应大型预训练的语言模型的释义生成;(2)我们提出新颖性条件RAPT(NC-RAPT)作为一个简单的模型无关的方法,使用专门的提示令牌控制释义生成不同层次的词汇新颖性。通过在四个数据集上进行广泛的实验,我们证明了所提出的方法的有效性,保留了原始文本的语义内容,同时诱导词汇的新颖性。
2022-03-12 cs.AI cs.CL
Analysis of Plan-based Retrieval for Grounded Text Generation
Google Research(谷歌研究院);Google DeepMind(谷歌DeepMind);University of Southern California(南加州大学)
本文利用指令微调大语言模型的规划能力引导检索,以降低长文本生成中的幻觉,通过提高相关事实覆盖率,生成更具信息量且归因率更高的响应。
2024-08-20 cs.CL cs.IR
A Hybrid Retrieval-Generation Neural Conversation Model
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Carnegie Mellon University(卡内基梅隆大学);Alibaba Group(阿里巴巴集团);Microsoft Research Redmond(微软雷德蒙德研究院);Tencent AI Lab(腾讯人工智能实验室)
能够与人类用户进行多轮对话的智能个人助理系统正变得越来越受欢迎。大多数以前的研究都集中在使用基于检索或基于生成的方法来开发这样的系统。基于检索的方法具有返回流畅和信息丰富的响应的优势。然而,这些方法的性能受到响应库大小的限制。另一方面,基于生成的方法可以对任何主题产生高度一致的响应。但是,由于缺乏基础知识,所产生的反应往往是通用的,没有信息。在本文中,我们提出了一个混合神经会话模型,结合了响应检索和生成方法的优点。Twitter和Foursquare数据上的实验结果表明,该模型优于基于检索的方法和基于生成的方法(包括最近提出的知识为基础的神经会话模型)在自动评估指标和人类评估。我们希望这项研究的结果提供了新的见解,如何整合文本检索和文本生成模型构建会话系统。
2019-08-25 cs.CL cs.IR
CoaCor: Code Annotation for Code Retrieval with Reinforcement Learning
The Ohio State University(俄亥俄州立大学)
为了加速软件开发,已经进行了许多研究来帮助人们理解和重用大量可用的代码资源。两个重要的任务已经被广泛研究:代码检索,其目的是从代码库中检索与给定自然语言查询相关的代码片段,以及代码注释,其中目标是用自然语言描述来注释代码片段。尽管这两项任务近年来取得了进展,但大多数情况下是分别探讨的。在这项工作中,我们调查了一个新的角度代码注释代码检索(因此称为“CoaCor'),其中代码注释模型被训练生成一个自然语言注释,可以表示一个给定的代码片段的语义含义,并可以利用代码检索模型,以更好地区分相关的代码片段。为此,我们提出了一个基于强化学习的有效框架,它明确鼓励代码注释模型生成可用于检索任务的注释。通过大量的实验,我们表明,我们的框架生成的代码注释更详细,更有用的代码检索,他们可以进一步提高现有的代码检索模型的性能显着。
2019-03-13 cs.CL cs.IR cs.LG
Zero-shot Neural Passage Retrieval via Domain-targeted Synthetic Question Generation
Google Research(谷歌研究院)
广泛采用神经检索模型的一个主要障碍是,它们需要大量的监督训练集,以超越传统的基于术语的技术,这些技术是从原始语料库中构建的。在本文中,我们提出了一种方法,零样本学习的段落检索,使用合成的问题生成,以弥补这一差距。问题生成系统是在一般领域数据上训练的,但应用于目标领域中的文档。这使我们能够创建任意大的,但嘈杂的,特定于领域的问题通道相关性对。此外,当这是一个简单的混合术语神经模型相结合,第一阶段的检索性能可以进一步提高。经验上,我们表明,这是一个有效的策略,在没有大型训练语料库的情况下,建立神经通道检索模型。根据领域的不同,该技术甚至可以接近监督模型的准确性。
2021-01-27 cs.CL cs.IR
Entity-Conditioned Question Generation for Robust Attention Distribution in Neural Information Retrieval
UIUC(伊利诺伊大学厄巴纳-香槟分校);IBM Research AI(IBM研究院人工智能部门)
我们发现,监督神经信息检索(IR)模型很容易学习稀疏的注意力模式通过令牌,这可能会导致关键短语,包括命名实体接收低注意力权重,最终导致模型性能不佳。使用一种新的有针对性的合成数据生成方法,识别不良出席的实体和条件的生成情节上,我们教神经IR出席更均匀,更强大的所有实体在一个给定的通道。在两个公共IR基准测试中,我们实证表明,所提出的方法有助于提高模型的注意力模式和检索性能,包括在zero-shot设置。
2022-04-24 cs.CL cs.IR
SACL: Understanding and Combating Textual Bias in Code Retrieval with Semantic-Augmented Reranking and Localization
Carnegie Mellon University(卡内基梅隆大学)
本文发现当前代码检索器严重依赖表面文本特征并对文档完善的代码存在偏差,据此提出SACL框架,通过语义信息增强代码或结构知识来丰富文本并减少偏差,显著提升了代码检索与生成性能。
2025-06-26 cs.AI cs.CL
Generation-Augmented Retrieval for Open-domain Question Answering
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Azure AI(微软Azure人工智能部门);Microsoft Research(微软研究院)
我们提出了代增强检索(GAR)回答开放域的问题,它增强了查询通过文本生成的启发式发现相关的上下文,而无需外部资源作为监督。我们证明,生成的上下文大大丰富了查询的语义,并且具有稀疏表示的GAR(BM 25)实现了与DPR等最先进的稠密检索方法相当或更好的性能。我们表明,为查询生成不同的上下文是有益的,因为融合他们的结果一致地产生更好的检索精度。此外,由于稀疏表示和密集表示通常是互补的,因此GAR可以很容易地与DPR相结合,以实现更好的性能。当配备提取阅读器时,GAR在提取QA设置下对Natural Questions和TriviaQA数据集实现了最先进的性能,并且在使用相同的生成阅读器时始终优于其他检索方法。
2021-08-06 cs.CL cs.IR
Retrieval-based Goal-Oriented Dialogue Generation
Department of Computer Science, University of Copenhagen(哥本哈根大学计算机科学系)
大多数关于对话的研究都集中在开放式聊天的对话生成或目标导向对话的状态跟踪上。在这项工作中,我们探索了一种混合的方法,以目标为导向的对话生成,结合检索过去的历史与层次,神经编码器-解码器架构。我们使用Multiwoz数据集(Budzianowski等人,2018年)。我们表明,将此检索步骤添加到分层的神经编码器-解码器架构中会导致显着的改进,包括被人类评估者评为更合适和流畅的响应。最后,我们将我们的基于检索的模型与明确使用过去的对话行为信息的各种语义条件模型进行比较,并发现我们提出的模型与当前的现有技术相比具有竞争力(Chen等人,2019年),同时不要求对过去的机器行为进行明确的标签。
2019-09-30 cs.CL cs.LG
Loops On Retrieval Augmented Generation (LoRAG)
Amity Institute of Information Technology(阿米蒂信息技术学院);Amity University(阿米蒂大学)
本文提出LoRAG框架,通过引入迭代循环机制整合生成模型与检索机制,在基准数据集上显著提升了文本生成的连贯性与相关性,超越了现有最先进模型。
2024-03-18 cs.CL cs.IR
Generation-Augmented Query Expansion For Code Retrieval
Kent State University(肯特州立大学);Microsoft(微软);Georgia Institute of Technology(佐治亚理工学院)
预先训练的语言模型在代码检索任务中取得了很大的成功,其中给出了自然语言文档查询以找到最相关的现有代码片段。然而,现有的模型只关注优化的文档代码对嵌入到潜在的空间,没有外部知识的关联。在本文中,我们提出了一个生成增强的查询扩展框架。受人类检索过程的启发--在搜索之前先勾画出答案,在这项工作中,我们利用强大的代码生成模型来帮助代码检索任务。具体来说,我们证明了,而不是仅仅根据文档查询检索目标代码片段,这将是有帮助的,以增加其生成对应的文档查询-从代码生成模型生成的代码片段。据我们所知,这是第一次尝试利用代码生成模型来增强代码检索任务。我们在CodeSearchNet基准测试中取得了新的最先进的结果,并大大超过了基线。
2022-12-20 cs.AI cs.CL cs.SE
Stateful Evidence-Driven Retrieval-Augmented Generation with Iterative Reasoning
本文提出一种具有迭代推理的有状态证据驱动检索增强生成框架,通过逐步积累证据提升问答稳定性与鲁棒性,在多个基准测试中表现出色。
2026-03-25 cs.AI cs.CL
A Large Language Model-based Framework for Semi-Structured Tender Document Retrieval-Augmented Generation
School of Information Management Sun Yat-sen University Guangzhou, China;School of Information Management Sun Yat-sen University Guangzhou, China corresponding author
针对大语言模型缺乏采购专业知识的问题,提出基于检索增强技术的框架以实现专业文档生成,确保招标文档的准确性与相关性。
2024-10-04 cs.CL cs.IR
Retrieval Enhanced Model for Commonsense Generation
New York University(纽约大学);Microsoft(微软)
常识生成是一项具有挑战性的任务,即使用所提供的概念生成描述日常场景的合理句子。它对常识知识的推理和组合泛化能力的要求甚至困扰着强大的预训练语言生成模型。我们提出了一个新的框架,使用检索方法,以提高预训练和微调常识生成。我们通过概念匹配检索原型句子候选,并将其用作辅助输入。为了进行微调,我们通过可训练的句子检索器进一步提高了它的性能。我们在大规模的CommonGen基准测试上通过实验证明,我们的方法取得了新的最先进的结果。
2021-05-24 cs.AI cs.CL
R^2AG: Incorporating Retrieval Information into Retrieval Augmented Generation
School of Computer Science, South China Normal University(华南师范大学计算机学院);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
针对大语言模型与检索器间的语义鸿沟问题,提出新型增强RAG框架R^2AG,通过R^2-Former捕获检索信息并结合检索感知提示策略,在低资源冻结场景下经五个数据集验证有效提升生成效果。
2024-10-30 cs.AI cs.CL cs.IR