Iteratively Prompt Pre-trained Language Models for Chain of Thought
The Ohio State University（俄亥俄州立大学）
虽然预训练的语言模型（PLM）内化了大量的世界知识，但它们已被证明无法调用这些知识来解决需要复杂和多步推理的任务。类似于人类如何为这些任务开发“思维链“，我们如何为PLM配备这样的能力？在这项工作中，我们探索了一个迭代提示框架，一个新的提示模式，逐步elaises相关知识的PLM多步推理。我们确定现有的提示方法的关键限制，即它们要么被限制到查询与一个单一的可识别的关系/谓词，或不可知的输入上下文，这使得它很难捕捉跨不同的推理步骤的变化。我们提出了一个迭代的上下文感知识别器，它解决了这些限制，通过学习动态合成提示条件下的当前步骤的上下文。在三个涉及多步推理的数据集上的实验表明了该迭代方案和上下文感知推理器设计的有效性。
2022-10-23 cs.CL
The Compressor-Retriever Architecture for Language Model OS
Georgia Institute of Technology（佐治亚理工学院）；Monash University（莫纳什大学）
本文提出compressor-retriever架构，利用基础模型前向函数实现终身上下文压缩与检索，以构建有状态的语言模型操作系统。
2024-09-02 cs.CL
Blinded by Generated Contexts: How Language Models Merge Generated and Retrieved Contexts When Knowledge Conflicts?
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文研究大语言模型在知识冲突时如何合并生成上下文与检索上下文，发现GPT-4/3.5和Llama2存在偏向生成上下文的显著偏差，并揭示了上下文相似性和检索分段破坏完整性两个关键成因。
2024-06-11 cs.AI cs.CL
Dynamic Retriever for In-Context Knowledge Editing via Policy Optimization
Rensselaer Polytechnic Institute（拉特格斯理工学院）；Bangladesh University of Engineering and Technology（孟加拉工程与技术大学）；College of William & Mary（威廉与玛丽学院）
针对现有上下文知识编辑依赖静态演示集的问题，提出DR-IKE框架，通过策略优化动态选择演示并自适应调整提示长度，在COUNTERFACT上提升编辑成功率17.1%，降低延迟41.6%。
2025-10-27 cs.CL
Structured Semantic Information Helps Retrieve Better Examples for In-Context Learning Applied to Few-Shot Relation Extraction
University of Arizona（亚利桑那大学）
提出基于句法-语义结构相似性的示例选择策略，结合大语言模型生成示例，构建混合系统提升少样本关系抽取性能。
2026-05-29 cs.CL
Learning to Retrieve In-Context Examples for Large Language Models
Microsoft Research（微软研究院）
针对大语言模型上下文学习效果依赖示例质量的问题，提出迭代训练稠密检索器的框架，通过奖励模型与知识蒸馏提升示例检索质量，在30项任务上显著提升性能且具备跨任务泛化性。
2024-01-26 cs.CL cs.IR
Retrieve-Plan-Generation: An Iterative Planning and Answering Framework for Knowledge-Intensive LLM Generation
University of Science and Technology of China（中国科学技术大学）；Anhui Conch Information Technology Engineering Co., Ltd.（安徽海螺信息技术工程有限责任公司）
针对大语言模型知识不足易出错、现有RAG方法易受无关检索内容干扰的问题，提出迭代式检索-规划-生成RPG框架，通过多任务提示调优让模型交替规划与基于相关细粒度段落生成，在5项知识密集型任务上验证了有效性。
2024-10-08 cs.CL
PRCA: Fitting Black-Box Large Language Models for Retrieval Question Answering via Pluggable Reward-Driven Contextual Adapter
Ping An Technology (Shenzhen) Co., Ltd., China（平安科技（深圳）有限公司）；New York University（纽约大学）；University of Maryland（马里兰大学）
本文提出可插拔奖励驱动上下文适配器PRCA，以黑盒方式将大语言模型适配到检索式问答框架中，通过强化学习精炼检索信息，在三个数据集上实现最高20%的性能提升。
2023-10-23 cs.CL
Learning To Retrieve Prompts for In-Context Learning
Tel Aviv University（特拉维夫大学）
上下文学习是自然语言理解中的一种新范式，其中大型预训练语言模型（LM）观察测试实例和一些训练样本作为其输入，并直接解码输出而不对其参数进行任何更新。然而，性能已被证明在很大程度上取决于所选择的训练样本（称为提示）。在这项工作中，我们提出了一个有效的方法检索提示上下文学习使用注释数据和LM。给定一个输入-输出对，我们估计输出的概率，给定输入和候选训练样本作为提示，并基于此概率将训练样本标记为正或负。然后，我们从这些数据中训练一个高效的密集检索器，该检索器用于在测试时根据提示检索训练样本。我们评估了我们的方法在三个序列到序列的任务，其中语言的话语映射到意义表示，并发现它大大优于以前的工作和多个基线全面。
2022-05-08 cs.CL cs.LG
Compositional Skill Routing for LLM Agents: Decompose, Retrieve, and Compose
Alibaba Cloud（阿里云）
提出SkillWeaver框架，通过迭代技能感知分解（SAD）将复杂查询分解为原子子任务，检索对应技能并组合为可执行计划，在CompSkillBench上验证了分解质量是主要瓶颈，SAD将分解准确率提升32.7%。
2026-06-17 cs.CL
Generate rather than Retrieve: Large Language Models are Strong Context Generators
Microsoft Cognitive Service Research（微软认知服务研究院）；University of Notre Dame（圣母大学）；University of Southern California（南加州大学）
知识密集型任务，如开放域问答（QA），需要访问大量的世界或领域知识。知识密集型任务的一种常见方法是采用先检索后阅读的管道，该管道首先从外部语料库（如维基百科）检索少量相关的上下文文档，然后根据检索到的文档预测答案。在本文中，我们提出了一个新的视角来解决知识密集型的任务，取代文档检索与大语言模型生成器。我们将我们的方法称为generate-then-read（GenRead），它首先提示一个大语言模型根据给定的问题生成上下文文档，然后读取生成的文档以生成最终答案。此外，我们提出了一种新的基于聚类的提示方法，选择不同的提示，从而在生成的文件，涵盖不同的角度，导致更好的回忆超过可接受的答案。我们对三个不同的知识密集型任务进行了广泛的实验，包括开放域QA，事实检查和对话系统。值得注意的是，GenRead在TriviaQA和WebQ上获得了71.6和54.4的精确匹配分数，显著优于最先进的检索然后读取管道DPR-FiD +4.0和+3.9，而无需从任何外部知识源检索任何文档。最后，我们证明了模型的性能可以进一步提高检索和生成相结合。我们的代码和生成的文档可以在https://github.com/wyu97/GenRead上找到。
2023-01-25 cs.AI cs.CL
Making Large Language Models Efficient Dense Retrievers
University of Amsterdam（阿姆斯特丹大学）；University of Maryland, College Park（马里兰大学 College Park 分校）；Johns Hopkins University, HLTCOE（约翰霍普金斯大学 HLTCOE）
EffiR通过粗到细的MLP压缩策略和检索特定微调，使大语言模型在保持性能的同时显著减少模型大小和推理成本。
2025-12-23 cs.CL cs.IR
HICL: Hashtag-Driven In-Context Learning for Social Media Natural Language Understanding
Hong Kong Polytechnic University（香港理工大学）；Southern University of Science and Technology（南方科技大学）；Baidu Inc.（百度公司）
针对社交媒体短文本含噪导致NLU性能下降的问题，提出HICL框架，利用话题标签对比预训练#Encoder检索主题相关帖子，并通过梯度触发词融合上下文，在七项任务上显著超越此前最优方法。
2023-08-19 cs.CL
How to Retrieve Examples in In-context Learning to Improve Conversational Emotion Recognition using Large Language Models?
Wang Feng Narayanan University of Southern California（王峰纳拉亚南美国南加州大学）
本研究探讨如何通过上下文学习中的示例检索提升大型语言模型的对话情感识别能力，提出基于随机和增强的检索策略，实验证明增强示例检索在三个数据集上均表现最优。
2025-06-28 cs.AI cs.CL
LLM2IR: simple unsupervised contrastive learning makes long-context LLM great retriever
Computer Science（计算机科学）
LLM2IR通过简单无监督对比学习将长上下文LLM转化为高效检索器，验证了上下文长度与检索能力的关系。
2025-10-31 cs.AI cs.CL cs.IR
Assessing "Implicit" Retrieval Robustness of Large Language Models
Eastern Institute of Technology（东方理工大学）；Amazon AGI（亚马逊AGI）；Saarland University（萨尔大学）；Centrum Wiskunde & Informatica（荷兰国家数学和计算机科学研究院）
本文评估大型语言模型的隐式检索鲁棒性，发现混合黄金与干扰上下文微调可增强对检索错误的鲁棒性，同时保持准确提取答案的能力，表明端到端学习足以隐式处理相关或不相关上下文，无需显式相关性判断。
2024-06-26 cs.CL
ContextClaim: A Context-Driven Paradigm for Verifiable Claim Detection
School of Electronic Engineering and Computer Science, Queen Mary University of London（伦敦玛丽女王大学电子工程与计算机科学学院）
本文提出ContextClaim范式，通过提取实体、检索维基知识并生成上下文摘要，提升可验证声明检测的可靠性，验证其在不同领域和模型设置下的有效性。
2026-08-19 cs.CL
In-context Learning with Retrieved Demonstrations for Language Models: A Survey
Arizona State University（亚利桑那州立大学）；Google Research（谷歌研究院）
本文综述了基于检索示例的语言模型上下文学习（ICL）研究，比较了检索模型、训练过程和推理算法的不同设计选择，指出该方法能提升效率、可扩展性并减少偏差。
2024-03-23 cs.AI cs.CL cs.IR
R3-RAG: Learning Step-by-Step Reasoning and Retrieval for LLMs via Reinforcement Learning
School of Computer Science, Fudan University（复旦大学计算机学院）
R3-RAG通过强化学习让大语言模型逐步推理与检索，以解决RAG中稠密检索器的瓶颈，提升答案正确性并迁移至不同检索器。
2025-10-24 cs.AI cs.CL
Hierarchical Re-ranker Retriever (HRR)
watsonx Client Engineering, IBM（IBM watsonx客户工程部门）
提出分层重排序检索器（HRR），通过句子级与512-token中间级文本块切分及重排序，并映射至2048-token父级文本块，平衡细粒度与广泛上下文，为LLM应用提供最优检索方案。
2025-03-04 cs.CL cs.IR
Dr.ICL: Demonstration-Retrieved In-context Learning
Arizona State University（亚利桑那州立大学）；Google Research（谷歌研究院）
本研究扩展了基于检索的上下文学习（ICL），证明BM25等简单相似度度量优于随机演示，并成功应用于指令微调LLM和思维链提示，同时训练了性能更优的任务特定演示检索器。
2023-05-23 cs.AI cs.CL
Mitigating Context Interference for Reliable and Efficient Search Agents
The Chinese University of Hong Kong（香港中文大学）；University College London（伦敦大学学院）；Zhejiang University（浙江大学）；The University of Hong Kong（香港大学）；The University of Edinburgh（爱丁堡大学）
本文针对多轮搜索智能体的上下文干扰问题，提出基于蒸馏的上下文优化器，将其纳入RL训练后可显著提升搜索智能体的可靠性与效率，开创了AI智能体“先优化上下文再生成”的新范式。
2026-08-12 cs.CL
Thought-Retriever: Don't Just Retrieve Raw Data, Retrieve Thoughts for Memory-Augmented Agentic Systems
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Carnegie Mellon University（卡内基梅隆大学）
本文提出Thought-Retriever，一种无需受上下文长度限制的算法，使LLM能基于任意长外部数据生成输出。通过利用历史查询生成的中间响应，构建长期记忆，提升回答能力。
2026-04-14 cs.CL cs.IR
DeepRAG: Thinking to Retrieve Step by Step for Large Language Models
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所信息处理实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Pattern Recognition Center, WeChat AI, Tencent Inc, China（腾讯人工智能部模式识别中心）
针对RAG中任务分解失效与冗余检索问题，本文提出DeepRAG，将检索增强推理建模为MDP并逐步自适应决定是否检索，实验显示其提升效率且准确率提高26.4%。
2025-06-08 cs.AI cs.CL cs.IR
Eywa: Provenance-Grounded Long-Term Memory for AI Agents
Eywa
提出Eywa架构，通过先存储证据再推导事实、验证记忆并采用确定性多路径读取（零LLM调用）实现可审计的长期记忆，在多个基准测试中取得高准确率。
2026-05-29 cs.CL
DeTriever: Decoder-representation-based Retriever for Improving NL2SQL In-Context Learning
The University of British Columbia（不列颠哥伦比亚大学）；Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）；University of Alberta（阿尔伯塔大学）
DeTriever通过学习LLM隐藏状态的加权组合来检索NL2SQL演示示例，并设计代理分数评估示例收益，在单样本任务上显著超越现有基线。
2024-06-12 cs.CL cs.IR
Training With "Paraphrasing the Original Text" Teaches LLM to Better Retrieve in Long-context Tasks
Tsinghua University（清华大学）
针对大语言模型长上下文任务中“中间迷失”的检索能力不足问题，提出在训练样本答案中加入“复述原文”部分的微调方法，在多个数据集和模型上实现了性能提升。
2024-12-12 cs.AI cs.CL
Dynamic Uncertainty Ranking: Enhancing Retrieval-Augmented In-Context Learning for Long-Tail Knowledge in LLMs
Michigan State University（密歇根州立大学）；GE Healthcare（GE医疗）；University of Michigan（密歇根大学）
本文针对大语言模型在长尾知识上的预测不确定性，提出基于强化学习的动态不确定性排序方法，通过动态调整检索样本优先级提升检索增强式上下文学习效果，在多个问答数据集上取得显著准确率提升。
2025-02-07 cs.CL
Clustered Retrieved Augmented Generation (CRAG)
AI Center of Excellence（卓越人工智能中心）；Sinch AB（辛奇公司）
针对RAG因检索上下文过长导致成本高和延迟大的问题，提出CRAG方法，通过聚类有效减少提示token数量（最高超90%）且不降低响应质量。
2024-05-24 cs.AI cs.CL
Improving Dialogue State Tracking through Combinatorial Search for In-Context Examples
Graduate School of Data Science, Seoul National University（数据科学研究生院，首尔国立大学）；Department of Computer Science and Engineering, Seoul National University（计算机科学与工程系，首尔国立大学）
本文提出CombiSearch方法，通过组合搜索评估上下文示例对DST性能的组合影响来训练检索器，在MultiWOZ上实现20倍数据效率提升和12%的DST性能上界绝对提升，并良好泛化到SGD数据集。
2025-06-03 cs.AI cs.CL cs.IR
Effective Dense Retrieval using Only In-Context Examples
University of Waterloo（滑铁卢大学）；The University of Queensland（昆士兰大学）
提出免训练的RICE方法，利用上下文示例提示LLM生成高质量稠密表示，显著提升检索准确性，无需额外训练。
2026-09-30 cs.CL cs.IR
Enrich-Retrieve-Rank: Scaling Capability Discovery Beyond In-Context Routing
Amazon AGI（亚马逊AGI）
该研究提出Enrich-Retrieve-Rank流程，将能力发现从上下文路由扩展，经实验验证其在大规模MATS组件场景下，比Full-Ctx、Search&Pick基线性能更优且成本更低，已作为多智能体平台的默认能力发现层投入生产。
2026-08-25 cs.AI cs.CL cs.IR
Zero-to-Strong Generalization: Eliciting Strong Capabilities of Large Language Models Iteratively without Gold Labels
Nanyang Technological University（南洋理工大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）；Hupan Lab（湖畔实验室）
本研究提出“零到强泛化”范式，通过迭代提示LLMs标注未标注数据并过滤高质量标签，无需金标即可逐步激发模型在下游分类与推理任务上的强大能力，实验验证其有效性并适用于多种模型规模。
2024-09-19 cs.CL cs.LG
Recall, Retrieve and Reason: Towards Better In-Context Relation Extraction
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Beijing Institute of Computer Technology and Application（北京计算机技术及应用研究所）；Interdisciplinary Applications (Southeast University), Ministry of Education（教育部东南大学交叉应用中心）
本文提出一种召回-检索-推理框架，通过提取本体知识生成有效实体对查询并检索训练样本作为示范，结合指令微调提升LLMs的上下文学习能力，在句子级关系抽取任务上取得了有竞争力或新的最先进性能。
2024-04-27 cs.AI cs.CL
Behavioral Canaries: Auditing Private Retrieved Context Usage in RL Fine-Tuning
Google（谷歌）
本文提出 Behavioral Canaries 机制，用于审计 RL 微调过程中是否非法使用受保护的检索上下文，通过行为信号检测未经授权的文档条件训练，实现 67% 的检测率。
2026-08-07 cs.CL cs.CR
Organize then Retrieve: Hierarchical Memory Navigation for Efficient Agents
Duke University（杜克大学）；Snowflake AI Research（Snowflake AI研究）
提出HORMA框架，通过构建文件系统式的层次化记忆结构并利用强化学习训练的轻量级导航代理，实现高效检索，在长时任务中提升性能并降低令牌消耗。
2026-06-11 cs.AI cs.CL cs.LG
ToolDreamer: Instilling LLM Reasoning Into Tool Retrievers
The Pennsylvania State University（宾夕法尼亚州立大学）；Bosch Research North America（博世北美研究）
ToolDreamer通过合成工具描述来改进工具检索，提升稀疏和密集检索器性能，减少LLM上下文窗口压力。
2026-03-02 cs.CL cs.IR
Learning to Retrieve User History and Generate User Profiles for Personalized Persuasiveness Prediction
Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院）
本文提出一种上下文感知的用户画像框架，通过生成查询和总结记录来提升说服预测模型性能，实验表明在Reddit数据集上显著提高预测精度。
2026-04-19 cs.AI cs.CL
Less Context, More Accuracy: A Bi-Temporal Memory Engine for LLM Agents Where a Lean Retrieved Context Beats the Full History
Independent Researcher（独立研究者）
提出一种双时间记忆引擎Engram，通过混合读取路径从约9.6k token的检索片段中回答，在LongMemEval_S上达到83.6%准确率，比完整历史（79k token）高10.4个百分点，且无错误。
2026-06-05 cs.AI cs.CL cs.IR
Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG
Google Cloud AI Research（谷歌云人工智能研究部）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
该研究发现长上下文LLM的RAG性能会随检索段落增多先升后降，难负例是关键诱因，为此提出检索重排序等免训练方法及两类微调方法，并系统分析了训练方法的设计选择。
2024-10-08 cs.AI cs.CL cs.LG
How Does the Textual Information Affect the Retrieval of Multimodal In-Context Learning?
School of Computing, National University of Singapore（新加坡国立大学计算机学院）
针对多模态上下文学习检索偏重视觉忽视文本的问题，提出监督型检索器MSIER，利用神经网络选择示例以提升学习效率，并在多任务上验证了其有效性。
2024-11-12 cs.AI cs.CL cs.CV
Eliciting In-context Retrieval and Reasoning for Long-context Large Language Models
University of Edinburgh（爱丁堡大学）；Apple（苹果公司）
针对现有长上下文基准过于简化的问题，本文提出ICR^2基准及检索微调、注意力探测和联合检索头训练方法，显著提升Mistral-7B的上下文检索推理性能。
2025-06-09 cs.AI cs.CL cs.IR
How Retrieved Context Shapes Internal Representations in RAG
Department of Computer Science, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系）
研究通过潜在表示分析检索文档类型对LLM隐藏状态的影响，揭示上下文相关性和分层处理对内部表示的影响，为RAG系统设计提供见解。
2026-04-16 cs.CL
Coupling Retrieval and Meta-Learning for Context-Dependent Semantic Parsing
Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）
在本文中，我们提出了一种方法，将检索到的数据点作为上下文相关的语义解析的支持证据，如生成源代码的类环境的条件。我们的方法自然地结合了检索模型和元学习器，前者学习从训练数据中找到相似的数据点，后者将检索到的数据点视为快速适应的伪任务。具体来说，我们的检索器是一个上下文感知的编码器-解码器模型，具有考虑上下文环境的潜在变量，我们的元学习器学习在模型不可知的元学习范式中利用检索到的数据点进行快速适应。我们在CONCODE和CSQA数据集上进行了实验，其中上下文分别指JAVA代码中的类环境和会话历史。我们使用序列到动作模型作为基本语义解析器，它在两个数据集上都具有最先进的准确性。结果表明，上下文感知检索器和元学习策略都提高了准确性，并且我们的方法比检索和编辑基线更好。
2019-06-17 cs.CL
Filtering before Iteratively Referring for Knowledge-Grounded Response Selection in Retrieval-Based Chatbots
State Key Laboratory of Cognitive Intelligence, iFLYTEK Research（科大讯飞认知智能国家重点实验室）
构建基于知识的基于检索的聊天机器人的挑战在于如何将会话建立在其背景知识上，以及如何同时将响应候选者与上下文和知识相匹配。针对这一问题，提出了一种迭代引用前过滤（FIRE）方法.该方法首先建立上下文过滤器和知识过滤器，通过全局和双向注意分别得到知识感知的上下文表示和上下文感知的知识表示。此外，与会话无关的条目被知识过滤器丢弃。之后，在上下文和响应表示之间以及在知识和响应表示之间迭代地执行引用，以便收集用于对响应候选进行评分的深度匹配特征。实验结果表明，FIRE优于以前的方法的利润率大于2.8%和4.1%的PERSONA-CHAT数据集上的原始和修改的人物角色，和利润率大于3.1%的CMU_DoG数据集上的top-1的准确性。我们还表明，消防是更可解释的可视化的知识接地过程。
2020-09-21 cs.CL
Training a Utility-based Retriever Through Shared Context Attribution for Retrieval-Augmented Language Models
State Key Lab of AI Safety, Institute of Computing Technology, CAS（人工智能安全国家重点实验室，计算技术研究所，中国科学院）；Key Lab of AI Safety, Chinese Academy of Sciences（人工智能安全重点实验室，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）
SCARLet通过共享上下文归因和多任务泛化提升检索增强语言模型的检索性能。
2026-02-02 cs.CL
ALR$^2$: A Retrieve-then-Reason Framework for Long-context Question Answering
Cohere（科here公司）；Nara Institute of Science and Technology（奈良科学技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
针对LLM在长上下文中推理能力下降及检索幻觉问题，提出两阶段“先检索后推理”框架ALR²，同时对齐检索与推理目标，在长上下文QA基准上显著超越基线。
2024-10-04 cs.CL
Reranking Passages with Coarse-to-Fine Neural Retriever Enhanced by List-Context Information
针对段落重排序中语义不完整及忽略候选间上下文信息的问题，提出由粗到细神经检索器，通过列表上下文注意力机制和缓存策略学习高效编码候选信息，并联合优化粗细排序器，实验验证了其有效性。
2024-03-21 cs.CL
Bridging the Preference Gap between Retrievers and LLMs
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Google Research（谷歌研究院）；University of Michigan（密歇根大学）
本文针对RAG中检索器与LLM偏好不一致问题，提出结合监督学习和强化学习的桥接模型，以优化检索结果与LLM上下文的连接，并在问答和个性化生成任务中验证其有效性。
2024-02-20 cs.CL
Retrieve, Read, Rerank: Towards End-to-End Multi-Document Reading Comprehension
National University of Defense Technology（国防科技大学）
本文研究了多个文本作为输入的阅读理解任务。先前的工作已经表明，检索器、读取器和重排序器的流水线可以提高整体性能。然而，流水线系统是低效的，因为输入在每个模块内被重新编码，并且不能利用上游组件来帮助下游训练。在这项工作中，我们提出了RE $^3$ QA，一个统一的问答模型，结合上下文检索，阅读理解和答案重新排序，以预测最终的答案。与以前的流水线方法不同，RE $^3$ QA在不同的组件之间共享上下文化的文本表示，并且被精心设计为使用高质量的上游输出（例如，检索的上下文或候选答案）用于直接监督下游模块（例如，读者或重新排序者）。因此，整个网络可以端到端地训练，以避免上下文不一致问题。实验表明，我们的模型优于流水线基线，并在两个版本的TriviaQA和SQuAD的两个变体上实现了最先进的结果。
2019-06-11 cs.CL
Can Language Models Actually Retrieve In-Context? Drowning in Documents at Million Token Scale
UC Berkeley（加州大学伯克利分校）；UT Austin（得克萨斯大学奥斯汀分校）
本文首次系统研究百万Token语料库上的上下文检索，提出0.6B参数的BlockSearch模型，通过注意力稀释分析引入长度感知调整，在MS MARCO和NQ上匹配稠密检索，在LIMIT上得分高出3倍。
2026-10-06 cs.CL
Mixing Mechanisms: How Language Models Retrieve Bound Entities In-Context
Blavatnik School of Computer Science and AI, Tel Aviv University（塔尔瓦大学Blavatnik计算机科学与人工智能学院）；Pr(Ai) 2 R Group（Pr(Ai) 2 R小组）；Goodfire
本文研究了语言模型在上下文中绑定并检索实体的三种机制（位置机制、词汇机制和反射机制），通过九种模型和十项绑定任务的实验揭示了它们的混合模式，并构建了一个因果模型以95%的一致性估计下一词分布。
2026-05-28 cs.CL
Retrieve & Memorize: Dialog Policy Learning with Multi-Action Memory
Sun Yat-sen University（中山大学）
对话策略学习是面向任务的对话系统的一个重要子任务，它决定了系统响应生成的内容和任务完成的程度。然而，系统动作在对话数据集中的不平衡分布通常导致难以学习生成期望的动作和响应。在本文中，我们提出了一个检索和记忆的框架，以加强学习系统的行动。特别地，我们首先设计了一个神经上下文感知检索模块，从给定的对话上下文的训练集中检索多个候选系统动作。然后，我们提出了一个记忆增强的多解码器网络来生成的候选动作的条件下的系统动作，这使得网络能够自适应地选择候选动作中的关键信息和忽略噪声。我们在大规模多领域面向任务的对话数据集MultiWOZ 2.0和MultiWOZ 2.1上进行了实验。实验结果表明，我们的方法在上下文响应生成任务中达到了几个国家的最先进的模型之间的竞争性能。
2021-06-27 cs.CL
Retrieve and Refine: Improved Sequence Generation Models For Dialogue
Facebook AI Research（脸书人工智能研究院）
众所周知，用于对话的序列生成模型有几个问题：它们倾向于生成简短、通用的句子，这些句子没有信息，也没有吸引力。另一方面，检索模型可以显示有趣的响应，但仅限于给定的检索集，导致错误的回复，无法调整到特定的上下文。在这项工作中，我们开发了一个模型，结合这两种方法，以避免它们的缺陷：首先检索响应，然后完善它-最后的序列生成器处理检索作为额外的上下文。在最近的CONVAI 2挑战任务中，我们展示了我们的方法在人类评估中产生优于标准检索和生成模型的响应。
2018-09-06 cs.CL
