RETRONLU: Retrieval Augmented Task-Oriented Semantic Parsing
University of Utah(犹他大学);Facebook Conversational AI(Facebook对话式AI)
虽然大型预训练语言模型在其参数中积累了大量知识,但已经证明,使用非参数检索记忆对其进行增强具有许多好处,例如提高以知识为中心的任务(例如问答)的数据效率的准确性。在本文中,我们将基于检索的建模思想应用于会话助手的多领域面向任务的语义解析问题。我们的方法,RetroNLU,扩展了一个序列到序列的模型架构与检索组件,用于获取现有的类似的例子,并提供它们作为一个额外的输入模型。特别是,我们分析了两种设置,在那里我们增加输入(a)检索最近邻话语(话语NN),和(b)地面实况语义解析最近邻话语(semparse-nn)。我们的技术优于基线方法1.5%的绝对宏观F1,特别是在低资源设置下,仅用40%的数据匹配基线模型精度。此外,我们分析了最近邻检索组件的质量,模型的敏感性和分解的语义分析不同的话语复杂度的性能。
2021-09-21 cs.CL cs.IR cs.LG
Macro Grammars and Holistic Triggering for Efficient Semantic Parsing
Stanford University(斯坦福大学)
为了从标注中学习语义分析器,学习算法必须在组合上大的逻辑形式空间中搜索与标注的标注一致的逻辑形式。我们提出了一种新的在线学习算法,搜索速度更快的训练进展。这两个关键思想是使用宏语法来缓存迄今为止发现的有用逻辑形式的抽象模式,以及基于句子相似性来有效地检索最相关的模式的整体触发。在WikiTableQuestions数据集上,我们首先扩展了现有模型的搜索空间,将最先进的准确率从38.7%提高到42.7%,然后使用宏语法和整体触发来实现11倍的加速和43.7%的准确率。
2017-08-31 cs.CL
Syntactic Question Abstraction and Retrieval for Data-Scarce Semantic Parsing
NAVER Corp.(NAVER公司)
语义解析的深度学习方法需要大量的标记数据,但注释复杂的逻辑形式是昂贵的。在这里,我们提出了句法问题抽象和检索(SQAR),一种构建神经语义解析器的方法,该方法将自然语言(NL)查询转换为SQL逻辑形式(LF),其中注释示例少于1,000个。SQAR首先通过计算NL查询之间的相似性从训练数据中检索逻辑模式,然后基于检索到的模式的词汇信息来生成最终的LF。我们通过使用WikiSQL训练数据的各种小子集训练模型来验证SQAR,与WikiSQL测试集上的先前最先进的模型相比,LF准确度提高了4.9%。我们还表明,通过使用查询相似性来检索逻辑模式,SQAR可以利用释义数据集,与仅使用WikiSQL数据训练SQAR的情况相比,LF准确率提高了5.9%。与简单的模式分类方法相比,SQAR可以在添加新示例时生成不可见的逻辑模式,而无需重新训练模型。我们还讨论了一种理想的方法来创建成本效益和强大的训练数据集时,数据分布可以近似下的数据饥饿的设置。
2020-05-01 cs.CL cs.LG
Semantic Parsing for Complex Data Retrieval: Targeting Query Plans vs. SQL for No-Code Access to Relational Databases
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文提出查询计划语言(QPL)作为SQL的替代目标,利用其模块化结构使神经语义解析器更易生成复杂查询,并通过Spider数据集实验验证,以迭代方式提升复杂组合查询的准确性。
2023-12-22 cs.CL
On the feasibility of dependency parsing of non-human sequences without a gold standard. Is evaluation possible in other species?
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);University of St Andrews(圣安德鲁斯大学);University of Michigan(密歇根大学);Western University(韦仕敦大学)
探讨无黄金标准下非人类序列依存句法分析的可行性,应用网络科学进展,发现非人类灵长类动物发声或手势序列因序列长度分布快速衰减,解析器检索正确边比例高,可无黄金标准评估,人类语言序列则不然。
2026-07-09 cs.CL
Robust Semantic Parsing with Adversarial Learning for Domain Generalization
Orange Labs(奥兰治实验室);CNRS(法国国家科学研究中心);LIS(信息与系统科学实验室)
本文讨论了在对抗框架下语义解析的泛化问题。构建对文档间可变性更健壮的模型对于在实际应用中集成语义解析技术至关重要。整个研究的根本问题是对抗学习是否可以用于训练模型在更高的抽象层次上,以增加其鲁棒性词汇和风格的variation.We建议执行语义解析与域分类对抗任务没有明确的知识域。该策略首先评估法语语料库的pedic文件,注释与FrameNet,在信息检索的角度来看,然后在PropBank语义角色标注任务的CoNLL-2005基准。我们发现,对抗性学习提高了所有模型在域内和域外数据上的泛化能力。
2019-10-01 cs.CL
Scene Graph Parsing as Dependency Parsing
National Taiwan University(台湾大学);Johns Hopkins University(约翰斯·霍普金斯大学);Hong Kong University of Science and Technology(香港科技大学)
本文研究了从文本描述中解析结构化知识图谱的问题。特别是,我们考虑场景图表示,认为对象与它们的属性和关系:这种表示已被证明是有用的各种视觉和语言应用。我们首先介绍一个替代的,但等效的边缘为中心的视图场景图连接到依赖关系解析。再加上标签和动作空间的仔细重新设计,我们将先前工作中使用的两阶段管道(通用依存句法分析,然后是简单的后处理)合并为一个,从而实现端到端的训练。我们学习的神经依赖解析器生成的场景图与我们评估集上的地面真值图的F分数相似度为49.67%,超过了之前最好的方法5%。我们进一步证明了我们学习的解析器在图像检索应用中的有效性。
2018-03-25 cs.CL cs.CV
Multi-Modal Semantic Parsing for the Interpretation of Tombstone Inscriptions
University of Groningen(格罗宁根大学)
本文提出一种基于视觉语言模型和检索增强生成的新型多模态墓碑数字化框架,将墓碑图像转换为结构化意义表示,显著提升了解读准确率并验证了鲁棒性。
2025-08-11 cs.CL cs.CV cs.MM
SPAGHETTI: Open-Domain Question Answering from Heterogeneous Data Sources with Retrieval and Semantic Parsing
Computer Science Department, Stanford University(斯坦福大学计算机科学系)
提出混合问答流水线SPAGHETTI,利用LLM增强方法整合异构知识源,在Compmix数据集上达到56.5% EM率,人工分析显示其准确率超90%,证明EM已不适合评估现代问答系统。
2024-06-01 cs.CL
Statistical versus symbolic parsing for captioned-information retrieval
我们讨论的实现问题的MARIE-1,主要是符号解析器完全实现,和MARIE-2,更多的统计分析器部分实现。他们处理了10万个图片说明的语料库。我们认为MARIE-2的混合方法应该更适合这个语料库,因为它的算法(而不是数据)更简单。
1994-08-15 cmp-lg cs.CL
Learning to Retrieve Iteratively for In-Context Learning
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft(微软);Google(谷歌)
本研究提出迭代检索框架,通过强化学习训练带状态的迭代检索器来选择ICL示例,仅新增4M参数就在多个语义解析数据集上超越现有方法,且能泛化到不同推理LLM。
2024-06-20 cs.CL
XRICL: Cross-lingual Retrieval-Augmented In-Context Learning for Cross-lingual Text-to-SQL Semantic Parsing
University of Waterloo(滑铁卢大学);Penn State University(宾夕法尼亚州立大学)
使用大语言模型的上下文学习最近在语义解析任务(如文本到SQL翻译)中显示出令人惊讶的结果。使用几个question-SQL对的示例来验证GPT-3或Codex可以产生非常好的结果,可以与最先进的基于微调的模型相媲美。然而,现有的工作主要集中在英语数据集,这是未知的大语言模型是否可以作为其他语言的竞争力的语义解析器。为了弥补这一差距,我们的工作重点是跨语言的文本到SQL的语义解析翻译非英语的话语到SQL查询的基础上的英语模式。我们考虑一个zero-shot迁移学习设置,假设我们没有任何标记的例子在目标语言(但有注释的例子在英语)。这项工作介绍了XRICL框架,学习检索相关的英语范例为一个给定的查询构造提示。我们还包括目标语言的全局翻译范例,以促进大语言模型的翻译过程。为了系统地评估我们的模型,我们构建了两个新的基准数据集,XSpider和XKaggle-dbqa,其中包括中文,越南语,波斯语和印地语的问题。我们的实验表明,XRECL有效地利用了大型预训练的语言模型,以超越现有的基线。数据和代码可在https://github.com/Impavidity/XRICL上公开获取。
2022-10-25 cs.CL
Arabic Morphosyntactic Tagging and Dependency Parsing with Large Language Models
Computational Approaches to Modeling Language Lab(语言建模方法计算实验室);New York University Abu Dhabi(纽约大学阿布扎克分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文评估了大语言模型在阿拉伯语词法句法标注和依赖解析任务中的表现,发现提示设计和示例选择对性能影响显著,专有模型在特征层面标注接近监督基线,且在依赖解析中具有竞争力。
2026-09-04 cs.CL
Decide Then Retrieve: A Training-Free Framework with Uncertainty-Guided Triggering and Dual-Path Retrieval
Baidu Inc(百度公司);The University of Hong Kong(香港大学);Peking University(北京大学)
DTR通过不确定性引导触发和双路径检索,提升问答性能并减少冗余检索。
2026-01-07 cs.CL
LED: Lexicon-Enlightened Dense Retriever for Large-Scale Retrieval
The Ohio State University(俄亥俄州立大学);Microsoft Corporation(微软公司);University of Technology Sydney(悉尼科技大学)
基于语义空间稠密表示的检索模型已成为第一阶段检索不可或缺的一个分支。这些检索器受益于表示学习向压缩全局序列级嵌入的突飞猛进。然而,他们容易忽视文本中的局部显著短语和实体提及,这些通常在第一阶段检索中起关键作用。为了缓解这一弱点,我们提出了一个密集的检索对齐性能良好的词汇感知表示模型。该方法通过弱化知识蒸馏来启发检索器,通过两个方面实现对齐:1)词典增强对比目标来挑战稠密编码器; 2)成对秩一致正则化使稠密模型的行为倾向于另一个。我们在三个公共基准上评估了我们的模型,这表明,与一个类似的词典感知检索器作为老师,我们提出的密集的可以带来一致的和显着的改进,甚至超过它的老师。此外,我们发现我们对密集回收器的改进是对标准排名蒸馏的补充,这可以进一步提升最先进的性能。
2023-03-03 cs.CL
Open Domain Question Answering over Tables via Dense Retrieval
Tel-Aviv University(特拉维夫大学);Google Research(谷歌研究院)
开放域QA的最新进展已经导致了基于稠密检索的强大模型,但仅专注于检索文本段落。在这项工作中,我们解决了开放域QA表的第一次,并表明检索可以提高检索器设计来处理表格上下文。我们提出了一个有效的预训练程序,我们的检索和提高检索质量与挖掘硬负。由于相关数据集缺失,我们提取了自然问题的子集(Kwiatkowski等人,2019年)到表QA数据集。我们发现,我们的检索器提高检索结果从72.0到81.1 recall@10和端到端的QA结果从33.8到37.7的精确匹配,超过一个BERT为基础的检索器。
2021-06-09 cs.CL
ChunkNorris: A High-Performance and Low-Energy Approach to PDF Parsing and Chunking
Wikit;Laboratoire Hubert Curien(Hubert Curien实验室);Université Jean Monnet(Jean Monnet大学);INSA Rouen Normandie(Rouen Normandie国立理工学院)
ChunkNorris通过高效启发式方法实现PDF解析与分块的高性能低能耗,优于现有技术,适用于资源受限的检索增强生成任务。
2025-11-28 cs.AI cs.CL cs.IR
Retrieve and Refine: Improved Sequence Generation Models For Dialogue
Facebook AI Research(脸书人工智能研究院)
众所周知,用于对话的序列生成模型有几个问题:它们倾向于生成简短、通用的句子,这些句子没有信息,也没有吸引力。另一方面,检索模型可以显示有趣的响应,但仅限于给定的检索集,导致错误的回复,无法调整到特定的上下文。在这项工作中,我们开发了一个模型,结合这两种方法,以避免它们的缺陷:首先检索响应,然后完善它-最后的序列生成器处理检索作为额外的上下文。在最近的CONVAI 2挑战任务中,我们展示了我们的方法在人类评估中产生优于标准检索和生成模型的响应。
2018-09-06 cs.CL
Training a Utility-based Retriever Through Shared Context Attribution for Retrieval-Augmented Language Models
State Key Lab of AI Safety, Institute of Computing Technology, CAS(人工智能安全国家重点实验室,计算技术研究所,中国科学院);Key Lab of AI Safety, Chinese Academy of Sciences(人工智能安全重点实验室,中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
SCARLet通过共享上下文归因和多任务泛化提升检索增强语言模型的检索性能。
2026-02-02 cs.CL
AgenticOCR: Parsing Only What You Need for Efficient Retrieval-Augmented Generation
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Peking University(北京大学)
AgenticOCR通过动态解析范式提升视觉文档检索增强生成系统的效率和准确性,实现按需提取和解耦检索粒度。
2026-02-27 cs.CL cs.CV
Can Small Language Models Use What They Retrieve? An Empirical Study of Retrieval Utilization Across Model Scale
研究发现小型语言模型在检索信息时存在利用瓶颈,无法有效提取答案,且上下文干扰导致错误生成,表明RAG在小模型中效果有限。
2026-03-12 cs.CL
What's the Best Way to Retrieve Slides? A Comparative Study of Multimodal, Caption-Based, and Hybrid Retrieval Techniques
Aristotle University of Thessaloniki(亚里士多德大学)
本文系统比较了视觉后期交互嵌入、视觉重排序、混合检索及基于视觉语言模型的字幕生成等多种幻灯片检索方法,发现字幕生成方案在保持检索性能的同时显著降低存储需求,为实际系统选型提供了指导。
2025-09-18 cs.CL
Fast Statistical Parsing of Noun Phrases for Document Indexing
信息检索(IR)是自然语言处理(NLP)的一个重要应用领域,人们遇到了处理大量无限制自然语言文本的真正挑战。虽然已经做出了很大的努力,将NLP技术应用于IR,但很少有NLP技术在大于几兆字节的文档集合上进行评估。许多NLP技术在处理大量文本时效率不够高,也不够健壮。本文提出了一种新的概率模型的名词短语分析,并报告了这样的分析技术,以提高文档索引的应用。使用语法分析器提供的短语,以补充单个单词的索引的有效性进行评估与250兆字节的文档集合。实验结果表明,在单个词的基础上增加句法短语进行索引,可以显著提高检索性能。
1997-02-12 cmp-lg cs.CL
To Retrieve or Not to Retrieve? Uncertainty Detection for Dynamic Retrieval Augmented Generation
Emory University(埃默里大学)
针对确定性检索不适用于长问答的问题,研究探索多种不确定性检测方法以实现动态检索增强生成,发现相关指标可在问答准确率仅略有下降的情况下将检索调用次数减少近一半,提升了检索效率。
2025-03-18 cs.AI cs.CL cs.IR
Unveil: Unified Visual-Textual Integration and Distillation for Multi-modal Document Retrieval
State Key Laboratory of General Artificial Intelligence, Peking University(北京理工大学通用人工智能国家重点实验室);School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院);Aerospace Information Research Institute, Chinese Academy of Sciences(中国科学院航空航天信息研究所);Key Laboratory of Target Cognition and Application Technology(目标认知与应用技术重点实验室);Beijing Institute of Technology(北京理工大学);Ucap Cloud(Ucap云)
提出Unveil框架,通过视觉-文本嵌入和知识蒸馏实现鲁棒的文档检索,兼顾布局与语义信息。
2026-05-23 cs.CL cs.CV
Retrieve Fast, Rerank Smart: Cooperative and Joint Approaches for Improved Cross-Modal Retrieval
Technical University of Darmstadt(达姆施塔特工业大学);University of Cambridge(剑桥大学)
当前最先进的跨模态检索方法联合处理文本和视觉输入,依赖于具有跨注意力机制的基于变换器的架构,该跨注意力机制关注图像中的所有单词和对象。虽然提供了无与伦比的检索性能,但这些模型:1)通常从头开始进行预训练,因此可扩展性较差,2)存在巨大的检索延迟和效率低下的问题,这使得它们在现实应用中不切实际。为了解决这些关键的差距,以改善和有效的跨模态检索,我们提出了一种新的微调框架,把任何预训练的文本图像多模态模型变成一个有效的检索模型。该框架基于合作检索和重新排序方法,该方法结合:1)孪生网络(即,双向编码器)以单独地对语料库的所有项进行编码,从而实现有效的初始检索,以及2)用于更细微差别的交叉编码器组件(即,更聪明的)检索到的小项目集的排序。我们还建议联合微调共享权重的两个组件,从而产生一个更有效的参数模型。我们在单语,多语言和zero-shot设置中对一系列标准跨模态检索基准进行的实验表明,与最先进的交叉编码器相比,该方法提高了准确性和巨大的效率优势。
2022-02-19 cs.CL cs.CV
Retrieve What Helps, Only When It Helps: Agentic Reinforcement Learning for Selective Retrieval-Augmented Machine Translation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊公司)
针对现有检索增强机器翻译策略统一化的问题,提出智能体强化学习框架SRAT,通过优化翻译质量学习检索决策,实验显示其在多类翻译任务上优于基线,将检索视为可学习动作更具优势。
2026-10-15 cs.AI cs.CL cs.IR
Retrieve Only Relevant Tables Whether Few or Many: Adaptive Table Retrieval Method
KAIST AI(韩国科学技术院人工智能研究所)
本文提出了一种自适应表格检索方法,根据查询需求调整检索表格数量,通过自适应阈值机制和滑动窗口重排序算法,有效解决传统top-k检索策略的局限性,提升检索和下游任务性能。
2026-04-12 cs.AI cs.CL cs.IR
CRED-SQL: Enhancing Real-world Large Scale Database Text-to-SQL Parsing through Cluster Retrieval and Execution Description
Harbin Institute of Technology, Shenzhen, China(哈尔滨工业大学(深圳));Pengcheng Laboratory, Shenzhen, China(鹏城实验室);Inspur Cloud Information Technology Co., Ltd, Jinan 250101, China(浪潮云信息技术有限公司);Guangdong Power Grid Co., Ltd, China(广东电网公司)
针对大规模数据库中文本转SQL任务存在的语义不匹配问题,提出集成聚类检索和执行描述的CRED-SQL框架,通过聚类模式检索和EDL中间表示提升性能,在SpiderUnion和BirdUnion上实现SOTA。
2025-08-20 cs.AI cs.CL
Advanced ingestion process powered by LLM parsing for RAG system
Applus+ IDIADA
针对 RAG 系统处理多模态文档的难题,提出基于 LLM 驱动 OCR 的多策略解析方法,利用节点提取、Multimodal Assembler Agent 和灵活嵌入策略增强文档理解与检索,在多个知识库上提升了答案相关性与信息忠实度。
2024-12-16 cs.AI cs.CL cs.IR
TabRAG: Improving Tabular Document Question Answering for Retrieval Augmented Generation via Structured Representations
Imperial College London(帝国理工学院)
TabRAG通过结构化表示改进表格文档问答,采用布局分割和视觉语言模型解析,提升表格问答性能。
2026-01-31 cs.AI cs.CL cs.CV
HyReC: Exploring Hybrid-based Retriever for Chinese
Huawei Technologies Ltd. Co.(华为技术有限公司)
针对中文混合检索未被充分探索的问题,提出端到端优化方法HyReC,通过整合语义并集、全局-局部感知编码器与归一化模块优化稠密与词表检索的协同,在C-MTEB基准上验证了其有效性。
2025-06-27 cs.CL cs.IR
Walk&Retrieve: Simple Yet Effective Zero-shot Retrieval-Augmented Generation via Knowledge Graph Walks
University of Mannheim(曼海姆大学)
提出Walk&Retrieve框架,通过基于知识图谱游走的图遍历和知识语言化生成语料库,实现无需微调的零样本检索增强生成,在准确性、降低幻觉及可扩展性上表现优异。
2025-05-28 cs.CL cs.IR
Ask Optimal Questions: Aligning Large Language Models with Retriever's Preference in Conversation
Korea University(韩国大学);KAIST AI(韩国科学技术院人工智能研究中心);Seoul National University(首尔国立大学);AIGEN Sciences(AIGEN科学)
针对对话式搜索中现有重写-检索方法查询重写效果不佳的问题,提出RetPO框架,通过构建含41万+重写反馈的RF collection数据集微调小模型,实现与检索器偏好对齐,性能超现有SOTA。
2025-06-16 cs.CL cs.IR
Induce, Edit, Retrieve: Language Grounded Multimodal Schema for Instructional Video Retrieval
University of Pennsylvania(宾夕法尼亚大学)
模式是复杂任务的结构化表示,可以通过允许模型将复杂任务分解为中间步骤来帮助人工智能。我们提出了一种新的系统,诱导图式从网络视频和概括他们捕捉看不见的任务,以提高视频检索性能的目标。我们的系统分为三个主要阶段:(1)给定一个具有相关视频的任务,我们使用联合视频-文本模型为任务构建一个初始模式,以将视频片段与wikiHow中的文本表示步骤相匹配;(2)我们通过利用语言模型编辑现有模式中的文本,将模式推广到看不见的任务。通过泛化,我们可以让我们的模式,以少量的学习数据,以涵盖更广泛的任务;(3)我们进行zero-shot教学视频检索与看不见的任务名称作为查询。我们的模式引导的方法优于现有的方法进行视频检索,我们证明了我们的系统诱导的模式比其他模型产生的更好。
2021-11-17 cs.CL cs.CV
DRAGIN: Dynamic Retrieval Augmented Generation based on the Information Needs of Large Language Models
Tsinghua University(清华大学);Beijing Institute of Technology(北京理工大学)
针对动态RAG在检索时机和内容上的不足,提出DRAGIN框架,基于LLM实时信息需求决定何时及检索什么,在4个数据集上取得更优性能。
2024-09-21 cs.CL cs.IR
Don't Retrieve, Generate: Prompting LLMs for Synthetic Training Data in Dense Retrieval
本文提出通过提示大型语言模型生成合成硬负样本,用于密集检索模型训练,通过在10个BEIR基准数据集上评估发现,生成模型性能不优于传统方法。
2026-05-10 cs.CL cs.IR
Predict, Then Retrieve: Cross-Instance Future-State Retrieval from Video Prefixes
Centre for AI Research, VinUniversity(VinUniversity人工智能研究中心);National University of Singapore(新加坡国立大学)
该研究提出PSR任务,构建含多数据集的基准,提出LFTR模型,发现预测而非感知是核心挑战,LFTR缩小差距且成本低,相关资源已公开。
2026-08-06 cs.CL cs.CV
Lightweight and Production-Ready PDF Visual Element Parsing
Oracle AI
本文提出一种轻量级PDF解析框架,通过空间启发式、布局分析和语义相似性结合,实现高准确率的视觉元素检测与标题关联,提升多模态RAG检索性能。
2026-04-25 cs.AI cs.CL cs.CV
When to Retrieve During Reasoning: Adaptive Retrieval for Large Reasoning Models
The University of Hong Kong(香港大学);Brain Investing Limited(Brain Investing有限公司);Stellaris AI Limited(Stellaris AI有限公司)
本文提出ReaLM-Retrieve框架,通过三方面创新解决推理模型与检索增强生成的不匹配问题,提升答案F1分数并减少检索调用次数。
2026-04-29 cs.AI cs.CL cs.IR
Writing by Memorizing: Hierarchical Retrieval-based Medical Report Generation
UC San Diego(加州大学圣地亚哥分校);Penn State University(宾夕法尼亚州立大学);Microsoft Azure Computer Vision(微软Azure计算机视觉部门)
医学报告生成是医学图像分析中最具挑战性的任务之一。虽然现有的方法已经取得了可喜的成果,他们要么需要一个预定义的模板数据库,以检索句子或忽略了医疗报告生成的分层性质。为了解决这些问题,我们提出MedWriter,它采用了一种新的分层检索机制,自动提取报告和病历级模板,用于临床准确的报告生成。MedWriter首先采用视觉语言检索~(VLR)模块来检索给定图像的最相关报告。为了保证句子之间的逻辑一致性,引入了语言检索模块(LLR),根据先前生成的描述来检索相关句子。最后,语言解码器融合图像特征和检索到的报告和句子的特征,生成有意义的医疗报告。我们通过两个数据集的自动评估和人工评估来验证我们的模型的有效性,即,Open-I和MIMIC-CXR。
2021-05-25 cs.CL cs.CV cs.IR
DeepRAG: Thinking to Retrieve Step by Step for Large Language Models
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所信息处理实验室);University of Chinese Academy of Sciences(中国科学院大学);Pattern Recognition Center, WeChat AI, Tencent Inc, China(腾讯人工智能部模式识别中心)
针对RAG中任务分解失效与冗余检索问题,本文提出DeepRAG,将检索增强推理建模为MDP并逐步自适应决定是否检索,实验显示其提升效率且准确率提高26.4%。
2025-06-08 cs.AI cs.CL cs.IR
Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所);IBM Research AI(IBM研究院人工智能部门)
提出Self-RAG框架,通过训练模型按需检索并利用反思标记进行自我评判,显著提升了大型语言模型在多种任务上的事实性与生成质量。
2023-10-17 cs.AI cs.CL cs.LG
ARMOR: Adaptive Retriever Optimization for Low-Resource Telecom Question Answering
Rensselaer Polytechnic Institute(罗切斯特理工学院);Cornell University(康奈尔大学);Samsung Research America(三星美国研究院)
针对电信问答中证据分散且资源稀缺的问题,提出ARMOR方法,通过联合优化RAG似然和InfoNCE对比目标来适配查询编码器,在固定生成器下提升检索和答案生成性能。
2026-06-29 cs.AI cs.CL cs.IR
Learning to Retrieve Videos by Asking Questions
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
大多数传统的文本到视频检索系统在静态环境中操作,即,除了用户提供的初始文本查询之外,用户和代理之间没有交互。如果初始查询有歧义,这可能是次优的,这将导致许多错误检索的视频。为了克服这一局限性,我们提出了一种新的框架,视频检索使用对话框(ViReD),它使用户能够通过多轮对话与人工智能智能体,其中用户通过回答由人工智能智能体产生的问题,细化检索结果进行交互。我们新型的多模式问题生成器学会提出问题,以最大限度地提高后续视频检索性能,使用(i)在与用户的最后一轮交互期间检索到的视频候选项和(ii)记录所有之前交互的基于文本的对话历史,以生成包含问题与视频检索相关的视觉和语言线索。此外,为了最大限度地生成信息问题,我们提出了一个信息引导监督(IGS),它引导问题生成器提出问题,这将提高后续的视频检索准确性。我们验证了我们的交互式ViReD框架的AVSD数据集的有效性,表明我们的交互式方法的性能显着优于传统的非交互式视频检索系统。我们还证明,我们提出的方法一般化到现实世界的设置,涉及与真实的人的互动,从而证明了我们的框架的鲁棒性和通用性
2022-07-16 cs.AI cs.CL cs.CV
Beyond "What to Retrieve": Uncertainty in Retrieval-Augmented Code Generation
Beihang University(北京航空航天大学)
研究存储库级代码生成中异构证据不确定性问题,提出不确定性感知框架OpenCoder,通过估计特定源不确定性来过滤和排序证据以指导相关操作,实验表明其能提高输出正确性,支持将不确定性作为可操作控制信号。
2026-07-30 cs.AI cs.CL cs.LG