Careful Selection of Knowledge to solve Open Book Question Answering
Arizona State University(亚利桑那州立大学)
开卷问答是一种基于自然语言的问答(NLQA),其中期望关于给定的开卷事实集合和关于主题的常识来回答问题。最近,一个挑战,涉及这样的QA,OpenBookQA,已被提出。与大多数其他专注于语言理解的NLQA任务不同,OpenBookQA需要更深入的推理,包括语言理解以及常识推理。在本文中,我们解决QA方面的OpenBookQA数据集,并结合最先进的语言模型与溯因信息检索(IR),信息增益为基础的重新排名,通道选择和加权评分,以达到72.0%的准确率,11.6%的改进,比目前的最先进的。
2019-07-24 cs.AI cs.CL cs.IR
Challenge Closed-book Science Exam: A Meta-learning Based Question Answering System
Lenovo Research(联想研究院)
标准化科学考试中的先前工作需要来自大型文本语料库的支持,例如来自Wikipedia或SimpleWikipedia的目标科学语料库。然而,从大型语料库中检索知识是耗时的,并且嵌入在复杂语义表示中的问题可能会干扰检索。受认知科学中的双重加工理论的启发,我们提出了一个元问答框架,其中系统1是一个直观的元分类器,系统2是一个推理模块。具体而言,该方法基于元学习方法和大语言模型BERT,能够在不依赖于外部知识库的情况下,通过从相关示例问题中学习,有效地解决科学问题。我们评估我们的方法在AI 2推理挑战(ARC),实验结果表明,元分类器产生相当大的分类性能新兴的问题类型。元分类器提供的信息显著提高了推理模块的准确率,从46.6%提高到64.2%,这与基于检索的QA方法相比具有竞争优势。
2020-04-26 cs.AI cs.CL
Real-world Conversational AI for Hotel Bookings
在本文中,我们提出了一个真实世界的对话AI系统,通过短信搜索和预订酒店。我们的架构由基于框架的对话管理系统组成,该系统调用机器学习模型来执行意图分类、命名实体识别和信息检索子任务。我们的聊天机器人已经在商业规模上部署,每天处理数万次酒店搜索。我们描述了在旅游行业开发聊天机器人的各种机遇和挑战。
2019-08-27 cs.CL cs.LG stat.ML
Zero-Shot Open-Book Question Answering
Amazon Web Services(亚马逊云科技)
开卷问答是问答任务的子集,其中系统旨在在给定的文档集合(开卷)和关于主题的常识中找到答案。本文提出了一种解决方案,用于回答来自Amazon Web Services(AWS)技术文档语料库的自然语言问题,其中没有特定于域的标记数据(zero-shot)。这些问题可以有是-否-否答案、简短答案、冗长答案或上述答案的任何组合。该解决方案包括两步架构,其中检索器查找正确的文档,提取器在检索到的文档中查找答案。我们正在为开卷QA引入一个新的测试数据集,该数据集基于AWS技术文档中的真实客户问题。在对几个基于抽取语言模型的信息检索系统和抽取器模型进行实验后,该解决方案尝试在同一遍中找到是-否-否答案和文本答案。该模型在斯坦福问答数据集- SQuAD(Rajpurkaret等人,2016)和自然问题(Kwiatkowski等人,2019)数据集。我们能够实现49%的F1和39%的端到端精确匹配分数(EM),而无需特定于领域的培训。
2021-11-22 cs.CL cs.IR cs.LG
Plot Retrieval as an Assessment of Abstract Semantic Association
Institute of Computing Technology, CAS(中国科学院计算技术研究所)
本文构建低词重叠、重抽象语义关联的标注数据集 Plot Retrieval,并通过多类检索方法与人类对比,评估 IR 模型捕捉抽象语义关联的能力。
2023-11-03 cs.CL cs.IR
Know Before You Fetch: Calibrated Retrieval-Budget Allocation for Retrieval-Augmented Generation
University of Maine at Presque Isle(缅因大学普雷斯基尔分校);Stanford University(斯坦福大学);Independent Researcher(独立研究者)
提出自适应RAG作为可校准检索预算分配,通过校准序列对数概率和前缀logit不确定性为正确性概率,实现分级上下文选择、选择性弃权和显式延迟/令牌权衡,显著提升校准质量并优化检索预算。
2026-06-29 cs.CL cs.IR
Noun-Phrase Analysis in Unrestricted Text for Information Retrieval
信息检索是自然语言处理的一个重要应用领域,人们面临着处理大量不受限制的自然语言文本的真正挑战。本文介绍了几种简单、健壮、高效的名词短语分析技术在信息检索中的应用。特别是,我们描述了一种混合的方法来提取有意义的(连续或不连续)子复合词从复杂的名词短语使用语料库统计和语言学。实验结果表明,基于这种提取的子复合词的索引提高了信息检索系统的查全率和查准率。名词短语分析技术在图书标引和主题词表自动抽取方面也有潜在的应用价值。
1996-05-13 cmp-lg cs.CL
1-PAGER: One Pass Answer Generation and Evidence Retrieval
Google Research(谷歌研究院);Google Deepmind(谷歌DeepMind)
提出首个基于单个Transformer模型一次解码完成问答与证据检索的1-Pager系统,通过受限解码增量划分语料库,性能优于闭卷模型,为归因生成和可解释神经检索提供新范式。
2023-10-25 cs.CL
Evaluation of medium-large Language Models at zero-shot closed book generative question answering
Hof University of Applied Sciences(霍夫应用科学大学)
本文评估了60亿至1000亿参数的中型语言模型在零样本闭卷生成式问答中的表现,发现最佳模型组合正确率达82.7%,超越ChatGPT,证明优质微调数据比单纯扩大参数规模更重要。
2023-07-03 cs.CL
DomainRAG: A Chinese Benchmark for Evaluating Domain-specific Retrieval-Augmented Generation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Baichuan Intelligent Technology(百川智能科技)
本文提出中文领域基准DomainRAG,在高校招生场景下从六项能力评估多种主流LLM的RAG表现,证明闭卷模型不足并指出现有RAG的改进方向。
2024-06-17 cs.CL cs.IR
LumberChunker: Long-Form Narrative Document Segmentation
INESC-ID;Instituto Superior Técnico(高等技术学院);NeuralShift AI;Carnegie Mellon University(卡内基梅隆大学)
提出LumberChunker方法,利用LLM动态分割文档以提升检索性能,并引入GutenQA基准验证其在RAG管道中优于传统分块方法和竞争基线。
2024-06-25 cs.CL cs.IR
RAGGED: Towards Informed Design of Scalable and Stable RAG Systems
Machine Learning Department, Carnegie Mellon University, Pittsburgh, USA(卡内基梅隆大学机器学习系);The Language Technologies Institute, Carnegie Mellon University, Pittsburgh, USA(卡内基梅隆大学语言技术研究所)
提出RAGGED框架系统评估RAG系统,发现阅读器对噪声的鲁棒性是决定其稳定性和可扩展性的关键,为优化检索深度和模型鲁棒性提供指导。
2025-07-16 cs.CL
Decomposing Complex Queries for Tip-of-the-tongue Retrieval
University of California Berkeley(加州大学伯克利分校);Allen Institute for AI(艾伦人工智能研究所)
本文提出一种将复杂查询分解为线索并路由至专门检索器后集成结果的框架,用于解决舌尖现象检索难题,在真实数据集上将Recall@5相对提升7%。
2023-05-24 cs.CL cs.IR
MegaRAG: Multimodal Knowledge Graph-Based Retrieval Augmented Generation
Department of Computer Science and Information Engineering, National Taiwan University(国立台湾大学计算机科学与信息工程系);Department of Mathematics, National Kaohsiung Normal University(高雄师范大学数学系);FinTech Center, National Taiwan University(国立台湾大学金融科技中心);E.SUN Financial Holding Co., Ltd.(E.SUN财务公司)
MegaRAG通过引入多模态知识图谱,提升大语言模型在跨模态推理中的内容理解能力,在文本和多模态语料中均优于现有RAG方法。
2026-04-20 cs.AI cs.CL cs.CV
A Storage-Retrieval Gap in Parametric Knowledge Graph Memory
Bosch Center for Artificial Intelligence(博世人工智能中心);LMU Munich(慕尼黑大学);University of Oslo(奥斯陆大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
该研究提出将知识图谱编译为 LoRA 适配器库的参数化知识存储方案,发现其存在存储的知识无法通过语义相似性检索的差距,为参数化知识图谱记忆的应用提供了思路并指出核心开放问题。
2026-10-30 cs.CL cs.IR cs.LG
SitEmb-v1.5: Improved Context-Aware Dense Retrieval for Semantic Association and Long Story Comprehension
HKUST(香港科技大学);WeChat AI, Tencent(腾讯微信AI);IIE-CAS(国际 Institute 中国科学院);Zhejiang University(浙江大学)
本文提出SitEmb模型,通过将短片段与更广的上下文窗口结合,提升长文档检索性能,实验表明其在书本情节检索任务中优于现有模型,且在多语言和下游任务中表现优异。
2026-04-21 cs.CL
Legal RAG Bench: an end-to-end benchmark for legal RAG
Legal RAG Bench通过评估法律RAG系统端到端性能,发现信息检索是性能的主要驱动因素,Kanon 2嵌入器显著提升了正确性和基础性。
2026-03-02 cs.CL cs.IR cs.LG
Can GPT Redefine Medical Understanding? Evaluating GPT on Biomedical Machine Reading Comprehension
inQbator AI at eviCore Healthcare(eviCore Healthcare旗下inQbator AI);Evernorth Health Services
本文在四个闭卷生物医学 MRC 基准上评估 GPT,提出隐式 RAG 提示策略,证明零样本 GPT 可超越监督模型并在两项基准上达到 SoTA。
2024-10-25 cs.AI cs.CL cs.LG
Self-Supervised Contrastive BERT Fine-tuning for Fusion-based Reviewed-Item Retrieval
University of Toronto(多伦多大学);LG Electronics(LG电子)
针对评论项检索(RIR)任务缺乏标注数据的问题,提出利用自监督对比学习微调BERT嵌入,结合物品-评论两级结构和元数据进行正负样本选择,实验证明后期融合方法显著优于其他基线。
2023-08-01 cs.CL cs.IR cs.LG
KITAB: Evaluating LLMs on Constraint Satisfaction for Information Retrieval
Microsoft Research(微软研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学)
提出KITAB数据集评估LLMs在信息检索中的约束满足能力,发现缺乏上下文时模型表现严重受限且随信息流行度降低而加剧。
2023-10-24 cs.AI cs.CL cs.IR
A Comparative Evaluation of Embeddings and LLMs in a Greek Book Publisher Setting - The CUP Dataset
ICS-FORTH(希腊计算机科学与技术研究所);Crete University Press(克里特大学出版社)
该研究提出希腊图书检索基准CUP数据集,评估稀疏、密集、混合及大语言模型辅助的检索方法,发现多语言嵌入优于希腊特定模型,混合检索最佳,还分析了不同方法在各类查询中的表现及大语言模型相关技术的效果。
2026-07-24 cs.AI cs.CL
Intrinsic Sequence-Likelihood Confidence in Retrieval-Dominated Extractive QA: Two Pre-Specified Negatives, and What They Do and Do Not Attribute
Korea Institute of Science and Technology Information (KISTI)(韩国科学技术信息研究院);University of Science and Technology (UST)(科学技术联合大学院大学)
本研究证明在检索主导的抽取式问答中,基于序列似然的置信度信号(AUC 0.65-0.81)无法带来实质增益,路由与蒸馏机制均失败,最终产出为两个预设负例及其依赖关系。
2026-10-01 cs.CL cs.IR cs.LG
Learning to Rank Context for Named Entity Recognition Using a Synthetic Dataset
Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室);Laboratoire des Sciences du Numérique de Nantes(南特数字科学实验室)
针对长文档 NER 的上下文检索缺乏监督问题,本文用 Alpaca 构造合成训练集,并训练基于 BERT 的神经上下文检索器,在 40 部英文小说第一章数据集上超过多个检索基线。
2024-04-08 cs.CL
Follow My Instruction and Spill the Beans: Scalable Data Extraction from Retrieval-Augmented Generation Systems
Harvard University(哈佛大学);Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
该研究揭示了上下文检索式RAG语言模型存在数据存储泄露漏洞,攻击者可通过提示注入提取数据,漏洞随模型规模扩大而加剧,且位置偏差消除策略可有效缓解,在生产级GPTs上验证了攻击的高成功率。
2024-10-06 cs.AI cs.CL cs.CR
BookQA: Stories of Challenges and Opportunities
The University of Melbourne(墨尔本大学);Amazon Research(亚马逊研究院);University of Edinburgh(爱丁堡大学)
我们提出了一个基于书籍全文(BookQA)的问答系统,该系统首先选择给定问题的书籍段落,然后使用记忆网络来推理和预测答案。为了提高泛化能力,我们使用从书本句子中生成的人工问题来预训练我们的记忆网络。我们的实验与最近出版的NarrativeQA语料库,对谁的问题,期望书中的字符作为答案的子集。我们的实验表明,基于BERT的检索和预训练显著提高了基线结果。同时,我们确认NarrativeQA是一个极具挑战性的数据集,需要进行新的研究以实现高精度的BookQA结果。我们分析了目前的方法的一些瓶颈,我们认为,需要更多的研究文本表示,检索相关段落,推理,包括常识知识。
2019-10-02 cs.CL
Automated Regulatory Compliance Question Answering in Financial Services with Domain-Adapted Retrieval-Augmented Generation
University of Bonn(波恩大学);Lamarr-Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习和人工智能研究所);Universitat Rovira i Virgili(罗维拉-维尔吉利大学);Fraunhofer IAIS(弗劳恩霍夫智能分析和信息系统研究所)
本研究针对金融合规问答中紧凑模型幻觉问题,提出基于LegalBERT的三阶段检索器与RAFT-LoRA生成器的领域自适应RAG流水线,在ObliQA上显著提升检索与答案质量,但发现生成增益未证明接地性且跨域迁移受限。
2026-09-25 cs.AI cs.CL
BookWorm: A Dataset for Character Description and Analysis
Institute of Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本研究提出 BookWorm 数据集,定义角色描述与分析任务,评估长上下文模型在零样本和微调设置下的表现,发现基于检索的方法优于层次化方法,微调模型在共指检索下生成最符合事实的描述。
2024-10-14 cs.AI cs.CL cs.IR
Culinary Crossroads: A RAG Framework for Enhancing Diversity in Cross-Cultural Recipe Adaptation
Aarhus University(奥胡斯大学);University of Copenhagen(哥本哈根大学);Dept. of Computer Science and Artificial Intelligence, University of Granada(格拉纳达大学计算机科学与人工智能系);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出CARRIAGE框架,通过增强检索与上下文组织来提升跨文化食谱适应的多样性,解决了RAG在生成多样化结果时的局限性。
2026-04-19 cs.AI cs.CL cs.CY
Read it in Two Steps: Translating Extremely Low-Resource Languages with Code-Augmented Grammar Books
Wangxuan Institute of Computer Technology(王轩计算机技术研究所);Peking University(北京大学)
本文研究语法书在极低资源语言翻译中的作用,提出将语法规则表示为代码函数以增强LLM的规则检索与应用能力,并通过ZhuangRules数据集验证该方法使翻译BLEU提升13.1%。
2025-06-02 cs.CL
Retrieval Enhanced Feedback via In-context Neural Error-book
School of CSE Chung-Ang University(计算机科学与工程学院 Chung-Ang 大学)
REFINE通过结构化反馈框架,系统分析并缓解多模态推理中的错误,提升推理效率和可扩展性。
2025-12-16 cs.AI cs.CL cs.LG
Birdie: Advancing State Space Models with Reward-Driven Objectives and Curricula
George Mason University(乔治梅森大学);Stanford University(斯坦福大学);Liquid AI;Archimedes AI
针对状态空间模型长程上下文内检索能力弱的问题,提出不改动架构的训练流程Birdie,结合双向处理、动态预训练目标与强化学习,显著提升检索密集型任务性能,缩小与Transformers的差距并保持计算效率。
2025-02-21 cs.AI cs.CL cs.LG
Benchmarking Large Language Models for Quebec Insurance: From Closed-Book to Retrieval-Augmented Generation
Group for Research in Artificial Intelligence of Laval University (GRAIL)(拉瓦尔大学人工智能研究组)
本文提出AEPC-QA基准测试,评估51个LLM在魁北克保险领域的闭卷和检索增强生成性能,揭示推理、RAG效果及专业化悖论等关键发现。
2026-03-08 cs.CL
Language Models as Fact Checkers?
Hong Kong University of Science and Technology(香港科技大学);Facebook AI(Facebook人工智能)
最近的工作表明,语言模型(LM)存储从预训练数据中学习到的常识和事实知识。在本文中,我们利用这种隐含的知识,创建一个有效的端到端的事实检查器,只使用一个语言模型,没有任何外部知识或显式检索组件。虽然以前的工作中提取知识的LM集中在开放领域的问答的任务,尽我们所知,这是第一次工作,研究使用语言模型作为事实检查。在一个封闭的书设置,我们表明,我们的zero-shot LM方法优于随机基线的标准发热任务,我们微调LM相比,有利的标准基线。虽然我们并没有最终优于使用显式知识库的方法,我们相信我们的探索表明,这种方法是可行的,有很大的探索空间。
2020-07-24 cs.AI cs.CL
PrismRAG: Boosting RAG Factuality with Distractor Resilience and Strategized Reasoning
Meta Reality Labs(Meta现实实验室);Meta FAIR
针对 RAG 易受半相关干扰段落影响且推理不足的问题,本文提出 PrismRAG 微调框架,通过干扰项感知问答对和推理中心训练,在 12 个基准上平均提升事实性 5.4%。
2025-07-25 cs.AI cs.CL cs.LG
The Chronicles of RAG: The Retriever, the Chunk and the Generator
本文面向巴西葡萄牙语场景,提出实现、优化和评估 RAG 的良好实践,通过多种检索方法和 GPT-4、Gemini Pro 等模型,将 MRR@10 提升 35.4%,最终相对得分从 57.88% 提升至 98.61%。
2024-01-15 cs.AI cs.CL cs.IR
Knowledge-incorporating ESIM models for Response Selection in Retrieval-based Dialog Systems
IBM Research(IBM研究院)
面向目标的对话系统可以端到端地训练,而无需手动编码特定于域的特征,在客户支持用例中显示出巨大的前景,例如航班预订、酒店预订、技术支持、学生咨询等。这些对话系统必须学会与外部域知识交互以实现期望的目标,例如向学生推荐课程,本文提出了扩展的增强型顺序推理模型(ESIM)模型:a)K-ESIM(Knowledge-ESIM),它结合了外部领域知识; b)T-ESIM(Targeted-ESIM),它利用来自相似会话的信息来提高预测精度。我们提出的模型和基线ESIM模型在最新的对话系统技术挑战赛(DSTC 7)的句子选择轨道中的Ubuntu和Advising数据集上进行了评估,其目标是从一组候选人中找到正确的下一个话语。我们的初步研究结果表明,结合外部知识来源和利用信息,从类似的对话导致性能的改善,预测下一个话语。
2019-07-11 cs.AI cs.CL cs.IR
Data Quality over Capacity: Internalizing Documents into LoRA Adapters for Closed-Book QA
研究将文档内化到LoRA适配器用于闭卷问答,发现适配器容量足够时,训练数据质量主导闭卷准确率,一次整理大幅提升准确率,确认容量趋势及秩与学习率耦合,内化适配器在低延迟下表现优于检索基线,还报告了调试LLM训练的过程。
2026-07-27 cs.AI cs.CL
CORE-T: COherent REtrieval of Tables for Text-to-SQL
Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science TU Darmstadt and National Research Center for Applied Cybersecurity ATHENE, Germany(普适知识处理实验室(UKP实验室),计算机科学系 TU Darmstadt 和应用网络安全国家研究中心 ATHENE,德国);Arizona State University(亚利桑那州立大学);University of Pennsylvania(宾夕法尼亚大学)
提出CORE-T框架,通过LLM生成元数据和预计算兼容性缓存,在无需训练的情况下从异构表集合中高效检索连贯可连接的表集合,提升表选择F1最多22.7点并减少40%的表数量。
2026-09-01 cs.AI cs.CL cs.IR
Link Prediction for Event Logs in the Process Industry
本文提出一种跨文档核心ference解决方法,用于解决过程工业中事件日志碎片化问题,提升数据质量和连接性。
2026-03-30 cs.CL cs.IR