Question Answering for Privacy Policies: Combining Computational and Legal Perspectives
Carnegie Mellon University(卡内基梅隆大学);Penn State University(宾夕法尼亚州立大学);Fordham Law School(福特汉姆法学院)
隐私政策是冗长而复杂的文件,用户难以阅读和理解,但它们对如何收集、管理和使用用户数据具有法律效力。理想情况下,我们希望让用户能够了解对他们重要的问题,并使他们能够有选择地探索这些问题。我们目前的PrivacyQA,语料库包括1750个问题的隐私政策的移动应用程序,以及超过3500个专家注释的相关答案。我们观察到,一个强大的神经基线在PrivacyQA上的表现比人类差了近0.3 F1,这表明未来系统还有相当大的改进空间。此外,我们使用这个数据集来阐明问题可回答性的挑战,对任何问答系统都有普遍的影响。PrivacyQA语料库为问答提供了一个具有挑战性的语料库,具有真正的现实效用。
2019-11-03 cs.CL
AccurateRAG: A Framework for Building Accurate Retrieval-Augmented Question-Answering Applications
Qualcomm AI Research(高通人工智能研究)
AccurateRAG通过高效流程和本地构建能力,在问答任务中实现更高性能和新状态的SOTA表现。
2026-03-03 cs.CL
Assessing the Answerability of Queries in Retrieval-Augmented Code Generation
Nota Inc.(Nota公司)
本文提出RaCG中查询可回答性评估任务,并构建RaCGEval基准,实验显示基线模型性能仅46.7%,同时探讨了可显著提升性能的方法。
2024-11-25 cs.CL
Towards Confident Machine Reading Comprehension
AWS AI Labs(亚马逊云科技人工智能实验室);IBM Research AI(IBM人工智能研究院)
在阅读理解(RC)任务的学术基准方面已经取得了相当大的进展,最先进的模型缩小了与人类在提取问答方面的差距。SQuAD 2.0和NQ等数据集还引入了一个辅助任务,要求模型预测文本中何时没有答案。然而,在生产环境中,还需要在答案提取和“可回答性”检测时为底层RC模型的性能提供置信度估计。我们提出了一种新的预测后置信度估计模型,我们称之为Mr. C(自信先生的缩写),可以通过训练来提高系统避免做出错误预测的能力,通过曲线下面积(AUC)分数测量,该模型的改进高达4点。C先生可以从一个新的白盒功能中受益,该功能利用了底层RC模型的梯度。性能预测在域转移的情况下尤其重要(通过在SQUAD 2.0上训练RC模型并在NQ上进行评估来衡量),其中Mr. C不仅改善了AUC,而且还改善了传统的可回答性预测(通过F1中的5点改善来衡量)。
2021-02-24 cs.CL
Uncertainty Quantification in Retrieval Augmented Question Answering
University of Edinburgh(爱丁堡大学)
本研究提出通过估计检索段落的效用来量化检索增强QA模型的不确定性,训练轻量级模型预测效用,高效接近或超越采样方法。
2025-09-11 cs.CL
MARAGS: A Multi-Adapter System for Multi-Task Retrieval Augmented Generation Question Answering
Darkhive(达克海夫)
本文提出MARAGS多适配器检索增强生成系统,用于CRAG竞赛多任务问答,采用标准RAG流程与交叉编码器排序,在任务1和任务2中分别获得第二和第三名。
2024-11-04 cs.CL
PReGAN: Answer Oriented Passage Ranking with Weakly Supervised GAN
Thomson Reuters Labs(汤森路透实验室);University of Montreal(蒙特利尔大学);Huawei Poisson Lab.(华为泊松实验室);Tshinghua Univeristy(清华大学)
除了主题相关性之外,开放域类事实问答的段落排名还需要段落包含答案(可回答性)。虽然最近的一些研究已经将一些阅读能力纳入到排名器中以说明可回答性,但排名器仍然受到该领域通常可用的训练数据的噪声性质的阻碍,其将包含答案实体的任何段落视为阳性样本。然而,文章中的答案实体不一定与给定的问题相关。为了解决这个问题,我们提出了一种称为\ttt{PReGAN}的方法,用于基于生成对抗神经网络的通道重新排序,该方法除了包含主题相关性外,还包含了一个可回答性。我们的目标是迫使生成器将与主题相关并包含答案的段落排名更高。在5个公开数据集上的实验表明,\ttt{PReGAN}能够更好地对合适的段落进行排序,从而提高了问答系统的有效性,并且在不使用外部数据的情况下优于现有方法。
2022-07-05 cs.AI cs.CL cs.IR
Improving Retrieval Augmented Open-Domain Question-Answering with Vectorized Contexts
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Institute for Intelligent Computing, Alibaba Group(阿里巴巴集团智能计算研究院)
本文提出一种通用方法,利用小型编码器语言模型对上下文进行向量化编码并与原始输入交叉注意力,使大语言模型在计算需求接近基线的情况下能处理数倍长的上下文,并在多个数据集和上下文学习设置中提升开放域问答性能。
2024-12-23 cs.CL
EnComp: Lightweight Encoder-Only Context Compression for Retrieval-Augmented Question Answering
Korea Advanced Institute of Science and Technology(韩国科学技术院)
LooComp通过留一法策略提升仅编码器Transformer的查询感知上下文压缩效率,实现高效压缩与高吞吐量推理。
2026-09-24 cs.CL
IterCOMP: Reasoning-aware Adaptive Prompt Compression for Multi-hop Question Answering
Chung-Ang University(中央大学)
本文针对多跳问答中现有提示压缩方法无法捕捉多跳推理步骤的问题,提出无训练框架IterCOMP,经实验验证其可提升问答指标并减少token预算。
2026-08-17 cs.AI cs.CL
PDF Retrieval Augmented Question Answering
Saarland University(萨尔兰大学)
本文提出基于检索增强生成框架的PDF多模态问答系统,通过整合非文本元素提升复杂查询的准确性与相关性。
2026-04-07 cs.CL
Federated Retrieval Augmented Generation for Multi-Product Question Answering
Virginia Tech(弗吉尼亚理工大学);Adobe(奥多比公司)
提出MKP-QA框架,通过概率联邦搜索聚合查询与领域、段落的概率相关性,解决多产品问答中无差别查询或刚性资源选择的问题,并构建Adobe三产品数据集,显著提升检索准确率和响应质量。
2025-01-25 cs.CL
Retrieval Augmented Visual Question Answering with Outside Knowledge
University of Cambridge(剑桥大学)
外部知识视觉问答(OK-VQA)是一个具有挑战性的VQA任务,需要检索外部知识来回答有关图像的问题。最近的OK-VQA系统使用密集段落检索(DPR)从外部知识库(如维基百科)检索文档,但DPR与答案生成分开训练,对整体系统性能带来了潜在的限制。相反,我们提出了一个联合训练方案,其中包括微分DPR与答案生成集成,使系统可以在一个端到端的方式进行训练。我们的实验表明,我们的计划优于最近的OK-VQA系统具有强大的DPR检索。我们还引入了新的诊断指标来分析检索和生成如何相互作用。我们的模型的强大检索能力显着减少了训练所需的检索文档的数量,在训练所需的答案质量和计算方面产生了显着的好处。
2022-10-29 cs.CL
Quebec Automobile Insurance Question-Answering With Retrieval-Augmented Generation
Université Laval(拉瓦尔大学)
本文构建了魁北克汽车保险专业知识参考语料库及82个专家问答集,评估了GPT4-o结合RAG架构在保险问答中的表现,发现该专业知识语料库能提升自动与人工评估效果,但指出其仍存在5%至13%的虚假陈述风险,尚不足以在关键领域大规模应用。
2024-10-12 cs.CL
Retrieval-Augmented Generative Question Answering for Event Argument Extraction
The University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
事件参数提取长期以来一直被研究为基于提取方法的顺序预测问题,孤立地处理每个参数。虽然最近的工作提出了基于生成的方法来捕获交叉参数依赖,他们需要生成和后处理一个复杂的目标序列(模板)。受这些观察和最近预训练语言模型从演示示教学习的能力的启发。我们提出了一个检索增强生成QA模型(R-GQA)的事件参数提取。它检索最相似的QA对,并将其作为当前示例上下文的提示符进行增强,然后将参数解码为答案。我们的方法在各种设置(即完全监督,域转移和少量学习)中的性能都大大优于以前的方法。最后,我们提出了一种基于聚类的采样策略(JointEnc),并深入分析了不同策略对少样本学习性能的影响。这些实现可在https://www.example.com上获得github.com/xinyadu/RGQA
2022-11-14 cs.CL
CAR: Conceptualization-Augmented Reasoner for Zero-Shot Commonsense Question Answering
HKUST(香港科技大学);EPFL(洛桑联邦理工学院)
针对零样本常识问答中CSKB不完整及负例采样质量差的问题,提出概念化增强推理框架CAR,通过将知识三元组抽象为更高层次实例来扩大覆盖范围与答案空间,显著提升了零样本泛化能力并超越GPT3.5等大模型。
2023-10-20 cs.CL
BERAG: Bayesian Ensemble Retrieval-Augmented Generation for Knowledge-based Visual Question Answering
Department of Engineering(工程系)
BERAG通过将语言模型条件于单个检索文档而非单一上下文,解决检索增强生成中文档贡献不明和长上下文中的信息丢失问题,提升视觉问答任务性能。
2026-10-27 cs.CL
Bias Evaluation and Mitigation in Retrieval-Augmented Medical Question-Answering Systems
University of Pittsburgh(匹兹堡大学);School of Computing and Information, University of Pittsburgh(匹兹堡大学计算与信息学院);Clinical and Translational Science Institute, University of Pittsburgh(匹兹堡大学临床与转化科学研究所);University of Pittsburgh Medical Center(匹兹堡大学医学中心)
本研究系统评估了医学RAG问答系统在多个基准上的种族、性别等人口统计偏差,并比较了多种缓解策略,发现多数投票聚合能显著提升准确性和公平性。
2025-03-27 cs.CL
Awakening Augmented Generation: Learning to Awaken Internal Knowledge of Large Language Models for Question Answering
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Unisound(云知声)
提出唤醒增强生成(AAG)框架,通过显式与隐式唤醒机制激活LLM内部知识,无需外部资源,在开放域、封闭域及分布外泛化中表现优异。
2024-12-14 cs.CL
KaPQA: Knowledge-Augmented Product Question-Answering
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Adobe Research(奥多比研究院)
针对特定领域产品问答缺乏合适基准的问题,提出两个Adobe产品问答数据集及知识驱动的RAG-QA框架,通过查询重构引入领域知识,实验表明该方法性能提升微小,凸显了数据集的挑战性。
2024-07-22 cs.CL
Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering
KAIST(韩国科学技术院);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Amazon(亚马逊)
本文提出 KAPING 框架,通过从知识图谱检索语义相关事实并构造提示增强 LLM 输入,在无需训练的零样本设定下显著提升知识图谱问答性能。
2023-06-07 cs.CL
Retrieval augmented text-to-SQL generation for epidemiological question answering using electronic health records
Bayer AG(拜耳公司)
本文提出结合医学编码与 RAG 的端到端 text-to-SQL 方法,用于基于 EHR 和理赔数据回答流行病学问题,并在真实行业场景中验证其优于简单提示。
2024-05-16 cs.CL
OpenTable-R1: A Reinforcement Learning Augmented Tool Agent for Open-Domain Table Question Answering
OpenTable
本文提出OpenTable-R1框架,将BM25+搜索与SQLite执行工具直接嵌入大语言模型,并通过监督冷启动和Async GRPO强化学习微调4B模型,实现开放域表格问答准确率从个位数提升至0.86以上。
2025-07-02 cs.CL
Diversify-verify-adapt: Efficient and Robust Retrieval-Augmented Ambiguous Question Answering
KAIST(韩国科学技术院);Adobe Research(奥多比研究院)
针对RAG在歧义问答中单次检索质量低、迭代检索效率差的问题,提出DIVA框架,通过多样化检索、质量验证与自适应策略,在提升准确性和鲁棒性的同时增强效率。
2025-02-07 cs.CL
YA-TA: Towards Personalized Question-Answering Teaching Assistants using Instructor-Student Dual Retrieval-augmented Knowledge Fusion
Yonsei University(延世大学)
本文提出虚拟教学助手YA-TA及其DRAKE框架,通过师生双检索与知识融合生成个性化课程问答,并在真实课堂中验证其有效性。
2024-08-31 cs.CL
LLM-Assisted Question-Answering on Technical Documents Using Structured Data-Aware Retrieval Augmented Generation
Department of Electrical & Electronic Engineering, Bangladesh University of Engineering & Technology(电子与电气工程系,孟加拉国工程与技术大学)
针对传统RAG难以处理技术文档中表格和图像等结构化数据的问题,提出结合向量相似性搜索与基于Gemma-2-9b-it的RAFT微调重排序器的RAG流程,在忠实度和答案相关性上表现优异。
2025-06-29 cs.CL
End-to-End Table Question Answering via Retrieval-Augmented Generation
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM TJ Watson Research Center(IBM托马斯·J·沃森研究中心)
大多数现有的端到端的表格问答(表格QA)模型包括一个两阶段的框架,检索器从语料库中选择相关的表格候选人和读者从表格候选人中找到正确的答案。即使读者模型的准确性显着提高与最近的transformer为基础的方法,这样的框架的整体性能仍然遭受使用传统的信息检索技术作为检索器的准确性差。为了缓解这个问题,我们引入了T-RAG,一个端到端的表QA模型,其中非参数密集向量索引与BART(一个参数序列到序列模型)联合微调以生成答案令牌。对于任何自然语言问题,T-RAG利用统一的管道自动搜索表格语料库,直接从表格单元格中定位正确答案。我们将T-RAG应用于最近的开放域表QA基准测试,并证明了微调的T-RAG模型能够在端到端表QA和表检索任务中实现最先进的性能。
2022-03-30 cs.CL
LongSumEval: Question-Answering Based Evaluation and Feedback-Driven Refinement for Long Document Summarization
dept. of Information Science University of North Texas Denton, Texas, USA(信息科学系 俄克拉荷马州立大学 德顿, 德克萨斯州, 美国);dept. of Data Science University of North Texas Denton, Texas, USA(数据科学系 俄克拉荷马州立大学 德顿, 德克萨斯州, 美国)
本文提出LongSumEval框架,通过结构化问题-答案反馈连接评估与生成,提供可解释评分和可操作反馈,提升长文档摘要质量,无需重新训练即可实现自我精炼。
2026-06-23 cs.CL
Memory Augmented Sequential Paragraph Retrieval for Multi-hop Question Answering
iFLYTEK Research(科大讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK AI Research (Hebei)(科大讯飞人工智能研究院(河北))
从相关段落或文档中检索信息来回答开放域多跳问题是非常具有挑战性的。为了应对这一挑战,大多数现有的作品认为段落作为节点的图,并提出基于图的方法来检索它们。然而,在本文中,我们指出了这种方法的内在缺陷。相反,我们提出了一个新的架构,模型段落作为顺序数据,并认为多跳信息检索作为一种序列标记任务。具体来说,我们设计了一个可扩展的外部存储器来模拟段落之间的依赖关系。此外,提出了一种阈值门机制,以消除噪音段落的分心。我们评估我们的方法上完整的维基和分心子任务的HotpotQA,一个公共的文本多跳QA数据集,需要多跳信息检索。实验表明,我们的方法取得了显着的改善,在检索和下游QA任务的性能比发表的最先进的方法。
2021-02-07 cs.CL
Transformer Tafsir at QIAS 2025 Shared Task: Hybrid Retrieval-Augmented Generation for Islamic Knowledge Question Answering
QIAS 2025 Shared Task(QIAS 2025 共同任务)
该研究提出融合 BM25、稠密嵌入检索与交叉编码器重排序的三阶段混合 RAG 流程,并在 QIAS 2025 两个子任务上验证其对 Fanar、Mistral 的增强效果。
2025-09-28 cs.CL
RetrievalQA: Assessing Adaptive Retrieval-Augmented Generation for Short-form Open-Domain Question Answering
University of Technology Sydney(悉尼科技大学);University of Liverpool(利物浦大学)
本文提出RetrievalQA基准评估自适应检索增强生成,并发现现有方法依赖阈值或提示不足,进而提出无需校准与训练的TA-ARE方法以有效判断检索必要性。
2024-06-05 cs.CL
Mitigating Lost-in-Retrieval Problems in Retrieval Augmented Multi-Hop Question Answering
State Key Laboratory for Novel Software Technology, Nanjing University, China(新型软件技术国家重点实验室,南京大学,中国);University of California, Merced, USA(加州大学默塞德分校,美国);National Institute of Healthcare Data Science, Nanjing University, China(健康数据科学国家研究院,南京大学,中国)
本文揭示了检索增强多跳问答中LLM子问题分解遗漏关键实体的“迷失于检索”问题,提出渐进式检索与重写方法ChainRAG,通过逐步补全缺失实体并从句子图检索相关句子,在三个数据集和三个大模型上均有效提升了问答准确性与效率。
2025-05-28 cs.CL
Enhancing Document-Level Question Answering via Multi-Hop Retrieval-Augmented Generation with LLaMA 3
Independent Researcher(独立研究者);Cornell University(康奈尔大学);University of Southern California(南加州大学)
本文提出基于LLaMA 3的多跳检索增强生成框架,通过密集检索、上下文融合及联合优化,提升长文档问答的准确性与连贯性,实验优于现有基线。
2025-06-19 cs.CL cs.LG
BanglaMedQA and BanglaMMedBench: Evaluating Retrieval-Augmented Generation Strategies for Bangla Biomedical Question Answering
Department of Computer Science and Engineering, Islamic University of Technology(计算机科学与工程系,伊斯兰技术大学)
本文提出首个大规模孟加拉语生物医学问答数据集 BanglaMedQA 和 BanglaMMedBench,并评估多种 RAG 策略,其中智能体 RAG 结合 OCR 教材检索与动态策略选择,以 89.54% 的准确率取得最佳效果。
2025-11-06 cs.CL
Multi-Type Conversational Question-Answer Generation with Closed-ended and Unanswerable Questions
POSTECH(浦项科技大学)
会话式问答(CQA)有助于对给定上下文的增量和交互式理解,但由于数据稀缺的问题,构建CQA系统对于许多领域来说是困难的。在本文中,我们介绍了一种新的方法来合成数据的CQA与各种问题类型,包括开放式,封闭式和无法回答的问题。我们为每种问题类型设计了不同的生成流程,并将它们有效地结合在一个单一的共享框架中。此外,我们设计了一个分层的可回答性分类(分层AC)模块,提高质量的合成数据,同时获得无法回答的问题。人工检查表明,用我们的框架生成的合成数据具有与人类生成的对话非常相似的特征。在四个领域中,在我们的合成数据上训练的CQA系统确实显示出与在人类注释数据上训练的系统接近的良好性能。
2022-10-24 cs.CL
GRAF: Graph Retrieval Augmented by Facts for Romanian Legal Multi-Choice Question Answering
National University of Science and Technology POLITEHNICA Bucharest, Faculty of Automatic Control and Computers(波兰技术大学布加勒斯特分校国家科学与技术大学,自动控制与计算机学院);Technical University of Munich(慕尼黑技术大学);Paris 1 Panthéon-Sorbonne University(巴黎第一大学);University of Bucharest(布加勒斯特大学)
本文针对低资源罗马尼亚语法律多项选择题问答,提出JuRO数据集、CROL法律语料库、Law-RoG知识图谱及GRAF图检索方法,在多数设置下超越现有SOTA方法。
2025-06-05 cs.CL
Evaluating Long-Term Memory for Long-Context Question Answering
School of Informatics, The University of Edinburgh(信息学院,爱丁堡大学)
本文评估了增强记忆方法在长上下文问答任务中的效果,发现通过RAG和事件记忆可显著减少令牌使用并保持准确性。
2025-12-06 cs.CL
Rationale-Guided Retrieval Augmented Generation for Medical Question Answering
Korea University(韩国大学);Kyung Hee University(庆熙大学);AIGEN Sciences(AIGEN公司)
本文提出RAG$^2$框架,通过理由引导的过滤、查询增强和均衡检索缓解医学RAG中的上下文干扰与检索器偏差,在多个基准上显著提升医学问答性能。
2025-09-22 cs.CL
LuxSQA: Ask Me in Luxembourgish with TTS-Augmented Spoken Question Answering
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);University of Luxembourg(卢森堡大学);Trento, Italy(意大利特伦托);Esch-sur-Alzette, Luxembourg(卢森堡埃施-sur-阿尔泽特)
研究文本转语音能否为卢森堡语口语问答提供特定任务训练数据。从现有基于文本的问答资源出发,翻译问题合成口语问题并配对答案,训练参数高效架构,比较不同文本转语音系统及合成训练配置,得出多源和基于语音设计的配置性能最强。
2026-07-07 cs.CL
LongRAG: A Dual-Perspective Retrieval-Augmented Generation Paradigm for Long-Context Question Answering
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Zhipu AI(智谱AI);Tsinghua University(清华大学)
针对长上下文问答中现有模型的“中间迷失”及传统RAG的信息破坏、检索噪声问题,提出双视角即插即用范式LongRAG,在多跳数据集上性能显著优于多种基线方法。
2024-11-01 cs.CL
FoRAG: Factuality-optimized Retrieval Augmented Generation for Web-enhanced Long-form Question Answering
Ant Group(蚂蚁集团);Tsinghua University(清华大学)
本文针对网络增强型长文本问答中事实性和逻辑性不足的问题,提出提纲增强生成器与双重细粒度 RLHF 事实性优化方法,构建 FoRAG 框架,在英中基准上以远小参数规模超越 WebGPT-175B。
2024-06-19 cs.CL
RnG-KBQA: Generation Augmented Iterative Ranking for Knowledge Base Question Answering
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Salesforce Research(赛富时研究院)
现有的KBQA方法,尽管在i.i.d.测试数据通常难以归纳出涉及不可见的KB模式项的问题。先前的基于排名的方法已经在推广方面取得了一些成功,但受到覆盖问题的困扰。我们提出了RnG-KBQA,排名和生成方法KBQA,它补救了覆盖问题的生成模型,同时保持了强大的泛化能力。我们的方法首先使用一个对比排序器来排列一组通过搜索知识图谱获得的候选逻辑形式。然后,它引入了一个定制的生成模型的问题和排名靠前的候选人组成的最终逻辑形式的条件。我们在GrailQA和WebQSP数据集上取得了最新的成果。特别是,我们的方法在GrailQA排行榜上远远超过了现有的最先进的方法。此外,RnG-KBQA在流行的WebQSP基准测试中优于所有先前的方法,甚至包括使用Oracle实体链接的方法。实验结果表明,排名和生成之间的相互作用的有效性,这导致我们提出的方法在所有设置的优越性能,特别是强大的改进zero-shot泛化。
2022-03-21 cs.CL
Video Question Answering via Attribute-Augmented Attention Network Learning
Zhejiang University(浙江大学)
视频问答是视觉信息检索中的一个具有挑战性的问题,它根据问题对所引用的视频内容提供答案。然而,现有的视觉问答方法主要解决静态图像问题,这可能是无效的视频问答回答由于建模的视频内容的时间动态的不足。本文采用帧级注意力机制对视频问答进行时间动态建模,研究视频问答问题。我们提出的属性增强注意力网络学习框架,使联合帧级属性检测和统一的视频表示学习的视频问答。然后,我们将多步推理过程中,我们提出的注意力网络,以进一步提高性能。我们构建了一个大规模的视频问答数据集。我们在多项选择题和开放式视频问答任务上进行了实验,以证明所提出的方法的有效性。
2017-07-20 cs.AI cs.CL cs.CV
ChiQA: A Large Scale Image-based Real-World Question Answering Dataset for Multi-Modal Understanding
Tencent Inc.(腾讯公司)
视觉问答是自然语言和视觉理解领域的一个重要课题。然而,在大多数公共视觉问答数据集中,如VQA,CLEVR,问题是人类生成的,特定于给定的图像,如“她的眼睛是什么颜色?'.人工生成的众包问题相对简单,有时会偏向于某些实体或属性。本文介绍了一种新的基于图像的问答数据集-ChiQA。它包含了互联网用户发出的真实世界的查询,结合了几个相关的开放域图像。系统应该确定图像是否可以回答问题。与以往的VQA数据集不同,问题是真实世界的图像无关的查询,更加多样化和无偏见。与以前的图像检索或图像标题数据集相比,ChiQA不仅测量相关性,还测量可回答性,这需要更细粒度的视觉和语言推理。ChiQA包含超过4万个问题和超过20万个问题图像对。每对被分配一个三个级别的2/1/0标签,表示完美答案、部分答案和无关答案。数据分析表明,ChiQA需要对语言和视觉都有深刻的理解,包括接地,比较和阅读。我们评估了几个国家的最先进的视觉语言模型,如ALBEF,表明ChiQA仍有很大的改进空间。
2022-08-05 cs.CL cs.CV
KG2QA: Knowledge Graph-enhanced Retrieval-augmented Generation for Communication Standards Question Answering
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen, China(香港中文大学(深圳)科学与工程学院);School of Microelectronics, Xi'an Jiaotong University, China(西安交通大学微电子学院)
针对通信标准问答中专家咨询低效的问题,提出KG2QA框架,结合微调LLM与知识图谱及RAG,显著提升回答准确性与事实依据。
2025-10-15 cs.CL
SentGraph: Hierarchical Sentence Graph for Multi-hop Retrieval-Augmented Question Answering
University of Science and Technology of China(中国科学技术大学);Hefei University of Technology(合肥工业大学)
提出SentGraph,一种句子级图RAG框架,通过构建层次化句子图并建模细粒度逻辑关系,解决多跳问答中证据链不完整的问题。
2026-05-23 cs.AI cs.CL
Less is More: Rejecting Unreliable Reviews for Product Question Answering
RMIT University(皇家墨尔本理工大学);CSIRO Data61(澳大利亚联邦科学与工业研究组织Data61);The University of Melbourne(墨尔本大学)
快速准确地回答关于产品的问题对于电子商务应用非常重要。手动回答产品问题(例如,在社区问答平台上)会导致响应缓慢且无法扩展。最近的研究表明,产品评论是实时、自动产品问答(PQA)的良好来源。在文献中,PQA被表述为检索问题,其目标是搜索最相关的评论来回答给定的产品问题。在本文中,我们专注于PQA使用评论的可回答性和答案的可靠性问题。我们的调查是基于这样一种直觉,即许多问题可能无法用有限的评论来回答。当一个问题无法回答时,系统应该返回空答案,而不是提供一个不相关的评论列表,这可能对用户体验产生重大的负面影响。此外,对于可回答的问题,只有回答问题的最相关的评论才应该包含在结果中。我们提出了一个共形预测为基础的框架,以提高PQA系统的可靠性,我们拒绝不可靠的答案,使返回的结果更简洁,更准确地回答产品的问题,包括返回零答案无法回答的问题。在广泛使用的Amazon数据集上的实验显示了我们所提出的框架的令人鼓舞的结果。更广泛地说,我们的研究结果表明,一个新的和有效的应用保形方法的检索任务。
2020-07-09 cs.CL cs.IR cs.LG
Retrieval Augmented Generation Framework for the Nepali Legal Domain Question Answering
Dublin City University(都柏林城市大学)
提出首个基于检索增强生成的尼泊尔法律问答模型,利用BM25和E5模型检索案例法,实现91%的top-1精度和74%的生成答案可信度。
2026-04-20 cs.AI cs.CL
Generation-Augmented Retrieval for Open-domain Question Answering
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Azure AI(微软Azure人工智能部门);Microsoft Research(微软研究院)
我们提出了代增强检索(GAR)回答开放域的问题,它增强了查询通过文本生成的启发式发现相关的上下文,而无需外部资源作为监督。我们证明,生成的上下文大大丰富了查询的语义,并且具有稀疏表示的GAR(BM 25)实现了与DPR等最先进的稠密检索方法相当或更好的性能。我们表明,为查询生成不同的上下文是有益的,因为融合他们的结果一致地产生更好的检索精度。此外,由于稀疏表示和密集表示通常是互补的,因此GAR可以很容易地与DPR相结合,以实现更好的性能。当配备提取阅读器时,GAR在提取QA设置下对Natural Questions和TriviaQA数据集实现了最先进的性能,并且在使用相同的生成阅读器时始终优于其他检索方法。
2021-08-06 cs.CL cs.IR
TRAQ: Trustworthy Retrieval Augmented Question Answering via Conformal Prediction
University of Pennsylvania(宾夕法尼亚大学);Pohang University of Science and Technology(浦项科技大学)
本文提出TRAQ框架,利用保形预测为检索增强问答提供端到端统计正确性保证,并通过贝叶斯优化缩小预测集,实验显示集合平均减小16.2%。
2024-04-05 cs.AI cs.CL
Memory-Augmented Knowledge Fusion with Safety-Aware Decoding for Domain-Adaptive Question Answering
Independent Researcher(独立研究者);Boston University(波士顿大学);Binghamton University(伯克利大学)
KARMA通过记忆增强和安全意识解码提升领域自适应问答的准确性和安全性
2025-12-02 cs.AI cs.CL
A Question Answering Dataset for Temporal-Sensitive Retrieval-Augmented Generation
Laboratory for Big Data and Decision, National University of Defense Technology, Changsha, China(大数据与决策实验室,国防科技大学,长沙,中国);Baidu Inc., Beijing, China(百度公司,北京,中国);Department of Computer Science and Technology, Harbin Institute of Technology (Shenzhen), Shenzhen, China(计算机科学与技术系,哈尔滨工业大学(深圳),深圳,中国)
本文提出ChronoQA,一个基于30余万篇新闻构建的中文时间推理问答基准,覆盖绝对、聚合和相对时间类型及单/多文档场景,用于系统评估和推进时间敏感型RAG系统。
2025-08-17 cs.CL cs.IR
Challenges in Information-Seeking QA: Unanswerable Questions and Paragraph Retrieval
University of Washington(华盛顿大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google AI(谷歌人工智能部门)
最近的预训练语言模型“解决”了许多阅读理解基准,其中问题是通过访问证据文档来编写的。然而,包含信息寻求查询的数据集,其中在独立编写查询之后提供证据文件,仍然具有挑战性。我们分析了为什么回答信息查询更具挑战性,以及他们普遍无法回答的地方,自然问题和TyDi QA。我们的对照实验表明两个净空-段落选择和回答能力预测,即配对的证据文档是否包含查询的答案。当提供一个黄金段落并知道何时放弃回答时,现有模型很容易胜过人类注释者。然而,预测可回答性本身仍然具有挑战性。我们手动注释了六种语言中的800个无法回答的例子,说明是什么让它们难以回答。有了这些新数据,我们进行了每个类别的可回答性预测,揭示了当前数据集收集和任务制定中的问题。总之,我们的研究指出了未来研究信息寻求问答的途径,无论是数据集的创建和模型的开发。
2021-06-04 cs.CL
Analyzing performance of Retrieval Augmented Generation models for Question Answering Tasks
BRAC University(BRAC大学)
本研究针对南亚多语言场景,探究RAG模型在文化与非文化问答任务中的性能差异,提取高性能因素以优化混合RAG系统,为高效准确的问答流程设计提供方向。
2026-10-16 cs.AI cs.CL