To Answer or Not to Answer? Improving Machine Reading Comprehension Model with Span-based Contrastive Learning
Beike Inc.(贝壳公司)
机器阅读理解是一个困难的NLP任务,它面临着不能从文章中得到答案的问题。据观察,微妙的文字变化往往使一个可回答的问题无法回答,然而,大多数MRC模型无法识别这样的变化。为了解决这个问题,在本文中,我们提出了一个基于跨度的对比学习(spanCL)的方法,明确对比可回答的问题,他们的回答和不可回答的答案跨度水平。使用spanCL,MRC模型被迫从轻微的文字差异中感知关键的语义变化。在SQuAD 2.0数据集上的实验表明,spanCL可以显着改善基线,产生0.86-2.14的绝对EM改善。实验还表明,spanCL是一种有效的方式来利用生成的问题。
2022-08-02 cs.CL
Improving Multi-hop Knowledge Base Question Answering by Learning Intermediate Supervision Signals
Renmin University of China(中国人民大学);Singapore Management University(新加坡管理大学)
多跳知识库问答(KBQA)的目的是在知识库(KB)中找到与问题中的实体相距多跳的答案实体。一个主要的挑战是在中间步骤缺乏监督信号。因此,多跳KBQA算法只能接收最终答案的反馈,这使得学习不稳定或无效。为了应对这一挑战,我们提出了一种新的师生多跳KBQA任务的方法。在我们的方法中,学生网络的目标是找到查询的正确答案,而教师网络试图学习中间监督信号,以提高学生网络的推理能力。主要的新颖性在于教师网络的设计,我们利用正向和反向推理来增强中间实体分布的学习。通过考虑双向推理,教师网络可以产生更可靠的中间监督信号,这可以减轻虚假推理的问题。在三个基准数据集上进行的大量实验证明了该方法在KBQA任务上的有效性。复制我们分析的代码可在https://github.com/RichardHGL/WSDM2021_NSM上获得。
2021-04-07 cs.AI cs.CL
Bridging Language Gaps with Adaptive RAG: Improving Indonesian Language Question Answering
Computer Science Department(计算机科学系);School of Computer Science(计算机科学学院);Bina Nusantara University(宾厄斯大学)
本研究将自适应RAG系统应用于印度尼西亚语问答,通过机器翻译增强数据,利用复杂度分类器选择回答策略,实验发现多检索策略存在不一致性,揭示了低资源语言问答的潜力与挑战。
2025-10-24 cs.AI cs.CL
Improving Question Generation with Sentence-level Semantic Matching and Answer Position Inferring
NSF Center for Big Learning, University of Florida(佛罗里达大学NSF大数据学习中心);AI Institute, Tongdun Technology(同盾科技人工智能研究院)
以答案及其上下文作为输入,序列到序列模型在问题生成方面取得了相当大的进展。然而,我们观察到,这些方法经常生成错误的问题词或关键字,并从输入中复制与答案无关的词。我们认为缺乏全局问题语义和没有很好地利用答案位置意识是关键的根本原因。本文提出了一个神经问题生成模型,该模型包括两个具体模块:句子级语义匹配和答案位置推断。此外,我们通过利用答案感知门控融合机制来增强解码器的初始状态。实验结果表明,我们的模型优于最先进的(SOTA)模型SQuAD和MARCO数据集。由于其通用性,我们的工作也显着改善现有的模型。
2020-02-03 cs.AI cs.CL cs.LG
Improving Factual Consistency of Abstractive Summarization via Question Answering
Amazon Web Services(亚马逊云服务);Columbia University(哥伦比亚大学)
最先进的抽象摘要模型的一个常见问题是生成的摘要可能与输入文档事实上不一致。事实上,自动摘要可能会产生听起来不可信但不准确的摘要是一个主要的问题,限制了它的广泛应用。在本文中,我们提出了一种方法来解决事实的一致性摘要。我们首先提出了一个有效的自动评估指标来衡量事实的一致性,接下来,我们提出了一种新的学习算法,最大限度地提高模型训练过程中提出的度量。通过大量的实验,我们证实,我们的方法是有效的,在提高事实的一致性,甚至整体质量的摘要,判断自动指标和人类的评价。
2021-05-10 cs.AI cs.CL
Improving Zero-shot Reader by Reducing Distractions from Irrelevant Documents in Open-Domain Question Answering
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本研究提出干扰感知答案选择(DAS)方法,通过否定指令和分数调整减少不相关文档干扰,提升开放域问答中零样本阅读器的性能,并展现无需训练的强迁移能力。
2023-11-14 cs.AI cs.CL
Improving Commonsense Question Answering by Graph-based Iterative Retrieval over Multiple Knowledge Sources
Zhejiang University(浙江大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
为了促进自然语言理解,关键是要使用常识或背景知识。然而,如何在问答系统中有效地使用常识仍然在学术界和工业界的探索中。在本文中,我们提出了一种新的问答方法,通过集成多个知识源,即ConceptNet,维基百科和剑桥词典,以提高性能。更具体地说,我们首先介绍了一种新的基于图的迭代知识检索模块,它迭代地检索概念和实体相关的给定的问题,它的选择从多个知识源。之后,我们使用预先训练的语言模型来编码问题,检索知识和选择,并提出一个答案选择感知的注意力机制来融合前面模块的所有隐藏表示。最后,针对特定任务的线性分类器被用来预测答案。在CommonsenseQA数据集上的实验结果表明,该方法的性能明显优于其他竞争方法,达到了新的水平。此外,进一步的消融研究表明,基于图的迭代知识检索模块和答案选择感知注意模块在从多个知识源中检索和合成背景知识方面是有效的。
2020-11-05 cs.AI cs.CL
Improving Complex Knowledge Base Question Answering via Question-to-Action and Question-to-Question Alignment
Zhejiang University(浙江大学)
复杂的知识库问答可以通过将问题转换为预定义的动作序列来实现。然而,在自然语言和动作序列之间存在显著的语义和结构鸿沟,这使得这种转换变得困难。在本文中,我们介绍了一个增强的复杂问答框架,称为ALCQA,它通过问题到动作对齐和问题到问题对齐来缓解这一差距。我们训练一个问题重写模型来对齐问题和每个动作,并利用预训练的语言模型来隐式地对齐问题和KG工件。此外,考虑到类似的问题对应于类似的动作序列,我们检索top-k相似的问答对在推理阶段通过问题到问题对齐,并提出了一种新的奖励引导的动作序列选择策略,从候选动作序列中选择。在CQA和WQSP数据集上进行了实验,结果表明,该方法在CQA数据集上的F1度量提高了9.88%,优于现有方法.我们的源代码可在https://github.com/TTTTTTTTy/ALCQA上获得。
2022-12-26 cs.AI cs.CL
Ranking Paragraphs for Improving Answer Recall in Open-Domain Question Answering
Korea University(高丽大学)
最近,开放域问答(QA)已经与机器理解模型相结合,以在大型知识源中找到答案。由于开放域问答需要从文本语料库中检索相关文档来回答问题,其性能在很大程度上取决于文档检索器的性能。然而,由于传统的信息检索系统不能有效地获得具有高概率包含答案的文档,因此它们降低了QA系统的性能。简单地提取更多的文档会增加不相关文档的数量,这也会降低QA系统的性能。在本文中,我们介绍了段落排名检索到的文件的段落,以更高的答案召回,噪音更少。我们发现,使用段落排名器对段落进行排名并聚合答案,平均将开放域QA管道在四个开放域QA数据集上的性能提高了7.8%。
2018-10-01 cs.CL cs.LG
Improving Answer Extraction in Context-based Question Answering Systems Using LLMs
University of Science and Technology of China(中国科学技术大学)
针对现有问答系统在复杂或模糊查询下答案提取不准确的问题,提出基于微调预训练大语言模型的方法,在SQuAD1.1数据集上取得ROUGE-L 86.84%、BLEU 28.24%、BERTScore 95.38%的高性能。
2026-07-21 cs.AI cs.CL
Improving the Question Answering Quality using Answer Candidate Filtering based on Natural-Language Features
Perm National Research Polytechnic University(彼尔姆国家研究理工大学);Anhalt University of Applied Sciences(安哈尔特应用科学大学);DATEV eG
具有自然语言用户界面的软件越来越重要。然而,所包括的问答(QA)功能的质量在正确回答的问题的数量方面仍然不够。在我们的工作中,我们解决了如何通过评估自然语言输入(即,用户的问题)和输出(即,系统的答案)。我们的主要贡献是一种方法,能够识别错误的答案所提供的QA系统。因此,从候选答案列表中过滤不正确的答案可以大大提高QA质量。特别是,我们的方法已经显示出其潜力,同时在许多情况下删除了大多数不正确的答案,这大大提高了QA质量相比,系统的非过滤输出。
2021-12-10 cs.CL cs.IR
Improving Span-based Question Answering Systems with Coarsely Labeled Data
University of Washington(华盛顿大学);Google AI Language(谷歌人工智能语言部门)
我们研究的方法,以提高细粒度的简短回答问答模型,通过整合粗粒度的数据注释段落级的相关性,并表明粗注释的数据可以带来显着的性能收益。实验表明,共享表示的标准多任务学习方法并不是利用粗粒度注释的最有效方法。相反,我们可以显式地对潜在的细粒度简短答案变量进行建模,并直接优化边际对数似然,或者使用新提出的\emph{posterior distillation}学习目标。由于这些潜在变量方法可以显式访问精细任务和粗略任务之间的关系,因此它们可以从粗略监督中获得显着更大的改进。
2018-11-05 cs.CL
Improving Lexical Embeddings for Robust Question Answering
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);The Chinese University of Hong Kong(香港中文大学)
近年来,问答技术在性能上取得了显著的进步,一些问答模型的性能甚至超过了人工。然而,这些模型在真正理解语言方面的能力仍然值得怀疑,并且这些模型在面对对抗性示例时显示出局限性。为了增强QA模型的鲁棒性和泛化能力,提出了一种基于语义和上下文约束的表示增强(ESC)方法来提高词汇嵌入的鲁棒性。具体来说,我们插入扰动与语义约束和训练增强上下文表示通过上下文约束损失,以更好地区分上下文线索的正确答案。实验结果表明,该方法在四个对抗测试集上获得了显著的鲁棒性提高。
2022-02-28 cs.CL
Improving Question Answering by Commonsense-Based Pre-Training
Microsoft Research Asia(微软亚洲研究院);Sun Yat-Sen University(中山大学)
虽然神经网络方法在各种NLP任务上取得了显着的成功,但其中许多方法难以回答需要常识知识的问题。我们认为主要原因是概念之间缺乏常识性的\mbox{connections}。为了解决这个问题,我们提供了一个简单而有效的方法,利用外部常识知识库,如概念网。我们预先训练概念之间的直接和间接关系函数,并表明这些预先训练的函数可以很容易地添加到现有的神经网络模型。结果表明,将常识为基础的功能,提高了三个问答任务,需要常识推理的基线。进一步的分析表明,我们的系统\mbox{discovers},并利用有用的证据,从外部常识知识库,这是在现有的神经网络模型,并帮助得出正确的答案。
2019-03-01 cs.CL
Improving Retrieval-Based Question Answering with Deep Inference Models
University Politehnica of Bucharest(布加勒斯特理工大学)
问答是信息检索和自然语言处理的边缘领域中最重要也是最困难的应用之一,尤其是当我们谈论需要某种形式的推理来确定正确答案的复杂科学问题时。在本文中,我们提出了一种两步方法,该方法将针对问答优化的信息检索技术与用于自然语言推理的深度学习模型相结合,以解决科学领域中的多选择问答。对于每个问题-答案对,我们使用标准的基于检索的模型来找到相关的候选上下文,并将主要问题分解为两个不同的子问题。首先,使用Lucene的检索模型,根据上下文为每个候选答案分配正确性分数。其次,我们使用深度学习架构来计算候选答案是否可以从一些精心选择的上下文中推断出来,这些上下文由从知识库中检索到的句子组成。最后,所有这些求解器结合使用一个简单的神经网络来预测正确的答案。这个建议的两步模型比最好的基于检索的求解器的绝对精度超过3%。
2019-05-06 cs.CL
OLAPH: Improving Factuality in Biomedical Long-form Question Answering
Korea University(高丽大学);Upstage AI;AIGEN Sciences
本文提出MedLFQA基准数据集和OLAPH框架,通过多方面自动评估构建合成偏好集,逐步训练LLMs以减少幻觉并包含关键医学陈述,显著提升生物医学长篇问答的事实性。
2024-10-15 cs.AI cs.CL
Meta Answering for Machine Reading
Google Research(谷歌研究院);ETH Zürich(苏黎世联邦理工学院);New York University(纽约大学);University of Maryland(马里兰大学)
我们研究了一个机器阅读的框架,灵感来自现实世界的信息寻求问题,其中一个Meta问答系统与黑盒环境进行交互。该环境封装了一个基于BERT的竞争机器阅读器,提供问题的候选答案,可能还有一些上下文。为了验证我们的公式的现实性,我们要求人类扮演元回答者的角色。只需在答案周围添加一小段文字,人类就可以超越机器阅读器,提高回忆率。类似地,一个简单的机器元回答器优于环境,提高了Natural Questions数据集的精确度和召回率。该系统依赖于答案评分和条件信息选择的联合训练。
2020-04-30 cs.AI cs.CL
GermanQuAD and GermanDPR: Improving Non-English Question Answering and Passage Retrieval
deepset GmbH(deepset 公司)
面向问答(QA)的非英语机器阅读研究的一个主要挑战是缺乏标注数据集。在本文中,我们介绍了GermanQuAD,一个包含13,722个提取问题/答案对的数据集。为了提高数据集创建方法的可重复性,并促进对其他语言的QA研究,我们总结了经验教训,并评估了问题/答案对的重新表述,以加快注释过程。在GermanQuAD上训练的提取QA模型显著优于多语言模型,并且还表明机器翻译的训练数据不能完全替代目标语言中的手动注释训练数据。最后,我们展示了广泛的应用GermanQuAD通过适应GermanDPR,密集通道检索(DPR)的训练数据集,和训练和评估的第一个非英语DPR模型。
2021-04-26 cs.CL cs.LG
Think about it! Improving defeasible reasoning by first modeling the question scenario
Carnegie Mellon University(卡内基梅隆大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究院)
可废止推理是一种推理模式,其中结论可以通过考虑新的证据而被推翻。现有的关于可废止推理的认知科学文献表明,一个人在回答问题之前会形成一个问题场景的心理模型。我们的研究目标是询问神经模型是否可以在回答可撤销查询之前同样受益于设想问题场景。我们的方法是,给定一个问题,让模型首先创建一个相关影响的图,然后在回答问题时利用该图作为额外的输入。我们的系统,好奇,实现了一个新的国家的最先进的三个不同的可废止推理数据集。这一结果意义重大,因为它说明了可以通过引导系统“思考”问题并显式地对场景建模来提高性能,而不是反射性地回答。代码、数据和预训练模型位于https://github.com/madaan/thinkaboutit。
2021-10-24 cs.AI cs.CL
A Self-Improving Agent that Grows its Own DSL: Oracle-Free Operator Induction for Exact Question Answering
PayPal AI(PayPal人工智能部门)
该研究提出一种无监督的自改进智能体,通过嵌套循环在DSL中归纳算子,无需奖励、评判模型或真实标签,可扩展精确问答能力,在多领域及跨模型家族均表现出良好效果。
2026-10-16 cs.AI cs.CL
Inference Scaled GraphRAG: Improving Multi Hop Question Answering on Knowledge Graphs
North Carolina State University(北卡罗来纳州立大学);Oak Ridge National Laboratory(奥本海默国家实验室)
提出Inference-Scaled GraphRAG框架,通过结合深度思维链图遍历的顺序缩放与多数投票的并行缩放进行推理时计算缩放,显著提升了LLM在GRBench基准上的多跳问答性能。
2025-06-24 cs.AI cs.CL
Deep Learning Approaches for Improving Question Answering Systems in Hepatocellular Carcinoma Research
Virginia Tech(弗吉尼亚理工大学);Northeastern University(东北大学);University of Southern California(南加州大学);Miami University(迈阿密大学);Northern Arizona University(北亚利桑那大学)
本文探讨了基于BERT、GPT-3等大规模预训练模型的NLP问答系统在肝细胞癌研究中的应用现状与发展前景,旨在推动该领域的进一步探索。
2024-02-25 cs.AI cs.CL cs.LG
Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning
University of the Basque Country (UPV/EHU)(巴斯克地区大学(UPV/EHU));New York University (NYU)(纽约大学(NYU))
会话系统与用户的交互为部署后的改进提供了一个令人兴奋的机会,但几乎没有证据表明其可行性。在大多数应用程序中,用户无法向系统提供正确的答案,但他们能够提供二进制(正确,不正确)反馈。在本文中,我们提出了反馈加权学习的基础上重要性采样,以改善初始监督系统使用二进制用户反馈。我们对文档分类(用于开发)和会话问答数据集(如QuAC和DoQA)进行模拟实验,其中二进制用户反馈来自黄金注释。结果表明,我们的方法能够改进初始监督系统,接近完全监督系统,在域内实验(QuAC)中可以访问相同的标记示例,甚至在域外实验(DoQA)中进行匹配。我们的工作开辟了利用与真实用户的交互并在部署后改进会话系统的前景。
2020-11-01 cs.CL
Implications of Deep Circuits in Improving Quality of Quantum Question Answering
Banasthali Vidyapith(班斯塔里·维迪亚皮斯)
本文利用Qiskit中的QSVM和VQC算法对SelQA数据集进行问题分类,研究电路深度的影响,并结合基于规则的QA系统显著提升了问答质量。
2023-05-12 cs.AI cs.CL quant-ph
Improving the Robustness of QA Models to Challenge Sets with Variational Question-Answer Pair Generation
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所)
阅读理解的问答(QA)模型在分布测试集上已经达到了人类水平的准确性。然而,它们已被证明缺乏对挑战集的鲁棒性,挑战集的分布与训练集的分布不同。现有的数据增强方法通过简单地用从与挑战集相同的分布中采样的合成示例来增强训练集来缓解这个问题。然而,这些方法假设挑战集的分布是先验已知的,使得它们不太适用于看不见的挑战集。在这项研究中,我们专注于问答对生成(QAG),以减轻这个问题。虽然大多数现有的QAG方法的目的是提高合成的例子的质量,我们推测,多样性促进QAG可以减轻训练集的稀疏性,并导致更好的鲁棒性。我们提出了一个变分QAG模型,从一个段落中产生多个不同的QA对。实验结果表明,该方法可以提高12个挑战集的准确率,以及分布准确率。我们的代码和数据可在https://github.com/KazutoshiShinoda/VQAG上获得。
2021-06-04 cs.AI cs.CL cs.LG
DREAM: Improving Situational QA by First Elaborating the Situation
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
当人们回答有关特定情况的问题时,例如,“我上周期中考试作弊了。有错吗?",认知科学表明,他们在回答之前会在脑海中形成一幅关于那种情况的画面。虽然我们不知道语言模型(LM)如何回答这样的问题,我们推测,如果他们也提供了更多的细节问题的情况下,阐述"场景",他们可能会回答得更准确。为了验证这一猜想,我们训练了一个新模型DREAM,让它回答一些问题,这些问题详细描述了问题所在的场景,然后将这些详细描述作为问答(QA)模型的附加上下文。我们发现,梦想是能够创建更好的场景阐述(更准确,有用,一致)比一个代表性的国家的最先进的,zero-shot模型(金刚鹦鹉)。我们还发现,使用场景阐述作为额外的上下文提高了下游QA系统的回答准确性,包括超出通过简单地进一步微调QA系统对DREAM的训练数据。这些结果表明,增加重点阐述的情况下,可以提高系统的推理,并可能作为一种有效的方式注入新的场景为基础的知识QA模型。最后,我们的方法是中立的;我们观察到不同模型的QA性能有所改善,在参数较少的模型上有更大的收益。我们在www.example.com上公开了我们的数据集和模型。
2022-05-05 cs.AI cs.CL
Improving Health Question Answering with Reliable and Time-Aware Evidence Retrieval
Technical University of Munich(慕尼黑工业大学)
针对现有健康问答系统依赖预标注证据、难以应对新问题的局限,研究基于PubMed和检索-阅读流水线,通过优化检索文档数量、时效与引用指标,将宏F1分数最高提升10%,并指出未来研究方向。
2024-04-12 cs.AI cs.CL cs.IR
Improving Visual Question Answering by Referring to Generated Paragraph Captions
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
段落式图像标题描述图像的各个方面,而不是更常见的单句标题,仅提供图像的抽象描述。因此,这些段落标题可以包含用于诸如视觉问答之类的任务的图像的实质信息。此外,该文本信息与图像中存在的视觉信息是互补的,因为它可以讨论更抽象的概念和关于对象、事件和场景的更明确的中间符号信息,这些信息可以直接与文本问题匹配并复制到文本答案中(即,通过更容易的模态匹配)。因此,我们提出了一个组合的视觉和文本问答(VTQA)模型,它需要作为输入的段落标题以及相应的图像,并回答给定的问题的基础上,这两个输入。在我们的模型中,输入被融合以通过交叉注意提取相关信息(早期融合),然后以共识的形式再次融合(后期融合),最后期望的答案被给予额外的分数以提高选择的机会(后期融合)。实验结果表明,段落标题,即使是自动生成的(通过基于RL的编码器-解码器模型),帮助正确回答更多的视觉问题。总的来说,我们的联合模型在Visual Genome数据集上训练时,与强大的基线模型相比,显著提高了VQA性能。
2019-06-14 cs.CL
Improving Retrieval Augmented Open-Domain Question-Answering with Vectorized Contexts
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Institute for Intelligent Computing, Alibaba Group(阿里巴巴集团智能计算研究院)
本文提出一种通用方法,利用小型编码器语言模型对上下文进行向量化编码并与原始输入交叉注意力,使大语言模型在计算需求接近基线的情况下能处理数倍长的上下文,并在多个数据集和上下文学习设置中提升开放域问答性能。
2024-12-23 cs.CL
Understanding and Improving Zero-shot Multi-hop Reasoning in Generative Question Answering
Carnegie Mellon University(卡内基梅隆大学);Bosch Research(博世研究院);Amazon(亚马逊)
生成式问答(QA)模型生成问题的答案,或者仅仅基于模型的参数(闭卷设置),或者另外检索相关证据(开卷设置)。生成式QA模型可以回答一些相对复杂的问题,但它们这样做的机制仍然知之甚少。我们进行了几项研究,旨在更好地了解多跳推理能力的生成QA模型。首先,我们将多跳问题分解为多个相应的单跳问题,并发现QA模型在这些表面上相同的问题链上的答案明显不一致。其次,我们发现模型缺乏zero-shot多跳推理能力:当只在单跳问题上训练时,模型对多跳问题的泛化能力很差。最后,我们证明了通过两种方法来提高模型的zero-shot多跳推理能力是可能的,这两种方法通过对单跳问题的串联或逻辑形式(SPARQL)进行训练来近似真实的多跳自然语言(NL)问题。总之,这些结果表明,多跳推理不会在生成式QA模型中自然出现,但可以通过训练或建模技术的进步来鼓励。
2022-10-09 cs.CL
Bridging Information Gaps with Comprehensive Answers: Improving the Diversity and Informativeness of Follow-Up Questions
University of British Columbia(不列颠哥伦比亚大学);Vector Insitute(向量研究所)
本文提出一种信息鸿沟驱动的知识蒸馏流程,利用教师模型生成全面回答并识别缺失信息,扩充数据集十倍,微调小模型以提升后续问题的多样性与信息量,实验验证其有效性。
2025-09-23 cs.AI cs.CL cs.HC
Conv-CoA: Improving Open-domain Question Answering in Large Language Models via Conversational Chain-of-Action
Northwestern University(西北大学)
本文提出Conv-CoA框架,通过动态推理-检索机制、Hopfield检索器和对话式多参考置信度分数,解决开放域对话问答中的幻觉、推理弱和检索性能差问题,在五个方向和两个基准上超越23种最先进方法。
2024-05-28 cs.AI cs.CL
Improving Knowledge-aware Dialogue Generation via Knowledge Base Question Answering
South China University of Technology(华南理工大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Tencent AI Lab(腾讯人工智能实验室);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
神经网络模型通常面临将常识知识纳入开放域对话系统的挑战。在本文中,我们提出了一种新的知识感知的对话生成模型(称为transDG),转移的问题表示和知识匹配能力,从知识库问答(KBQA)任务,以促进话语理解和事实知识的选择对话生成。此外,我们提出了一个响应引导注意力和多步解码策略,以引导我们的模型专注于响应生成的相关功能。在两个基准数据集上的实验表明,该模型在生成信息丰富、流畅的对话方面具有较强的鲁棒性。我们的代码可在https://github.com/siat-nlp/TransDG上获得。
2019-12-16 cs.CL
Question Answering Against Very-Large Text Collections
问答涉及开发从大量文档集合中提取有用信息的方法。这是通过专门的搜索引擎完成的,例如Answer。答案搜索的目的是提供问题的答案,而不是列出可能包含正确答案的相关文档的页面。因此,像“埃菲尔铁塔有多高”这样的问题只会返回“325米”或“1,063英尺”。我们的任务是通过改进信息检索以及改进问题系列分析中涉及的预处理来构建Answer的当前版本。
2013-04-26 cs.CL cs.IR
Improving Vietnamese Legal Question--Answering System based on Automatic Data Enrichment
VNU University of Engineering and Technology(越南国立大学工程技术大学);National Institute of Informatics(国立信息学研究所);Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学)
针对越南语法律问答标注稀缺、预训练模型有限的问题,本文构建文章级检索式系统,并提出利用弱标注自动增强数据以提升语言模型性能,实验验证了该方法有效。
2023-06-08 cs.CL
AnswerCarefully: A Dataset for Improving the Safety of Japanese LLM Output
NII-LLMC(日本国立信息与通信技术研究所语言模型中心);Retrieva, Inc.(Retrieva公司);Kagoshima University(鹿儿岛大学)
本文提出日语大语言模型安全数据集 AnswerCarefully,包含 1,800 对需谨慎回答的问答对,覆盖日本社会文化背景下的风险类别,并通过指令微调与 12 个模型的基准评估验证其提升输出安全性且不损害通用效用的作用。
2025-06-03 cs.CL
Improving Reliability and Explainability of Medical Question Answering through Atomic Fact Checking in Retrieval-Augmented LLMs
Technical University of Munich(慕尼黑工业大学);TUM University Hospital Rechts der Isar(慕尼黑工业大学 Rechts der Isar 大学医院);German Heart Center Munich(慕尼黑德国心脏中心);Helmholtz Zentrum München(慕尼黑亥姆霍兹中心);German Consortium for Translational Cancer Research(德国转化癌症研究联盟)
通过原子事实核查提升医疗问答的可靠性与可解释性,减少幻觉并提高事实准确性。
2025-12-30 cs.AI cs.CL
MrRank: Improving Question Answering Retrieval System through Multi-Result Ranking Model
Kasikorn Labs Co., Ltd.(Kasikorn实验室有限公司);Kasikorn Business-Technology Group(Kasikorn商业技术集团);Chulalongkorn University(朱拉隆功大学)
本文提出MrRank,利用学习排序技术融合异构信息检索系统,以缓解LLM幻觉和知识过时问题,并在ReQA SQuAD上取得最先进性能。
2024-06-09 cs.CL
Improving Question Answering with Generation of NQ-like Questions
University of Maryland, College Park(马里兰大学帕克分校);IIT Kharagpur(印度理工学院克勒格布尔分校);University of Minnesota(明尼苏达大学)
问答(QA)系统需要大量的注释数据,这是昂贵的和耗时的收集。由于不同的格式和复杂性,转换现有QA基准的数据集具有挑战性。为了解决这些问题,我们提出了一种算法,通过利用数据集之间的风格转换,从Quizbowl(QB)数据集中的较长琐事问题自动生成类似于自然问题(NQ)数据集中日常人类交流的较短问题。这为我们的QA系统提供了一种自动生成更多数据的方法。为了确保数据的质量和数量,我们使用神经分类器检测和删除病态问题。我们证明,在低资源设置中,使用生成的数据提高了NQ和QB数据上的基线系统的QA性能。我们的算法提高了训练数据的可扩展性,同时保持QA系统的数据质量。
2022-10-12 cs.CL
Improving the Evaluation of Biomedical Question Answering with Few Human Preference Signals
CSIRO(联邦科学与工业研究组织);Monash University(莫纳什大学);Commonwealth Bank(联邦银行);Suncorp Bank(太阳corp银行)
该研究针对生物医学问答RAG系统评估中自动指标与人类判断不一致的问题,提出用少量人类偏好信号校准直接评估指标,所得校准指标在多数据集上优于基线方法。
2026-10-14 cs.CL cs.LG
Improving Time Sensitivity for Question Answering over Temporal Knowledge Graphs
JD AI Research(京东人工智能研究院);Alexa AI, Amazon(亚马逊Alexa人工智能部门)
基于时间知识图谱(KG)的问答有效地使用包含在时间KG中的事实来回答自然语言问题(例如,“奥巴马之前的美国总统是谁?”").这些问题通常涉及先前工作未能充分解决的三个与时间相关的挑战:1)问题通常不指定感兴趣的确切时间戳(例如,“Obama”而不是2000年); 2)时间关系中微妙的词汇差异(例如,“before”vs“after”); 3)以前的工作所建立的现成的时间KG嵌入忽略了时间戳的时间顺序,这对于回答时间顺序相关的问题至关重要。在本文中,我们提出了一个时间敏感的问答(TSQA)框架来解决这些问题。TSQA具有时间戳估计模块,用于从问题中推断未写入的时间戳。我们还采用了一个时间敏感的KG编码器,将排序信息注入到TSQA所基于的时间KG嵌入中。在减少潜在答案搜索空间的技术的帮助下,TSQA在时间KG上的问答的新基准上显著优于先前的最新技术水平,特别是在需要对时间KG中的事实进行多个推理步骤的复杂问题上实现了32%的(绝对)错误减少。
2022-03-01 cs.CL cs.LG
Continually Improving Extractive QA via Human Feedback
Cornell University(康奈尔大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究设计部署迭代方法,通过人类用户反馈持续改进抽取式QA系统,经数千次用户交互实验验证,该方法在不同数据模式下均有效,且在领域适配方面潜力显著。
2023-11-03 cs.AI cs.CL cs.LG
Improving LLM Reliability with RAG in Religious Question-Answering: MufassirQAS
Mugla Sitki Kocman University(穆拉·萨特克·科奇曼大学);Manisa Celal Bayar University(马尼萨·切拉尔·巴亚尔大学);University of Waterloo(滑铁卢大学)
MufassirQAS通过RAG方法提升LLM在宗教问答中的可靠性,提供透明和准确的回应。
2025-12-09 cs.AI cs.CL
Fine-tuning Large Language Models for Improving Factuality in Legal Question Answering
School of Software Technology, Zhejiang University(浙江大学软件学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
针对法律问答领域大语言模型的幻觉问题,研究团队推出LegalHalBench基准及相关评估指标,提出结合行为克隆和HIPO的幻觉缓解方法,经真实数据实验验证,在多项新旧指标上均实现显著提升。
2025-01-11 cs.CL
Improving Question Generation With to the Point Context
The Chinese University of Hong Kong(香港中文大学);Alibaba DAMO Academy(阿里巴巴达摩院)
问题生成(Question generation,QG)是从参考句子和句子中指定的答案生成问题的任务。QG的一个主要挑战是识别与答案相关的上下文词,以完成陈述句到疑问句的转换。现有的序列到序列神经模型通过基于邻近度的答案位置编码来实现这一目标,直觉是答案的相邻单词具有很高的可能性是答案相关的。然而,这种直觉可能并不适用于所有情况,特别是对于具有复杂答案相关关系的句子。因此,当答案片段与也出现在地面事实问题中的其他非停止句单词之间的相对距离增加时,这些模型的性能急剧下降。为了解决这个问题,我们提出了一种方法来联合建模非结构化句子和结构化答案相关关系(提前从句子中提取)以生成问题。具体地说,结构化的答案相关关系充当到点的上下文,因此它自然有助于保持生成的问题的点,而非结构化的句子提供了完整的信息。大量的实验表明,到点上下文帮助我们的问题生成模型实现了几个自动评估指标的显着改善。此外,我们的模型是能够产生不同的问题,一个句子,它传达了多种关系的答案片段。
2019-10-24 cs.CL cs.LG
Improving Attributed Long-form Question Answering with Intent Awareness
Allen Institute for AI(艾伦人工智能研究所);Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学)
本文提出通过增强模型意图意识来提升长报告生成质量,通过结构化标签方案提取隐含意图,改进零样本生成能力并生成高质量合成数据,实验显示在科学报告生成任务中模型性能平均提升2.9和12.3个百分点。
2026-08-10 cs.AI cs.CL
FusionMind -- Improving question and answering with external context fusion
Georgia Institute of Technology(佐治亚理工学院)
本文提出FusionMind,通过将外部知识事实融入上下文编码来改进问答性能,实验证明整合知识事实比单纯添加知识图谱对提升问答效果更具影响力。
2023-12-31 cs.CL
UTSA-NLP at ArchEHR-QA 2025: Improving EHR Question Answering via Self-Consistency Prompting
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文提出一种基于大语言模型的两步 EHR 问答方法,通过少样本提示、自洽性与阈值化改进相关句子选择,并发现 8B 模型优于 70B 模型,验证了准确句子选择对生成高质量临床回复的关键作用。
2025-06-05 cs.CL
TabRAG: Improving Tabular Document Question Answering for Retrieval Augmented Generation via Structured Representations
Imperial College London(帝国理工学院)
TabRAG通过结构化表示改进表格文档问答,采用布局分割和视觉语言模型解析,提升表格问答性能。
2026-01-31 cs.AI cs.CL cs.CV
Improving Embedded Knowledge Graph Multi-hop Question Answering by introducing Relational Chain Reasoning
Shanghai University(上海大学);Beijing University of Technology(北京工业大学);Engineering Research Center of Intelligence Perception and Autonomous Control, Ministry of Education(教育部智能感知与自主控制工程研究中心)
知识图问答(Knowledge Graph知识图谱,KGQA)是通过识别主题实体与答案之间的推理关系,从知识图谱中回答用户提出的问题。作为KGQA的一个复杂分支任务,多跳KGQA需要在KG中保存的多跳关系链上进行推理以获得正确答案。尽管最近取得了成功,但现有的回答多跳复杂问题的工作仍然面临着以下挑战:i)缺乏反映在用户问题中的显式关系链顺序,这源于对用户意图的误解。ii)由于昂贵的标记成本,在数据集缺乏中间推理链注释的弱监督下不正确地捕获关系类型。(3)基于子图检索的算法由于邻域大小的限制,没有考虑结构化KG中隐含的主题实体和答案之间的隐含关系,针对多跳KGQA中的这些问题,本文提出了一种新的模型,即基于关系链的嵌入式KGQA(Rce-KGQA),该方法同时利用自然语言问题中揭示的显式关系链和结构化问题中存储的隐式关系链,KG.我们对三个开放域基准的广泛实证研究证明,我们的方法显着优于最先进的同行,如GraftNet,PullNet和EmbedKGQA。综合消融实验也验证了我们的方法在多跳KGQA任务的有效性。我们在github上提供了模型的源代码:https://github.com/albert-jin/Rce-KGQA。
2022-11-13 cs.CL
Improving Question Answering Model Robustness with Synthetic Adversarial Data Generation
University College London(伦敦大学学院);Facebook AI Research(脸书人工智能研究院)
尽管最近取得了进展,但最先进的问答模型仍然容易受到各种对抗攻击的攻击。虽然动态对抗性数据汇集,其中人类注释者试图编写欺骗模型在环的示例,可以提高模型的鲁棒性,但这个过程是昂贵的,这限制了收集数据的规模。在这项工作中,我们是第一个使用合成对抗数据生成来使问答模型对人类对手更加强大的人。我们开发了一个数据生成管道,选择源段落,识别候选答案,生成问题,然后最终过滤或重新标记它们以提高质量。使用这种方法,我们将一个较小的人类书写的对抗数据集放大到一个更大的合成问答对集合。通过整合我们的合成数据,我们将AdversarialQA数据集的最新技术水平提高了3.7F1,并提高了12个MRQA数据集中9个数据集的模型泛化能力。我们进一步进行了一个新的人在回路评估,以表明我们的模型对新的人类编写的对抗性示例具有更强的鲁棒性:crowdworker平均只能欺骗我们的模型8.8%的时间,而没有合成数据训练的模型则为17.6%。
2022-03-15 cs.CL cs.LG
Improving Context Fidelity via Native Retrieval-Augmented Reasoning
DIRO, Université de Montréal(蒙特利尔大学计算机科学与运筹学系);MetaGPT;Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);Yale University(耶鲁大学);Canada CIFAR AI Chair(加拿大CIFAR人工智能教席)
提出原生检索增强推理框架CARE,通过模型自身检索能力在推理链中显式整合上下文证据,显著提升了LLMs的上下文保真度及知识密集型任务的准确性。
2025-09-17 cs.AI cs.CL
A Solver-in-the-Loop Framework for Improving LLMs on Answer Set Programming for Logic Puzzle Solving
本文提出了一种求解器循环框架,通过引导求解器进行指令微调,提升LLM在Answer Set Programming中生成逻辑谜题解答的性能。
2025-12-18 cs.AI cs.CL
Improving Opinion-based Question Answering Systems Through Label Error Detection and Overwrite
Meta Platforms, Inc.(Meta平台公司)
针对标注数据标签错误影响模型质量的问题,提出模型无关、计算高效的LEDO框架,基于蒙特卡洛Dropout与不确定性指标实现标签错误检测覆写,在工业观点问答系统的多个核心模型上取得显著性能提升且具备成本效益。
2023-06-13 cs.AI cs.CL cs.LG