Knowing More About Questions Can Help: Improving Calibration in Question Answering
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们研究了问答中的校准问题,估计模型是否正确预测每个问题的答案。与主要依赖于模型的置信度得分的先前工作不同,我们的校准器结合了关于输入示例的信息(例如,问题和证据背景)。再加上通过反向翻译的数据增强,我们的简单方法在阅读理解基准的校准精度上实现了5-10%的增益。此外,我们提出了第一个校准研究中的开放检索设置,比较基于检索的跨度预测模型和答案生成模型的校准精度。在这里,我们的方法再次显示了依赖于模型置信度的校准器的一致增益。我们简单高效的校准器可以轻松适应许多任务和模型架构,在所有设置中显示出强大的增益。
2021-06-02 cs.AI cs.CL
Variational Open-Domain Question Answering
Technical University of Denmark(丹麦技术大学);FindZebra;Rigshospitalet, Copenhagen University Hospital(哥本哈根大学医院国立医院);University of Copenhagen(哥本哈根大学)
本文提出变分开放域(VOD)框架,通过自归一化Rényi变分界端到端训练检索增强模型,在医学问答数据集上以远少于Med-PaLM的参数量取得更优性能,并验证了学习检索器在医学语义搜索中的有效性。
2023-05-31 cs.CL cs.IR cs.LG
Improving Score Reliability of Multiple Choice Benchmarks with Consistency Evaluation and Altered Answer Choices
IBM Research Brazil(IBM巴西研究院)
本文提出CoRA指标,通过一致性评估和改变答案选项提高LLM在多项选择基准中的评分可靠性。
2025-11-26 cs.AI cs.CL
GermanQuAD and GermanDPR: Improving Non-English Question Answering and Passage Retrieval
deepset GmbH(deepset 公司)
面向问答(QA)的非英语机器阅读研究的一个主要挑战是缺乏标注数据集。在本文中,我们介绍了GermanQuAD,一个包含13,722个提取问题/答案对的数据集。为了提高数据集创建方法的可重复性,并促进对其他语言的QA研究,我们总结了经验教训,并评估了问题/答案对的重新表述,以加快注释过程。在GermanQuAD上训练的提取QA模型显著优于多语言模型,并且还表明机器翻译的训练数据不能完全替代目标语言中的手动注释训练数据。最后,我们展示了广泛的应用GermanQuAD通过适应GermanDPR,密集通道检索(DPR)的训练数据集,和训练和评估的第一个非英语DPR模型。
2021-04-26 cs.CL cs.LG
StackRAG Agent: Improving Developer Answers with Retrieval-Augmented Generation
University of British Columbia(不列颠哥伦比亚大学)
针对开发者检索信息耗时、大语言模型生成答案易出现幻觉的问题,提出基于大语言模型的检索增强多智能体工具StackRAG,聚合Stack Overflow知识提升答案可靠性,初步验证效果良好。
2024-06-19 cs.AI cs.CL
Improving Numerical Reasoning Skills in the Modular Approach for Complex Question Answering on Text
Monash University(莫纳什大学)
数字推理技能对于文本上的复杂问答(CQA)是必不可少的。它需要包括计数、比较、加法和减法在内的操作。一种成功的文本CQA方法,神经模块网络(NMN),遵循程序员-解释器范式,并利用专门的模块来执行组合推理。然而,国家独立网络框架在问题和段落中都没有考虑数字和实体之间的关系。我们提出了有效的技术,以提高NMN的数值推理能力,使解释器的问题意识和捕捉实体和数字之间的关系。在用于文本CQA的DROP数据集的同一子集上,实验结果表明,我们的添加比原始NMN的整体F1得分高出3.0分。
2021-09-06 cs.AI cs.CL
Continually Improving Extractive QA via Human Feedback
Cornell University(康奈尔大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究设计部署迭代方法,通过人类用户反馈持续改进抽取式QA系统,经数千次用户交互实验验证,该方法在不同数据模式下均有效,且在领域适配方面潜力显著。
2023-11-03 cs.AI cs.CL cs.LG
Variational Visual Question Answering for Uncertainty-Aware Selective Prediction
TU Darmstadt(图宾根大学)
本文提出变分VQA方法,通过变分贝叶斯方法提升视觉问答和视觉推理任务的可靠性,尤其在低误差容忍度下表现优异,且优于AdamW训练模型。
2026-04-13 cs.AI cs.CV
Improving LoRA with Variational Learning
Institute of Science Tokyo(东京科学研究院);RIKEN Center for AI Project(RIKEN人工智能项目研究中心);Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, Technical University of Darmstadt(通用知识处理实验室(UKP实验室),计算机科学系,达姆施塔特技术大学);National Research Center for Applied Cybersecurity ATHENE, Germany(应用网络安全国家研究中心ATHENE,德国);Huawei Hong Kong Research Center(华为香港研究中心)
针对现有贝叶斯方法改进LoRA微调时准确率提升有限、计算开销大的问题,本研究采用变分算法IVON结合后验剪枝技术,在十亿级大模型上实现了准确率与校准效果的双重提升,且成本与AdamW相当。
2025-06-17 cs.AI cs.CL cs.LG
To Answer or Not to Answer? Improving Machine Reading Comprehension Model with Span-based Contrastive Learning
Beike Inc.(贝壳公司)
机器阅读理解是一个困难的NLP任务,它面临着不能从文章中得到答案的问题。据观察,微妙的文字变化往往使一个可回答的问题无法回答,然而,大多数MRC模型无法识别这样的变化。为了解决这个问题,在本文中,我们提出了一个基于跨度的对比学习(spanCL)的方法,明确对比可回答的问题,他们的回答和不可回答的答案跨度水平。使用spanCL,MRC模型被迫从轻微的文字差异中感知关键的语义变化。在SQuAD 2.0数据集上的实验表明,spanCL可以显着改善基线,产生0.86-2.14的绝对EM改善。实验还表明,spanCL是一种有效的方式来利用生成的问题。
2022-08-02 cs.CL
Improving Multi-hop Knowledge Base Question Answering by Learning Intermediate Supervision Signals
Renmin University of China(中国人民大学);Singapore Management University(新加坡管理大学)
多跳知识库问答(KBQA)的目的是在知识库(KB)中找到与问题中的实体相距多跳的答案实体。一个主要的挑战是在中间步骤缺乏监督信号。因此,多跳KBQA算法只能接收最终答案的反馈,这使得学习不稳定或无效。为了应对这一挑战,我们提出了一种新的师生多跳KBQA任务的方法。在我们的方法中,学生网络的目标是找到查询的正确答案,而教师网络试图学习中间监督信号,以提高学生网络的推理能力。主要的新颖性在于教师网络的设计,我们利用正向和反向推理来增强中间实体分布的学习。通过考虑双向推理,教师网络可以产生更可靠的中间监督信号,这可以减轻虚假推理的问题。在三个基准数据集上进行的大量实验证明了该方法在KBQA任务上的有效性。复制我们分析的代码可在https://github.com/RichardHGL/WSDM2021_NSM上获得。
2021-04-07 cs.AI cs.CL
Bridging Language Gaps with Adaptive RAG: Improving Indonesian Language Question Answering
Computer Science Department(计算机科学系);School of Computer Science(计算机科学学院);Bina Nusantara University(宾厄斯大学)
本研究将自适应RAG系统应用于印度尼西亚语问答,通过机器翻译增强数据,利用复杂度分类器选择回答策略,实验发现多检索策略存在不一致性,揭示了低资源语言问答的潜力与挑战。
2025-10-24 cs.AI cs.CL
Improving Factual Consistency of Abstractive Summarization via Question Answering
Amazon Web Services(亚马逊云服务);Columbia University(哥伦比亚大学)
最先进的抽象摘要模型的一个常见问题是生成的摘要可能与输入文档事实上不一致。事实上,自动摘要可能会产生听起来不可信但不准确的摘要是一个主要的问题,限制了它的广泛应用。在本文中,我们提出了一种方法来解决事实的一致性摘要。我们首先提出了一个有效的自动评估指标来衡量事实的一致性,接下来,我们提出了一种新的学习算法,最大限度地提高模型训练过程中提出的度量。通过大量的实验,我们证实,我们的方法是有效的,在提高事实的一致性,甚至整体质量的摘要,判断自动指标和人类的评价。
2021-05-10 cs.AI cs.CL
Improving Zero-shot Reader by Reducing Distractions from Irrelevant Documents in Open-Domain Question Answering
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本研究提出干扰感知答案选择(DAS)方法,通过否定指令和分数调整减少不相关文档干扰,提升开放域问答中零样本阅读器的性能,并展现无需训练的强迁移能力。
2023-11-14 cs.AI cs.CL
Improving Commonsense Question Answering by Graph-based Iterative Retrieval over Multiple Knowledge Sources
Zhejiang University(浙江大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
为了促进自然语言理解,关键是要使用常识或背景知识。然而,如何在问答系统中有效地使用常识仍然在学术界和工业界的探索中。在本文中,我们提出了一种新的问答方法,通过集成多个知识源,即ConceptNet,维基百科和剑桥词典,以提高性能。更具体地说,我们首先介绍了一种新的基于图的迭代知识检索模块,它迭代地检索概念和实体相关的给定的问题,它的选择从多个知识源。之后,我们使用预先训练的语言模型来编码问题,检索知识和选择,并提出一个答案选择感知的注意力机制来融合前面模块的所有隐藏表示。最后,针对特定任务的线性分类器被用来预测答案。在CommonsenseQA数据集上的实验结果表明,该方法的性能明显优于其他竞争方法,达到了新的水平。此外,进一步的消融研究表明,基于图的迭代知识检索模块和答案选择感知注意模块在从多个知识源中检索和合成背景知识方面是有效的。
2020-11-05 cs.AI cs.CL
Improving Complex Knowledge Base Question Answering via Question-to-Action and Question-to-Question Alignment
Zhejiang University(浙江大学)
复杂的知识库问答可以通过将问题转换为预定义的动作序列来实现。然而,在自然语言和动作序列之间存在显著的语义和结构鸿沟,这使得这种转换变得困难。在本文中,我们介绍了一个增强的复杂问答框架,称为ALCQA,它通过问题到动作对齐和问题到问题对齐来缓解这一差距。我们训练一个问题重写模型来对齐问题和每个动作,并利用预训练的语言模型来隐式地对齐问题和KG工件。此外,考虑到类似的问题对应于类似的动作序列,我们检索top-k相似的问答对在推理阶段通过问题到问题对齐,并提出了一种新的奖励引导的动作序列选择策略,从候选动作序列中选择。在CQA和WQSP数据集上进行了实验,结果表明,该方法在CQA数据集上的F1度量提高了9.88%,优于现有方法.我们的源代码可在https://github.com/TTTTTTTTy/ALCQA上获得。
2022-12-26 cs.AI cs.CL
A Variational Framework for Improving Naturalness in Generative Spoken Language Models
Language Technology Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);Apple(苹果公司)
针对生成式口语语言模型因语义标记忽略韵律信息导致语音自然度不足的问题,提出端到端变分方法自动编码连续语音属性以增强语义标记,无需人工设计副语言特征,生成的语音更受人类偏好。
2025-06-17 cs.AI cs.CL cs.LG
Improving the Evaluation of Biomedical Question Answering with Few Human Preference Signals
CSIRO(联邦科学与工业研究组织);Monash University(莫纳什大学);Commonwealth Bank(联邦银行);Suncorp Bank(太阳corp银行)
该研究针对生物医学问答RAG系统评估中自动指标与人类判断不一致的问题,提出用少量人类偏好信号校准直接评估指标,所得校准指标在多数据集上优于基线方法。
2026-10-14 cs.CL cs.LG
Improving Time Sensitivity for Question Answering over Temporal Knowledge Graphs
JD AI Research(京东人工智能研究院);Alexa AI, Amazon(亚马逊Alexa人工智能部门)
基于时间知识图谱(KG)的问答有效地使用包含在时间KG中的事实来回答自然语言问题(例如,“奥巴马之前的美国总统是谁?”").这些问题通常涉及先前工作未能充分解决的三个与时间相关的挑战:1)问题通常不指定感兴趣的确切时间戳(例如,“Obama”而不是2000年); 2)时间关系中微妙的词汇差异(例如,“before”vs“after”); 3)以前的工作所建立的现成的时间KG嵌入忽略了时间戳的时间顺序,这对于回答时间顺序相关的问题至关重要。在本文中,我们提出了一个时间敏感的问答(TSQA)框架来解决这些问题。TSQA具有时间戳估计模块,用于从问题中推断未写入的时间戳。我们还采用了一个时间敏感的KG编码器,将排序信息注入到TSQA所基于的时间KG嵌入中。在减少潜在答案搜索空间的技术的帮助下,TSQA在时间KG上的问答的新基准上显著优于先前的最新技术水平,特别是在需要对时间KG中的事实进行多个推理步骤的复杂问题上实现了32%的(绝对)错误减少。
2022-03-01 cs.CL cs.LG
Improving Answer Extraction in Context-based Question Answering Systems Using LLMs
University of Science and Technology of China(中国科学技术大学)
针对现有问答系统在复杂或模糊查询下答案提取不准确的问题,提出基于微调预训练大语言模型的方法,在SQuAD1.1数据集上取得ROUGE-L 86.84%、BLEU 28.24%、BERTScore 95.38%的高性能。
2026-07-21 cs.AI cs.CL
Improving Opinion-based Question Answering Systems Through Label Error Detection and Overwrite
Meta Platforms, Inc.(Meta平台公司)
针对标注数据标签错误影响模型质量的问题,提出模型无关、计算高效的LEDO框架,基于蒙特卡洛Dropout与不确定性指标实现标签错误检测覆写,在工业观点问答系统的多个核心模型上取得显著性能提升且具备成本效益。
2023-06-13 cs.AI cs.CL cs.LG
Improving Span-based Question Answering Systems with Coarsely Labeled Data
University of Washington(华盛顿大学);Google AI Language(谷歌人工智能语言部门)
我们研究的方法,以提高细粒度的简短回答问答模型,通过整合粗粒度的数据注释段落级的相关性,并表明粗注释的数据可以带来显着的性能收益。实验表明,共享表示的标准多任务学习方法并不是利用粗粒度注释的最有效方法。相反,我们可以显式地对潜在的细粒度简短答案变量进行建模,并直接优化边际对数似然,或者使用新提出的\emph{posterior distillation}学习目标。由于这些潜在变量方法可以显式访问精细任务和粗略任务之间的关系,因此它们可以从粗略监督中获得显着更大的改进。
2018-11-05 cs.CL
Improving the Question Answering Quality using Answer Candidate Filtering based on Natural-Language Features
Perm National Research Polytechnic University(彼尔姆国家研究理工大学);Anhalt University of Applied Sciences(安哈尔特应用科学大学);DATEV eG
具有自然语言用户界面的软件越来越重要。然而,所包括的问答(QA)功能的质量在正确回答的问题的数量方面仍然不够。在我们的工作中,我们解决了如何通过评估自然语言输入(即,用户的问题)和输出(即,系统的答案)。我们的主要贡献是一种方法,能够识别错误的答案所提供的QA系统。因此,从候选答案列表中过滤不正确的答案可以大大提高QA质量。特别是,我们的方法已经显示出其潜力,同时在许多情况下删除了大多数不正确的答案,这大大提高了QA质量相比,系统的非过滤输出。
2021-12-10 cs.CL cs.IR
GeoRisk-RAG: A Hierarchy-Aware Risk Framework for Improving RAG Reliability through Selective Answering
Virginia Tech(弗吉尼亚理工大学);Florida Polytechnic University(佛罗里达理工大学);Kuwait University(科威特大学)
GeoRisk-RAG是一种层级感知框架,通过选择性回答结合有向无环图距离估计地理适用性,在野火QA数据集上将位置相关问题错误置信率降至0.009,提升RAG可靠性,助力地理空间领域安全决策。
2026-08-25 cs.AI cs.CL
Improving Question Answering Model Robustness with Synthetic Adversarial Data Generation
University College London(伦敦大学学院);Facebook AI Research(脸书人工智能研究院)
尽管最近取得了进展,但最先进的问答模型仍然容易受到各种对抗攻击的攻击。虽然动态对抗性数据汇集,其中人类注释者试图编写欺骗模型在环的示例,可以提高模型的鲁棒性,但这个过程是昂贵的,这限制了收集数据的规模。在这项工作中,我们是第一个使用合成对抗数据生成来使问答模型对人类对手更加强大的人。我们开发了一个数据生成管道,选择源段落,识别候选答案,生成问题,然后最终过滤或重新标记它们以提高质量。使用这种方法,我们将一个较小的人类书写的对抗数据集放大到一个更大的合成问答对集合。通过整合我们的合成数据,我们将AdversarialQA数据集的最新技术水平提高了3.7F1,并提高了12个MRQA数据集中9个数据集的模型泛化能力。我们进一步进行了一个新的人在回路评估,以表明我们的模型对新的人类编写的对抗性示例具有更强的鲁棒性:crowdworker平均只能欺骗我们的模型8.8%的时间,而没有合成数据训练的模型则为17.6%。
2022-03-15 cs.CL cs.LG
OLAPH: Improving Factuality in Biomedical Long-form Question Answering
Korea University(高丽大学);Upstage AI;AIGEN Sciences
本文提出MedLFQA基准数据集和OLAPH框架,通过多方面自动评估构建合成偏好集,逐步训练LLMs以减少幻觉并包含关键医学陈述,显著提升生物医学长篇问答的事实性。
2024-10-15 cs.AI cs.CL
Improving Lexical Embeddings for Robust Question Answering
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);The Chinese University of Hong Kong(香港中文大学)
近年来,问答技术在性能上取得了显著的进步,一些问答模型的性能甚至超过了人工。然而,这些模型在真正理解语言方面的能力仍然值得怀疑,并且这些模型在面对对抗性示例时显示出局限性。为了增强QA模型的鲁棒性和泛化能力,提出了一种基于语义和上下文约束的表示增强(ESC)方法来提高词汇嵌入的鲁棒性。具体来说,我们插入扰动与语义约束和训练增强上下文表示通过上下文约束损失,以更好地区分上下文线索的正确答案。实验结果表明,该方法在四个对抗测试集上获得了显著的鲁棒性提高。
2022-02-28 cs.CL
Meta Answering for Machine Reading
Google Research(谷歌研究院);ETH Zürich(苏黎世联邦理工学院);New York University(纽约大学);University of Maryland(马里兰大学)
我们研究了一个机器阅读的框架,灵感来自现实世界的信息寻求问题,其中一个Meta问答系统与黑盒环境进行交互。该环境封装了一个基于BERT的竞争机器阅读器,提供问题的候选答案,可能还有一些上下文。为了验证我们的公式的现实性,我们要求人类扮演元回答者的角色。只需在答案周围添加一小段文字,人类就可以超越机器阅读器,提高回忆率。类似地,一个简单的机器元回答器优于环境,提高了Natural Questions数据集的精确度和召回率。该系统依赖于答案评分和条件信息选择的联合训练。
2020-04-30 cs.AI cs.CL
Improving Question Answering by Commonsense-Based Pre-Training
Microsoft Research Asia(微软亚洲研究院);Sun Yat-Sen University(中山大学)
虽然神经网络方法在各种NLP任务上取得了显着的成功,但其中许多方法难以回答需要常识知识的问题。我们认为主要原因是概念之间缺乏常识性的\mbox{connections}。为了解决这个问题,我们提供了一个简单而有效的方法,利用外部常识知识库,如概念网。我们预先训练概念之间的直接和间接关系函数,并表明这些预先训练的函数可以很容易地添加到现有的神经网络模型。结果表明,将常识为基础的功能,提高了三个问答任务,需要常识推理的基线。进一步的分析表明,我们的系统\mbox{discovers},并利用有用的证据,从外部常识知识库,这是在现有的神经网络模型,并帮助得出正确的答案。
2019-03-01 cs.CL
Improving Retrieval-Based Question Answering with Deep Inference Models
University Politehnica of Bucharest(布加勒斯特理工大学)
问答是信息检索和自然语言处理的边缘领域中最重要也是最困难的应用之一,尤其是当我们谈论需要某种形式的推理来确定正确答案的复杂科学问题时。在本文中,我们提出了一种两步方法,该方法将针对问答优化的信息检索技术与用于自然语言推理的深度学习模型相结合,以解决科学领域中的多选择问答。对于每个问题-答案对,我们使用标准的基于检索的模型来找到相关的候选上下文,并将主要问题分解为两个不同的子问题。首先,使用Lucene的检索模型,根据上下文为每个候选答案分配正确性分数。其次,我们使用深度学习架构来计算候选答案是否可以从一些精心选择的上下文中推断出来,这些上下文由从知识库中检索到的句子组成。最后,所有这些求解器结合使用一个简单的神经网络来预测正确的答案。这个建议的两步模型比最好的基于检索的求解器的绝对精度超过3%。
2019-05-06 cs.CL
Chart-CoCa: Self-Improving Chart Understanding of Vision LMs via Code-Driven Synthesis and Candidate-Conditioned Answering
The Hong Kong University of Science
本文提出 Chart-CoCa,通过代码驱动的图表合成流程和候选条件回答机制,在无需人工标注数据或外部模型的情况下实现视觉语言模型图表理解能力的自改进,准确率最高提升 15.50 个百分点。
2025-08-16 cs.AI
A Self-Improving Agent that Grows its Own DSL: Oracle-Free Operator Induction for Exact Question Answering
PayPal AI(PayPal人工智能部门)
该研究提出一种无监督的自改进智能体,通过嵌套循环在DSL中归纳算子,无需奖励、评判模型或真实标签,可扩展精确问答能力,在多领域及跨模型家族均表现出良好效果。
2026-10-16 cs.AI cs.CL
Inference Scaled GraphRAG: Improving Multi Hop Question Answering on Knowledge Graphs
North Carolina State University(北卡罗来纳州立大学);Oak Ridge National Laboratory(奥本海默国家实验室)
提出Inference-Scaled GraphRAG框架,通过结合深度思维链图遍历的顺序缩放与多数投票的并行缩放进行推理时计算缩放,显著提升了LLM在GRBench基准上的多跳问答性能。
2025-06-24 cs.AI cs.CL
Causal Reasoning through Two Layers of Cognition for Improving Generalization in Visual Question Answering
Tokyo Institute of Technology(东京工业大学)
针对视觉问答泛化能力不足的问题,提出两层认知架构的CopVQA模型,通过多通路因果推理与专家模块协作提升性能,在多数据集上取得优异表现且模型规模更小。
2023-10-09 cs.AI
TabRAG: Improving Tabular Document Question Answering for Retrieval Augmented Generation via Structured Representations
Imperial College London(帝国理工学院)
TabRAG通过结构化表示改进表格文档问答,采用布局分割和视觉语言模型解析,提升表格问答性能。
2026-01-31 cs.AI cs.CL cs.CV
DREAM: Improving Situational QA by First Elaborating the Situation
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
当人们回答有关特定情况的问题时,例如,“我上周期中考试作弊了。有错吗?",认知科学表明,他们在回答之前会在脑海中形成一幅关于那种情况的画面。虽然我们不知道语言模型(LM)如何回答这样的问题,我们推测,如果他们也提供了更多的细节问题的情况下,阐述"场景",他们可能会回答得更准确。为了验证这一猜想,我们训练了一个新模型DREAM,让它回答一些问题,这些问题详细描述了问题所在的场景,然后将这些详细描述作为问答(QA)模型的附加上下文。我们发现,梦想是能够创建更好的场景阐述(更准确,有用,一致)比一个代表性的国家的最先进的,zero-shot模型(金刚鹦鹉)。我们还发现,使用场景阐述作为额外的上下文提高了下游QA系统的回答准确性,包括超出通过简单地进一步微调QA系统对DREAM的训练数据。这些结果表明,增加重点阐述的情况下,可以提高系统的推理,并可能作为一种有效的方式注入新的场景为基础的知识QA模型。最后,我们的方法是中立的;我们观察到不同模型的QA性能有所改善,在参数较少的模型上有更大的收益。我们在www.example.com上公开了我们的数据集和模型。
2022-05-05 cs.AI cs.CL
Implications of Deep Circuits in Improving Quality of Quantum Question Answering
Banasthali Vidyapith(班斯塔里·维迪亚皮斯)
本文利用Qiskit中的QSVM和VQC算法对SelQA数据集进行问题分类,研究电路深度的影响,并结合基于规则的QA系统显著提升了问答质量。
2023-05-12 cs.AI cs.CL quant-ph
Improving Conversational Question Answering Systems after Deployment using Feedback-Weighted Learning
University of the Basque Country (UPV/EHU)(巴斯克地区大学(UPV/EHU));New York University (NYU)(纽约大学(NYU))
会话系统与用户的交互为部署后的改进提供了一个令人兴奋的机会,但几乎没有证据表明其可行性。在大多数应用程序中,用户无法向系统提供正确的答案,但他们能够提供二进制(正确,不正确)反馈。在本文中,我们提出了反馈加权学习的基础上重要性采样,以改善初始监督系统使用二进制用户反馈。我们对文档分类(用于开发)和会话问答数据集(如QuAC和DoQA)进行模拟实验,其中二进制用户反馈来自黄金注释。结果表明,我们的方法能够改进初始监督系统,接近完全监督系统,在域内实验(QuAC)中可以访问相同的标记示例,甚至在域外实验(DoQA)中进行匹配。我们的工作开辟了利用与真实用户的交互并在部署后改进会话系统的前景。
2020-11-01 cs.CL
Measuring and Improving Complex-Atomic Answer Consistency in Endoscopic VQA
研究内窥镜VQA中复杂问题答案一致性,引入EndoCA基准,评估11个VLM,发现部分模型复杂答案准确率高但原子答案准确率及复杂-原子答案一致性低,提出ASR机制,能在选定模型上提高配对复杂-原子正确性及已回答案例准确性。
2026-07-21 cs.AI cs.CV
Improving Health Question Answering with Reliable and Time-Aware Evidence Retrieval
Technical University of Munich(慕尼黑工业大学)
针对现有健康问答系统依赖预标注证据、难以应对新问题的局限,研究基于PubMed和检索-阅读流水线,通过优化检索文档数量、时效与引用指标,将宏F1分数最高提升10%,并指出未来研究方向。
2024-04-12 cs.AI cs.CL cs.IR
Improving Question Answering Performance Using Knowledge Distillation and Active Learning
Sharif University of Technology(谢里夫理工大学);University of Guilan(吉兰大学);University of Augsburg(奥格斯堡大学)
当代的问答(QA)系统,包括基于变换器的架构,遭受增加的计算和模型复杂性,这使得它们对于具有有限资源的现实世界应用是低效的。此外,训练甚至微调这些模型需要大量的标记数据,这些数据通常无法用于手头的任务。在本文中,我们对上述挑战进行了全面分析,并提出了适当的对策。我们提出了一种新的知识蒸馏(KD)的方法,以减少参数和模型的复杂性的预训练的BERT系统,并利用多个主动学习(AL)的策略,极大地减少注释工作。特别是,我们证明了我们的模型达到了6层TinyBERT和DistilBERT的性能,同时只使用了它们总参数的2%。最后,通过将我们的AL方法集成到BERT框架中,我们表明,当我们只使用20%的训练数据时,可以在SQuAD数据集上实现最先进的结果。
2021-09-26 cs.CL cs.IR cs.LG
Conv-CoA: Improving Open-domain Question Answering in Large Language Models via Conversational Chain-of-Action
Northwestern University(西北大学)
本文提出Conv-CoA框架,通过动态推理-检索机制、Hopfield检索器和对话式多参考置信度分数,解决开放域对话问答中的幻觉、推理弱和检索性能差问题,在五个方向和两个基准上超越23种最先进方法。
2024-05-28 cs.AI cs.CL
Bridging Information Gaps with Comprehensive Answers: Improving the Diversity and Informativeness of Follow-Up Questions
University of British Columbia(不列颠哥伦比亚大学);Vector Insitute(向量研究所)
本文提出一种信息鸿沟驱动的知识蒸馏流程,利用教师模型生成全面回答并识别缺失信息,扩充数据集十倍,微调小模型以提升后续问题的多样性与信息量,实验验证其有效性。
2025-09-23 cs.AI cs.CL cs.HC
Sunny and Dark Outside?! Improving Answer Consistency in VQA through Entailed Question Generation
SRI International(SRI国际);Georgia Institute of Technology(佐治亚理工学院)
虽然视觉问答(VQA)的模型多年来一直在稳步改进,但与之交互很快就会发现这些模型缺乏一致性。例如,如果一个模型回答“红色”到“气球是什么颜色的?如果被问到“气球是红色的吗?“".这些反应违反了蕴涵的简单概念,并提出了关于VQA如何有效地对基础语言进行建模的问题。在这项工作中,我们介绍了一个数据集,ConVQA,和指标,使定量评价VQA的一致性。对于图像中给定的可观察事实(例如气球的颜色),我们生成一组逻辑上一致的问答(QA)对(例如气球是红色的吗?)并且还收集基于常识的一致QA对的人类注释集(例如,气球的颜色与番茄酱的颜色相同吗?)。此外,我们提出了一个一致性提高数据增强模块,一致性教师模块(CTM)。CTM自动为源QA对生成隐含(或类似意图)问题,并在VQA对隐含问题的答案与源QA对一致时微调VQA模型。我们证明了我们基于CTM的训练提高了ConVQA数据集上VQA模型的一致性,并且是进一步研究的强有力的基线。
2019-09-10 cs.AI cs.CV
Improving Retrieval Augmented Open-Domain Question-Answering with Vectorized Contexts
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Institute for Intelligent Computing, Alibaba Group(阿里巴巴集团智能计算研究院)
本文提出一种通用方法,利用小型编码器语言模型对上下文进行向量化编码并与原始输入交叉注意力,使大语言模型在计算需求接近基线的情况下能处理数倍长的上下文,并在多个数据集和上下文学习设置中提升开放域问答性能。
2024-12-23 cs.CL
Understanding and Improving Zero-shot Multi-hop Reasoning in Generative Question Answering
Carnegie Mellon University(卡内基梅隆大学);Bosch Research(博世研究院);Amazon(亚马逊)
生成式问答(QA)模型生成问题的答案,或者仅仅基于模型的参数(闭卷设置),或者另外检索相关证据(开卷设置)。生成式QA模型可以回答一些相对复杂的问题,但它们这样做的机制仍然知之甚少。我们进行了几项研究,旨在更好地了解多跳推理能力的生成QA模型。首先,我们将多跳问题分解为多个相应的单跳问题,并发现QA模型在这些表面上相同的问题链上的答案明显不一致。其次,我们发现模型缺乏zero-shot多跳推理能力:当只在单跳问题上训练时,模型对多跳问题的泛化能力很差。最后,我们证明了通过两种方法来提高模型的zero-shot多跳推理能力是可能的,这两种方法通过对单跳问题的串联或逻辑形式(SPARQL)进行训练来近似真实的多跳自然语言(NL)问题。总之,这些结果表明,多跳推理不会在生成式QA模型中自然出现,但可以通过训练或建模技术的进步来鼓励。
2022-10-09 cs.CL
Improving Knowledge-aware Dialogue Generation via Knowledge Base Question Answering
South China University of Technology(华南理工大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Tencent AI Lab(腾讯人工智能实验室);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
神经网络模型通常面临将常识知识纳入开放域对话系统的挑战。在本文中,我们提出了一种新的知识感知的对话生成模型(称为transDG),转移的问题表示和知识匹配能力,从知识库问答(KBQA)任务,以促进话语理解和事实知识的选择对话生成。此外,我们提出了一个响应引导注意力和多步解码策略,以引导我们的模型专注于响应生成的相关功能。在两个基准数据集上的实验表明,该模型在生成信息丰富、流畅的对话方面具有较强的鲁棒性。我们的代码可在https://github.com/siat-nlp/TransDG上获得。
2019-12-16 cs.CL
Improving Reliability and Explainability of Medical Question Answering through Atomic Fact Checking in Retrieval-Augmented LLMs
Technical University of Munich(慕尼黑工业大学);TUM University Hospital Rechts der Isar(慕尼黑工业大学 Rechts der Isar 大学医院);German Heart Center Munich(慕尼黑德国心脏中心);Helmholtz Zentrum München(慕尼黑亥姆霍兹中心);German Consortium for Translational Cancer Research(德国转化癌症研究联盟)
通过原子事实核查提升医疗问答的可靠性与可解释性,减少幻觉并提高事实准确性。
2025-12-30 cs.AI cs.CL
Improving Vietnamese Legal Question--Answering System based on Automatic Data Enrichment
VNU University of Engineering and Technology(越南国立大学工程技术大学);National Institute of Informatics(国立信息学研究所);Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学)
针对越南语法律问答标注稀缺、预训练模型有限的问题,本文构建文章级检索式系统,并提出利用弱标注自动增强数据以提升语言模型性能,实验验证了该方法有效。
2023-06-08 cs.CL
Question Answering Against Very-Large Text Collections
问答涉及开发从大量文档集合中提取有用信息的方法。这是通过专门的搜索引擎完成的,例如Answer。答案搜索的目的是提供问题的答案,而不是列出可能包含正确答案的相关文档的页面。因此,像“埃菲尔铁塔有多高”这样的问题只会返回“325米”或“1,063英尺”。我们的任务是通过改进信息检索以及改进问题系列分析中涉及的预处理来构建Answer的当前版本。
2013-04-26 cs.CL cs.IR
Reasoning in Trees: Improving Retrieval-Augmented Generation for Multi-Hop Question Answering
Shanghai Jiao Tong University(上海交通大学);Shandong University(山东大学);Carnegie Mellon University(卡内基梅隆大学)
RT-RAG通过构建推理树来提升多跳问题回答的准确性和一致性,实验结果显示其在F1和EM指标上均优于现有方法。
2026-01-16 cs.CL cs.LG
Improving LLM Reliability with RAG in Religious Question-Answering: MufassirQAS
Mugla Sitki Kocman University(穆拉·萨特克·科奇曼大学);Manisa Celal Bayar University(马尼萨·切拉尔·巴亚尔大学);University of Waterloo(滑铁卢大学)
MufassirQAS通过RAG方法提升LLM在宗教问答中的可靠性,提供透明和准确的回应。
2025-12-09 cs.AI cs.CL
MrRank: Improving Question Answering Retrieval System through Multi-Result Ranking Model
Kasikorn Labs Co., Ltd.(Kasikorn实验室有限公司);Kasikorn Business-Technology Group(Kasikorn商业技术集团);Chulalongkorn University(朱拉隆功大学)
本文提出MrRank,利用学习排序技术融合异构信息检索系统,以缓解LLM幻觉和知识过时问题,并在ReQA SQuAD上取得最先进性能。
2024-06-09 cs.CL
Improving Question Answering with Generation of NQ-like Questions
University of Maryland, College Park(马里兰大学帕克分校);IIT Kharagpur(印度理工学院克勒格布尔分校);University of Minnesota(明尼苏达大学)
问答(QA)系统需要大量的注释数据,这是昂贵的和耗时的收集。由于不同的格式和复杂性,转换现有QA基准的数据集具有挑战性。为了解决这些问题,我们提出了一种算法,通过利用数据集之间的风格转换,从Quizbowl(QB)数据集中的较长琐事问题自动生成类似于自然问题(NQ)数据集中日常人类交流的较短问题。这为我们的QA系统提供了一种自动生成更多数据的方法。为了确保数据的质量和数量,我们使用神经分类器检测和删除病态问题。我们证明,在低资源设置中,使用生成的数据提高了NQ和QB数据上的基线系统的QA性能。我们的算法提高了训练数据的可扩展性,同时保持QA系统的数据质量。
2022-10-12 cs.CL