HAS-QA: Hierarchical Answer Spans Model for Open-domain Question Answering
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of California, Berkeley（加利福尼亚大学伯克利分校）
本文涉及开放域问答（即，OpenQA）。近年来，一些研究将这一问题看作是一个阅读理解任务，并将成功的阅读理解模型直接应用于这一任务，但这些模型在阅读理解任务中的表现并不如在阅读理解任务中的表现。我们认为，RC的观点忽略了OpenQA任务的三个特点：1）数据汇集中包含许多没有答案跨度的段落; 2）一个给定段落中可能存在多个答案跨度; 3）答案跨度的结束位置与开始位置相关。在本文中，我们首先提出了一个新的概率公式的OpenQA，基于一个三级层次结构，即~问题水平、段落水平和答案跨度水平。然后，层次答案跨度模型（HAS-QA）的设计，以捕捉每个概率。HAS-QA有能力解决上述三个问题，在公开的OpenQA数据集上的实验表明，它显著优于传统的RC基线和最近的OpenQA基线。
2019-01-12 cs.CL
Improving Span-based Question Answering Systems with Coarsely Labeled Data
University of Washington（华盛顿大学）；Google AI Language（谷歌人工智能语言部门）
我们研究的方法，以提高细粒度的简短回答问答模型，通过整合粗粒度的数据注释段落级的相关性，并表明粗注释的数据可以带来显着的性能收益。实验表明，共享表示的标准多任务学习方法并不是利用粗粒度注释的最有效方法。相反，我们可以显式地对潜在的细粒度简短答案变量进行建模，并直接优化边际对数似然，或者使用新提出的\emph{posterior distillation}学习目标。由于这些潜在变量方法可以显式访问精细任务和粗略任务之间的关系，因此它们可以从粗略监督中获得显着更大的改进。
2018-11-05 cs.CL
ATLANTIS at SemEval-2025 Task 3: Detecting Hallucinated Text Spans in Question Answering
Airbus AI Research（空客人工智能研究）
本文介绍 ATLANTIS 团队在 SemEval-2025 任务 3 中检测问答系统幻觉文本片段的方法，通过少样本提示、词元分类及微调模型，在西班牙语中获最高排名，凸显上下文整合与微调的重要性。
2025-08-07 cs.CL
Incorporating Question Answering-Based Signals into Abstractive Summarization via Salient Span Selection
Google（谷歌）；University of Pennsylvania（宾夕法尼亚大学）
在这项工作中，我们提出了一种方法，将问答（QA）信号的摘要模型。我们的方法通过自动生成由NP回答的wh-问题并自动确定这些问题是否在黄金摘要中得到回答来识别输入文档中的突出名词短语（NP）。这个基于QA的信号被纳入一个两阶段的摘要模型，首先使用分类模型标记输入文档中的突出NP，然后有条件地生成摘要。我们的实验表明，使用基于QA的监督训练的模型生成的摘要质量高于在基准摘要数据集上识别突出跨度的基线方法。此外，我们表明，所生成的摘要的内容可以控制的基础上，在输入文档中标记的NP。最后，我们提出了一种增强训练数据的方法，使黄金摘要与训练期间使用的标记输入跨度更加一致，并展示了这如何导致模型学习更好地排除未标记的文档内容。
2023-02-25 cs.CL
Transformers to Learn Hierarchical Contexts in Multiparty Dialogue for Span-based Question Answering
Emory University（埃默里大学）
我们介绍了一种新的方法来Transformers，学习层次表示在多方对话。首先，三个语言建模任务用于预训练Transformers，令牌和话语级语言建模和话语顺序预测，学习令牌和话语嵌入，以便在对话上下文中更好地理解。然后，在话语预测和标记跨度预测之间的多任务学习被应用于基于跨度的问答（QA）的微调。我们的方法进行了评估，在BASINSQA数据集，并显示出3.8%和1.4%的改进，在两个国家的最先进的Transformer模型，BERT和RoBERTa，分别。
2020-05-23 cs.AI cs.CL cs.LG
Medicines Question Answering System, MeQA
Agencia Española de Medicamentos y Productos Sanitarios (AEMPS)（西班牙药品和健康产品局）
在本文中，我们提出了第一个系统，在西班牙能够回答有关药物供人类使用的问题，称为MeQA（药品问答），由西班牙药品和健康产品局（AEMPS，其西班牙语的首字母缩写）创建的一个项目。提供医疗帮助的在线服务大幅增加，主要是由于COVID-19导致的当前疫情。例如，Doctoralia、Savia或SaludOnNet等网站提供Doctor Answers类型的咨询，患者或用户可以向医生和专家发送问题，并在24小时内收到答案。收到的许多问题都与人用药品有关，大多数问题都可以通过传单得到解答。因此，像MeQA这样能够自动回答这类问题的系统可以减轻这些网站的负担，对这些患者来说也很有用。
2021-11-04 cs.CL
EsBBQ and CaBBQ: The Spanish and Catalan Bias Benchmarks for Question Answering
Barcelona Supercomputing Center (BSC-CNS)（巴塞罗那超级计算中心（BSC-CNS））；HiTZ Center – IXA, University of the Basque Country（HiTZ中心–IXA，巴斯克大学）
本文针对非英语及美国以外社会背景的资源匮乏问题，提出了西班牙语和加泰罗尼亚语问答偏见基准（EsBBQ和CaBBQ），基于BBQ评估10类社会偏见，实验表明模型在模糊场景下易选错且高准确率常伴随对社会偏见的更大依赖。
2025-07-15 cs.CL
A Dataset of Open-Domain Question Answering with Multiple-Span Answers
Zhejiang Sci-Tech University（浙江理工大学）
本文提出CLEAN，一个全面的中文多跨度问答数据集，涵盖开放域主题并包含大量描述性回答实例，以填补中文MSQA基准的空白，并提供基线模型展示其特点与挑战。
2024-02-15 cs.AI cs.CL
Revisiting NLI: Towards Cost-Effective and Human-Aligned Metrics for Evaluating LLMs in Question Answering
University of Illinois at Chicago（伊利诺伊大学香槟分校）
针对LLM问答评估中词汇指标缺失语义细微差别、“LLM作为评判者”成本高的问题，提出用词汇匹配标志增强现成NLI评分的轻量方案，其在长文本问答上准确率达89.9%（与GPT-4o相当）且参数少，还引入DIVER-QA基准测试人类对齐性，为指标研究提供开放资源。
2025-11-10 cs.AI cs.CL
Language Model Knowledge Distillation for Efficient Question Answering in Spanish
University of Cambridge（剑桥大学）
本文提出SpanishTinyRoBERTa，通过知识蒸馏压缩西班牙语问答模型，在保持性能的同时显著提升推理速度，适用于资源受限环境。
2024-03-16 cs.CL cs.LG stat.ML
Learning Recurrent Span Representations for Extractive Question Answering
University of Washington（华盛顿大学）；Tel-Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
阅读理解任务是对给定的证据文件提出问题，是自然语言理解的核心问题。该任务的最新公式通常集中在从手动或通过使用外部NLP管道预定义的候选集合中选择答案。然而，Rajpurkar等人（2016）最近发布了SQuAD数据集，其中答案可以是来自所提供文本的任意字符串。在本文中，我们专注于这个答案提取任务，提出了一种新的模型架构，有效地建立固定长度表示的证据文件中的所有跨度与循环网络。我们表明，得分显着提高性能显着的跨度表示比其他方法，因素的预测到单独的预测词或开始和结束标记。我们的方法比Wang & Jiang（2016）发表的最佳结果提高了5%，并降低了Rajpurkar等人的误差。的基线> 50%。
2017-03-17 cs.CL
Revisiting Distillation for Continual Learning on Visual Question Localized-Answering in Robotic Surgery
Wellcome/EPSRC Centre for Interventional and Surgical Sciences (WEISS), University College London（伦敦大学学院惠康/工程与物理科学研究委员会介入与外科科学中心（WEISS））；The Chinese University of Hong Kong (CUHK)（香港中文大学（CUHK））；Shun Hing Institute of Advanced Engineering, CUHK（香港中文大学信兴高等工程研究所）
针对手术VQLA系统中深度神经网络的灾难性遗忘及旧数据难获取问题，提出含RP-Dist、SH-Dist和WA技术的无样本持续学习框架，在三个公开数据集上优于传统方法，代码已公开。
2023-07-22 cs.CL cs.CV cs.RO
Towards Visual-Prompt Temporal Answering Grounding in Medical Instructional Video
College of Electrical and Information Engineering, Hunan University（湖南大学电气与信息工程学院）
针对医学教学视频中时间答案定位任务，提出视觉提示文本跨度定位方法，利用带时间戳字幕和视觉高亮特征，在MedVidQA上以mIOU提升28.36%超越现有方法。
2022-03-29 cs.AI cs.CL cs.CV
XTQA: Span-Level Explanations of the Textbook Question Answering
Xi’an Jiaotong University（西安交通大学）；Amazon（亚马逊）
本文提出XTQA架构，通过TF-IDF粗筛段落并依据信息增益精选证据跨度，在回答TQA问题的同时为学生提供跨度级解释，并显著超越基线。
2023-07-24 cs.AI cs.CL
Weakly-Supervised Open-Retrieval Conversational Question Answering
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Ant Financial Services Group（蚂蚁集团）
最近关于问答（QA）和会话式QA（ConvQA）的研究强调检索的作用：系统首先从大量集合中检索证据，然后提取答案。这种开放检索ConvQA设置通常假设每个问题都可以通过特定段落中的单个文本跨度（跨度答案）来回答。因此，从系统是否可以从检索到的段落中恢复该地面实况答案跨度的精确匹配来导出监督信号。这种方法被称为跨度匹配弱监督。然而，寻求信息的对话对于这种跨度匹配方法是具有挑战性的，因为长的答案，特别是自由形式的答案，不一定是任何段落的严格跨度。因此，我们引入了一个学习弱监督的方法，可以识别一个段落中的已知答案的释义跨度。我们在QuAC和CoQA数据集上的实验表明，跨度匹配的弱监督只能处理跨度答案的会话，而对于人们生成的自由形式的答案，效果不太令人满意。我们的方法更灵活，因为它可以处理跨度答案和自由形式的答案。此外，我们的方法可以更强大时，结合跨度匹配的方法，这表明它是补充跨度匹配的方法。我们还进行了深入的分析，以显示在弱监督设置下对开放检索ConvQA的更多见解。
2021-03-03 cs.CL cs.IR
$M^3 QuestionIng$: Multi-modal Multi-span Medical Question Answering
提出多模态多跨度医学问答框架M3QAFrame，结合文本与图像线索生成包含文本和图像的答案，在自建数据集上超越现有方法。
2026-05-19 cs.AI cs.CL cs.IR
GNN is a Counter? Revisiting GNN for Question Answering
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research Asia（微软亚洲研究院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
问答（QA）是人工智能和自然语言处理领域的一个长期研究课题，人们已经进行了大量的研究，试图使QA系统具有人类水平的推理能力。为了近似复杂的人类推理过程，最先进的QA系统通常使用预先训练的语言模型（LM）来访问LM中编码的知识，以及基于图神经网络（GNN）的精心设计的模块来执行对知识图谱（KG）的推理。然而，关于这些基于GNN的模块的推理功能，许多问题仍然是开放的。这些基于GNN的模块真的能执行复杂的推理过程吗？对于QA来说，它们是过于复杂还是过于复杂？为了打开GNN的黑盒子并研究这些问题，我们剖析了最先进的GNN模块，并分析了它们的推理能力。我们发现，即使是一个非常简单的图神经计数器也可以在CommonsenseQA和OpenBookQA上胜过所有现有的GNN模块，这两个流行的QA基准数据集严重依赖于知识感知推理。我们的工作表明，现有的知识感知GNN模块可能只执行一些简单的推理，如计数。为知识驱动的问答系统构建全面的推理模块仍然是一个具有挑战性的开放问题。
2021-10-07 cs.AI cs.CL
AttenWalker: Unsupervised Long-Document Question Answering via Attention-based Graph Walking
Huazhong University of Science and Technology（华中科技大学）；Beijing Institute of Technology（北京理工大学）
针对长文档问答标注成本高、现有无监督问答难处理长距离信息的问题，提出无监督长文档问答任务与AttenWalker方法，通过三模块构建长距离依赖答案，在基准数据集及少样本场景下表现优异。
2023-05-03 cs.CL
Correct after Answer: Enhancing Multi-Span Question Answering with Post-Processing Method
Tongji University（同济大学）
针对多片段问答中模型错误预测未被有效处理的问题，本文提出ACC框架，通过分类器排除错误预测并用校正器修正部分正确预测，在多个MSQA数据集上显著提升精确匹配分数并减少错误预测。
2024-10-22 cs.AI cs.CL
Sequence tagging for biomedical extractive question answering
Korea University（高丽大学）；AstraZeneca UK（阿斯利康英国分公司）；AstraZeneca SE（阿斯利康瑞典分公司）；AIGEN Sciences Inc.（AIGEN科学公司）
目前的研究提取问答（EQA）建模的单跨度提取设置，其中一个单一的答案跨度是一个标签来预测一个给定的问题-通道对。这种设置对于一般领域的EQA来说是很自然的，因为一般领域中的大多数问题都可以用一个跨度来回答。继一般领域EQA模型之后，当前的生物医学EQA（BioEQA）模型利用带有后处理步骤的单跨度提取设置。在这篇文章中，我们调查了一般和生物医学领域的问题分布，发现生物医学问题更可能需要列表型答案（多个答案）而不是事实型答案（单个答案）。这就需要模型能够为一个问题产生多个答案。基于这一初步研究，我们提出了一个序列标记方法的BioEQA，这是一个多跨度的提取设置。我们的方法直接处理问题的数量可变的短语作为他们的答案，并可以学习决定一个问题的答案数量从训练数据。我们在BioASQ 7 b和8b列表型问题上的实验结果优于现有的最佳模型，而无需后处理步骤。源代码和资源可在https://github.com/dmis-lab/SeqTagQA免费下载
2022-07-07 cs.CL
TutorialVQA: Question Answering Dataset for Tutorial Videos
University of Florida（佛罗里达大学）；Adobe Research（奥多比研究院）
尽管当前关于视频问答的可用数据集的数量很多，但仍然需要涉及多步骤和非事实答案的数据集。此外，依赖视频记录仍然是一个未充分探讨的话题。为了充分解决这个问题，我们提出了一个新的问答任务的教学视频，因为他们的冗长和叙事的性质。虽然以前的视频问答的研究都集中在生成一个简短的文本作为答案，给定的问题和视频剪辑，我们的任务的目的是确定一个跨度的视频片段作为一个答案，其中包含各种粒度的教学细节。这项工作的重点是有关图像编辑程序的截屏教程视频。我们引入了一个数据集TutorialVQA，由大约6,000个手动收集的三元组（视频，问题，答案跨度）组成。我们还提供了实验结果与几个基线算法使用的视频成绩单。结果表明，这项任务是具有挑战性的，并呼吁调查新的算法。
2020-05-30 cs.CL
What's Missing: A Knowledge Gap Guided Approach for Multi-hop Question Answering
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
多跳文本问答需要组合来自多个句子的信息。我们关注的是一个自然的环境，与典型的阅读理解不同，每个问题只提供部分信息。模型必须检索并使用额外的知识来正确回答问题。为了应对这一挑战，我们开发了一种新的方法，明确识别所提供的知识和答案选择的关键跨度之间的知识差距。该模型GapQA通过确定跨度和答案选择之间的关系，基于检索到的针对此差距的知识来学习填补此差距。我们建议联合训练一个模型，同时填补这一知识缺口，并将其与提供的部分知识组合在一起。在OpenBookQA数据集上，给定部分知识，明确识别缺失的内容远远优于以前的方法。
2019-09-19 cs.CL
UPB at SemEval-2021 Task 8: Extracting Semantic Information on Measurements as Multi-Turn Question Answering
University Politehnica of Bucharest（布加勒斯特理工大学）；Research Institute for Artificial Intelligence（人工智能研究所）；Romanian Academy（罗马尼亚科学院）
度量和计数语义信息的提取是科学语篇分析中的一个重要课题。SemEval-2021的第8项任务：计数和测量（MeasEval）旨在通过提供一个新的数据集来促进这一方向的研究，参与者可以在此数据集上训练他们的模型，从科学文本中提取有意义的测量信息。该竞赛由五个子任务组成，这些子任务相互叠加：（1）数量跨度识别，（2）从识别的数量及其值修饰符分类中提取单元，（3）测量实体和测量属性的跨度识别，（4）限定符跨度识别，以及（5）识别的数量、测量实体、测量属性和限定符之间的关系抽取。我们首先识别数量，提取它们的测量单位，用相应的修饰符对它们进行分类，然后用它们以多轮问答的方式联合解决最后三个子任务，从而解决了这些挑战。我们性能最好的模型在测试集中获得了36.91%的重叠F1分数。
2021-04-09 cs.CL
How Optimal is Greedy Decoding for Extractive Question Answering?
Tel Aviv University（特拉维夫大学）；Meta AI Research（Meta人工智能研究院）
微调的语言模型使用贪心解码来相对成功地回答阅读理解问题。然而，这种方法并不能确保答案是给定段落中的一个跨度，也不能保证它是最有可能的一个。贪心解码实际上比遵循这些属性的算法性能更差吗？为了研究贪心解码的性能和最优性，我们提出了精确提取，解码算法，有效地找到最可能的答案跨度的上下文中。我们比较了T5与两种解码算法在zero-shot和Few-Shot提取问答上的性能。当没有训练样本可用时，精确提取明显优于贪心解码。然而，随着几个训练样本的引入，贪心解码快速收敛到精确提取的性能，随着训练集的增长，贪婪解码变得更加提取，并且越来越有可能生成最可能的跨度。我们还表明，自监督训练可以使模型偏向于提取行为，提高zero-shot设置中的性能，而无需求助于注释示例。总的来说，我们的研究结果表明，预训练的语言模型在适应提取式问答方面非常出色，因此通常只需在小训练集上进行微调，即可让贪心算法模拟最佳解码策略。
2022-11-08 cs.CL
Subjective Question Answering: Deciphering the inner workings of Transformers in the realm of subjectivity
UNIVERSITY OF COPENHAGEN（哥本哈根大学）；FACULTY OF SCIENCE（理学院）
理解主观性需要超出常识范围的推理技巧。它需要一个机器学习模型来处理情感和执行意见挖掘。在这项工作中，我利用了一个最近发布的数据集进行跨度选择问答，即SubjQA。SubjQA是第一个包含问题的QA数据集，这些问题要求与来自六个不同领域的评论段落相对应的主观意见。因此，为了回答这些主观问题，学习者必须针对各个领域提取意见和处理情感，并且另外，将从段落中提取的知识与相应问题中的自然语言话语对齐，这一起增加了QA任务的难度。本论文的主要目标是研究内部工作（即，潜在的表示），以帮助更好地理解这些尚未很好理解的“黑盒”模型。Transformer的隐藏表示，关于真正的答案跨度，更紧密地聚集在向量空间比那些表示对应于错误的预测。对于客观和主观问题，此观察结果在前三个Transformer层中均成立，并且通常作为层维度的函数而增加。此外，在关于真实答案跨度令牌的潜在空间中的隐藏表示之间实现高余弦相似性的概率对于正确答案跨度预测比不正确答案跨度预测显著更高。这些结果对下游应用具有决定性的影响，在下游应用中，关键是要知道神经网络为什么会出错，以及错误发生在空间和时间的哪个点（例如，自动预测答案跨度预测的正确性而不需要标记数据）。
2020-10-14 cs.CL
BERTVision -- A Parameter-Efficient Approach for Question Answering
Microsoft（微软）；Yale University（耶鲁大学）
我们提出了一个高参数效率的方法，大大减少了需要扩展BERT微调的问题排序。我们的方法使用来自每个BERT变换器层的隐藏状态激活的信息，该信息在典型的BERT推理期间被丢弃。我们的最佳模型以一小部分训练时间和GPU或TPU开销实现了最大的BERT性能。通过将我们的模型与BERT预测相结合，进一步提高了性能。此外，我们发现，近最佳性能可以实现QA跨度标注使用更少的训练数据。我们的实验表明，这种方法不仅适用于跨度标注，而且适用于分类，这表明它可以扩展到更广泛的任务。
2022-02-24 cs.CL cs.LG
Exploring The Landscape of Distributional Robustness for Question Answering Models
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
我们进行了一个大型的实证评估，调查景观的分布鲁棒性问答。我们的调查涵盖了350多个模型和16个问答数据集，包括一组不同的架构、模型大小和适应方法（例如，微调、适配器调整、上下文学习等）。我们发现，在许多情况下，模型的变化并不影响鲁棒性和分布性能单独决定的分布性能。此外，我们的研究结果表明，i）zero-shot和上下文学习方法比完全微调模型对分布偏移更鲁棒; ii）Few-Shot提示微调模型比Few-Shot微调跨度预测模型表现出更好的鲁棒性; iii）参数有效和鲁棒性增强训练方法没有提供显着的鲁棒性改进。此外，我们公开发布所有评估，以鼓励研究人员进一步分析问答模型的鲁棒性趋势。
2022-10-22 cs.CL cs.LG
Split-NER: Named Entity Recognition via Two Question-Answering-based Classifications
Nuro Inc.（Nuro 公司）；IBM T.J. Watson Research Center（IBM T.J. Watson 研究中心）
本文提出 Split-NER，将命名实体识别拆分为跨度检测和跨度分类两个子任务，并分别建模为问答问题，通过两次微调 BERT 实现高效且准确的实体识别。
2023-10-30 cs.CL cs.IR cs.LG
Span Selection Pre-training for Question Answering
IBM Research AI（IBM研究院人工智能部门）；IISC（印度科学学院）
BERT（来自Transformers的双向编码器表示）和相关的预训练的Transformers在许多语言理解任务中提供了很大的增益，实现了新的最先进的（SOTA）。BERT在两个辅助任务上进行预训练：掩蔽语言模型和下一句预测。在本文中，我们引入了一个新的预训练任务的启发阅读理解，以更好地调整从记忆到理解的预训练。跨度选择预训练（SSPT）提出了类似完形填空的训练实例，但不是从模型的参数中得出答案，而是从相关的段落中选择。我们发现，在多个阅读理解（MRC）数据集上，BERT-BASE和BERT-LARGE都有显著且一致的改进。具体来说，我们提出的模型具有强有力的经验证据，因为它在自然问题（一个新的基准MRC数据集）上获得了SOTA结果，在简短答案预测上优于BERT-LARGE 3个F1点。我们还在HotpotQA中表现出了显著的影响，将答案预测F1提高了4分，并将事实预测F1支持了1分，并且优于之前的最佳系统。此外，我们表明，当训练数据有限时，我们的预训练方法特别有效，大大改善了学习曲线。
2020-06-18 cs.AI cs.CL cs.LG
Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation
Google DeepMind（谷歌DeepMind）
本文提出一种利用LLM长上下文能力从整本书自动生成阅读理解数据的流水线，通过成对比较和Bradley-Terry模型排名的相对评估方法，验证了整本书上下文在阅读理解任务上的优越性。
2024-05-31 cs.AI cs.CL
Rethinking Label Smoothing on Multi-hop Question Answering
Fudan University（复旦大学）；Huawei Poisson Lab（华为泊松实验室）
针对多跳问答的性能瓶颈与过拟合问题，提出适配MRC的F1 Smoothing标签平滑技术及结合课程学习的LDLA算法，在HotpotQA数据集上取得SOTA效果，提升了模型泛化能力。
2023-12-13 cs.CL
LIQUID: A Framework for List Question Answering Dataset Generation
Korea University（高丽大学）；AIGEN Sciences
问答（QA）模型通常依赖于大规模的训练数据集，这就需要开发一个数据生成框架来降低人工注释的成本。虽然最近的几项研究旨在生成具有单跨度答案的合成问题，但没有研究对创建具有多个非连续跨度作为答案的列表问题进行过研究。为了解决这个问题，我们提出了LIQUID，一个自动化的框架，用于从未标记的语料库中生成列表QA数据集。我们首先将来自维基百科或PubMed的段落转换为摘要，并从摘要文本中提取命名实体作为候选答案。这使我们能够选择在上下文中语义相关的答案，因此，适合于构建列表问题。然后，我们使用现成的问题生成器与提取的实体和原始段落创建问题。最后，进行迭代过滤和答案扩展，以确保答案的准确性和完整性。使用我们的合成数据，我们通过精确匹配MultiSpanQA上的5.0，Quoref上的1.9和三个BioASQ基准的平均2.8的F1得分，显着提高了以前最好的列表QA模型的性能。
2023-02-06 cs.CL
Multi-Agent Self-Improving Reinforcement Learning for Video Reasoning
Lanzhou University（兰州大学）；National University of Singapore（新加坡国立大学）
该研究提出结合可训练Grounder与冻结Verifier的多智能体强化学习框架，在20亿参数规模下实现视频推理任务零样本迁移，相关指标优于同等规模基线，验证了冻结验证作为证据选择训练信号的有效性。
2026-09-01 cs.CL cs.CV
Self-supervised Contrastive Cross-Modality Representation Learning for Spoken Question Answering
Yale University（耶鲁大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
口语问答（SQA）需要对口语文档和问题进行细粒度的理解，以获得最佳答案预测。在本文中，我们提出了新的训练计划，口语问答与自我监督的训练阶段和对比表示学习阶段。在自监督阶段，我们提出了三个辅助的自监督任务，包括话语恢复，话语插入，和问题的歧视，并共同训练模型，以捕捉语音文档之间的一致性和连贯性，而无需任何额外的数据或注释。然后，我们建议通过采用多种增强策略，包括跨度删除和跨度替换，在对比目标中学习噪声不变的话语表示。此外，我们设计了一个时间对齐注意，语义对齐的语音文本线索在学习的共同空间和效益的SQA任务。通过这种方式，训练方案可以更有效地指导生成模型预测更合适的答案。实验结果表明，我们的模型在三个SQA基准测试中取得了最先进的结果。
2021-09-08 cs.AI cs.CL cs.LG
Building the Intent Landscape of Real-World Conversational Corpora with Extractive Question-Answering Transformers
Bell Canada（加拿大贝尔）
对于提供客户服务的公司来说，在会话数据中映射意图对于构建基于自然语言理解（NLU）的应用程序至关重要。然而，目前还没有建立自动化技术来从嘈杂的在线聊天或语音记录中收集意图。简单的聚类方法不适合意图稀疏的对话。为了解决这个意图景观任务，我们提出了一个无监督的管道，从现实世界的对话中提取意图和意图的分类。我们的管道使用提取问答Electra模型挖掘意图跨度候选项，并利用句子嵌入应用低级别密度聚类，然后是顶级层次聚类。我们的研究结果证明了在SQuAD 2数据集上微调的ELECTRA大型模型的泛化能力，以理解对话。通过正确的提示问题，该模型实现了超过85%的意图跨度的语言验证率。我们还从MultiDoGo数据集重建了五个领域的意图方案，平均召回率为94.3%。
2022-08-30 cs.AI cs.CL cs.LG
Relation Classification as Two-way Span-Prediction
Bar Ilan University（巴伊兰大学）；AI2（艾伦人工智能研究所）
当前的监督关系分类（RC）任务使用单个嵌入来表示一对实体之间的关系。我们认为，一个更好的方法是把RC任务的跨度预测（SP）的问题，类似于问答（QA）。我们提出了一个基于跨度预测的RC系统，并与基于嵌入的系统相比评估了其性能。我们表明，监督SP目标的工作显着优于标准的分类为基础的目标。我们在TACRED和SemEval任务8数据集上获得了最先进的结果。
2021-04-18 cs.CL
Ellipsis Resolution as Question Answering: An Evaluation
University of Copenhagen（哥本哈根大学）；Stanford University（斯坦福大学）；Copenhagen Business School（哥本哈根商学院）
大多数，如果不是所有形式的省略号（例如，玛丽也是一样）类似于阅读理解问题（玛丽做什么），为了解决它们，我们需要在前面的话语中确定一个适当的文本跨度。根据这一观察，我们提出了一种替代方法，英语省略号的解决方案依赖于问答（QA）开发的架构。我们提出了单任务模型，以及在辅助QA和共指消解数据集上训练的联合模型，明显优于当前最先进的水闸省略（从70.00到86.01 F1）和动词短语省略（从72.89到78.66 F1）。
2021-01-19 cs.CL
Activity report analysis with automatic single or multispan answer extraction
Qualcomm QTI Technologies Inc（高通QTI技术公司）
在物联网时代，我们被大量的AI设备所包围，这些设备可以将图像、视频、音频和传感器信号转录成文本描述。当在用于监视、生活记录和异常检测应用的活动报告中捕获这种瞬态时，用户通常会请求摘要或询问关于他们感兴趣的报告的某些部分的有针对性的问题。根据所问问题的上下文和类型，问答（QA）系统将需要自动确定答案是否涵盖单跨度或多跨度文本成分。目前可用的QA数据集主要集中在单跨度响应（如SQuAD[4]）或包含低比例的多跨度答案的示例（如DROP[3]）。为了研究在所描述的用例中单跨度/多跨度答案的自动选择，我们创建了一个新的灵巧家庭环境数据集，该数据集由根据问题和查询的上下文与单跨度或多跨度答案配对的问题组成。此外，我们提出了一个基于RoBERTa[6]的多跨度提取问答（MSEQA）模型，为给定的问题返回适当的答案跨度。我们的实验表明，该模型在我们的数据集上的性能优于最先进的QA模型，同时在已发布的单个/多跨度任务数据集上提供相当的性能。
2022-09-09 cs.CL cs.LG
Mintaka: A Complex, Natural, and Multilingual Dataset for End-to-End Question Answering
Amazon Alexa AI（亚马逊Alexa人工智能部门）
我们介绍了Mintaka，一个复杂的，自然的，多语言的数据集，旨在试验端到端的问答模型。Mintaka由20，000个英语问答对组成，使用维基数据实体进行注释，并翻译成阿拉伯语，法语，德语，印地语，意大利语，日语，葡萄牙语和西班牙语，共180，000个样本。Mintaka包括8种复杂的问题，包括最高级，交叉和多跳问题，这些问题自然是从人群工作者中引出的。我们在Mintaka上运行了基线，其中最好的一个在英语中达到了38%的命中率，在多语言中达到了31%的命中率，这表明现有的模型还有改进的空间。我们在https://github.com/amazon-research/mintaka发布Mintaka。
2022-10-04 cs.CL
DOCMASTER: A Unified Platform for Annotation, Training, & Inference in Document Question-Answering
University of California San Diego（加利福尼亚大学圣迭戈分校）；Halıcıoğlu Data Science Institute, University of California San Diego（加利福尼亚大学圣迭戈分校哈利乔格鲁数据科学学院）
本文提出DOCMASTER统一平台，在设备端集成PDF文档标注、模型训练与推理，支持布局感知和文本模型，解决文档问答中的格式复杂性与隐私保护问题，并已应用于UCSD的AI助手处理大量PDF文档。
2024-03-30 cs.CL
CAPID: Context-Aware PII Detection for Question-Answering Systems
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
CAPID通过微调本地小型语言模型实现隐私保护的PII检测，有效提升问答系统中PII识别的准确性与实用性。
2026-02-10 cs.CL cs.CR
TVQA: Localized, Compositional Video Question Answering
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
近年来，人们对基于图像的问答（QA）任务越来越感兴趣。然而，由于数据的限制，基于视频的QA的工作要少得多。在本文中，我们提出了TVQA，一个大规模的视频问答数据集的基础上，6个流行的电视节目。TVQA由21，793个剪辑中的152，545个问答对组成，跨越460多个小时的视频。问题被设计为本质上是合成的，需要系统联合定位剪辑中的相关时刻，理解基于字幕的对话，并识别相关的视觉概念。我们提供了对这个新数据集的分析，以及几个基线和一个多流端到端可训练的神经网络框架，用于TVQA任务。该数据集可在http://tvqa.cs.unc.edu上公开获得。
2019-05-07 cs.AI cs.CL cs.CV
Time-Aware Representation Learning for Time-Sensitive Question Answering
KAIST（韩国科学技术院）
针对语言模型难以理解时间限定词与数字关系的问题，提出TCQA框架及TCSE任务，通过生成时间上下文依赖数据训练模型提取答案片段，在TimeQA数据集上F1分数较基线提升8.5。
2023-10-19 cs.AI cs.CL cs.LG
Dynamic Coattention Networks For Question Answering
Salesforce Research（Salesforce 研究院）
已经提出了几种用于问答的深度学习模型。然而，由于它们的单程性质，它们无法从对应于不正确答案的局部最大值中恢复。为了解决这个问题，我们引入了动态协同注意网络（DCN）的问答。DCN首先融合问题和文档的相互依赖的表示，以便关注两者的相关部分。然后，动态指向解码器迭代潜在的答案跨度。这种迭代过程使模型能够从对应于不正确答案的初始局部最大值恢复。在斯坦福大学的问答数据集上，单个DCN模型将先前的技术水平从71.0% F1提高到75.9%，而DCN集成获得80.4% F1。
2018-03-06 cs.AI cs.CL
Rethinking the Objectives of Extractive Question Answering
Brno University of Technology（布尔诺理工大学）
这项工作表明，使用具有独立性假设的目标对跨度概率$P(a_s,a_e) = P(a_s)P(a_e)$进行建模，跨度从位置$a_s$开始并在位置$a_e$结束，具有不利影响。因此，我们提出了多种方法来建模联合概率$P(a_s,a_e)$直接。其中，我们提出了一个复合目标，由联合概率组成，同时仍然保持目标与独立性假设作为辅助目标。我们发现，复合目标是一致优于或等于其他假设的精确匹配。此外，我们还识别了由独立性假设引起的常见错误，并手动检查了对应的预测，证明了复合目标对真实示例的影响。我们的研究结果是通过实验支持三个提取QA模型（BIDAF，BERT，AL BERT）在六个数据集和我们的代码，个人的结果和手动分析可在线。
2021-10-12 cs.AI cs.CL cs.LG
Long Context Question Answering via Supervised Contrastive Learning
Bar-Ilan University（巴伊兰大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
长上下文问答（QA）任务需要对长文档或多个文档进行推理。解决这些任务通常受益于识别一组证据跨度（例如，句子），为回答问题提供支持证据。在这项工作中，我们提出了一种新的方法，用于为长上下文QA模型配备额外的序列级目标，以更好地识别支持证据。我们通过微调中的额外对比监督信号来实现这一点，其中鼓励模型通过最大化问题-证据相似性来明确区分支持证据句子和否定证据句子。在三种不同的强长上下文Transformer模型上，在两个具有挑战性的问答基准测试HotpotQA和QAsper上，所提出的额外损失表现出一致的改进。
2022-05-05 cs.AI cs.CL
Neural Compositional Denotational Semantics for Question Answering
University of Pennsylvania（宾夕法尼亚大学）；Facebook AI Research（Facebook人工智能研究院）
解决需要多步推理的组合问题是具有挑战性的。我们引入了一个端到端的可微模型来解释有关知识图谱（KG）的问题，这是受到语义的正式方法的启发。文本的每个跨度都由KG中的指示词和捕获意义的无基础方面的向量表示。学习组成模块递归地组合成分跨度，最终形成回答问题的完整句子。例如，为了解释“not green”，模型将“green”表示为一组KG实体，将“not”表示为一个可训练的未接地向量，然后使用该向量来参数化执行补码运算的组合函数。对于每个句子，我们构建了一个包含所有可能解析的解析图，允许模型通过终端任务监督的梯度下降来共同学习组合运算符和输出结构。该模型学习各种具有挑战性的语义操作，如量词，析取和组合关系，并推断潜在的句法结构。与RNN、其基于树的变体和语义解析基线相比，它还可以很好地推广到比训练数据中更长的问题。
2018-08-29 cs.AI cs.CL cs.LG
Localizing and Mitigating Errors in Long-form Question Answering
Technical University of Darmstadt（达姆施塔特工业大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出 HaluQuestQA 数据集及错误信息引导的修正方法，通过定位长文本问答中的片段级错误并利用反馈信号修正回答，显著减少错误并提升回答质量。
2025-06-03 cs.CL
Conversational Answer Generation and Factuality for Reading Comprehension Question-Answering
问答（QA）是语音助理的重要用例。一种流行的问答方法是提取阅读理解（RC），它在文本段落中找到答案跨度。然而，提取的答案在会话上下文中通常是不自然的，这导致次优的用户体验。在这项工作中，我们调查问答会话的答案生成。我们提出了一个端到端的生成RC模型，它将多个段落的答案生成与段落排名和可回答性相结合。此外，在应用生成RC的一个障碍是幻觉的答案是事实上与文本不一致。我们利用最近的工作总结，以评估真实性。实验结果表明，与MS MARCO 2.1 NLGEN和NarrativeQA之前发表的最佳结果相比，EscherBART显着提高了2.5 ROUGE-L和9.4 ROUGE-L。
2021-03-11 cs.CL
End-to-End Open-Domain Question Answering with BERTserini
University of Waterloo（滑铁卢大学）
我们展示了一个端到端的问答系统，集成了BERT与开源的Anserini信息检索工具包。与当今大多数问答和阅读理解模型相比，这些模型在少量输入文本上运行，我们的系统将IR的最佳实践与基于BERT的阅读器集成在一起，以端到端的方式从维基百科文章的大型语料库中识别答案。我们报告了在标准基准测试集合上的先前结果的大幅改进，表明使用SQuAD微调预训练的BERT足以在识别答案跨度方面实现高准确度。
2019-09-18 cs.CL cs.IR
A Cross-Task Analysis of Text Span Representations
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
许多自然语言处理（NLP）任务涉及文本跨度的推理，包括问答、实体识别和共指消解。虽然广泛的研究集中在表示单词和句子的功能架构上，但在表示句子中任意跨度的文本方面的工作较少。在本文中，我们使用八个预训练的语言表征模型对六个跨度表征方法进行了全面的实证评估，包括我们介绍的两个任务。我们发现，虽然一些简单的跨度表示是相当可靠的跨任务，在一般情况下，最佳跨度表示不同的任务，也可以在不同方面的个别任务。我们还发现，跨度表示的选择对固定的预训练编码器的影响比微调编码器的影响更大。
2020-06-06 cs.CL
ChroniclingAmericaQA: A Large-scale Question Answering Dataset based on Historical American Newspaper Pages
University of Innsbruck（因斯布鲁克大学）
本文发布基于 Chronicling America、跨越120年并含48.7万问答对的时序问答数据集，支持噪声OCR、校正文本和扫描图像三种评测方式。
2024-05-10 cs.CL
Attention-guided Generative Models for Extractive Question Answering
AWS AI Labs（亚马逊云科技人工智能实验室）
我们提出了一种新的方法应用Transformer模型提取问答（QA）任务。近年来，预训练的生成序列到序列（seq2seq）模型在问答中取得了巨大的成功。这些模型的成功得益于内部注意力机制，例如交叉注意力。我们提出了一个简单的策略，通过利用解码器的交叉注意模式，从生成模型中获得一个提取的答案跨度。将交叉注意力视为架构优先级，我们应用联合训练来进一步提高QA性能。实证结果表明，在NaturalQuestions和TriviaQA等开放域问答数据集上，我们的方法在生成和提取推理方面都接近最先进的性能，同时使用更少的参数。此外，这种策略允许我们执行无幻觉的推理，同时显著提高模型对相关段落进行重新排序的能力。
2021-10-12 cs.CL cs.IR
Probabilistic Assumptions Matter: Improved Models for Distantly-Supervised Document-Level Question Answering
Microsoft Research（微软研究院）；Google Research（谷歌研究院）
我们使用文档级的远程监督，将问题和相关文档与答案字符串配对，解决了抽取式问答问题。我们比较了以前使用的概率空间和遥远的超视假设（假设弱答案字符串标签和可能的答案提及跨度之间的对应关系）。我们表明这些假设相互作用，并且不同的配置提供了互补的好处。我们证明了多目标模型可以有效地结合多个假设的优势，并优于最佳的个人制定。我们的方法在TriviaQA-Wiki上的F1和NarrativeQA摘要上的Rouge-L中分别比以前的最先进模型高出4.3分和1.7分。
2020-05-05 cs.CL cs.LG
