Full-Time Supervision based Bidirectional RNN for Factoid Question Answering
National Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Collaborative Innovation Center of Novel Software Technology and Industrialization（软件新技术与产业化协同创新中心）；Nanjing University（南京大学）
近年来，双向递归神经网络（BRNN）已被广泛应用于问答（QA）任务，具有良好的性能。然而，大多数现有的BRNN模型提取的问题和答案的信息，直接使用池操作，以产生表示损失或相似度计算。因此，这些现有的模型没有在每个时间步上进行监督（损失或相似性计算），这将丢失一些有用的信息。本文提出了一种新的基于全时监督的BRNN模型（FTS-BRNN），它可以在每个时间步进行监督。在事实问答任务上的实验表明，我们的FTS-BRNN可以优于其他基线，以达到最先进的准确性。
2016-06-21 cs.CL
Uncertainty Quantification in Retrieval Augmented Question Answering
University of Edinburgh（爱丁堡大学）
本研究提出通过估计检索段落的效用来量化检索增强QA模型的不确定性，训练轻量级模型预测效用，高效接近或超越采样方法。
2025-09-11 cs.CL
ParaShoot: A Hebrew Question Answering Dataset
The Blavatnik School of Computer Science（布拉瓦特尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
希伯来语的NLP研究主要集中在形态学和语法上，在这些领域，有丰富的注释数据集，这些数据集都是以通用的解释为精神的。然而，语义数据集供不应求，阻碍了希伯来语NLP技术发展的关键进展。在这项工作中，我们提出了ParaShoot，第一个问答数据集在现代希伯来语。该数据集遵循SQuAD的格式和众包方法，包含大约3000个注释示例，与其他低资源语言的问答数据集类似。我们使用最近发布的BERT风格的希伯来语模型提供了第一个基线结果，表明这项任务还有很大的改进空间。
2021-09-23 cs.CL
Using contradictions improves question answering systems
Dalhousie University（达尔豪斯大学）
本文研究在问答系统中引入矛盾判断，发现结合矛盾、蕴含与模型置信度可提升多项选择和抽取式问答性能，对安全敏感领域部署具有意义。
2023-05-29 cs.CL
Improving Question Answering by Commonsense-Based Pre-Training
Microsoft Research Asia（微软亚洲研究院）；Sun Yat-Sen University（中山大学）
虽然神经网络方法在各种NLP任务上取得了显着的成功，但其中许多方法难以回答需要常识知识的问题。我们认为主要原因是概念之间缺乏常识性的\mbox{connections}。为了解决这个问题，我们提供了一个简单而有效的方法，利用外部常识知识库，如概念网。我们预先训练概念之间的直接和间接关系函数，并表明这些预先训练的函数可以很容易地添加到现有的神经网络模型。结果表明，将常识为基础的功能，提高了三个问答任务，需要常识推理的基线。进一步的分析表明，我们的系统\mbox{discovers}，并利用有用的证据，从外部常识知识库，这是在现有的神经网络模型，并帮助得出正确的答案。
2019-03-01 cs.CL
Elaboration-Generating Commonsense Question Answering at Scale
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Utah（犹他大学）
本文提出交替微调阐述生成器与答案预测器的框架，使不足 GPT-3 参数量0.5%的小模型在四个常识问答基准上优于同规模方法并接近 GPT-3。
2023-07-14 cs.CL
Question-Answering Approach to Evaluating Legal Summaries
University of Pittsburgh（匹兹堡大学）
针对传统法律摘要评估指标忽略论证结构的问题，提出基于GPT-4的问答式评估框架，经检验其评分与人工评分相关，可有效衡量法律摘要质量。
2023-12-18 cs.CL
What do Models Learn from Question Answering Datasets?
Amazon Alexa（亚马逊 Alexa）
虽然模型在SQuAD等流行的问答（QA）数据集上已经达到了超人的性能，但它们在问答本身的任务上还没有超过人类。在本文中，我们通过在五个数据集上评估基于BERT的模型来研究模型是否正在从QA数据集学习阅读理解。我们评估模型对域外示例的可推广性，对缺失或不正确数据的响应以及处理问题变化的能力。我们发现，没有一个单一的数据集是强大的，我们所有的实验，并确定在数据集和评估方法的缺点。根据我们的分析，我们提出了建议，以建立未来的QA数据集，更好地评估问答通过阅读理解的任务。我们还在https://github.com/amazon-research/qa-dataset-converter上发布了将QA数据集转换为共享格式的代码，以便更轻松地进行实验。
2020-10-13 cs.CL
Question Answering Infused Pre-training of General-Purpose Contextualized Representations
University of Southern California（南加州大学）；Facebook AI Research（脸书人工智能研究院）
我们提出了一个基于问答（QA）的预训练目标，用于学习通用的上下文表示，其动机是一个短语在段落中的表示应该编码该短语可以在上下文中回答的所有问题。为此，我们训练了一个独立编码段落和问题的双编码器QA模型，以匹配8000万个合成QA对上更准确的交叉编码器模型的预测。通过对QA相关信息进行编码，双向编码器的令牌级表示对于非QA下游任务是有用的，而无需广泛的（或在某些情况下，任何）微调。我们在四个数据集上的zero-shot和few-shot释义检测、两个数据集上的Few-Shot命名实体识别和三个数据集上的zero-shot情感分析上都显示出了比Roberta大型和以前最先进的结果有很大的改进。
2022-03-16 cs.CL
Unified Question Answering in Slovene
University of Ljubljana（卢布尔雅那大学）
问答是语言理解中最具挑战性的任务之一。大多数方法都是为英语开发的，而资源较少的语言则很少研究。我们采用了一种成功的英语问答方法，称为UnifiedQA，用于资源较少的斯洛文尼亚语。我们的适应使用编码器-解码器Transformer SloT 5和mT5模型来处理四种问答格式：是/否、多项选择、抽象和提取。我们使用现有的斯洛文尼亚适应四个数据集，并机器翻译MCTest数据集。我们表明，一般模型可以回答不同格式的问题，至少以及专门的模型。使用英语的跨语言迁移进一步改善了结果。虽然我们为斯洛文尼亚语产生了最先进的结果，但性能仍然落后于英语。
2022-11-16 cs.AI cs.CL
Korean-Specific Dataset for Table Question Answering
LG AI Research ISC（LG人工智能研究ISC）
现有的问答系统主要集中在处理文本数据。然而，每天产生的大部分数据都以表格的形式存储，这些表格可以在文档和关系数据库中找到，也可以在Web上找到。为了解决在表格上进行问答的任务，存在许多用英语编写的表格问答数据集，但很少有韩语数据集。在本文中，我们演示了如何为表格问答构建朝鲜语特定的数据集：朝鲜语表格数据集是140万个表格的集合，其中包含对无监督预训练语言模型的相应描述。韩国表问答语料库由众包工作者创建的7万对问题和答案组成。随后，我们基于Transformer构建了一个预训练的语言模型，并使用这些数据集对表格问答模型进行了微调。然后，我们报告我们的模型的评估结果。我们通过我们的GitHub存储库公开提供我们的数据集，并希望这些数据集将有助于进一步研究表格上的问答，以及表格格式的转换。
2022-05-01 cs.CL
Graph Reasoning for Question Answering with Triplet Retrieval
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Amazon Inc.（亚马逊公司）；Georgia Institute of Technology（佐治亚理工学院）
本文提出一种基于三元组检索与重排序的图推理问答方法，通过从知识图谱中检索最相关三元组并与问题拼接输入语言模型，在 CommonsenseQA 和 OpenbookQA 上最高提升 4.6% 绝对准确率。
2023-05-30 cs.CL
OpCredit: Operation-Aware Policy Learning for Agentic Knowledge Graph Question Answering
Nanjing University（南京大学）；University of Oxford（牛津大学）
针对智能体KGQA中轨迹级奖励掩盖操作贡献的问题，提出OpCredit框架，结合BOC与FTC两种信用信号监督训练，经多数据集实验验证可提升KGQA性能。
2026-10-16 cs.CL
Learning Question-Guided Video Representation for Multi-Turn Video Question Answering
Carnegie Mellon University（卡内基梅隆大学）；Google AI（谷歌人工智能）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；Amazon Alexa AI（亚马逊Alexa人工智能）
理解和对话动态场景是人工智能智能体的关键能力之一，它可以在环境中导航并向人类传达有用的信息。视频问答是这种人工智能与人类交互的特定场景，其中代理对关于动态场景的视频的问题生成自然语言响应。从通常提供补充信息的多个模态中提取特征是视频问答的挑战性方面之一。此外，问题通常只涉及视频的一小部分，因此使用递归神经网络对整个视频序列进行编码在计算上效率不高。我们提出的问题引导的视频表示模块有效地生成由问题中的每个单词引导的令牌级视频摘要。然后将学习到的表征与问题融合以生成答案。通过对视听场景感知对话（AVSD）数据集的实证评估，我们提出的模型在单轮和多轮问答中的几个自动自然语言生成评估指标上达到了最先进的性能。
2019-07-31 cs.CL
Learning to Attend On Essential Terms: An Enhanced Retriever-Reader Model for Open-domain Question Answering
University of California, San Diego（加州大学圣地亚哥分校）；Microsoft（微软）
开放域问答仍然是一项具有挑战性的任务，因为它需要能够理解问题和答案，收集有用信息和推理证据的模型。以前的工作通常制定这个任务作为一个阅读理解或蕴涵问题的证据检索搜索引擎。然而，现有的技术努力检索间接相关的证据时，没有直接相关的证据提供，特别是对于复杂的问题，它是很难准确地解析问题问。在本文中，我们提出了一个检索者-读者模型，学习参加在问答过程中的基本条款。我们构建了（1）一个基本术语选择器，它首先识别问题中最重要的词，然后重新制定查询并搜索相关证据;以及（2）一个增强的阅读器，它区分基本术语和分散注意力的词来预测答案。我们在多个开放域多项选择QA数据集上评估了我们的模型，特别是在AI 2推理挑战（ARC）数据集上表现出最先进的水平。
2019-05-09 cs.CL
Question Answering Against Very-Large Text Collections
问答涉及开发从大量文档集合中提取有用信息的方法。这是通过专门的搜索引擎完成的，例如Answer。答案搜索的目的是提供问题的答案，而不是列出可能包含正确答案的相关文档的页面。因此，像“埃菲尔铁塔有多高”这样的问题只会返回“325米”或“1，063英尺”。我们的任务是通过改进信息检索以及改进问题系列分析中涉及的预处理来构建Answer的当前版本。
2013-04-26 cs.CL cs.IR
Synthetic Question Value Estimation for Domain Adaptation of Question Answering
The Ohio State University（俄亥俄州立大学）；George Mason University（乔治梅森大学）
在目标域上用问题生成器合成问答对已成为问答模型领域自适应的一种流行方法。由于合成问题在实践中经常是嘈杂的，现有的工作将来自预训练的QA（或QG）模型的分数作为选择高质量问题的标准。然而，这些分数并不直接服务于提高目标域的QA性能的最终目标。在本文中，我们介绍了一种新的想法，训练一个问题值估计器（QVE），直接估计合成问题的有用性，以提高目标域QA性能。通过进行综合实验，我们表明，QVE选择的综合问题，可以帮助实现更好的目标域QA性能，与现有技术相比。我们还表明，通过使用这样的问题和目标域上大约15%的人类注释，我们可以实现与完全监督基线相当的性能。
2022-03-16 cs.CL
Semantic Parsing for Conversational Question Answering over Knowledge Graphs
University of Edinburgh（爱丁堡大学）；Amazon Alexa（亚马逊Alexa）
在本文中，我们感兴趣的是开发语义解析器，理解嵌入在与用户的对话中的自然语言问题，并将其置于具有非常大的词汇量（涵盖数千个概念名称和关系，以及数百万个实体）的通用知识图谱（KG）中的定义上的正式查询。为此，我们开发了一个数据集，其中用户问题用Sparql解析进行注释，系统答案对应于其执行结果。我们提出了两种不同的语义解析方法，并强调了任务的挑战：处理大词汇，建模会话上下文，预测查询与多个实体，并概括到新的问题在测试时。我们希望我们的数据集将作为对话式语义解析器开发的有用测试平台。我们的数据集和模型发布在https://github.com/EdinburghNLP/SPICE。
2023-01-28 cs.CL
Adversarial TableQA: Attention Supervision for Question Answering on Tables
Yonsei University（延世大学）；University of Edinburgh（爱丁堡大学）；NCSOFT（NCSoft公司）
由于社区在构建有用数据集方面的努力，回答给定文本段落的问题的任务在模型性能上取得了很大的发展。最近，有人怀疑这种快速进步是否建立在真正理解语言的基础上。在表问答（TableQA）任务中没有提出相同的问题，我们的任务是回答给定表的查询。我们表明，现有的努力，使用“答案”的评价和监督TableQA，表现出恶化的性能在对抗性设置的扰动，不影响答案。这种洞察力自然会促使开发更精确地理解问题和表格的新模型。为了实现这个目标，我们提出了Neural Operator（NeOp），这是一个具有注意力监督的多层顺序网络，用于回答给定表格的查询。NeOp使用多个选择性递归单元（SelRU）来进一步帮助模型答案的可解释性。实验表明，使用操作数信息来训练模型显著提高了TableQA模型的性能和可解释性。NeOp的性能远远优于以前的所有型号。
2018-10-19 cs.CL
DTW at Qur'an QA 2022: Utilising Transfer Learning with Transformers for Question Answering in a Low-resource Domain
University of Wolverhampton（伍尔弗汉普顿大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
机器阅读理解（MRC）任务是评价机器对自然语言理解能力的一个有用的基准。它在自然语言处理（NLP）领域中很受欢迎，主要是因为许多语言发布了大量的数据集。然而，MRC的研究在包括宗教文本在内的几个领域都没有得到充分的研究。古兰经问答2022共享任务的目标是通过制作最先进的古兰经问答和阅读理解研究来填补这一空白。本文介绍了DTW进入古兰经QA 2022共享任务。我们的方法使用迁移学习来利用可用的阿拉伯语MRC数据。我们使用各种集成学习策略进一步改善结果。我们的方法在测试集上提供了0.49的部分倒数排名（pRR）得分，证明了其在任务上的强大性能。
2022-05-12 cs.CL
Context Filtering with Reward Modeling in Question Answering
KAIST AI（韩国科学技术院人工智能学院）
提出基于奖励建模的上下文过滤方法，去除无关信息并总结关键内容，提升问答效率，在EPT指标上实现6.8倍提升。
2024-12-16 cs.CL
F1 is Not Enough! Models and Evaluation Towards User-Centered Explainable Question Answering
Bosch Center for Artificial Intelligence（博世人工智能中心）；Institut für Maschinelle Sprachverarbeitung, University of Stuttgart（斯图加特大学机械语言研究所）
可解释的问答系统预测一个答案以及显示为什么选择该答案的解释。其目标是使用户能够评估系统的正确性，并理解其推理过程。然而，我们发现，目前的模型和评估设置有缺点的耦合的答案和解释，这可能会导致严重的问题，在用户体验。作为一种补救措施，我们提出了一个层次模型和一个新的正则化项，以加强答案解释耦合以及两个评价分数来量化耦合。我们在HOTPOTQA基准数据集上进行实验，并进行用户研究。用户研究表明，我们的模型提高了用户判断系统正确性的能力，并且像F1这样的分数不足以估计模型在人类用户的实际环境中的有用性。我们的分数与用户体验更一致，使其成为模型选择的有希望的候选者。
2020-10-13 cs.CL
TWEETQA: A Social Media Focused Question Answering Dataset
University of California, Santa Barbara（加州大学圣巴巴拉分校）；IBM Research（IBM研究院）
随着社交媒体变得越来越流行，大量的新闻和实时事件被报道，开发自动问答系统对于许多依赖实时知识的应用程序的有效性至关重要。虽然以前的数据集集中于新闻和维基百科等正式文本的问答（QA），但我们提出了第一个大规模的QA数据集。为了确保我们收集的推文是有用的，我们只收集记者用于撰写新闻文章的推文。然后我们让人类注释者在这些tweet上写下问题和答案。与SQuAD等其他QA数据集不同，在SQuAD中，答案是提取的，我们允许答案是抽象的。我们发现，最近提出的两个神经模型，表现良好的formaltexts是有限的，在他们的性能时，ap-plied到我们的数据集。此外，即使是经过微调的BERT模型，其性能仍然落后于人类，差距很大。因此，我们的结果指出，需要改进的QA系统，针对社会媒体文本。
2019-07-14 cs.CL
Document-level Causal Relation Extraction with Knowledge-guided Binary Question Answering
University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对事件-事件因果关系抽取中缺乏文档级建模和因果幻觉的问题，提出融合事件结构的知识引导二元问答方法，在多数据集上验证了其有效性、泛化性与低不一致性，在MECI上达SOTA。
2024-10-07 cs.CL
Supervised Transfer Learning for Product Information Question Answering
Purdue University（普渡大学）；Adobe Research（奥多比研究院）；University of Georgia（佐治亚大学）
流行的电子商务网站，如亚马逊提供社区问答系统，供用户提出与产品相关的问题，有经验的客户可以自愿提供答案。在本文中，我们表明，大量的现有社区问答数据可以是有益的，当建立一个系统，回答有关产品的事实和规格的问题。我们的实验结果表明，一个回答问题的模型的性能在家得宝网站上列出的产品可以通过一个简单的迁移学习技术从现有的大规模亚马逊社区问答数据集大幅提高。迁移学习可以在实验设置中提高大约10%的准确率，在实验设置中，我们限制了用于训练的目标任务的数据大小。作为这项工作的一个应用，我们将这项工作中训练的性能最好的模型集成到一个基于移动的购物助手中，并展示了它的实用性。
2019-01-08 cs.CL cs.LG
MetaQA: Combining Expert Agents for Multi-Skill Question Answering
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心）；Koç University（科奇大学）
最近问答（QA）数据集和模型的爆炸式增长增加了人们对通过在多个数据集上训练或通过组合多个模型来跨多个领域和格式泛化模型的兴趣。尽管多数据集模型的结果很有希望，但某些领域或QA格式可能需要特定的架构，因此这些模型的适应性可能受到限制。此外，目前用于组合模型的方法忽略了诸如问答兼容性之类的线索。在这项工作中，我们建议将专家代理与一种新颖，灵活，高效的训练架构相结合，该架构考虑问题，答案预测和答案预测置信度得分，以在候选答案列表中选择最佳答案。通过定量和定性实验，我们表明，我们的模型i）创建代理之间的协作，优于以前的多代理和多数据集的方法，在域内和域外的情况下，ii）是高度数据效率的训练，和iii）可以适应任何QA格式。我们在https://github.com/UKPLab/MetaQA上发布了我们的代码和来自专家代理的16个QA数据集的答案预测数据集，以促进多代理系统的未来发展。
2023-02-07 cs.CL cs.LG
Incorporating External Knowledge into Machine Reading for Generative Question Answering
Alibaba Group（阿里巴巴集团）
QA模型需要常识和背景知识来回答许多重要的问题。与现有的知识感知QA的工作不同，我们专注于一个更具挑战性的任务，利用外部知识来生成自然语言的答案，为一个给定的问题与上下文。在本文中，我们提出了一个新的神经模型，知识丰富的答案生成器（KEAG），它能够通过利用和汇总来自所有四个信息源的证据组成一个自然的答案：问题，段落，词汇和知识。在答案生成过程中，KEAG自适应地确定何时利用符号知识以及知识中的哪些事实是有用的。这允许模型利用给定文本中没有明确说明但与生成答案相关的外部知识。对答案生成的公共基准的实证研究表明，KEAG提高了答案质量的模型没有知识和现有的知识感知模型，证实了其有效性，利用知识。
2019-09-06 cs.CL
JDocQA: Japanese Document Question Answering Dataset for Generative Language Models
Nara Institute of Science and Technology（奈良科学技术研究所）；RIKEN（理化学研究所）；ATR（ATR（先进电信研究所））
本文提出JDocQA，一个包含5,504份PDF文档和11,600个日语问答实例的大规模日语文档问答数据集，要求同时利用视觉与文本信息，并通过纳入不可回答问题来抑制大语言模型的幻觉生成。
2024-03-28 cs.CL
PerCQA: Persian Community Question Answering Dataset
School of Computer Science, Institute for Research in Fundamental Sciences（基础科学研究学院计算机科学系）；School of Electrical and Computer Engineering, College of Engineering, University of Tehran（德黑兰大学工程学院电气与计算机工程系）
社区问答（CQA）论坛为许多现实生活中的问题提供了答案。由于规模庞大，这些论坛在机器学习研究人员中非常受欢迎。自动答案选择、答案排名、问题检索、专家发现和事实检查是使用CQA数据执行的示例学习任务。在本文中，我们介绍了PerCQA，CQA的第一个波斯数据集。这个数据集包含了从最知名的波斯语论坛上抓取的问题和答案。在数据采集之后，我们在迭代过程中提供严格的注释指南，然后以SemEvalCQA格式对问答对进行注释。PerCQA包含989个问题和21，915个注释答案。我们公开PerCQA，以鼓励更多的波斯语CQA研究。我们还通过使用单语言和多语言预训练的语言模型为PerCQA中的答案选择任务构建了强大的基准
2021-12-25 cs.CL
Exploring the Impact of Table-to-Text Methods on Augmenting LLM-based Question Answering with Domain Hybrid Data
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Department of Computer Science, The University of Manchester（曼彻斯特大学计算机科学系）
本文构建表到文本增强 LLM 问答框架，并在真实工业混合数据上比较 Markdown、模板、TPLM 与 LLM 四种方法对 DSFT 和 RAG 的效果。
2024-04-09 cs.CL
Pay More Attention - Neural Architectures for Question-Answering
Samsung Electronics（三星电子）；Deutsche Telekom AG（德国电信）
机器理解是自然语言理解的一个典型任务。通常情况下，我们给出上下文段落，目的是回答一个取决于上下文的问题。这样的问题需要对上下文段落和问题之间的复杂交互进行建模。最近，注意力机制已被发现在这些任务中是相当成功的，并且特别地，具有从上下文到问题和从问题到上下文的注意流的注意力机制已被证明是相当有用的。在本文中，我们研究了两个国家的最先进的注意力机制，称为双向注意力流（Biidirectional Attention Flow，Biidirectional）和动态协同注意力网络（Dynamic Co-Attention Network，DCN），并提出了一个混合方案，结合这两个架构，提供更好的整体性能。此外，我们还提出了一个新的更简单的注意力机制，我们称之为双交叉注意力（DCA），提供更好的结果相比，双循环和合作注意力机制，同时提供类似的性能的混合计划。我们的论文的目标是特别关注注意力层，并提出改进建议。我们的实验评估表明，我们提出的模型在斯坦福问答数据集（SQuAD）上取得了优异的结果相比，Biopsium和DCN注意力机制。
2018-03-25 cs.CL
Modeling Exemplification in Long-form Question Answering via Retrieval
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
举例是作者通过举例来解释或澄清概念的过程。虽然在所有形式的写作中都很常见，但例证在长式问答（LFQA）中特别有用，在这种情况下，复杂的答案可以通过简单的例子变得更容易理解。在本文中，我们提供了QA中范例的第一个计算研究，对不同类型的示例进行细粒度注释（例如，假设，轶事）在三个语料库。我们发现，不仅国家的最先进的LFQA模型的斗争，以产生相关的例子，而且，标准的评估指标，如ROUGE是不够的，以判断例证质量。我们建议把例证作为一个\emph{retrieval}问题，其中一个部分写的答案是用来查询一个大的人类写的例子从语料库中提取。我们的方法允许一个可靠的排名类型的自动指标，以及与人类的评价。人类的评价表明，我们的模型的检索到的例子比从最先进的LFQA模型生成的例子更相关。
2022-05-19 cs.CL
An Audio-enriched BERT-based Framework for Spoken Multiple-choice Question Answering
National Taiwan University of Science and Technology（台湾科技大学）
在一个口语多项选择问答（SMCQA）任务中，给定一个段落、一个问题和多个选择都是以语音的形式，机器需要选择正确的选择来回答问题。虽然音频可能包含SMCQA的有用线索，但通常只有自动转录的文本才用于系统开发。得益于大规模的预训练语言表示模型，例如Transformers（BERT）的双向编码器表示，仅具有自动转录文本的系统仍然可以实现一定的性能水平。然而，先前的研究已经证明，声学水平的统计可以抵消由自动语音识别系统或潜伏在词嵌入生成器中的表示不足引起的文本不准确性，从而使SMCQA系统鲁棒。沿着这一研究思路，本研究致力于设计一个基于BERT的SMCQA框架，该框架继承了BERT学习语境化语言表征的优点，并将从音频中提取的声学级信息与文本级信息相结合。因此，提出了一种基于音频丰富BERT的SMCQA框架。一系列的实验表明，在选定的基线和SOTA系统上的中国SMCQA数据集的准确性显着提高。
2020-05-25 cs.CL
Question Answering and Question Generation as Dual Tasks
Microsoft Research Asia（微软亚洲研究院）；Beihang University（北京航空航天大学）
本文研究了联合问答和问题生成问题。我们的直觉是，QA和QG有着内在的联系，这两个任务可以相互促进。一方面，QA模型判断QG模型生成的问题是否与答案相关。另一方面，QG模型提供了在给定答案的情况下生成问题的概率，这是一个有用的证据，反过来又促进了QA。在本文中，我们把QA和QG视为双重任务。我们提出了一个训练框架，同时训练QA和QG模型，并明确利用它们的概率相关性来指导这两个模型的训练过程。我们实现了一个基于序列到序列学习的QG模型和一个基于递归神经网络的QA模型。由于QA和QG模型的所有组件都是可微的，因此这两个模型中涉及的所有参数都可以通过反向传播来学习。我们在三个数据集上进行了实验。实证结果表明，我们的训练框架提高了QA和QG任务。改进的QA模型在所有三个数据集上使用强基线方法进行验证。
2017-08-04 cs.CL
Improving Question Answering with Generation of NQ-like Questions
University of Maryland, College Park（马里兰大学帕克分校）；IIT Kharagpur（印度理工学院克勒格布尔分校）；University of Minnesota（明尼苏达大学）
问答（QA）系统需要大量的注释数据，这是昂贵的和耗时的收集。由于不同的格式和复杂性，转换现有QA基准的数据集具有挑战性。为了解决这些问题，我们提出了一种算法，通过利用数据集之间的风格转换，从Quizbowl（QB）数据集中的较长琐事问题自动生成类似于自然问题（NQ）数据集中日常人类交流的较短问题。这为我们的QA系统提供了一种自动生成更多数据的方法。为了确保数据的质量和数量，我们使用神经分类器检测和删除病态问题。我们证明，在低资源设置中，使用生成的数据提高了NQ和QB数据上的基线系统的QA性能。我们的算法提高了训练数据的可扩展性，同时保持QA系统的数据质量。
2022-10-12 cs.CL
Think you have Solved Direct-Answer Question Answering? Try ARC-DA, the Direct-Answer AI2 Reasoning Challenge
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们提出了ARC-DA数据集，ARC（AI 2推理挑战）多项选择数据集的直接回答（“开放式回答”，“自由形式”）版本。虽然ARC在社区中很有影响力，但它的多项选择格式并不代表现实世界的问题，而且多项选择格式特别容易受到人为因素的影响。ARC-DA数据集通过使用众包和专家评审的组合将问题转换为直接回答格式来解决这些问题。结果数据集包含2985个问题，共有8436个有效答案（问题通常有多个有效答案）。ARC-DA是第一个DA数据集的自然问题，往往需要推理，适当的问题分解是不明显的问题本身。我们描述的转换方法，适当的评估指标，和几个强大的模型。虽然很高，但最好的分数（81% GENIE，61.4% F1，63.2% ROUGE-L）仍然有相当大的改进空间。此外，该数据集为新的解释研究提供了一个自然的环境，因为许多问题需要推理来构建答案。我们希望该数据集能够推动社区在复杂问题回答方面取得进一步进展。ARC-DA可在https://allenai.org/data/arc-da上获得
2021-02-05 cs.AI cs.CL
PACIFIC: Towards Proactive Conversational Question Answering over Tabular and Textual Data in Finance
The Chinese University of Hong Kong（香港中文大学）；Sichuan University（四川大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Sea-NExT Joint Lab（Sea-NExT联合实验室）；National University of Singapore（新加坡国立大学）
为了促进金融领域混合背景下的会话式问答（CQA），我们提出了一个新的数据集，名为PACIFIC。与现有的CQA数据集相比，PACIFIC具有三个关键特征：（i）主动性，（ii）数值推理，（iii）表格和文本的混合上下文。因此，本文提出了一个新的研究课题--主动会话问答（PCQA）。此外，我们提出了一种新的方法，即UniPCQA，以适应PCQA的输入和输出内容的混合格式到Seq 2Seq问题，包括重新制定的数值推理过程的代码生成。UniPCQA在PCQA中的所有子任务上执行多任务学习，并且通过交叉验证顶部$k$采样的Seq 2Seq输出来结合简单的集成策略以减轻多任务学习中的错误传播问题。我们使用广泛的基线对PACIFIC数据集进行基准测试，并对PCQA的每个子任务进行全面评估。
2023-03-19 cs.CL
Negative Statements Considered Useful
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；The University of Edinburgh（爱丁堡大学）
在搜索、问答和对话等应用中，关于显著实体及其属性的知识库（KBs）是重要的资产。所有流行的知识库实际上都只捕获积极的陈述，并避免对没有存储在知识库中的陈述采取任何立场。这篇文章提出了明确陈述不成立的突出陈述的理由。否定陈述对于克服主要面向肯定问题的问答系统的局限性是有用的;它们还可以有助于提供实体的信息性摘要。由于这种无效陈述的丰富性，任何编译它们的努力都需要解决显着性排名问题。我们提出了一个approcticalinference方法编译和排名负面的陈述，根据预期从积极的陈述，相关实体在同行群体。实验结果表明，与各种数据集，该方法可以有效地发现显着的负面陈述，和外在的研究强调其有用的实体摘要。数据集和代码作为进一步研究的资源发布。
2021-09-25 cs.AI cs.CL cs.DB
TSQA: Tabular Scenario Based Question Answering
State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
基于场景的问答（SQA）已经引起了越来越多的研究兴趣。与研究得很好的机器阅读理解（MRC）相比，SQA是一个更具挑战性的任务：一个场景可能不仅包含要阅读的文本段落，还包含结构化数据，如表格，即，基于表格情景的问答（TSQA）。TSQA的人工智能应用，例如回答高中考试中的多项选择题，需要在多个单元格中合成数据，并将表格与文本和领域知识相结合来推断答案。为了支持这项任务的研究，我们构建了GeoTSQA。该数据集包含1k个真实问题，这些问题由地理领域中的表格场景进行情境化。为了解决这个问题，我们扩展了最先进的MRC方法与TTGen，一个新的表到文本生成器。它从各种合成的表格数据中生成句子，并为下游的MRC方法提供最有用的句子。它的句子排序模型融合了场景、问题和领域知识中的信息。我们的方法优于GeoTSQA上的各种强基线方法。
2021-01-14 cs.AI cs.CL
Mining Compatible/Incompatible Entities from Question and Answering via Yes/No Answer Classification using Distant Label Expansion
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Tsinghua University（清华大学）
产品社区问答（PCQA）提供有关产品及其功能（方面）的有用信息，这些信息可能无法通过产品描述和评论很好地解决。我们观察到，产品与其他产品的兼容性问题经常在PCQA中讨论，此类问题更经常在附件中解决，即，通过一个是/否问题“这款鼠标是否适用于Windows 10？".在本文中，我们解决的问题，提取兼容和不兼容的产品是/否的问题在PCQA。这个问题自然可以有两个阶段的框架：首先，我们对是/否问题进行互补实体（产品）识别（CER）;其次，我们识别是/否答案的极性，为互补实体分配兼容性标签（兼容，不兼容或未知）。我们利用现有的无监督方法的第一阶段和3类分类器相结合的远程PU学习方法（从积极的和未标记的例子学习）与二进制分类器的第二阶段。使用远程PU学习的好处是，它可以帮助扩展更多隐含的是/否答案，而无需使用任何人类注释数据。通过对4种产品的实验，验证了该方法的有效性。
2016-12-14 cs.CL
Unsupervised Commonsense Question Answering with Self-Talk
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
自然语言理解包括用隐含的背景知识来解读字里行间的意思。当前的系统要么依赖于预先训练的语言模型作为世界知识的唯一隐式来源，要么求助于外部知识库（KB）来合并额外的相关知识。我们提出了一个基于自我对话的无监督框架，作为多项选择常识任务的新替代方案。受基于探究的发现学习（Bruner，1961）的启发，我们的方法用一些信息寻求问题（如“$\textit{what is the definition of ...}$“）来查询语言模型，以发现额外的背景知识。实证结果表明，自我对话过程大大提高了性能的zero-shot语言模型基线上的四个常识基准，并与模型，从外部知识库获取知识。虽然我们的方法在几个基准测试中提高了性能，但即使在导致正确答案的情况下，自我对话诱导的知识也并不总是被人类判断者视为有用的，这就提出了关于常识推理的预训练语言模型的内部工作原理的有趣问题。
2020-09-15 cs.CL
A Data Driven Approach to Query Expansion in Question Answering
University of Sheffield（谢菲尔德大学）
自然语言问题的自动回答是一个有趣而有用的问题。问答（QA）系统通常在初始阶段执行信息检索。Lucene等引擎提供的信息检索（IR）性能限制了整个系统的性能。例如，对于几乎40%的问题，在低级别没有检索到带有答案的文档。在本文中，回答文本从以前的QA评估举行的文本检索会议（TREC）的一部分，配对查询和分析，试图确定性能增强的话。然后，这些词用于评估查询扩展方法的性能。数据驱动的扩展词被发现对70%以上的难题有帮助。这些词可用于改进和评估查询扩展方法。简单的盲相关反馈（RF）被正确预测为不太可能帮助整体性能，并提供了一个可能的解释，其低价值的IR QA。
2012-03-22 cs.CL cs.IR
Efficient In-Domain Question Answering for Resource-Constrained Environments
Clarifai Inc.（Clarifai公司）
本研究将检索增强微调（RAFT）与低秩适应（LoRA）结合，提出CRAFT方法，在保持RAG性能的同时降低微调与存储需求并加快推理，适用于资源受限环境下的知识密集型问答任务。
2024-10-17 cs.CL
Do Question Answering Modeling Improvements Hold Across Benchmarks?
Stanford University（斯坦福大学）；University of Southern California（南加州大学）
本文提出“一致性”概念，在32个QA基准和20种建模方法上测量排名一致性，发现人工构建、降采样及程序化生成的基准间一致性较高，证明QA建模改进具有广泛普适性。
2023-05-30 cs.CL
A Comparative Evaluation of Visual and Natural Language Question Answering Over Linked Data
ITMO University（ITMO大学）；Vismart Ltd.（Vismart有限公司）
随着关联数据数据集的数量和规模不断增长，使数据对不了解正式查询语言的用户可访问和有用至关重要。实现这一目标的两种方法是知识图谱可视化和自然语言接口。在这里，我们调查具体的问答（QA）在关联数据比较图形视觉方法与现有的自然语言为基础的系统。给定一个QA基准（QALD7），我们评估一个可视化的方法，它是基于迭代地创建图，直到找到答案，对四个QA系统，有自然语言查询作为输入。除了其他好处外，可视化方法提供了更高的性能，但也需要更多的手动输入。结果表明，这些方法可以互补使用，这种组合对QA性能有很大的积极影响，也有利于数据探索等其他功能。
2019-07-19 cs.CL cs.IR
No that's not what I meant: Handling Third Position Repair in Conversational Question Answering
AlanaAI
本文发布了首个对话式问答场景下的大规模第三位置修正数据集Repair-QA，通过训练和评估T5及GPT-3等基线模型，证明接触该数据集能显著提升模型处理TPR的能力。
2023-07-31 cs.CL
Quizbowl: The Case for Incremental Question Answering
University of Maryland at College Park（马里兰大学帕克分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；New York University（纽约大学）
学术知识竞赛通过对问答的掌握来测试知识和智力。现代的问答基准测试是图灵测试的一个变体。具体来说，像人类一样回答一系列问题是展示人类智能的最低门槛。本文提出的情况下，一个竞争的形式-参与者可以在听到一个问题（增量）的中间回答-更好地区分（人类或机器）玩家之间的技能。此外，将顺序决策子任务与问答（QA）相结合，为模型校准和对手建模的研究提供了良好的环境。因此，在这个任务中嵌入了三个机器学习挑战：（1）对数千个类似维基百科的答案进行事实问答，（2）校准QA模型的置信度得分，以及（3）结合QA模型，其校准以及对手可能做什么的知识的顺序决策。我们做两个贡献：（1）收集和管理大型的事实问答数据集和附带的游戏数据集，以及（2）开发一个解决这三个机器学习挑战的模型。除了离线评估，我们还将我们的模型与世界上一些最有成就的琐事玩家进行了一系列长达数年的表演赛。在本文中，我们表明，与充满活力的琐事社区的合作有助于提高我们数据集的质量，催生新的研究方向，并作为一种令人兴奋的方式，使公众参与机器学习和自然语言处理的研究。
2021-02-12 cs.CL
ArchivalQA: A Large-scale Benchmark Dataset for Open Domain Question Answering over Historical News Collections
Kyoto University（京都大学）；University of Innsbruck（因斯布鲁克大学）
在过去的几年中，开放域问答（ODQA）由于深度学习技术的发展和大规模问答数据集的可用性而迅速发展。然而，当前的数据集本质上是为同步文档集合（例如，Wikipedia）.时间新闻集合，如跨越几十年的长期新闻档案，很少用于训练模型，尽管它们对我们的社会很有价值。为了促进ODQA领域对这些历史集合的研究，我们提出了ArchivalQA，一个由532，444个问答对组成的大型问答数据集，该数据集专为时间新闻QA而设计。我们将数据集分为四个子部分的基础上的问题的难度水平和时间表达式，我们认为这是有用的训练和测试ODQA系统的特点是不同的优势和能力。我们介绍的新的QA小册子构建框架也可以应用于生成质量良好的非模糊问题，在其他类型的时间文档集合。
2022-02-22 cs.AI cs.CL
Calibrated Confidence Estimation for Tabular Question Answering
Independent Researcher（独立研究者）
本文比较了五种置信度估计方法在五个前沿LLM和两个表格问答基准上的表现，发现自评方法在AUROC上低于扰动方法，提出MFA方法以更低的API成本估计置信度，并结合采样方法提升性能。
2026-04-14 cs.CL
ChroniclingAmericaQA: A Large-scale Question Answering Dataset based on Historical American Newspaper Pages
University of Innsbruck（因斯布鲁克大学）
本文发布基于 Chronicling America、跨越120年并含48.7万问答对的时序问答数据集，支持噪声OCR、校正文本和扫描图像三种评测方式。
2024-05-10 cs.CL
Enhancing Large Vision-Language Models with Layout Modality for Table Question Answering on Japanese Annual Securities Reports
Stockmark Tokyo, Japan（Stockmark东京日本）
本研究提出通过整合表格内文本和布局特征增强LVLM的表格理解能力，实验证明该方法显著提升日文证券报告表格问答性能。
2025-05-23 cs.CL cs.CV
A Few More Examples May Be Worth Billions of Parameters
Tel-Aviv University（特拉维夫大学）；University College London（伦敦大学学院）；Facebook AI Research（脸书人工智能研究院）
我们研究了在各种任务中增加模型参数数量与标记示例数量的动态关系。我们的探索表明，虽然缩放参数始终产生性能的提高，额外的例子的贡献在很大程度上取决于任务的格式。具体来说，在开放式问答任务中，扩大训练集并不能提高性能。相比之下，分类、抽取式问答和多项选择任务从额外的示例中受益匪浅，以至于收集几百个示例通常“价值”数十亿个参数。我们假设，不像开放式问答，这涉及到回忆特定的信息，解决策略的任务具有更有限的输出空间转移的例子，因此可以学习与少量的标记数据。
2021-10-08 cs.CL
MEKER: Memory Efficient Knowledge Embedding Representation for Link Prediction and Question Answering
Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）
知识图谱（KG）是事实的符号结构化存储。KG嵌入包含用于NLP任务的简洁数据，这些任务需要关于真实世界的隐式信息。此外，在实际NLP分配中可能有用的KG的大小是巨大的，并且在其上创建嵌入具有内存成本问题。我们将KG表示为三阶二进制张量，并通过使用其特定数据的广义版本超越标准CP分解。标准CP-ALS算法的泛化允许在没有反向传播机制的情况下获得优化梯度。它减少了训练所需的内存，同时提供了计算优势。我们提出了一个MEKER，一个内存高效的KG嵌入模型，它产生SOTA的链接预测任务和KG为基础的问答相当的性能。
2022-05-24 cs.AI cs.CL cs.IR
ProQA: Structural Prompt-based Pre-training for Unified Question Answering
Sun Yat-sen University（中山大学）；Tsinghua University（清华大学）；Langboat Technology（澜舟科技）；Microsoft Research Asia（微软亚洲研究院）；Chinese University of Hong Kong（香港中文大学）
问答（QA）是自然语言处理中的一个长期挑战。现有的问答工作大多集中在特定的问题类型，知识领域，或推理技能。QA研究的专业性阻碍了系统对任务之间的共性建模和更广泛应用的泛化。为了解决这个问题，我们提出了ProQA，一个统一的QA范式，通过一个单一的模型来解决各种任务。ProQA以统一的结构化提示为桥梁，通过基于结构化提示的预训练提高以QA为中心的能力。通过一个结构化设计的基于知识的输入模式，ProQA同时模型的知识概括的所有QA任务，同时保持知识定制的每一个特定的QA任务。此外，ProQA是预先训练的结构化的格式化的大规模合成语料库，这赋予了通常所需的QA能力的模型。在11个QA基准测试上的实验结果表明，ProQA在全数据微调、少样本学习和zero-shot测试场景下都能持续提高性能。此外，ProQA利用结构提示的优势，在持续学习和迁移学习方面表现出较强的能力。
2022-12-09 cs.CL
