Answer Extraction for Why Arabic Questions Answering Systems: EWAQ
Al-Albayt University(阿尔阿尔拜特大学)
随着网络信息量的不断增加,问答系统变得非常重要,它允许用户访问他们的请求的直接答案。本文提出了一个基于蕴涵度量的阿拉伯语问答系统。本文关注的问题类型是为什么问题。有很多原因导致我们开发这个系统:一般来说,缺乏阿拉伯语的问题和稀缺的阿拉伯语问题的回答系统,重点是为什么问题。在这项研究中,建议系统的目标是提取答案重新排序检索段落检索搜索引擎。这个系统只提取为什么问题的答案。这个系统被EWAQ称为:基于蕴涵的为什么阿拉伯语问题的解释。每个答案都使用蕴涵度量进行评分,并根据其分数进行排名,以确定最可能的正确答案。利用人工测试集,将EWAQ与成熟的网络问答系统搜索引擎:yahoo、google和ask.com进行了比较。在EWAQ实验中,通过对搜索引擎检索到的相关段落进行重排序并判定正确答案,实现了文本蕴涵,提高了准确率。所得到的结果表明,使用基于蕴涵的相似性,可以显着地帮助解决为什么答案提取模块在阿拉伯语。
2019-07-04 cs.CL cs.IR
Why and How to Pay Different Attention to Phrase Alignments of Different Intensities
Center for Information and Language Processing(信息与语言处理中心);LMU Munich(慕尼黑大学)
本文比较研究了两种典型的句对分类任务:文本蕴涵(TE)和答案选择(AS),观察到不同强度的短语对齐在这两种任务中的贡献不同。我们解决的问题,确定短语对齐灵活的粒度和池对齐这些任务的不同强度。灵活粒度的示例是两个单个单词之间、单个单词与短语之间以及短短语与长短语之间的对齐。强度大致是指匹配程度,它的范围从同一性到表面形式的同现、改写和其他语义相关性,再到许多插入语文本中的无关词。先前的工作(i)在短语生成和表示方面具有限制,或者(ii)通过手工特征在单词和短语级别进行对齐,或者(iii)在对齐强度上利用单个注意力机制而不考虑特定任务的特征,这限制了系统在任务之间的有效性。我们提出了一种基于门控递归单元的体系结构,该体系结构支持(i)任意粒度的短语的表示学习和(ii)通过注意力池对两个句子之间的短语对齐进行特定任务的聚焦。TE和AS上的实验结果与我们的观察相匹配,并且是最先进的。
2016-06-13 cs.CL
Why Do Neural Language Models Still Need Commonsense Knowledge to Handle Semantic Variations in Question Answering?
Korea Advanced Institute of Science and Technology(韩国科学技术院)
许多上下文化的单词表示现在通过复杂的神经网络模型来学习,例如掩蔽神经语言模型(MNLM),其由巨大的神经网络结构组成并被训练以恢复掩蔽的文本。这种表征在某些阅读理解(RC)任务中表现出超人的表现,这些任务在给定问题的上下文中提取适当的答案。然而,识别详细的知识培训MNLM是具有挑战性的,由于众多和混杂的模型参数。本文提供了新的见解和经验分析的常识知识包括预训练MNLM。首先,我们使用一个诊断测试,评估是否常识知识是正确的MNLM培训。我们观察到,很大一部分的常识性知识没有适当的培训,在MNLM和MNLM不经常准确地理解关系的语义。此外,我们发现基于MNLM的RC模型仍然容易受到需要常识知识的语义变化的影响。最后,我们发现了一些知识没有得到训练的根本原因。我们进一步建议,利用外部常识知识库可以是一个有效的解决方案。我们通过在受控实验中从外部常识知识库中丰富文本所需的知识来克服基于MNLM的RC模型的局限性。
2022-09-01 cs.CL
Exploring the Role of Logically Related Non-Question Phrases for Answering Why-Questions
IIIT-Hyderabad(海得拉巴国际信息技术学院);IBM Research(IBM研究院)
在本文中,我们表明,某些短语,虽然不存在于一个给定的问题/查询,在回答问题中发挥了非常重要的作用。探索这些短语在回答问题中的作用不仅减少了对用于提取答案的匹配问题短语的依赖,而且提高了所提取答案的质量。这里匹配问题短语是指在给定问题和候选答案中共同出现的短语。为了实现上述讨论的目标,我们引入了一个基于bigram的词图模型填充在给定的文档中的术语的语义和主题相关性。接下来,我们应用一种改进的基于先验的方法进行排名,该方法将候选文档中的所有单词相对于一组根词(即问题和候选文档中存在的非停用词)进行排名。因此,与词根词逻辑相关的术语的得分高于与词根词不相关的术语。实验结果表明,我们设计的系统比国家的最先进的回答为什么问题的任务。
2013-03-29 cs.CL cs.IR
Knowing or Guessing? Robust Medical Visual Question Answering via Joint Consistency and Contrastive Learning
Zhejiang University, Zhejiang, China(浙江大学);Alibaba Group, Zhejiang, China(阿里巴巴集团);Angelalign Technology Inc., Shanghai, China(Angelalign技术有限公司);ChohoTech Inc., Hangzhou, China(楚合科技有限公司);Zhejiang Key Laboratory of Medical Imaging Artificial Intelligence, Zhejiang, China(浙江省医学影像人工智能重点实验室)
针对医学视觉问答中模型对问题改写敏感的问题,提出RoMed数据集和CCL方法,通过知识锚定一致性学习与偏差感知对比学习,将答案一致性提升50%。
2025-08-26 cs.CL
Why Do Masked Neural Language Models Still Need Common Sense Knowledge?
Korea Advanced Institute of Science and Technology(韩国科学技术院);Ulsan National Institute of Science and Technology(蔚山国立科学技术院)
目前,语境化的单词表示是通过复杂的神经网络模型来学习的,例如掩蔽神经语言模型(MNLM)。新的表示方法显著提高了通过阅读段落进行自动问答的性能。然而,由于参数众多且相互混杂,很难确定在MNLM中培训的详细知识。本文提供了经验,但有见地的分析预训练MNLM方面的常识知识。首先,我们提出了一个测试,测量什么类型的常识知识做预训练MNLM理解。从测试中,我们观察到,MNLM部分理解各种类型的常识知识,但不准确理解关系的语义。此外,基于问答任务问题的难度,我们观察到预训练的基于MLM的模型仍然容易受到需要常识知识的问题的影响。我们还通过实验证明,我们可以通过结合外部常识库中的知识来提升现有的基于MNLM的模型。
2019-11-08 cs.CL
Enhancing Event Causality Identification with Rationale and Structure-Aware Causal Question Answering
School of Computer Science
本文提出一种多任务学习框架,将文档级事件因果关系识别转化为多项选择问答,结合理由生成和事件结构图建模多跳关系,在两个基准数据集上显著优于现有方法。
2024-03-17 cs.CL
Text Simplification for Comprehension-based Question-Answering
IIIT Hyderabad(印度国际信息技术研究所海得拉巴分校);NSIT Delhi(德里国立信息技术学院);IBM(国际商业机器公司);IIIT, Guwahati(印度国际信息技术研究所古瓦哈提分校);Accenture Tech Labs(埃森哲技术实验室);IBM Research India(印度IBM研究院)
文本简化是将一个句子拆分和重新措辞为一系列句子的过程,使其更容易阅读和理解,同时保留内容并近似原始含义。文本简化已在机器翻译、摘要、语义角色标注和信息抽取等自然语言处理应用中得到利用,为基于理解的问答下游任务的开发开辟了广阔的途径。在这项工作中,我们研究了文本简化在使用理解上下文的问答任务中的效果。我们发布了Simple-SQuAD,这是广泛使用的SQuAD数据集的简化版本。首先,我们概述了数据集创建管道中的每个步骤,包括风格转换,显示正确转换的句子的阈值处理,以及每个答案的偏移量查找。其次,我们通过涉及自动和人工评估的各种方法来验证转移句子的质量。第三,我们对新创建的语料库进行了基准测试,并进行了消融研究,以检验简化过程在基于SQuAD的问答任务中的效果。我们的实验表明,简化导致精确匹配和F1分别增加了2.04%和1.74%。最后,我们总结了传输过程的分析,研究了模型所做的编辑类型,以及句子长度对传输模型的影响。
2021-09-28 cs.CL cs.IR
Whatcha lookin' at? DeepLIFTing BERT's Attention in Question Answering
Saarland University(萨尔大学)
最近,神经网络在处理具有挑战性的NLP任务方面取得了巨大的成功,这些神经网络已经在大量任务数据上进行了预训练和微调。在本文中,我们研究了一个这样的模型,BERT的问答,目的是分析为什么它能够取得显着优于其他模型的结果。我们在模型预测上运行DeepLIFT,并测试结果,以监控输入的注意力值的变化。我们还对结果进行聚类,以根据模型试图回答的输入段落和问题的类型来分析任何类似于人类推理的可能模式。
2019-10-14 cs.CL
Automated Story Generation as Question-Answering
基于神经语言模型的自动故事生成方法受到两个重要限制。首先,基于语言模型的故事生成器通常不朝着给定的目标或结局工作。第二,随着故事越来越长,它们往往失去连贯性。我们提出了一种新的方法来自动生成的故事,把问题作为一个生成的问答。我们提出的故事生成系统从封装故事的最终事件的句子开始。然后,系统迭代地(1)分析描述最近事件的文本,(2)生成关于“为什么”角色正在做他们在事件中正在做的事情的问题,并且然后(3)尝试生成回答该问题的另一个先前事件。
2021-12-07 cs.CL
Teaching Vision-Language Models to Ask: Resolving Ambiguity in Visual Questions
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Wuhan AI Research(武汉人工智能研究院)
针对VQA中用户提问歧义问题,现有方法多依赖重述问题而忽视交互反馈。本文提出ClearVQA基准,评估VLMs通过交互澄清歧义的能力,涵盖三类常见歧义及多种VQA场景。
2025-09-16 cs.CL cs.CV
(WhyPHI) Fine-Tuning PHI-3 for Multiple-Choice Question Answering: Methodology, Results, and Challenges
Cairo University(开罗大学)
本文通过微调 PHI-3 并在 TruthfulQA 上优化提示,使其 MCQ 问答准确率从 62% 提升至 90.8%,展示了高效模型在教育评估中的应用潜力。
2025-01-03 cs.AI cs.CL
WikiWhy: Answering and Explaining Cause-and-Effect Questions
University of California, Santa Barbara(加州大学圣巴巴拉分校)
随着大语言模型(LLM)变得越来越大、越来越复杂,评估它们在自然语言中的“推理”能力变得越来越具有挑战性。最近的问答(QA)基准,试图评估推理往往是有限的范围内所涵盖的情况和主题。我们介绍了WikiWhy,一个围绕一个新的辅助任务构建的QA数据集:解释为什么答案在自然语言中是正确的。WikiWhy包含超过9,000个“为什么”问题-答案-理由三元组,基于维基百科跨各种主题的事实。每个理由都是一组将问题与答案联系起来的支持性陈述。WikiWhy作为LLM推理能力的基准,因为它要求每个答案都有严格的明确理由,以证明获得隐含的常识知识,这是不太可能容易记住的。GPT-3基线在端到端回答和解释条件下仅实现了38.7%的人工评估正确性,为未来的改进留下了巨大的空间。
2022-11-30 cs.AI cs.CL
F1 is Not Enough! Models and Evaluation Towards User-Centered Explainable Question Answering
Bosch Center for Artificial Intelligence(博世人工智能中心);Institut für Maschinelle Sprachverarbeitung, University of Stuttgart(斯图加特大学机械语言研究所)
可解释的问答系统预测一个答案以及显示为什么选择该答案的解释。其目标是使用户能够评估系统的正确性,并理解其推理过程。然而,我们发现,目前的模型和评估设置有缺点的耦合的答案和解释,这可能会导致严重的问题,在用户体验。作为一种补救措施,我们提出了一个层次模型和一个新的正则化项,以加强答案解释耦合以及两个评价分数来量化耦合。我们在HOTPOTQA基准数据集上进行实验,并进行用户研究。用户研究表明,我们的模型提高了用户判断系统正确性的能力,并且像F1这样的分数不足以估计模型在人类用户的实际环境中的有用性。我们的分数与用户体验更一致,使其成为模型选择的有希望的候选者。
2020-10-13 cs.CL
Why Does ChatGPT Fall Short in Providing Truthful Answers?
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文系统分析ChatGPT在开放域问答中的失败类型,指出事实性不足是核心问题,并提出通过引入细粒度外部知识和知识召回提示来提升模型回答真实性的策略。
2023-12-03 cs.AI cs.CL
Asking and Answering Questions to Evaluate the Factual Consistency of Summaries
New York University(纽约大学);Facebook AI(Facebook人工智能)
摘要摘要模型的实际应用受到其输入的频繁事实不一致的限制。摘要的现有自动评估指标在很大程度上对此类错误不敏感。我们提出了一个自动评估协议,称为QAGS(发音为“kags”),旨在确定事实的不一致,在生成的摘要。QAGS基于这样一种直觉:如果我们询问有关摘要及其来源的问题,如果摘要与来源事实上一致,我们将得到类似的答案。为了评估QAGS,我们收集了对CNN/DailyMail的模型生成摘要的事实一致性的人类判断(Hermann等人,2015)和XSUM(Narayan等人,2018年)总结数据集。QAGS与这些判断的相关性比其他自动评估指标高得多。此外,QAGS提供了一种自然形式的可解释性:在计算QAGS时生成的答案和问题表明摘要的哪些标记不一致以及原因。我们相信QAGS是一个很有前途的工具,在自动生成可用的和事实上一致的文本。
2020-04-08 cs.CL
ChainReaction: Causal Chain-Guided Reasoning for Modular and Explainable Causal-Why Video Question Answering
Institute of High Performance Computing, Agency for Science, Technology and Research, Singapore(新加坡高性能计算研究所,科技研究局);Centre for Frontier AI Research, Agency for Science, Technology and Research, Singapore(科技研究局前沿人工智能研究中心,新加坡);College of Computing and Data Science, Nanyang Technological University, Singapore(新加坡南洋理工大学计算与数据科学学院)
针对现有因果关系视频问答模型的问题,提出新的模块化范式,将因果推理与答案生成解耦,引入自然语言因果链,介绍两阶段架构及生成因果链方法,新指标,实验证明该方法性能优越。
2026-07-07 cs.AI cs.CL cs.CV
FAQ-based Question Answering via Knowledge Anchors
WeChat Search Application Department, Tencent(腾讯微信搜索应用部)
问答(QA)旨在理解问题并找到合适的答案。在实际的问答系统中,基于常见问题(FAQ)的问答通常是一种实用而有效的解决方案,特别是对于一些复杂的问题(例如,如何和为什么)。近年来,知识图谱在知识库质量评估系统中的应用取得了巨大的成功,但在基于常见问题解答的质量评估系统中充分利用知识图谱的研究还很少。在本文中,我们提出了一种新的知识锚基于问答(KAQA)框架,基于FAQ的问答,以更好地理解问题,并检索更合适的答案。具体来说,KAQA主要包括三个模块:知识图谱构建、查询锚定和查询-文档匹配。我们将文本中的知识库实体和知识库三元组作为知识锚来精确地捕捉文本的核心语义,从而获得更高的精确度和更好的可解释性。多通道匹配策略还使大多数句子匹配模型能够灵活地插入到我们的KAQA框架中,以适应不同的现实世界的计算限制。在实验中,我们评估我们的模型在离线和在线查询文档匹配任务在现实世界中的常见问题问答系统在微信搜索,详细的分析,消融测试和案例研究。这些显著的改进证实了KAQA框架在现实世界中基于FAQ的QA中的有效性和鲁棒性。
2020-10-22 cs.CL
QA2Explanation: Generating and Evaluating Explanations for Question Answering Systems over Knowledge Graph
University of Dayton(代顿大学);RWTH Aachen(亚琛工业大学);Zerotha Research(泽罗萨研究中心);Cerence GmbH(塞伦斯有限责任公司)
在大知识图谱时代,问答(QA)系统在性能和可行性方面达到了一个里程碑。然而,它们的适用性,特别是在特定领域,如生物医学领域,没有得到广泛的接受,由于其“黑箱”的性质,这阻碍了透明度,公平性和问责制的QA系统。因此,用户无法理解特定问题是如何以及为什么得到回答的,而其他一些问题则失败了。为了应对这一挑战,在本文中,我们开发了一种自动的方法,在基于流水线的QA系统的各个阶段生成解释。我们的方法是一种有监督的自动方法,它考虑三个类(即,成功、无答案和错误答案),用于注释所涉及的QA组件的输出。根据我们的预测,选择模板解释并将其集成到相应组件的输出中。为了衡量这种方法的有效性,我们进行了一项用户调查,以了解非专家用户如何看待我们生成的解释。我们的研究结果表明,从人机交互社区的人的因素的四个维度显着增加。
2020-10-16 cs.CL
Reasoning over Hierarchical Question Decomposition Tree for Explainable Question Answering
Tsinghua University(清华大学);Huawei Technologies(华为技术有限公司)
本文提出两阶段可解释问答框架RoHT,通过构建层次化问题分解树(HQDT)将复杂问题拆解为子问题并选择异构知识源,递归进行概率推理聚合知识以寻找最佳答案,在KQA Pro和Musique数据集上显著优于SOTA方法。
2023-05-24 cs.CL
Hop, Skip, and Overthink: Diagnosing Why Reasoning Models Fumble during Multi-Hop Analysis
Microsoft(微软公司);University of Massachusetts(马萨诸塞大学);University of Maryland(马里兰大学)
本研究系统诊断推理模型在多跳问答中的失败,提出涵盖跳数、覆盖率与过度思考的错误分类框架,揭示被准确性评估掩盖的复杂错误模式,为提升推理可靠性提供指导。
2025-08-06 cs.AI cs.CL
Inferring Implicit Relations in Complex Questions with Language Models
Tel-Aviv University(特拉维夫大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
现代语言理解系统的一个突出挑战是回答隐式推理问题的能力,其中回答问题所需的推理步骤在文本中没有明确提到。在这项工作中,我们调查为什么目前的模型斗争与隐式推理问答(QA)任务,从他们的执行解耦推理的步骤。我们定义了一个新的任务的隐式关系推理和构建一个基准,IMPLICITRELATIONS,在给定的问题,模型应该输出一个列表的概念关系对,其中的关系描述的隐式推理步骤所需的回答问题。使用IMPLICITRELATIONS,我们评估模型的GPT-3家庭,并发现,虽然这些模型的斗争的隐式推理QA任务,他们往往成功地推断出隐式关系。这表明,内隐推理问题的挑战并不源于需要单独计划推理策略,而是在检索和推理相关信息的同时进行。
2022-10-20 cs.CL
Geographic Question Answering: Challenges, Uniqueness, Classification, and Future Directions
University of California Santa Barbara(加州大学圣巴巴拉分校)
问答(QA)是人工智能的重要组成部分,其目的是对用自然语言表达的问题生成答案。虽然在开放域问答方面已经取得了实质性的进展,但是QA系统仍然在努力回答涉及地理实体或概念并且需要空间操作的问题。本文讨论了地理问答问题。本文首先通过分析地理问题的挑战性来探讨地理问题难答的原因。我们讨论了地理问题的独特性相比,一般的QA。然后,我们回顾现有的工作GeoQA和分类的问题,他们可以解决的类型。在此基础上,我们提供了一个通用的地理问题的分类框架。最后,我们总结了我们的工作,指出独特的未来研究方向GeoQA。
2021-05-19 cs.AI cs.CL
Zero-shot Commonsense Question Answering with Cloze Translation and Consistency Optimization
University of California, Los Angeles(加州大学洛杉矶分校)
常识问答(CQA)旨在测试模型是否可以回答关于每个人都知道的常识知识的问题。以前的作品,将外部知识库已显示出可喜的成果,但知识库是昂贵的建设,往往限于一个固定的关系集。在本文中,我们专注于更好地利用存储在预训练的语言模型中的\textit{implicit knowledge}。虽然研究人员已经发现,嵌入在预先训练的语言模型中的知识可以通过让它们填充精心设计的关系抽取和文本分类提示的空白来提取,但目前还不清楚我们是否可以在CQA中采用这种范式,其中输入和输出采用更灵活的形式。为此,我们研究了四种翻译方法,可以将自然问题翻译成完形填空风格的句子,以更好地从语言模型中获取常识知识,包括基于句法的模型,无监督神经模型和两个监督神经模型。此外,为了结合不同的翻译方法,我们建议鼓励模型预测之间的一致性,对不同的翻译问题与未标记的数据。我们证明了我们的方法在三个CQA数据集在zero-shot设置的有效性。我们表明,我们的方法是互补的知识库改进模型,并将它们结合起来,可以导致最先进的zero-shot性能。分析还揭示了不同完形填空翻译方法的不同特点,以及为什么将它们结合起来可以带来很大的改进。
2022-01-01 cs.CL
Delving Deeper into Cross-lingual Visual Question Answering
Technical University of Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心(hessian.AI));University of Cambridge(剑桥大学)
针对现有跨语言VQA零样本迁移性能差且缺乏深度分析的问题,该研究从建模方法、学习偏置两方面展开探究,通过简单训练修改提升了10个准确率点,还分析了难提升的问题类型及模态偏置的影响原因。
2023-06-08 cs.CL
Challenges in Information-Seeking QA: Unanswerable Questions and Paragraph Retrieval
University of Washington(华盛顿大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google AI(谷歌人工智能部门)
最近的预训练语言模型“解决”了许多阅读理解基准,其中问题是通过访问证据文档来编写的。然而,包含信息寻求查询的数据集,其中在独立编写查询之后提供证据文件,仍然具有挑战性。我们分析了为什么回答信息查询更具挑战性,以及他们普遍无法回答的地方,自然问题和TyDi QA。我们的对照实验表明两个净空-段落选择和回答能力预测,即配对的证据文档是否包含查询的答案。当提供一个黄金段落并知道何时放弃回答时,现有模型很容易胜过人类注释者。然而,预测可回答性本身仍然具有挑战性。我们手动注释了六种语言中的800个无法回答的例子,说明是什么让它们难以回答。有了这些新数据,我们进行了每个类别的可回答性预测,揭示了当前数据集收集和任务制定中的问题。总之,我们的研究指出了未来研究信息寻求问答的途径,无论是数据集的创建和模型的开发。
2021-06-04 cs.CL
Subjective Question Answering: Deciphering the inner workings of Transformers in the realm of subjectivity
UNIVERSITY OF COPENHAGEN(哥本哈根大学);FACULTY OF SCIENCE(理学院)
理解主观性需要超出常识范围的推理技巧。它需要一个机器学习模型来处理情感和执行意见挖掘。在这项工作中,我利用了一个最近发布的数据集进行跨度选择问答,即SubjQA。SubjQA是第一个包含问题的QA数据集,这些问题要求与来自六个不同领域的评论段落相对应的主观意见。因此,为了回答这些主观问题,学习者必须针对各个领域提取意见和处理情感,并且另外,将从段落中提取的知识与相应问题中的自然语言话语对齐,这一起增加了QA任务的难度。本论文的主要目标是研究内部工作(即,潜在的表示),以帮助更好地理解这些尚未很好理解的“黑盒”模型。Transformer的隐藏表示,关于真正的答案跨度,更紧密地聚集在向量空间比那些表示对应于错误的预测。对于客观和主观问题,此观察结果在前三个Transformer层中均成立,并且通常作为层维度的函数而增加。此外,在关于真实答案跨度令牌的潜在空间中的隐藏表示之间实现高余弦相似性的概率对于正确答案跨度预测比不正确答案跨度预测显著更高。这些结果对下游应用具有决定性的影响,在下游应用中,关键是要知道神经网络为什么会出错,以及错误发生在空间和时间的哪个点(例如,自动预测答案跨度预测的正确性而不需要标记数据)。
2020-10-14 cs.CL
MovieQA: Understanding Stories in Movies through Question-Answering
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Toronto(多伦多大学);Massachusetts Institute of Technology(麻省理工学院)
我们介绍了MovieQA数据集,旨在评估视频和文本的自动故事理解。该数据集由关于408部具有高度语义多样性的电影的14,944个问题组成。问题的范围从简单的“谁”做了“什么”到“谁”,再到“为什么”和“如何”某些事件发生。每个问题都有一组五个可能的答案;一个正确的答案和四个由人类注释者提供的欺骗性答案。我们的数据集是独一无二的,因为它包含多个信息源-视频剪辑,情节,字幕,脚本和DVS。我们通过各种统计数据和方法分析数据。我们进一步扩展现有的QA技术表明,这样的开放式语义问答是困难的。我们将这一数据集与评估基准一起公开,以鼓励在这一具有挑战性的领域开展鼓舞人心的工作。
2016-09-21 cs.CL cs.CV
Why We Build Local Large Language Models: An Observational Analysis from 35 Japanese and Multilingual LLMs
Institute of Science Tokyo(东京科学研究所);National Institute of Advanced Industrial Science and Technology(国家先进工业科学与技术研究院);NII LLMC(日本信息基础设施中心)
本研究通过评估35个LLM在19个基准上的表现,发现英语训练可提升日语学术能力,而日语训练仅对日语知识问答和翻译任务至关重要,且日语能力随计算预算缩放。
2025-10-16 cs.CL
A Road-map Towards Explainable Question Answering A Solution for Information Pollution
University of Dayton(代顿大学);University of Leipzig(莱比锡大学)
网络上信息污染的速度越来越快,需要新的解决方案来解决这个问题。问答(QA)界面是访问Web上信息的简化和用户友好的界面。然而,与其他AI应用程序类似,它们是黑盒,不显示用于增强答案的学习或推理步骤的细节。可解释的问答(XQA)系统可以减轻信息污染的痛苦,其中它提供对底层计算模型的透明性,并且公开使最终用户能够访问和验证信息的来源、有效性、上下文、循环、解释和反馈的接口。这份立场文件阐明了核心概念、期望和挑战,支持以下问题:(i)什么是XQA系统?(ii)为什么需要XQA?(iii)什么时候需要XQA?(iv)如何表达这些解释?(iv)如何评估XQA系统?
2019-07-04 cs.AI cs.CL cs.IR
HalluTruthQA: A Fine-Grained Benchmark for Hallucination Detection, Localization, and Explanation in Arabic Question Answering
Hamad Bin Khalifa University(哈马德·本·哈利法大学);Qatar University(卡塔尔大学);University of Biskra(比斯克拉大学);University of the Basque Country(巴斯克大学);Nazarbayev University(纳扎尔巴耶夫大学);Universiti Malaysia Kelantan(马来西亚吉兰丹大学)
针对阿拉伯语问答中幻觉检测等难题,提出HalluTruthQA细粒度基准,含多领域2400个示例。在零样本设置下评估四个开源模型,发现各任务考查不同能力,强调幻觉评估应拓展到定位、验证和解释事实错误。
2026-10-06 cs.CL
Towards Transparent AI Systems: Interpreting Visual Question Answering Models
Virginia Tech(弗吉尼亚理工大学)
近年来,深度神经网络在人工智能的许多研究领域取得了令人瞩目的进展,取得了令人瞩目的成果。然而,不知道他们为什么预测他们做什么通常是不令人满意的。在本文中,我们解决的问题,解释视觉问答(VQA)模型。具体来说,我们感兴趣的是找到VQA模型在回答问题时关注的输入部分(图像中的像素或问题中的单词)。为了解决这个问题,我们使用了两种可视化技术--引导反向传播和遮挡--来找到问题中的重要单词和图像中的重要区域。然后,我们提出这些重要性地图的定性和定量分析。我们发现,即使没有明确的注意力机制,VQA模型有时可能会隐含地关注图像中的相关区域,并且经常关注问题中的适当词语。
2016-09-09 cs.AI cs.CL cs.CV
Not to Overfit or Underfit the Source Domains? An Empirical Study of Domain Generalization in Question Answering
IBM Research AI(IBM研究院人工智能部门)
机器学习模型容易过拟合其训练(源)域,这通常被认为是它们在新目标域中不稳定的原因。在这里,我们研究的对比视图,多源领域泛化(DG)首先是一个问题,减轻源域欠拟合:模型没有充分学习的信号已经存在于他们的多域训练数据。在阅读理解DG基准上的实验表明,随着模型更好地学习其源域-使用熟悉的方法,如从更大的模型中知识蒸馏(KD)-其zero-shot域外效用以更快的速度提高。改进的源域学习还展示了优于三种流行的现有DG方法的领域泛化,旨在限制过拟合。我们基于KD的领域泛化的实现可以通过PrimeQA获得,网址是:https://ibm.biz/domain-generalization-with-kd。
2022-10-25 cs.CL cs.LG
Knowledge Corpus Error in Question Answering
Seoul National University(首尔大学);KAIST AI(韩国科学技术院人工智能研究所)
本文提出知识语料库误差概念,解释LLM生成段落优于检索段落的原因,并通过改写实验在三个QA基准上验证了该误差的存在及性能提升。
2023-10-27 cs.AI cs.CL
Entailer: Answering Questions with Faithful and Truthful Chains of Reasoning
Allen Institute for AI(艾伦人工智能研究所)
我们的目标是一个问答(QA)系统,它可以通过系统的推理链来展示它的答案是如何被它自己的内部信念所暗示的。这样的能力将使我们更好地理解为什么一个模型会产生它所产生的答案。我们的方法是递归地将一个经过训练的后向链模型与一个验证器相结合,该模型能够生成一组包含答案假设的前提,该验证器通过自我查询来检查模型本身是否相信这些前提(以及蕴涵本身)。据我们所知,这是第一个生成多步链的系统,这些链既忠实(答案来自推理)又真实(链反映了系统自己的内部信念)。在使用两个不同的数据集进行评估时,用户判断大多数(70%以上)生成的链清楚地显示了答案是如何从一组事实中得出的-比高性能基线好得多-同时保持了答案的准确性。通过将系统地支持答案的模型信念具体化,新的机会出现了,可以理解模型的信念系统,并在答案错误时诊断和纠正其误解。
2022-10-21 cs.AI cs.CL
Answering Questions on COVID-19 in Real-Time
Korea University(高丽大学)
最近爆发的新型冠状病毒正在对世界造成严重破坏,研究人员正在努力有效地打击它。战斗困难的原因之一是缺乏信息和知识。在这项工作中,我们概述了我们的努力,有助于缩小这种知识真空,通过创建covidAsk,问答(QA)系统,结合生物医学文本挖掘和QA技术,提供实时的【形】问题的答案。我们的系统还利用信息检索(IR)的方法来提供实体级的答案是补充QA模型。covidAsk的评估是通过使用一个名为COVID-19 Questions的手动创建的数据集进行的,该数据集基于来自各种来源的信息,包括CDC和WHO。我们希望我们的系统将能够帮助研究人员寻找知识和信息,不仅是COVID-19,而且是未来的大流行病。
2020-10-09 cs.AI cs.CL cs.LG
Controllable Evidence Selection in Retrieval-Augmented Question Answering via Deterministic Utility Gating
Independent Researcher, Applied AI Systems(独立研究者,应用人工智能系统)
本文提出确定性证据选择框架,通过MUE和DUE评估语义相关性、术语覆盖和冗余性,无需训练即可筛选有效证据,确保答案生成的准确性和可审计性。
2026-02-23 cs.CL cs.IR
Learning to Explain: Datasets and Models for Identifying Valid Reasoning Chains in Multihop Question-Answering
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院);Allen Institute for AI(艾伦人工智能研究所)
尽管在多跳问答(QA)方面取得了快速进展,但模型仍然难以解释为什么答案是正确的,可供学习的解释训练数据有限。为了解决这个问题,我们引入了三个解释数据集,其中从语料库事实形成的解释被注释。我们的第一个数据集eQASC包含多跳问答数据集QASC的超过98K的解释注释,并且是第一个为每个答案注释多个候选解释的数据集。第二个数据集eQASC扰动是通过QASC中的解释子集的众包扰动(同时保持其有效性)来构建的,以测试解释预测模型的一致性和泛化。第三个数据集eOBQA是通过向OBQA数据集添加解释注释来构建的,以测试在eQASC上训练的模型的泛化。我们表明,使用基于BERT的分类器,这些数据可用于显着提高解释质量(在强检索基线上增加14%的绝对F1),但仍然落后于上限,为未来的研究提供了新的挑战。我们还探索了一种去词汇化的链表示,其中重复的名词短语被变量替换,从而将它们转化为广义推理链(例如:“X是Y”和“Y有Z”暗示“X有Z”)。我们发现,广义链保持性能,同时也更强大的某些扰动。
2020-10-07 cs.AI cs.CL
Evaluating the Rationale Understanding of Critical Reasoning in Logical Reading Comprehension
The Asahi Shimbun Company(朝日新闻公司);National Institute of Informatics(国立信息学研究所)
本文构建了一个包含3,003个子问题的数据集,用于评估语言模型对逻辑阅读理解中批判性推理理由的理解,实验发现现有大模型即使能答对主问题,也难以解释为何排除错误选项,从而揭示了其在批判性推理上的不足。
2023-11-30 cs.CL
Unsupervised Question Decomposition for Question Answering
Facebook AI Research(脸书人工智能研究院);New York University(纽约大学);University College London(伦敦大学学院);CIFAR Azrieli Global Scholar(加拿大高级研究院阿兹列利全球学者项目)
我们的目标是改善问答(QA)的困难问题分解成简单的子问题,现有的QA系统能够回答。由于用分解标记问题很麻烦,我们采取无监督的方法来生成子问题,这也使我们能够利用互联网上的数百万个问题。具体来说,我们提出了一个算法的一对N无监督序列转导(ONUS),学会映射一个硬,多跳的问题,许多简单的,单跳的子问题。我们用现成的QA模型回答子问题,并将得到的答案交给重组模型,将它们组合成最终答案。我们展示了HotpotQA在原始、域外和多跳开发集上的强大基线上的巨大QA改进。ONUS自动学习分解不同类型的问题,同时匹配QA的监督和启发式分解方法的效用,并在流畅性上超过这些方法。定性,我们发现,使用子问题是有希望阐明为什么QA系统作出预测。
2020-10-06 cs.AI cs.CL cs.LG
Exploring Dual Encoder Architectures for Question Answering
Google Inc(谷歌公司);Meta AI
双编码器已被用于问答(QA)和信息检索(IR)的任务,具有良好的效果。以前的研究集中在两种主要类型的双编码器,暹罗双编码器(暹罗),与两个编码器共享的参数,和非对称双编码器(ADE),与两个不同的参数化编码器。在这项工作中,我们探讨了不同的方式,在双编码器可以被构造,并评估这些差异如何影响他们的效率方面的QA检索任务。通过对MS MARCO,开放域NQ和MultiReQA基准测试的评估,我们表明,CORBA的性能明显优于ADE。我们进一步提出了三种不同的改进版本的ADE共享或冻结两个编码器塔之间的架构的一部分。我们发现,共享投影层中的参数将使ADE能够与PDE竞争或优于PDE。我们进一步探索和解释为什么投影层中的参数共享显著提高了双编码器的效率,通过使用t-SNE算法直接探测两个编码器塔的嵌入空间。
2022-11-15 cs.CL cs.IR cs.LG
GooAQ: Open Question Answering with Diverse Answer Types
Allen Institute for AI(艾伦人工智能研究院);University of Washington(华盛顿大学);University of Pennsylvania(宾夕法尼亚大学)
虽然日常问题的答案类型多种多样,但目前的问答(QA)文献未能充分解决问题的答案多样性。为此,我们提出了GooAQ,一个具有各种答案类型的大规模数据集。该数据集包含从Google收集的超过500万个问题和300万个答案。GooAQ问题是使用其自动完成功能从Google搜索引擎半自动收集的。这导致了具有实际意义的自然主义问题,但这些问题很简短,用简单的语言表达。GooAQ答案是从Google对我们收集的问题的回答中挖掘出来的,特别是从搜索结果中的答案框中挖掘出来的。这产生了丰富的答案类型空间,包含文本答案(短和长)以及更结构化的答案,如集合。我们在GooAQ上对T5模型进行了基准测试,并观察到:(a)与最近的工作一致,LM在GooAQ的简答问题上的出色表现在很大程度上受益于注释数据;然而,(b)它们在为需要长时间回答的问题(例如“如何”和“为什么”问题)生成连贯和准确的回答时的质量不太依赖于观察注释数据,主要是由它们的预训练支持。我们发布GooAQ,以促进进一步研究如何改善不同响应类型的QA。
2021-09-10 cs.AI cs.CL
FACTIFY-5WQA: 5W Aspect-based Fact Verification through Question Answering
University of South Carolina(南卡罗来纳大学);IUT(伊斯兰科技大学);IIT Gandhinagar(甘地纳格尔印度理工学院);BIT Mesra(贝拉理工学院梅斯拉校区);Stanford University(斯坦福大学);Amazon AI(亚马逊人工智能研究院)
本文提出基于5W问答的可解释事实核查框架,构建包含391,041条事实的FACTIFY-5WQA数据集,并给出自动定位答案的基线问答系统与鲁棒事实核查系统。
2023-05-28 cs.CL
Training LLMs with Reinforcement Learning for Intent-Aware Personalized Question Answering
University of Washington(华盛顿大学)
本文提出IAP框架,通过强化学习直接从单轮问题推断用户意图并生成意图感知的回答,实验表明其在LaMP-QA基准上优于所有基线,平均宏得分提升约7.5%。
2026-05-12 cs.AI cs.CL
Evaluating ChatGPT as a Question Answering System: A Comprehensive Analysis and Comparison with Existing Models
University of Isfahan(伊斯法罕大学)
该研究将ChatGPT作为问答系统,在多语言QA数据集上对比其与任务专用模型的性能,发现其问答效果弱于专用模型,上下文和提示工程可提升表现,且存在幻觉问题。
2023-12-11 cs.AI cs.CL
Language Models are Causal Knowledge Extractors for Zero-shot Video Question Answering
National Taiwan University(台湾大学);Columbia University(哥伦比亚大学);Mobile Drive Technology(智驾科技)
针对现有QG模型难以生成因果问题导致CVidQA性能不佳的问题,提出CaKE-LM框架,利用语言模型提取因果常识知识生成问答对,在零样本准确率上提升4%至6%。
2023-04-07 cs.CL cs.CV
Good, Better, Best: Textual Distractors Generation for Multiple-Choice Visual Question Answering via Reinforcement Learning
Arizona State University(亚利桑那州立大学);Emory University(埃默里大学)
近年来,多项选择问题越来越受到研究者和用户的关注。随着自动构建大规模多项选择VQA数据的需求不断增长,我们引入了一种新的任务,称为文本干扰生成VQA(DG-VQA),专注于生成具有挑战性但有意义的干扰,给出上下文图像,问题和正确答案。DG-VQA任务的目的是在没有地面实况训练样本的情况下生成干扰项,因为这些资源很少可用。为了解决DG-VQA无监督,我们提出了Gobbet,一个基于强化学习(RL)的框架,利用预先训练的VQA模型作为替代知识库,以指导分心物生成过程。在Gobbet中,预先训练的VQA模型作为RL设置中的环境,为输入的多模态查询提供反馈,而神经干扰素生成器作为代理采取相应的行动。我们建议使用现有的VQA模型的性能下降的指标的质量产生的干扰。另一方面,我们通过数据增强实验展示了生成的干扰项的实用性,因为当AI模型应用于不可预测的开放域场景或安全敏感的应用程序时,鲁棒性越来越重要。我们进一步进行手动案例研究的因素,为什么分心产生的Gobbet可以愚弄现有的模型。
2022-04-18 cs.CL cs.CV
MediFact at MEDIQA-CORR 2024: Why AI Needs a Human Touch
National University of Computer and Emerging Sciences (NUCES-FAST)(国家计算机与新兴科学大学(NUCES-FAST))
本文提出一种结合抽取式和生成式问答方法及领域特征工程的监督学习框架,用于自动纠正临床笔记中的单词错误,强调以人为中心的策略在医疗AI中的重要性。
2024-04-27 cs.AI cs.CL cs.LG
Axiomatic Preference Modeling for Longform Question Answering
Microsoft Research(微软研究院)
本文提出公理化偏好建模框架,通过原则驱动生成偏好信号训练约220M参数模型,使其在长文答案评分上与人类标签一致性超过 GPT-4。
2023-12-02 cs.AI cs.CL
Table2answer: Read the database and answer without SQL
Rokid AI Lab(Rokid人工智能实验室);China Electronic Technology Group Corporation Information Science Academy(中国电子科技集团公司信息科学研究院)
语义解析是将自然语言映射为逻辑形式的任务。在问答中,可以使用语义解析将问题映射到逻辑形式并执行逻辑形式来获得答案。语义解析的一个关键问题是硬标记工作。我们用另一种方法来研究这个问题:我们不再使用逻辑形式。相反,我们只使用模式和答案信息。我们认为逻辑形式步骤可以注入到深层模型中。我们之所以认为去除逻辑形式步骤是可能的,是因为人类可以在没有显式逻辑形式的情况下完成任务。我们使用基于BERT的模型,并在WikiSQL数据集上进行了实验。WikiSQL数据集是一个大型的自然语言到SQL数据集。我们的实验评估表明,我们的模型可以达到基线结果在WikiSQL数据集。
2019-09-09 cs.CL
Why LLMs Fail at Causal Discovery and How Interventional Agents Escape
SIRE, IIT Delhi(IIT德里智能研究机构);Robert Bosch GmbH(罗伯特·博世有限公司);Imperial College London(伦敦帝国理工学院)
本文证明大型语言模型在因果发现中存在根本性失败,并提出一种基于干预代理的因果贝叶斯优化方法(A-CBO),通过外部贝叶斯循环在无需模型微调的情况下实现可证明的收敛。
2026-05-26 cs.AI cs.CL
CasiMedicos-Arg: A Medical Question Answering Dataset Annotated with Explanatory Argumentative Structures
Université Côte d’Azur(蔚蓝海岸大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);I3S(信息科学与信号处理实验室);HiTZ Center - Ixa(HiTZ中心-Ixa团队);University of the Basque Country UPV/EHU(巴斯克大学)
本研究提出首个多语言医学问答数据集CasiMedicos-Arg,标注了临床病例诊断解释的论证结构与关系,为论证挖掘任务提供基准,可辅助住院医生训练解释能力。
2024-10-08 cs.AI cs.CL
Tri-VQA: Triangular Reasoning Medical Visual Question Answering for Multi-Attribute Analysis
School of Computing;Artificial Intelligence Southwest Jiaotong University Chengdu, China;Artificial Intelligence Southwest Jiaotong University Chengdu, China z\ c\;Institute of Innovative Research Tokyo Institute of Technology Yokohama, Japan
针对现有医学视觉问答方法结果可信度不足的问题,提出基于因果效应的Tri-VQA三角推理框架,通过构建反向因果问题优化推理过程,在多中心内镜超声等医学VQA数据集上表现优于现有方法。
2024-06-21 cs.AI cs.CL cs.CV
From What to Why: Thought-Space Recommendation with Small Language Models
Sony Research India(索尼印度研究)
针对LLM推荐推理成本高、SLM理由未被充分利用的问题,提出PULSE框架,将SLM生成理由作为直接学习信号,联合建模用户行为与语义驱动因素,在多个基准上超越现有模型并展现跨域迁移能力。
2025-10-08 cs.AI cs.CL