Question Answering via Web Extracted Tables and Pipelined Models
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们描述了一个数据集和基线结果的问答,利用网络表。它包含网络上常见的问题以及在网站表格中找到的相应答案。我们的数据集是新颖的,因为每个问题都与不同签名的表格配对。特别是,数据集包含两类表:实体实例表和键值表。每个QA实例包括任一种表、自然语言问题和对应的结构化SQL查询。我们将问答分为几个任务,包括表格检索和问题元素分类,建立我们的模型,并进行实验来衡量每个任务的性能。我们提取特定于每个任务的各种功能,并组成一个完整的管道,从其部分构建SQL查询。我们的工作为每个任务提供了定性结果和错误分析,并详细确定了从自然语言问题生成SQL表达式所需的推理。这种推理分析为基于神经机器学习的未来模型提供了信息。
2019-04-16 cs.CL
A Qualitative Comparison of CoQA, SQuAD 2.0 and QuAC
Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们比较了三个新的问答数据集:SQuAD 2.0,QuAC和CoQA,以及它们的几个新功能:(1)不可回答的问题,(2)多轮互动,(3)抽象答案。我们发现,数据集提供了前两个方面的互补覆盖,但第三个方面的覆盖较弱。由于数据集的结构相似性,单个提取模型可以很容易地适应任何数据集,我们在SQuAD 2.0和CoQA上都显示了改进的基线结果。尽管相似,在一个数据集上训练的模型在另一个数据集上是无效的,但我们发现通过预训练可以适度提高性能。为了鼓励交叉评估,我们在https://github.com/my89/co-squac上发布了数据集之间的转换代码。
2019-07-02 cs.CL
A Qualitative Evaluation of Language Models on Automatic Question-Answering for COVID-19
Mayo Clinic(梅奥诊所)
COVID-19导致持续的大流行,截至二零二零年六月十二日,已造成超过740万例病例及超过418,000人死亡。COVID-19的高度动态和快速变化的情况使得难以获得有关该疾病的准确,按需信息。在线社区、论坛和社交媒体提供了搜索相关问题和答案或发布问题并向其他成员寻求答案的潜在场所。然而,由于这些网站的性质,总是有数量有限的相关问题和响应,以搜索,并张贴的问题很少立即回答。随着自然语言处理领域的进步,特别是在语言模型领域,设计能够自动回答消费者问题的聊天机器人已经成为可能。然而,这样的模型很少在医疗保健领域中应用和评估,以满足准确和最新的医疗保健数据的信息需求。在本文中,我们提出应用语言模型来自动回答与COVID-19相关的问题,并对生成的回答进行定性评估。我们利用GPT-2语言模型,并应用迁移学习在COVID-19开放研究数据集(CORD-19)语料库上对其进行重新训练。为了提高生成的响应的质量,我们应用了4种不同的方法,即tf-idf,BERT,BioBERT和USE来过滤和保留响应中的相关句子。在性能评估步骤中,我们请两位医学专家对回答进行评分。我们发现,平均而言,BERT和BioBERT在基于相关性的句子过滤任务中的表现优于tf-idf和USE。此外,基于聊天机器人,我们创建了一个用户友好的交互式Web应用程序,可以在线托管。
2020-06-23 cs.AI cs.CL cs.IR
Answer is All You Need: Instruction-following Text Embedding via Answering the Question
University of California San Diego(加利福尼亚大学圣迭戈分校);Cisco(思科公司)
本文提出InBedder,通过将指令视为问题并编码预期答案,在问答任务上微调语言模型,构建了能捕捉用户指定文本特征的嵌入器,显著提升了指令遵循能力并具备高可解释性。
2024-02-15 cs.CL
Enhancing Event Causality Identification with Rationale and Structure-Aware Causal Question Answering
School of Computer Science
本文提出一种多任务学习框架,将文档级事件因果关系识别转化为多项选择问答,结合理由生成和事件结构图建模多跳关系,在两个基准数据集上显著优于现有方法。
2024-03-17 cs.CL
MedPT: A Massive Medical Question Answering Dataset for Brazilian-Portuguese Speakers
本文提出MedPT数据集,包含384,095个真实患者-医生问答对,覆盖3200多种健康问题,通过多阶段筛选流程和LLM标注,实现了高语义丰富度,用于医疗专业分类任务,达到94%的F1分数。
2026-03-16 cs.CL
Asking and Answering Questions to Extract Event-Argument Structures
Arizona State University(亚利桑那州立大学);University of Arizona(亚利桑那大学)
本文提出一种问答方法提取文档级事件-论元结构,结合模板与大语言模型生成问题,并开发句间关系数据增强策略,在RAMS数据集上取得优异结果。
2024-04-25 cs.CL
Event-Centric Question Answering via Contrastive Learning and Invertible Event Transformation
University of Warwick(华威大学);King’s College London(伦敦国王学院);The Alan Turing Institute(艾伦·图灵研究所)
人类的阅读理解往往需要对叙事文本中的事件语义关系进行推理,以事件为中心的推理(QA)为代表。为了解决以事件为中心的问答,我们提出了一种新的问答模型与对比学习和可逆的事件转换,称为Transient。我们提出的模型利用一个可逆的转换矩阵将事件的语义向量投影到一个共同的事件嵌入空间,用对比学习训练,从而自然地将事件语义知识注入主流QA管道。使用事件感知问题向量,利用问题中发生的事件和答案中发生的事件之间的注释事件关系类型来微调转换矩阵。在事件语义关系推理(ESTER)数据集上的实验结果显示,与现有的强基线相比,生成和提取设置都有显着改进,在多答案设置下,令牌级F1得分增加了8.4%,精确匹配(EM)得分增加了3.0%。定性分析表明,Transcription生成的答案质量很高,证明了将事件知识注入QA模型学习的可行性。我们的代码和模型可以在https://github.com/LuJunru/TranCLR上找到。
2022-12-14 cs.CL
LoRE: Logit-Ranked Retriever Ensemble for Enhancing Open-Domain Question Answering
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出 LoRE 方法,通过集成多样检索器并结合 LLM 的 logit 分数与段落检索排名来缓解位置偏差,显著提升了开放域问答的准确性与相关性。
2024-10-13 cs.CL
CALM: Unleashing the Cross-Lingual Self-Aligning Ability of Language Model Question Answering
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);HKUST(香港科技大学)
本文提出CALM方法,通过跨语言自对齐和直接偏好优化,利用多语言回答的一致性选择目标并训练模型,在MEDQA和X-CSQA上有效提升跨语言知识问答的准确率与一致性。
2025-02-10 cs.CL
TransferNet: An Effective and Transparent Framework for Multi-hop Question Answering over Relation Graph
Department of Computer Science and Technology, BNRist, Tsinghua University(清华大学计算机科学与技术系、BNRist);Cloud BU, Huawei Technologies(华为技术有限公司云BU);Nanyang Technological University(南洋理工大学)
多跳问答(QA)是一个具有挑战性的任务,因为它需要在每一步的答案与实体关系的精确推理。关系可以根据知识图谱中的标签来表示(例如,\textit{spouse})或文本语料库中的文本(例如,\textit{they have been married for 26 years})。现有的模型通常通过预测序列关系路径或聚集隐藏图特征来推断答案。前者很难优化,后者缺乏可解释性。在本文中,我们提出了TransferNet,一个有效的和透明的多跳QA模型,它支持在一个统一的框架中的标签和文本关系。TransferNet以多个步骤跨越实体。在每一步中,它关注问题的不同部分,计算关系的激活分数,然后以可微的方式沿着激活的关系传递先前的实体分数。我们在三个数据集上进行了广泛的实验,并证明了TransferNet在很大程度上超越了最先进的模型。特别是在MetaQA上,它在2跳和3跳问题中达到了100%的准确率。通过定性分析,我们表明,TransferNet具有透明和可解释的中间结果。
2021-10-10 cs.CL
Choose Your QA Model Wisely: A Systematic Study of Generative and Extractive Readers for Question Answering
Arizona State University(亚利桑那州立大学);Salesforce Research(赛富时研究院)
虽然抽取式和生成式阅读器都已成功地应用于问答任务,但很少有人关注它们之间的系统比较。描述这两种读者的优势和劣势不仅对于在实践中做出更明智的读者选择至关重要,而且对于发展更深入的理解以促进以原则性方式改善读者的进一步研究也至关重要。基于这一目标,本文首次尝试对问答中抽取读者和生成读者进行系统的比较研究。为了与最先进的技术保持一致,我们探索了九种基于transformer的大型预训练语言模型(PrLM)作为骨干架构。此外,我们将我们的研究结果分为两大类:(1)保持架构不变,(2)改变潜在的PrLM。在几个有趣的发现中,重要的是要强调(1)生成阅读器在长上下文QA中表现更好,(2)提取阅读器在短上下文中表现更好,同时也显示出更好的领域泛化,以及(3)编码器-解码器PrLM的编码器(例如,T5)证明是一个强大的提取读取器,并且优于仅编码器PrLM的标准选择(例如,RoberTa)。我们还研究了多任务学习对两种类型的读者不同的基础PrLM的影响,并进行定性和定量诊断,以提供更好的读者建模的未来方向的进一步见解。
2022-03-14 cs.CL
Generalizable Neuro-symbolic Systems for Commonsense Question Answering
Bosch Research(博世研究院);Carnegie Mellon University(卡内基梅隆大学);Information Sciences Institute, Viterbi School of Engineering, University of Southern California(南加州大学维特比工程学院信息科学研究所);Michigan State University(密歇根州立大学)
本章说明了如何合适的语言理解的神经符号模型可以使域的概括性和鲁棒性的下游任务。讨论了集成神经语言模型和知识图谱的不同方法。这种组合是最合适的情况下的特点,包括定量评价和定性错误分析的各种常识问答基准数据集。
2022-01-17 cs.AI cs.CL
LittiChoQA: Literary Texts in Indic Languages Chosen for Question Answering
Indraprastha Institute of Information Technology, Delhi(德里英德拉普拉斯塔信息技术学院);Accenture(埃森哲)
LittiChoQA是一个针对印度语言文学文本的大型问答数据集,通过完整上下文微调在性能上表现最佳,同时上下文缩短显著提升了处理效率。
2026-01-06 cs.CL
Interpretable Long-Form Legal Question Answering with Retrieval-Augmented Large Language Models
Maastricht University(马斯特里赫特大学)
本文提出“先检索后阅读”的检索增强LLM端到端方法,并发布含1,868个法语专家标注样本的LLeQA数据集,以生成可解释的成文法长篇答案。
2023-09-29 cs.CL
Human Attention in Visual Question Answering: Do Humans and Deep Networks Look at the Same Regions?
Virginia Tech(弗吉尼亚理工大学);Facebook AI Research(脸书人工智能研究院)
我们对视觉问答(VQA)中的“人类注意力”进行了大规模研究,以了解人类在回答有关图像的问题时会选择哪里。我们设计并测试了多个游戏启发的新颖注意力注释界面,这些界面要求受试者锐化模糊图像的区域以回答问题。因此,我们引入VQA-HAT(人类注意力)数据集。我们评估了由最先进的VQA模型生成的注意力地图对人类注意力的定性(通过可视化)和定量(通过排序相关性)。总的来说,我们的实验表明,目前VQA中的注意力模型似乎并不像人类那样关注相同的区域。
2016-06-17 cs.CL cs.CV
BanglaQuAD: A Bengali Open-domain Question Answering Dataset
Amazon(亚马逊)
本文针对孟加拉语在NLP中低资源及现有翻译数据集质量差的问题,提出了包含30,808个问答对的孟加拉语开放域问答数据集BanglaQuAD及配套标注工具,并通过定性分析验证了其质量。
2024-10-14 cs.AI cs.CL
MORQA: Benchmarking Evaluation Metrics for Medical Open-Ended Question Answering
Microsoft Health AI(微软健康人工智能)
本文提出多语言医学问答基准MORQA,通过包含专家撰写的多参考答案和人工评分,系统评估了传统指标与GPT-4等LLM评估器,发现LLM方法与专家判断的相关性显著更优。
2025-09-15 cs.CL
TyDi QA: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages
Google Research(谷歌研究院)
自信地在多语言建模方面取得进展需要具有挑战性的、值得信赖的评估。我们提出了TyDi QA-一个问答数据集,涵盖了11种类型不同的语言,204 K问答对。TyDi QA的语言在类型学方面是多样的-每种语言表达的语言特征集-这样我们就可以期望在这一集上表现良好的模型可以推广到世界上大量的语言。我们提出了一个定量分析的数据质量和实例级的定性语言分析观察到的语言现象,不会发现在英语语料库。为了提供一个现实的信息寻求任务,避免启动效应,问题是由想知道答案但还不知道答案的人写的,数据是直接用每种语言收集的,而不需要翻译。
2020-03-10 cs.CL cs.LG
Community Question Answering Platforms vs. Twitter for Predicting Characteristics of Urban Neighbourhoods
University College London(伦敦大学学院)
在本文中,我们调查是否可以使用来自社区问答(QA)平台的文本来预测和描述现实世界的属性。我们的实验预测范围广泛的62个人口统计属性的伦敦街区。我们使用的文本来自Yahoo!答案,并将我们的结果与从Twitter微博获得的结果进行比较。结果表明,预测的人口统计属性之间的相关性使用文本从雅虎!答案讨论和观察到的人口统计属性可以达到平均皮尔逊相关系数\r{ho} = 0.54,略高于使用Twitter数据获得的预测。我们的定性分析表明,从两个数据集中提取的最高相关术语与其相对的人口统计属性之间存在语义相关性。此外,相关性突出了雅虎中包含的信息的不同性质!答案和Twitter前者似乎提供了更多的科普内容,而后者提供了与当前社会文化方面或现象有关的信息。
2017-01-17 cs.CL cs.SI
Towards Transparent AI Systems: Interpreting Visual Question Answering Models
Virginia Tech(弗吉尼亚理工大学)
近年来,深度神经网络在人工智能的许多研究领域取得了令人瞩目的进展,取得了令人瞩目的成果。然而,不知道他们为什么预测他们做什么通常是不令人满意的。在本文中,我们解决的问题,解释视觉问答(VQA)模型。具体来说,我们感兴趣的是找到VQA模型在回答问题时关注的输入部分(图像中的像素或问题中的单词)。为了解决这个问题,我们使用了两种可视化技术--引导反向传播和遮挡--来找到问题中的重要单词和图像中的重要区域。然后,我们提出这些重要性地图的定性和定量分析。我们发现,即使没有明确的注意力机制,VQA模型有时可能会隐含地关注图像中的相关区域,并且经常关注问题中的适当词语。
2016-09-09 cs.AI cs.CL cs.CV
A Discrete Hard EM Approach for Weakly Supervised Question Answering
University of Washington(华盛顿大学);Princeton University(普林斯顿大学);Facebook AI Research(Facebook人工智能研究院);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
许多问答(QA)任务只提供弱监督的答案应该如何计算。例如,TriviaQA答案是可以在支持文档中多次提及的实体,而DROP答案可以通过从参考文本中的数字导出许多不同的方程来计算。在本文中,我们证明了将这些任务转换为离散潜变量学习问题是可能的,这些问题具有预先计算的特定于任务的可能“解决方案”(例如,不同的提及或方程),其中包含一个正确的选项。然后,我们开发了一个硬EM学习方案,在每次更新时计算相对于最可能的解决方案的梯度。尽管它的简单性,我们表明,这种方法显着优于以前的方法在六个QA任务,包括2- 10%的绝对增益,并实现了国家的最先进的其中五个。使用硬更新而不是最大化边际可能性是这些结果的关键,因为它鼓励模型找到一个正确的答案,我们通过详细的定性分析显示。
2019-09-11 cs.AI cs.CL
QuAC : Question Answering in Context
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);University of Washington(华盛顿大学);Stanford University(斯坦福大学);UMass Amherst(马萨诸塞大学阿默斯特分校)
我们提出了QuAC,一个上下文中的问答数据集,包含14K个信息搜索QA对话框(总共10万个问题)。对话涉及两名群众工作者:(1)一名学生提出一系列自由形式的问题,以尽可能多地了解隐藏的维基百科文本,(2)一名教师通过提供文本的简短摘录来回答问题。QuAC引入了现有机器理解数据集中没有的挑战:它的问题通常是开放式的,无法回答的,或者只有在对话上下文中才有意义,正如我们在详细的定性评估中所展示的那样。我们还报告了一些参考模型的结果,包括最近国家的最先进的阅读理解架构扩展到模型对话上下文。我们最好的模型表现比人类差20 F1,这表明未来在这些数据上还有很大的工作空间。数据集、基线和排行榜可在http://quac.ai获得。
2018-08-28 cs.AI cs.CL cs.LG
MetaQA: Combining Expert Agents for Multi-Skill Question Answering
Technical University of Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心);Koç University(科奇大学)
最近问答(QA)数据集和模型的爆炸式增长增加了人们对通过在多个数据集上训练或通过组合多个模型来跨多个领域和格式泛化模型的兴趣。尽管多数据集模型的结果很有希望,但某些领域或QA格式可能需要特定的架构,因此这些模型的适应性可能受到限制。此外,目前用于组合模型的方法忽略了诸如问答兼容性之类的线索。在这项工作中,我们建议将专家代理与一种新颖,灵活,高效的训练架构相结合,该架构考虑问题,答案预测和答案预测置信度得分,以在候选答案列表中选择最佳答案。通过定量和定性实验,我们表明,我们的模型i)创建代理之间的协作,优于以前的多代理和多数据集的方法,在域内和域外的情况下,ii)是高度数据效率的训练,和iii)可以适应任何QA格式。我们在https://github.com/UKPLab/MetaQA上发布了我们的代码和来自专家代理的16个QA数据集的答案预测数据集,以促进多代理系统的未来发展。
2023-02-07 cs.CL cs.LG
On the Efficacy of Adversarial Data Collection for Question Answering: Results from a Large-Scale Randomized Study
Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(脸书人工智能研究院)
在对抗性数据汇集(ADC)中,人类劳动力与模型进行实时的交互,试图产生导致错误预测的示例。研究人员希望,在这些更具挑战性的数据集上训练的模型将更少地依赖于表面模式,从而不那么脆弱。然而,尽管ADC具有直观的吸引力,但在对抗性数据集上进行训练何时会产生更强大的模型仍不清楚。在本文中,我们进行了一项大规模的对照研究,重点是问答,随机分配工人组成的问题(i)对抗(在循环中的模型);或(ii)在标准的方式(没有模型)。在各种模型和数据集中,我们发现在对抗数据上训练的模型通常在其他对抗数据集上表现更好,但在不同的域外评估集上表现更差。最后,我们对对抗性(与标准)数据进行了定性分析,确定了关键差异,并为未来的研究提供了指导。
2021-06-02 cs.AI cs.CL cs.LG
Generating Rationales in Visual Question Answering
UC San Diego(加州大学圣地亚哥分校)
尽管近年来在视觉推理(VQA)方面取得了一些进展,但要确定成功在多大程度上归因于良好的推理和理解能力仍然是一个挑战。本质上,我们的任务是为VQA模型预测的答案生成理论依据。我们使用来自视觉常识推理(VCR)任务的数据,因为它包含了地面真理推理以及视觉问题和答案。我们首先研究了领先的VCR模型之一ViLBERT中的常识性理解,通过使用最先进的语言模型GPT-2从预训练的权重生成基本原理。接下来,我们试图以端到端的方式联合训练ViLBERT和GPT-2,同时完成预测VQA中的答案和生成理由的双重任务。我们认为这种培训通过定量和定性的评价指标在VQA模型中注入了常识理解
2020-04-04 cs.AI cs.CL cs.CV
Unsupervised Question Decomposition for Question Answering
Facebook AI Research(脸书人工智能研究院);New York University(纽约大学);University College London(伦敦大学学院);CIFAR Azrieli Global Scholar(加拿大高级研究院阿兹列利全球学者项目)
我们的目标是改善问答(QA)的困难问题分解成简单的子问题,现有的QA系统能够回答。由于用分解标记问题很麻烦,我们采取无监督的方法来生成子问题,这也使我们能够利用互联网上的数百万个问题。具体来说,我们提出了一个算法的一对N无监督序列转导(ONUS),学会映射一个硬,多跳的问题,许多简单的,单跳的子问题。我们用现成的QA模型回答子问题,并将得到的答案交给重组模型,将它们组合成最终答案。我们展示了HotpotQA在原始、域外和多跳开发集上的强大基线上的巨大QA改进。ONUS自动学习分解不同类型的问题,同时匹配QA的监督和启发式分解方法的效用,并在流畅性上超过这些方法。定性,我们发现,使用子问题是有希望阐明为什么QA系统作出预测。
2020-10-06 cs.AI cs.CL cs.LG
LinkQ: An LLM-Assisted Visual Interface for Knowledge Graph Question-Answering
MIT Lincoln Laboratory(麻省理工学院林肯实验室);Tufts University(塔夫茨大学)
针对传统知识图谱查询需专业语言知识的局限,提出LinkQ系统,通过LLM辅助将自然语言问题转化为规范查询,支持问题迭代细化与探索分析,经定性研究验证其有效性并获从业者认可。
2025-02-10 cs.AI cs.CL cs.LG
Multimodal Dual Attention Memory for Video Story Question Answering
Clova AI Research, NAVER Corp(NAVER公司Clova AI研究中心);Seoul National University(首尔大学);SK T-brain;Surromind Robotics
我们提出了一个视频故事问答(QA)架构,多模态双注意力记忆(MDAM)。其关键思想是使用具有后期融合的双重注意力机制。MDAM使用自我注意来学习场景帧和字幕中的潜在概念。给定一个问题,MDAM对这些潜在概念使用第二注意力。在双注意过程之后执行多模态融合(后期融合)。使用这种处理管道,MDAM学习从完整视频内容的抽象中推断高级视觉语言联合表示。我们在PororoQA和MovieQA数据集上评估MDAM,这些数据集分别对卡通视频和电影进行了大规模的QA注释。对于这两个数据集,MDAM实现了新的最先进的结果,与亚军模型相比具有显着的利润率。我们通过消融研究证实了双重注意力机制结合晚期融合的最佳性能。我们还进行定性分析,通过可视化的推理机制MDAM。
2018-09-21 cs.AI cs.CL cs.CV
End-to-End Video Question Answering with Frame Scoring Mechanisms and Adaptive Sampling
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Center for Data Science, Peking University(北京大学数据科学中心)
针对视频问答中均匀采样帧无法捕捉相关上下文的问题,提出 VidF4 框架,设计三种帧评分机制评估帧重要性,并采用可微自适应采样实现端到端训练,在三个基准上取得新 SOTA。
2024-07-23 cs.CL cs.CV
Customized Image Narrative Generation via Interactive Visual Question Generation and Answering
The University of Tokyo(东京大学);RIKEN(理化学研究所)
图像描述任务一直是以静态的方式进行研究的,定性的假设被认为是普遍适用的,无论描述的范围或目标如何。然而,在实践中,不同的观众可能会注意到图像的不同方面,并在不同的语境下产生不同的描述或解释。这种视角的多样性很难用传统的图像描述技术得到。在本文中,我们提出了一个定制的图像叙事生成任务,其中用户交互式地参与生成过程中提供的问题的答案。我们进一步尝试通过重复这样的交互阶段来学习用户的兴趣,并自动反映新图像的描述中的兴趣。实验结果表明,我们的模型可以生成各种描述从单一的图像,涵盖了更广泛的主题比传统的模型,同时可定制的目标用户的互动。
2018-04-27 cs.AI cs.CL cs.CV
A Survey on Legal Question Answering Systems
Software Competence Center Hagenberg(哈根贝格软件能力中心)
针对法律领域立法信息爆炸、文件非结构化导致从业者信息过载、执业成本高易错的问题,本文对现有法律问答系统解决方案开展定量与定性调研,这类系统可自动处理法律资源快速答疑,有效减轻从业者负担。
2021-10-12 cs.AI cs.CL cs.IR
Adversarial Regularization for Visual Question Answering: Strengths, Shortcomings, and Side Effects
Harvard John A. Paulson School of Engineering and Applied Sciences(哈佛大学约翰·A·保尔森工程与应用科学学院);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
视觉问答(VQA)模型已经被证明过度依赖于VQA数据集中的语言偏见,在不考虑视觉上下文的情况下“盲目”回答问题。对抗正则化(AdvReg)旨在通过一个对抗子网络来解决这个问题,该子网络鼓励主模型学习问题的无偏差表示。在这项工作中,我们研究了AdvReg的优点和缺点,目的是更好地理解它如何影响VQA模型中的推理。尽管在VQA-CP上实现了新的最先进技术,但我们发现AdvReg会产生一些不期望的副作用,包括不稳定的梯度和域内示例的性能急剧下降。我们证明,在训练过程中逐步引入正则化有助于缓解,但不能完全解决这些问题。通过错误分析,我们观察到AdvReg提高了对二进制问题的泛化能力,但削弱了具有异构答案分布的问题的性能。定性地,我们还发现正则化模型倾向于过度依赖视觉特征,而忽略了问题中重要的语言线索。我们的研究结果表明,AdvReg需要进一步完善,才能被认为是一个可行的偏差缓解技术VQA。
2019-06-20 cs.CL cs.CV cs.LG
Mind Your Outliers! Investigating the Negative Impact of Outliers on Active Learning for Visual Question Answering
Stanford University(斯坦福大学)
主动学习有望缓解监督机器学习的海量数据需求:它成功地将主题分类和对象识别等传统任务的样本效率提高了一个数量级。然而,我们发现了与这一承诺形成鲜明对比的是:在视觉问答任务的5个模型和4个数据集上,各种各样的主动学习方法都未能优于随机选择。为了理解这种差异,我们在每个示例的基础上描述了8种主动学习方法,并将问题识别为集体离群值-主动学习方法更喜欢获取但模型无法学习的示例组(例如,询问图像中的文本或需要外部知识的问题)。通过系统的消融实验和定性可视化,我们验证了集体离群值是一种普遍现象,负责退化池为基础的主动学习。值得注意的是,我们表明,主动学习样本效率显着增加集体离群值的数量在主动学习池减少。最后,我们的讨论和规范性的建议,以减轻这些离群值在未来的工作的影响。
2021-07-06 cs.AI cs.CL cs.CV
Comparative Analysis of Neural QA models on SQuAD
Carnegie Mellon University(卡内基梅隆大学)
在过去的几十年里,问答的任务在测试机器理解自然语言的能力方面变得突出起来。与信息检索任务相比,用于机器阅读的大型数据集已经导致了神经模型的发展,这些神经模型迎合了更深层次的语言理解。这些神经架构中的不同组件旨在应对不同的挑战。作为实现跨多个领域泛化的第一步,我们试图通过对每个模型获得的结果进行定量和定性分析,来理解和比较斯坦福问答数据集(SQuAD)上现有端到端神经模型的特点。我们观察到,预测误差反映了某些模型特定的偏差,我们将在本文中进一步讨论。
2018-06-18 cs.AI cs.CL
Can GPT Improve the State of Prior Authorization via Guideline Based Automated Question Answering?
inQbator AI at eviCore Healthcare, Evernorth Health Services(Evernorth Health Services旗下的inQbator AI)
该研究将保险预先授权中的资格标准验证建模为基于电子健康记录的问答,提出新型GPT提示方法,加权F1平均达0.61,优于标准提示。
2024-10-25 cs.AI cs.CL cs.LG
ReGraM: Region-First Knowledge Graph Reasoning for Medical Question Answering
Department of Software, Soongsil University(软件系,顺斯大学)
ReGraM通过区域优先的知识图谱推理框架,提升医疗问答的准确性和一致性。
2026-01-14 cs.AI cs.CL
NeuralQA: A Usable Library for Question Answering (Contextual Query Expansion + BERT) on Large Datasets
Cloudera Fast Forward Labs
现有的问答(QA)工具面临着限制其在实践中使用的挑战。它们的设置或与现有基础设施的集成可能很复杂,不提供可配置的交互式接口,并且不涵盖经常构成QA管道的全部子任务(查询扩展、检索、阅读和解释/意义构建)。为了帮助解决这些问题,我们引入了NeuralQA -一个用于大型数据集QA的可用库。NeuralQA与现有基础设施(例如,ElasticSearch实例和使用HuggingFace Transformers API训练的读取器模型),并为QA子任务提供有用的默认值。它引入并实现了上下文查询扩展(CQE)使用掩蔽的语言模型(MLM)以及相关的片段(RelSnip)-一种方法,用于压缩大型文档成较小的段落,可以快速处理的文档阅读器模型。最后,它提供了一个灵活的用户界面,以支持研究探索的工作流程(例如,基于梯度的解释的可视化,以支持模型行为的定性检查)和大规模搜索部署。NeuralQA的代码和文档可以在Github(https://github.com/victordibia/neuralqa}{Github)上以开源的形式获得。
2020-11-28 cs.AI cs.CL cs.HC
A Two-Stage Multitask Vision-Language Framework for Explainable Crop Disease Visual Question Answering
本文提出了一种轻量且可解释的双阶段多任务视觉-语言框架,用于作物疾病视觉问答,实现了高准确率和良好的可解释性。
2026-03-07 cs.CL cs.CV
Hierarchical Deep Multi-modal Network for Medical Visual Question Answering
Indian Institute of Technology Patna(印度理工学院巴特那分校)
医学领域的可视化问答系统(VQA-Med)在为最终用户提供医疗帮助方面发挥着重要作用。预期这些用户提出一个简单的问题,回答是/否,或者提出一个需要详细描述性回答的挑战性问题。VQA-Med中现有的技术不能区分不同的问题类型,有时会使简单的问题复杂化,或者过度简化复杂的问题。当然,对于不同的问题类型,几个不同的系统可能会导致最终用户的困惑和不适。为了解决这个问题,我们提出了一个分层的深度多模态网络,分析和分类最终用户的问题/查询,然后结合特定于查询的答案预测方法。我们将我们提出的方法称为基于层次化问题隔离的可视化问答,简称HQS-VQA。我们的贡献是三方面的,即:首先,我们提出了一个问题隔离(QS)技术VQAM;其次,我们集成了QS模型的层次化深度多模态神经网络,以生成适当的答案,医疗图像相关的查询;第三,我们研究了医疗VQA QS的影响,通过比较所提出的模型与QS和模型没有QS的性能。我们评估我们提出的模型在两个基准数据集,即RAD和CLEF 18上的性能。实验结果表明,我们提出的HQS-VQA技术优于基线模型具有显着的利润率。我们还对所获得的结果进行了详细的定量和定性分析,并发现了错误的潜在原因及其解决方案。
2020-09-27 cs.CL cs.CV cs.LG
What's the plan? Metrics for implicit planning in LLMs and their application to rhyme generation and question answering
HPI / University of Potsdam(HPI/波茨坦大学);Utrecht University(乌特勒支大学);Google DeepMind(谷歌DeepMind)
本文提出简单方法评估LLM隐式规划,通过押韵生成和问答案例展示其可扩展性,发现隐式规划在1B参数模型中普遍存在,为AI安全提供新视角。
2026-05-11 cs.AI cs.CL cs.LG
Using Visual Cropping to Enhance Fine-Detail Question Answering of BLIP-Family Models
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
本文针对 BLIP 系列模型在细粒度视觉问答上的不足,提出利用人工及基于 CLIP 嵌入和模型梯度的自动视觉裁剪策略,在 VQA-v2 子集上显著提升模型性能,并验证了裁剪增强的鲁棒性。
2023-05-31 cs.AI cs.CL cs.CV
EuSQuAD: Automatically Translated and Aligned SQuAD2.0 for Basque
Vicomtech Foundation, Basque Research and Technology Alliance (BRTA)(Vicomtech基金会,巴斯克研究与技术联盟(BRTA));HiTZ Center - Ixa, University of the Basque Country (UPV/EHU)(巴斯克大学HiTZ中心-Ixa(UPV/EHU))
本文提出EuSQuAD,首个将SQuAD2.0自动翻译并对齐为巴斯克语的倡议,生成超142k个问答样本,并通过定性分析与问答实验验证了其价值。
2024-06-04 cs.CL
Layout and Task Aware Instruction Prompt for Zero-shot Document Image Question Answering
Zhejiang University(浙江大学)
针对零样本文档图像问答,提出利用空格和换行符恢复布局信息的LATIN-Prompt及提升小模型性能的LATIN-Tuning,使大模型零样本性能媲美SOTA微调效果。
2023-09-07 cs.AI cs.CL cs.CV
Making the V in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering
Virginia Tech(弗吉尼亚理工大学);Army Research Laboratory(陆军研究实验室);Georgia Institute of Technology(佐治亚理工学院)
视觉和语言的交叉问题是具有挑战性的研究问题和丰富的应用程序集,他们使显着的重要性。然而,我们世界的固有结构和我们语言中的偏见往往是比视觉形式更简单的学习信号,导致模型忽略视觉信息,从而导致对其能力的夸大感。我们建议在视觉问答(VQA)的任务中对抗这些语言先验,并使视觉(VQA中的V)变得重要!具体来说,我们通过收集互补图像来平衡流行的VQA数据集,这样我们平衡数据集中的每个问题不仅与单个图像相关联,而且与导致问题的两个不同答案的一对相似图像相关联。我们的数据集比原始VQA数据集更平衡,并且图像-问题对的数量大约是原始VQA数据集的两倍。我们完整的平衡数据集可在www.visualqa.org上公开获得,作为Visual问答数据集和挑战(VQA v2.0)的第二次迭代的一部分。我们进一步在我们的平衡数据集上对一些最先进的VQA模型进行了基准测试。所有模型在我们的平衡数据集上的表现都要差得多,这表明这些模型确实学会了利用语言先验。这一发现提供了第一个具体的经验证据,似乎是一个定性的意义上的从业者。最后,我们的数据汇集协议,用于识别互补的图像,使我们能够开发一种新的可解释的模型,除了提供一个答案,给定的(图像,问题)对,还提供了一个反例为基础的解释。具体来说,它识别一个与原始图像相似的图像,但它认为对同一个问题有不同的答案。这有助于在用户之间建立对机器的信任。
2017-05-15 cs.AI cs.CL cs.CV
Text-to-SQL Generation for Question Answering on Electronic Medical Records
Virginia Tech(弗吉尼亚理工大学)
电子医疗记录(EMR)包含全面的患者信息,并且通常存储在具有多个表的关系数据库中。从电子病历数据中有效地检索患者信息检索是医学专家的一项具有挑战性的任务。SQL到SQL生成方法通过首先预测关于数据库的给定问题的SQL查询,然后在数据库上执行查询来解决这个问题。然而,大多数现有的方法还没有适应医疗保健领域,由于缺乏医疗保健数据库到SQL数据集的学习模型特定于这个领域。此外,术语缩写的广泛使用和问题中可能的错别字为准确生成相应的SQL查询带来了额外的挑战。在本文中,我们通过开发一个基于深度学习的TRanslate-Edit Model for SQL(TREQS)生成来解决这些挑战,该模型采用广泛使用的序列到序列模型来直接生成给定问题的SQL查询,并使用注意力复制机制和特定于任务的查找表进一步执行所需的编辑。基于广泛使用的公共电子医疗数据库,我们创建了一个新的大规模的SQL对数据集,命名为MIMICSQL,以执行在医疗领域的SQL到SQL的生成任务。一组广泛的实验进行评估我们提出的模型MIMICSQL的性能。定量和定性的实验结果表明,我们所提出的方法在预测条件值的灵活性和效率,其鲁棒性随机问题的缩写和错别字。
2020-01-30 cs.AI cs.CL cs.IR
REALM: Retrieval-Augmented Language Model Pre-Training
Google Research(谷歌研究院)
语言模型预训练已被证明可以捕获惊人数量的世界知识,这对于问答等NLP任务至关重要。然而,这些知识隐含地存储在神经网络的参数中,需要越来越大的网络来覆盖更多的事实。为了以更模块化和可解释的方式捕获知识,我们使用潜在知识检索器来增强语言模型的预训练,这允许模型从维基百科等大型语料库中检索和关注文档,用于预训练,微调和推理。这是第一次,我们展示了如何以无监督的方式预训练这样的知识检索器,使用掩码语言建模作为学习信号,并通过考虑数百万文档的检索步骤进行反向传播。我们证明了检索增强语言模型预训练(REALM)的有效性,通过微调开放域问答(Open-QA)的挑战性任务。我们在三个流行的Open-QA基准测试中比较了最先进的显式和隐式知识存储模型,发现我们的性能明显优于所有以前的方法(绝对准确率为4-16%),同时还提供了定性的好处,如可解释性和模块化。
2020-02-10 cs.CL cs.LG
Learned, Lagged, LLM-splained: LLM Responses to End User Security Questions
该研究通过定性评估3款主流大语言模型在900个终端用户安全问题上的表现,发现其存在答案过时失准、应答不当等局限,据此提出模型改进方向与用户使用策略。
2025-10-27 cs.AI cs.CL cs.CR
Ask to Learn: A Study on Curiosity-driven Question Generation
reciTAL(reciTAL公司);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
我们提出了一个新的文本生成任务,即好奇心驱动的问题生成。我们从观察问题生成任务传统上被认为是双重问题的问答,因此解决的问题,生成一个问题的文本,包含其答案。这些问题可以用来评估机器阅读理解。然而,在现实生活中,特别是在对话环境中,人们倾向于提出问题,目的是丰富他们的知识和/或澄清先前收集的信息的各个方面。我们将这些好奇的问题称为好奇心驱动的问题:这些问题的产生是为了获得输入文本中不存在的新信息(答案)。在这项工作中,我们使用会话式问答(QA)数据集对这个新任务进行实验;此外,由于大多数QA数据集不是以内置的会话方式,我们描述了一种方法来从非会话式QA数据中获得用于这个新任务的数据。我们研究了几种自动化指标来衡量好奇问题的不同属性,并在好奇驱动的问题生成任务上实验了不同的方法,包括模型预训练和强化学习。最后,我们报告所产生的输出的定性评价。
2019-11-08 cs.AI cs.CL
Open-ended Commonsense Reasoning with Unrestricted Answer Scope
Emory University(埃默里大学);Microsoft(微软);NEC Labs America(NEC美国实验室);NEC Corporation(日本电气株式会社)
本文针对无预定义答案范围的开放式常识推理问题,提出利用预训练语言模型在外部知识库上迭代检索推理路径的方法,无需任务特定监督,并在两个常识基准数据集上验证了其优于其他方法的定量与定性性能。
2023-10-27 cs.CL
Clinical Reading Comprehension: A Thorough Analysis of the emrQA Dataset
The Ohio State University(俄亥俄州立大学)
近年来,由于大规模标注数据集的出现,机器阅读理解取得了很大的进展。然而,在临床领域,由于注释所需的领域专业知识,创建这样的数据集是相当困难的。最近,Pampari等人(EMNLP'18)通过使用专家注释的问题模板和现有的i2 b2注释来创建emrQA来解决这个问题,emrQA是第一个基于临床笔记的问答(QA)的大规模数据集。在本文中,我们对该数据集和临床阅读理解(CliniRC)任务进行了深入分析。从我们的定性分析中,我们发现(i)emrQA的答案往往是不完整的,(ii)emrQA的问题往往是不使用领域知识的答案。从我们的定量实验中,令人惊讶的结果包括:(iii)使用小样本子集(5%-20%),与在整个数据集上训练的模型相比,我们可以获得大致相同的性能,(iv)这种性能接近人类专家的性能,以及(v)BERT模型不会击败表现最好的基础模型。在我们对emrQA的分析之后,我们进一步探索了CliniRC系统的两个期望方面:利用临床领域知识的能力和概括看不见的问题和背景的能力。我们认为,在创建未来的数据集时,这两个都应该考虑。
2020-05-01 cs.CL
Making the V in Text-VQA Matter
KLE Technological University(KLE科技大学);IIIT Hyderabad(印度海得拉巴国际信息技术学院)
针对TextVQA数据集偏重文本导致模型忽略视觉特征的问题,提出结合TextVQA和VQA数据集训练的方法,增强图像与文本特征的相关性,提升问答性能。
2023-08-01 cs.AI cs.CL cs.CV