Cognitive Systems and Question Answering
Universität Koblenz-Landau(科布伦茨-兰道大学);Harz University of Applied Sciences(哈尔茨应用科学大学)
本文简要介绍了认知计算领域的特点。作为一个例子,自然语言问答领域的介绍与其具体的挑战。掌握这些挑战的可能性说明了详细介绍的LogAnswer系统,这是一个成功的代表领域的自然语言问答。
2014-11-18 cs.AI cs.CL
Is Sluice Resolution really just Question Answering?
水闸解析是一个系统需要输出相应的wh-椭圆的先行词的问题。先行词是省略在wh-词后面的内容,但使用上下文隐含地被提及。以前的工作框架水闸决议作为问答在此设置优于所有其以前的作品大幅度。省略和疑问句是指称依赖表达(照应),检索相应的先行词就像回答问题一样,输出澄清信息。然而,任务并没有完全解决。因此,我们想进一步调查是什么使水闸决议不同的问答,并填补错误的差距。我们还提出了一些结果,使用最近的国家的最先进的问答系统,提高了以前的工作(86.01至90.39 F1)。
2021-05-29 cs.AI cs.CL
Think Visually: Question Answering through Virtual Imagery
在本文中,我们研究了问答环境下的几何推理问题。我们介绍了动态空间记忆网络(DSMN),这是一种新的深度网络架构,旨在回答承认潜在视觉表征的问题。DSMN学习生成和推理这些表示。此外,我们提出了两个综合基准,FloorPlanQA和ShapeIntersection,以评估QA系统的几何推理能力。实验结果验证了我们提出的DSMN视觉思维任务的有效性。
2018-05-25 cs.AI cs.CL
Advances in Natural Language Question Answering: A Review
Sri Lanka Institute of Information Technology(斯里兰卡信息技术学院);College of Science, Health, Engineering and Education(科学、健康、工程与教育学院)
由于学习技术的进步,问答最近受到了人工智能社区的高度关注。早期的问答模型使用基于规则的方法,并转向统计方法来处理大量可用的信息。然而,统计方法在处理语言的动态性质和变化方面表现不佳。因此,学习模型已经显示出处理语言的动态性质和变化的能力。许多深度学习方法已经被引入到问答中。与机器学习和统计方法相比,大多数深度学习方法都能获得更高的结果。语言的动态本质得益于深度学习中的非线性学习。这已经创造了显著的成功和问答工作的高峰。本文讨论了问答问答系统的成功和挑战,以及在这些挑战中使用的技术。
2019-04-10 cs.AI cs.CL
Geographic Question Answering: Challenges, Uniqueness, Classification, and Future Directions
University of California Santa Barbara(加州大学圣巴巴拉分校)
问答(QA)是人工智能的重要组成部分,其目的是对用自然语言表达的问题生成答案。虽然在开放域问答方面已经取得了实质性的进展,但是QA系统仍然在努力回答涉及地理实体或概念并且需要空间操作的问题。本文讨论了地理问答问题。本文首先通过分析地理问题的挑战性来探讨地理问题难答的原因。我们讨论了地理问题的独特性相比,一般的QA。然后,我们回顾现有的工作GeoQA和分类的问题,他们可以解决的类型。在此基础上,我们提供了一个通用的地理问题的分类框架。最后,我们总结了我们的工作,指出独特的未来研究方向GeoQA。
2021-05-19 cs.AI cs.CL
Building a Question Answering System for the Manufacturing Domain
ZheJiang University of Technology(浙江工业大学)
特种设备产品的设计或仿真分析必须遵循国家标准,因此在设计过程中可能需要反复查阅标准内容。而传统的基于关键词检索的问答系统很难对技术问题给出准确的答案。因此,我们采用自然语言处理技术,设计了一个压力容器设计决策过程的问答系统。针对科技类问答系统训练数据不足的问题,提出了一种从多个维度对陈述句生成问题的方法,使得陈述句可以生成多个问答对。此外,我们设计了一个基于双向长短期记忆(BiLSTM)网络的交互式注意力模型,以提高两个问句相似性比较的性能。最后,在公共和技术领域数据集上测试了问答系统的性能。
2021-11-19 cs.AI cs.CL
A Knowledge-based Approach for Answering Complex Questions in Persian
Shahid Beheshti University(贝赫什提大学)
开放领域问答的研究有着悠久的历史。这个领域的一个挑战是回答复杂问题(CQA),这需要复杂的推理方法和大量的知识。在低资源语言中,如波斯语,没有太多的开放域复杂问题的数据集,语言处理工具包也不是很准确。在本文中,我们提出了一个基于知识的方法来回答波斯语复杂的问题,使用Farsbase;波斯语知识图谱,利用PeCoQ;新创建的复杂波斯语问题数据集。在这项工作中,我们处理多约束和多跳的问题,通过建立他们的一组可能的相应的逻辑形式。然后,使用多语言BERT来选择最好的逻辑形式描述输入的复杂问题的句法和语义。问题的答案是从知识图谱中提取的逻辑形式的答案构建的。实验表明,我们的方法优于其他方法在波斯CQA。
2021-07-05 cs.AI cs.CL
QA-Dragon: Query-Aware Dynamic RAG System for Knowledge-Intensive Visual Question Answering
QA-Dragon通过引入领域路由器和搜索路由器,实现多模态、多轮和多跳推理,提升复杂视觉问答任务的推理性能,实验显示其在单源、多源和多轮任务中均优于基线模型。
2026-03-15 cs.AI cs.CL cs.CV
DocPrompt: Large-scale continue pretrain for zero-shot and few-shot document question answering
Baidu Inc.(百度公司)
本文提出DocPrompt,通过弱监督数据生成、多阶段训练和模型集成,在4个文档问答任务上达到最先进性能,显著提升效率并降低成本。
2023-08-31 cs.AI cs.CL
Dynamic Coattention Networks For Question Answering
Salesforce Research(Salesforce 研究院)
已经提出了几种用于问答的深度学习模型。然而,由于它们的单程性质,它们无法从对应于不正确答案的局部最大值中恢复。为了解决这个问题,我们引入了动态协同注意网络(DCN)的问答。DCN首先融合问题和文档的相互依赖的表示,以便关注两者的相关部分。然后,动态指向解码器迭代潜在的答案跨度。这种迭代过程使模型能够从对应于不正确答案的初始局部最大值恢复。在斯坦福大学的问答数据集上,单个DCN模型将先前的技术水平从71.0% F1提高到75.9%,而DCN集成获得80.4% F1。
2018-03-06 cs.AI cs.CL
Long Context Question Answering via Supervised Contrastive Learning
Bar-Ilan University(巴伊兰大学);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
长上下文问答(QA)任务需要对长文档或多个文档进行推理。解决这些任务通常受益于识别一组证据跨度(例如,句子),为回答问题提供支持证据。在这项工作中,我们提出了一种新的方法,用于为长上下文QA模型配备额外的序列级目标,以更好地识别支持证据。我们通过微调中的额外对比监督信号来实现这一点,其中鼓励模型通过最大化问题-证据相似性来明确区分支持证据句子和否定证据句子。在三种不同的强长上下文Transformer模型上,在两个具有挑战性的问答基准测试HotpotQA和QAsper上,所提出的额外损失表现出一致的改进。
2022-05-05 cs.AI cs.CL
Human Mobility Question Answering (Vision Paper)
University of New South Wales(新南威尔士大学)
本文提出人类移动性问答(MobQA)任务,旨在让系统从移动数据中学习并回答问题,填补研究空白,并给出数据集和模型框架设计。
2023-10-13 cs.AI cs.CL
Improving Complex Knowledge Base Question Answering via Question-to-Action and Question-to-Question Alignment
Zhejiang University(浙江大学)
复杂的知识库问答可以通过将问题转换为预定义的动作序列来实现。然而,在自然语言和动作序列之间存在显著的语义和结构鸿沟,这使得这种转换变得困难。在本文中,我们介绍了一个增强的复杂问答框架,称为ALCQA,它通过问题到动作对齐和问题到问题对齐来缓解这一差距。我们训练一个问题重写模型来对齐问题和每个动作,并利用预训练的语言模型来隐式地对齐问题和KG工件。此外,考虑到类似的问题对应于类似的动作序列,我们检索top-k相似的问答对在推理阶段通过问题到问题对齐,并提出了一种新的奖励引导的动作序列选择策略,从候选动作序列中选择。在CQA和WQSP数据集上进行了实验,结果表明,该方法在CQA数据集上的F1度量提高了9.88%,优于现有方法.我们的源代码可在https://github.com/TTTTTTTTy/ALCQA上获得。
2022-12-26 cs.AI cs.CL
Domain Adaptation for Question Answering via Question Classification
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);School of Information Sciences(信息科学学院)
问答(QA)在回答来自定制域的问题方面已经取得了令人印象深刻的进展。然而,领域自适应仍然是QA系统最难以实现的挑战之一,特别是当QA系统在源域中训练但部署在不同的目标域中时。在这项工作中,我们调查的潜在好处的问题分类QA领域自适应。我们提出了一个新的框架:问题分类问答(QC4QA)。具体地说,问题分类器被用来为源数据和目标数据分配问题类。然后,我们通过伪标签以自我监督的方式进行联合训练。为了优化,通过最大平均差异(MMD)距离减少源和目标域之间的域间差异。此外,我们最大限度地减少类内差异QA样本的同一问题类细粒度的适应性能。据我们所知,这是QA领域自适应中的第一项工作,以利用自监督自适应的问题分类。我们证明了拟议的QC4QA的有效性,并在多个数据集上对最先进的基线进行了一致的改进。
2022-10-02 cs.AI cs.CL
IslamicPCQA: A Dataset for Persian Multi-hop Complex Question Answering in Islamic Text Resources
Iran University of Science and Technology(伊朗科技大学);Sharif University of Technology(谢里夫理工大学)
本文提出 IslamicPCQA,首个面向伊斯兰文本的波斯语多跳复杂问答数据集,含 12,282 个问答对及支持事实,可支撑多段落推理研究。
2023-04-23 cs.AI cs.CL
Analyzing Language Learned by an Active Question Answering Agent
Google(谷歌公司)
我们分析了通过强化学习训练的代理学习的语言,作为ActiveQA系统的一个组成部分[Buck et al.,2017年]。在ActiveQA中,问答被构建为一个强化学习任务,其中代理位于用户和黑盒问题回答系统之间。代理学习重新制定用户的问题,以得出最佳答案。它使用通过序列到序列问题重构模型生成的问题的许多版本来探测系统,然后聚合返回的证据以找到最佳答案。此过程是\emph{machine-machine}通信的一个实例。问题重构模型必须调整其语言以提高返回的答案的质量,匹配问答系统的语言。我们发现,代理不学习转换,符合语义直觉,但发现通过学习经典的信息检索技术,如tf-idf重新加权和词干。
2018-01-23 cs.AI cs.CL
Do Multi-Hop Question Answering Systems Know How to Answer the Single-Hop Sub-Questions?
National University of Singapore(新加坡国立大学)
多跳问答(QA)需要一个模型来检索和整合来自长文本的不同部分的信息来回答问题。人类通过分而治之的方法来回答这种复杂的问题。在本文中,我们研究了多跳问题的最佳表现模型是否像人类一样理解底层子问题。我们采用神经分解模型来生成多跳复杂问题的子问题,然后提取相应的子答案。我们发现,多个国家的最先进的多跳QA模型未能正确回答大部分的子问题,虽然他们相应的多跳问题是正确的答案。这表明,这些模型设法回答多跳问题使用一些部分的线索,而不是真正理解的推理路径。我们还提出了一个新的模型,显着提高了回答子问题的性能。我们的工作朝着建立一个更可解释的多跳QA系统迈出了一步。
2021-01-27 cs.AI cs.CL
Do LLMs Understand Ambiguity in Text? A Case Study in Open-world Question Answering
本文以开放域问答为案例,研究大语言模型对文本歧义的理解能力,并提出简单、无需训练的显式消歧方法以有效提升模型在歧义问答任务上的表现。
2024-11-19 cs.AI cs.CL
KGI: An Integrated Framework for Knowledge Intensive Language Tasks
IBM Research AI(IBM研究院人工智能部门)
在本文中,我们提出了一个系统来展示最新的国家的最先进的检索增强生成模型的知识密集型语言任务,如插槽填充,开放域问答,对话和事实检查的培训能力。此外,给定一个用户查询,我们展示了如何将这些不同模型的输出相结合,以交叉检查彼此的输出。特别是,我们展示了如何在对话的准确性可以提高使用的问答模型。我们还发布了演示中使用的所有模型,作为本文的贡献。演示该系统的简短视频可在https://ibm.box.com/v/emnlp2022-demo上获得。
2022-09-22 cs.AI cs.CL cs.LG
Question-to-Question Retrieval for Hallucination-Free Knowledge Access: An Approach for Wikipedia and Wikidata Question Answering
本研究针对知识库问答的幻觉问题,提出基于指令微调LLM生成内容对应问题向量库、匹配用户查询直接检索内容的方法,在Wikipedia和Wikidata上实现高精度高效检索,还支持多模态问答。
2025-02-21 cs.AI cs.CL
Bridging Language Gaps with Adaptive RAG: Improving Indonesian Language Question Answering
Computer Science Department(计算机科学系);School of Computer Science(计算机科学学院);Bina Nusantara University(宾厄斯大学)
本研究将自适应RAG系统应用于印度尼西亚语问答,通过机器翻译增强数据,利用复杂度分类器选择回答策略,实验发现多检索策略存在不一致性,揭示了低资源语言问答的潜力与挑战。
2025-10-24 cs.AI cs.CL
BanglaQuAD: A Bengali Open-domain Question Answering Dataset
Amazon(亚马逊)
本文针对孟加拉语在NLP中低资源及现有翻译数据集质量差的问题,提出了包含30,808个问答对的孟加拉语开放域问答数据集BanglaQuAD及配套标注工具,并通过定性分析验证了其质量。
2024-10-14 cs.AI cs.CL
CIFQA: A Deterministic Tool-Grounded Multi-Agent LLM Framework for Financial Query Answering
School of Artificial Intelligence and Data Science, Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校人工智能与数据科学学院)
本研究针对LLM多步骤金融计算易出错的问题,提出CIFQA多智能体框架,在定期存款查询基准上准确率达95.54%,且17B开源模型在该框架内表现优于更大前沿模型,证明架构设计对数值可靠性更关键。
2026-08-28 cs.AI cs.CL q-fin.CP
Unified Question Answering in Slovene
University of Ljubljana(卢布尔雅那大学)
问答是语言理解中最具挑战性的任务之一。大多数方法都是为英语开发的,而资源较少的语言则很少研究。我们采用了一种成功的英语问答方法,称为UnifiedQA,用于资源较少的斯洛文尼亚语。我们的适应使用编码器-解码器Transformer SloT 5和mT5模型来处理四种问答格式:是/否、多项选择、抽象和提取。我们使用现有的斯洛文尼亚适应四个数据集,并机器翻译MCTest数据集。我们表明,一般模型可以回答不同格式的问题,至少以及专门的模型。使用英语的跨语言迁移进一步改善了结果。虽然我们为斯洛文尼亚语产生了最先进的结果,但性能仍然落后于英语。
2022-11-16 cs.AI cs.CL
REAL: Resolving Knowledge Conflicts in Knowledge-Intensive Visual Question Answering via Reasoning-Pivot Alignment
University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学)
提出REAL框架,通过推理枢轴对齐和引导解码,解决知识密集型视觉问答中因开放域检索引起的知识冲突问题。
2026-05-30 cs.AI
Progressive Multimodal Search and Reasoning for Knowledge-Intensive Visual Question Answering
Interdisciplinary Program in Artificial Intelligence(人工智能交叉学科项目);Department of Intelligence and Information(智能与信息系);Samsung Advanced Institute of Technology(三星先进技术研究院)
本文提出PMSR框架,通过逐步构建结构化推理轨迹提升知识获取与综合能力,实验显示在六个基准测试中提升了检索召回率和端到端回答准确性。
2026-04-22 cs.AI cs.CV
Video Question Answering via Attribute-Augmented Attention Network Learning
Zhejiang University(浙江大学)
视频问答是视觉信息检索中的一个具有挑战性的问题,它根据问题对所引用的视频内容提供答案。然而,现有的视觉问答方法主要解决静态图像问题,这可能是无效的视频问答回答由于建模的视频内容的时间动态的不足。本文采用帧级注意力机制对视频问答进行时间动态建模,研究视频问答问题。我们提出的属性增强注意力网络学习框架,使联合帧级属性检测和统一的视频表示学习的视频问答。然后,我们将多步推理过程中,我们提出的注意力网络,以进一步提高性能。我们构建了一个大规模的视频问答数据集。我们在多项选择题和开放式视频问答任务上进行了实验,以证明所提出的方法的有效性。
2017-07-20 cs.AI cs.CL cs.CV
What Question Answering can Learn from Trivia Nerds
University of Maryland(马里兰大学);Google Research(谷歌研究院)
除了让机器回答问题的传统任务外,问答中的一个主要研究问题是创建有趣的、具有挑战性的问题,这些问题可以帮助系统学习如何回答问题,并揭示哪些系统最擅长回答问题。我们认为,创建一个问答数据集-以及与之配套的无处不在的排行榜-非常类似于运行一个琐事锦标赛:您编写问题,让代理(人类或机器)回答问题,并宣布获胜者。然而,研究界忽视了数十年来从琐事社区创造充满活力,公平和有效的问答比赛中吸取的教训。在详细介绍了现有QA数据集的问题后,我们概述了关键的经验教训-消除歧义,区分技能和裁决争议-可以转移到QA研究以及如何为QA社区实施。
2020-04-21 cs.AI cs.CL cs.LG
KIWI: A Dataset of Knowledge-Intensive Writing Instructions for Answering Research Questions
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Allen Institute for AI(艾伦人工智能研究所)
本研究构建了科学领域知识密集型写作指令数据集KIWI,通过与3个先进大语言模型的234次交互收集1260个轮次数据,发现现有模型在信息整合、精准修改及指令遵循判断上存在缺陷,该数据集可用于提升模型相关能力。
2024-03-06 cs.CL
Retrieve-Plan-Generation: An Iterative Planning and Answering Framework for Knowledge-Intensive LLM Generation
University of Science and Technology of China(中国科学技术大学);Anhui Conch Information Technology Engineering Co., Ltd.(安徽海螺信息技术工程有限责任公司)
针对大语言模型知识不足易出错、现有RAG方法易受无关检索内容干扰的问题,提出迭代式检索-规划-生成RPG框架,通过多任务提示调优让模型交替规划与基于相关细粒度段落生成,在5项知识密集型任务上验证了有效性。
2024-10-08 cs.CL
Biomedical Question Answering via Weighted Neural Network Passage Retrieval
ETH Zurich(苏黎世联邦理工学院)
近年来,可公开获得的生物医学文献的数量一直在快速增长,然而问答系统仍在努力开发这种数据源的全部潜力。在初步处理步骤中,许多问答系统依赖于检索模型来识别相关文档和段落。提出了一种基于神经网络词嵌入的加权余弦距离检索方案。我们的实验基于BioASQ生物医学问答挑战赛的公开数据和任务,并在各种最先进的模型中表现出显着的性能提升。
2018-01-09 cs.AI cs.CL cs.IR
Can Open Domain Question Answering Systems Answer Visual Knowledge Questions?
Apple(苹果公司)
外部知识视觉问答(OKVQA)的任务要求自动系统使用外部知识来回答关于图片和图像的自然语言问题。我们观察到,许多视觉问题,其中包含指示参考短语,指的是在图像中的实体,可以被重写为“非接地”的问题,并可以回答现有的基于文本的问答系统。这允许将现有的基于文本的开放域问答(QA)系统重新用于可视问答。在这项工作中,我们提出了一个潜在的数据效率的方法,重用现有的系统(a)图像分析,(b)问题重写,(c)基于文本的问答回答这样的视觉问题。给定一个图像和与该图像有关的问题(视觉问题),我们首先使用预先训练的对象和场景分类器提取图像中存在的实体。使用这些检测到的实体,视觉问题可以被重写,以便由开放域QA系统回答。我们探索了两种重写策略:(1)使用BERT进行掩蔽和重写的无监督方法,以及(2)结合自适应重写和强化学习技术以使用来自QA系统的隐式反馈的弱监督方法。我们在公开的OKVQA数据集上测试了我们的策略,并在仅使用10%的训练数据的情况下获得了具有竞争力的性能。
2022-02-09 cs.AI cs.CL cs.CV
Pretrained Transformers for Simple Question Answering over Knowledge Graphs
University of Bonn(波恩大学);Ruhr University Bochum(波鸿鲁尔大学);Fraunhofer IAIS(弗劳恩霍夫应用信息技术研究所)
在知识图谱上生成简单问题是问答中的一个研究热点。以前用于此任务的方法建立在基于递归和卷积神经网络的架构上,这些架构使用预训练的词嵌入。最近的研究表明,微调预训练的Transformer网络(例如BERT)可以在各种自然语言处理任务上优于以前的方法。在这项工作中,我们调查如何以及BERT执行SimpleQuestions,并提供了一个评估的BERT和BiLSTM为基础的模型,在codeparse方案。
2020-01-31 cs.AI cs.CL cs.LG
Latent Variable Models for Visual Question Answering
Imperial College London(帝国理工学院);University of Sheffield(谢菲尔德大学);Department of Computing, Imperial College London(帝国理工学院计算机系);Department of Computer Science, University of Sheffield(谢菲尔德大学计算机科学系)
视觉问答(VQA)目前的工作探索确定性的方法,各种类型的图像和问题的功能。我们认为,除了图像和问题对,其他形式是有用的教学机器进行问答。因此,在本文中,我们提出了VQA的潜变量模型,其中额外的信息(例如标题和答案类别)被合并为潜变量,这些信息在训练过程中被观察到,但反过来又有利于测试时的问答性能。在VQA v2.0基准测试数据集上的实验证明了我们提出的模型的有效性:它们在强基线上有所改进,特别是那些不依赖于广泛的语言视觉预训练的模型。
2021-09-26 cs.AI cs.CL cs.CV
JaQuAD: Japanese Question Answering Dataset for Machine Reading Comprehension
问答(QA)是机器理解给定文档和问题以找到答案的任务。尽管在NLP领域取得了令人印象深刻的进展,但QA仍然是一个具有挑战性的问题,特别是对于非英语语言,由于缺乏注释数据集。在本文中,我们提出了日本问答数据集,JaQuAD,这是由人类注释。JaQuAD由39,696个关于日语维基百科条目的提取问答对组成。我们微调了一个基线模型,在测试集上F1得分达到78.92%,EM得分达到63.38%。数据集和我们的实验可在https://github.com/SkelterLabsInc/JaQuAD上获得。
2022-02-03 cs.AI cs.CL cs.LG
CommonsenseQA: A Question Answering Challenge Targeting Commonsense Knowledge
Tel-Aviv University(特拉维夫大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
在回答问题时,除了特定的上下文之外,人们还经常利用他们丰富的世界知识。最近的工作主要集中在回答一些相关文件或背景下的问题,并要求很少的一般背景。为了研究具有先验知识的问答,我们提出了常识问答:一个具有挑战性的新数据集常识问答。为了捕捉关联之外的常识,我们从ConceptNet(Speer等人,2017)与单个源概念具有相同语义关系的多个目标概念。人群工作者被要求创作多项选择题,其中提到源概念,并依次区分每个目标概念。这鼓励工作人员创建具有复杂语义的问题,这些问题通常需要先验知识。我们通过这个过程创建了12,247个问题,并通过大量强基线证明了我们任务的难度。我们的最佳基线是基于BERT-large(Devlin et al.,2018年),并获得56%的准确率,远低于人类的表现,这是89%。
2019-03-15 cs.AI cs.CL cs.LG
Compositional Attention Networks for Interpretability in Natural Language Question Answering
Saama AI Research(萨马人工智能研究院)
MAC网是一个为视觉问答设计的合成注意网络。我们提出了一种改进的MAC网络结构的自然语言问答。问答通常需要语言理解和多步推理。MAC网独特的体系结构-存储和控制分离,有利于数据驱动的迭代推理。这使得它成为解决涉及逻辑推理的任务的理想候选人。我们的实验与20 bAbI任务证明了MAC网的价值作为一个数据高效和可解释的架构自然语言问答。MAC网络的透明性提供了一个高度粒度的视图,网络在回答查询时所采取的推理步骤。
2018-10-30 cs.AI cs.CL cs.LG
Video Question Answering on Screencast Tutorials
Adobe Research(Adobe 研究院);Amazon Alexa AI(亚马逊 Alexa AI)
本文提出了一种新的视频问答任务的屏幕直播教程。我们介绍了一个数据集,包括问题,答案和上下文三元组从教程视频的软件。与其他视频问答作品不同,我们数据集中的所有答案都基于领域知识库。设计了一种单次识别算法提取视频问答中的视觉线索,提高了问答系统的性能。我们还提出了几个基线神经网络架构的基础上,从数据集的视频上下文的各个方面。实验结果表明,我们提出的模型显着提高问答性能,通过将多模态上下文和领域知识。
2020-08-02 cs.AI cs.CL cs.CV
Salient Knowledge Pathways: Sparse Cross-Modal Routing for Efficient Knowledge-Intensive Multimodal Question Answering
İTÜ(伊斯坦布尔技术大学);Department of Computer Science, İTÜ(伊斯坦布尔技术大学计算机科学系);Faculty of Computer Engineering, İTÜ(伊斯坦布尔技术大学计算机工程学院)
研究知识密集型多模态问答,提出SKIP架构,通过问题引导视觉令牌修剪等方法,沿稀疏路径计算路由,结合自适应预算控制器,在五个基准测试中,以更少计算量和更低延迟达到或超越密集基线准确性。
2026-07-29 cs.AI
Character-Level Question Answering with Attention
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
我们表明,字符级的编码器-解码器框架可以成功地应用于问答与结构化的知识库。我们使用我们的模型进行单关系问答,并在SimpleQuestions数据集上证明了我们方法的有效性(Bordes等人,2015年),其中我们将最先进的准确率从63.9%提高到70.9%,而不使用合奏。重要的是,我们的字符级模型的参数比等效的单词级模型少16倍,与以前依赖于数据增强的工作相比,可以用更少的数据学习,并且对测试中的新实体具有鲁棒性。
2016-06-05 cs.AI cs.CL cs.LG
Proposing Plausible Answers for Open-ended Visual Question Answering
University of Rochester(罗切斯特大学);Adobe Research(Adobe研究院)
回答开放式问题是任何智能代理的基本能力。最近最有趣的开放式问答挑战之一是视觉问答(VQA),它试图通过回答关于图像的自然语言问题来评估系统的视觉理解。存在许多VQA方法,其中大多数没有表现出对它们产生的候选答案的更深层次的语义理解。我们研究的重要性,生成合理的答案,一个给定的问题,通过引入新的任务“回答建议”:对于一个给定的开放式问题,系统应该生成一个排名列表的候选答案通知的语义问题。我们尝试了各种模型,包括神经生成模型以及语义图匹配模型。我们提供了内在的和外在的评价的任务的答案建议,表明我们最好的模型学习提出合理的答案,具有较高的召回率,并执行竞争力与其他一些解决方案的VQA。
2016-10-24 cs.AI cs.CL cs.CV
Path-Enhanced Multi-Relational Question Answering with Knowledge Graph Embeddings
Alibaba Group(阿里巴巴集团)
多关系知识库问答(KBQA)系统在知识图谱(KG)上执行多跳推理以获得答案。最近的方法试图引入知识图谱嵌入(KGE)技术来处理KG不完全性,但只考虑三重事实,而忽略了路径和多关系问题之间的重要语义相关性。在本文中,我们提出了一个路径和知识嵌入增强的多关系问答模型(PKEEQA),它利用KG中实体之间的多跳路径,通过可定制的路径表示机制来评估路径嵌入和多关系问题嵌入之间的双极相关性,有利于从三重事实和额外路径的角度获得更准确的答案。实验结果表明,PKEEQA提高了KBQA模型的多关系问答的性能,解释能力在一定程度上来源于路径。
2021-10-29 cs.AI cs.CL cs.LG
Recent, rapid advancement in visual question answering architecture: a review
University of Arkansas at Little Rock(阿肯色大学小石城分校)
理解视觉问答对许多人类活动至关重要。然而,它在人工智能努力的核心提出了重大挑战。本文介绍了在视觉问答的快速进步,在过去的几年中发生的图像的更新。近年来,关于改进可视问答系统体系结构的研究取得了巨大的增长,这表明了多通道体系结构的重要性。关于视觉问答的好处,Manmadhan等人(2020)的综述论文中提到了几点,本文以其为基础,包括该领域的后续更新。
2022-07-09 cs.AI cs.CL cs.CV
CLEVR-POC: Reasoning-Intensive Visual Question Answering in Partially Observable Environments
The University of Adelaide(阿德莱德大学);Flybits Labs(Flybits实验室);TMU Creative AI Hub(TMU创意AI中心);KULeuven(鲁汶大学)
本文提出推理密集型视觉问答基准CLEVR-POC,验证了现有预训练模型在该任务上表现不佳,同时证明融合大语言模型、视觉感知网络与逻辑推理器的神经符号模型性能优异。
2024-03-05 cs.AI
Interactive Question Answering Systems: Literature Review
Polytechnic University of Bari(巴里理工大学)
本综述系统梳理交互式问答系统,提出统一框架与分类法,分析其方法、评估及数据集,并展望未来趋势,附GitHub资源汇总。
2024-04-19 cs.AI cs.CL cs.HC
Mounting Video Metadata on Transformer-based Language Model for Open-ended Video Question Answering
Seoul National University(首尔大学)
视频问答最近受到多模态视频研究者的大量关注。大多数视频问答数据集通常是选择题的形式。但是,多项选择任务的模型并不能推断出答案。相反,它比较候选答案以选择正确答案。此外,它也很难扩展到其他任务。在本文中,我们挑战现有的多项选择视频问答,将其改为开放式视频问答。为了解决开放式问答,我们使用预训练的GPT 2模型。该模型通过视频输入和字幕进行微调。通过将现有的DramaQA数据集更改为开放式问答进行消融研究,结果表明可以使用视频元数据提高性能。
2021-08-11 cs.AI cs.CV
QAInfomax: Learning Robust Question Answering System by Mutual Information Maximization
National Taiwan University(台湾大学)
标准的准确性度量表明,现代阅读理解系统在许多问答数据集中取得了很好的性能。然而,这些系统真正理解语言的程度仍然是未知的,现有的系统并不擅长区分分心句子,这些句子看起来相关,但实际上并没有回答问题。为了解决这个问题,我们提出QAInfomax作为一个正规化在阅读理解系统中,通过最大限度地提高互信息之间的段落,一个问题,它的答案。QAInfomax帮助规范模型,而不是简单地学习回答问题的表面相关性。实验表明,我们提出的QAInfomax实现了最先进的性能基准的Adversarial-SQuAD数据集。
2019-08-31 cs.AI cs.CL cs.LG
The meaning of "most" for visual question answering models
University of Cambridge(剑桥大学)
在视觉场景的上下文中正确解释量词语句需要非平凡的推理机制。以“大多数”为例,我们讨论了两种依赖于根本不同的认知概念的策略。我们的目标是确定视觉问答的深度学习模型在训练这些问题时学习什么策略。为此,我们仔细设计数据,以复制心理语言学的实验,其中对人类进行了同样的研究。针对电影视觉问答模型,我们的实验表明,出现了一种形式的近似数系统,其性能下降与韦伯定律预测的更困难的场景。此外,我们确定混杂因素,如空间布置的场景,这阻碍了该系统的有效性。
2019-06-04 cs.AI cs.CL cs.CV
Towards Data Distillation for End-to-end Spoken Conversational Question Answering
Yale University(耶鲁大学);Peking University(北京大学)
在口语问答中,QA系统被设计为回答来自相关语音转录内的连续文本跨度的问题。然而,人类寻求或测试知识的最自然的方式是通过人类对话。因此,我们提出了一个新的口语会话问答任务(SCQA),旨在使问答系统模型的复杂的对话流给定的语音话语和文本语料库。在这项任务中,我们的主要目标是建立一个问答系统来处理口语和文本形式的会话问题,并探索在口语文档中提供更多线索与信息收集系统的可行性。为此,而不是采用自动生成的语音转录与高噪声数据,我们提出了一种新的统一的数据蒸馏方法,DDNet,直接融合音频文本功能,以减少自动语音识别假设和参考转录之间的错位。此外,为了评估问答系统在对话式交互中的能力,我们组装了一个口语会话问答(口语CoQA)数据集,其中包含超过12万个问答对。实验表明,我们提出的方法取得了优越的性能在口语会话问答。
2020-10-18 cs.AI cs.CL eess.AS
Pre-trained Language Model for Biomedical Question Answering
Korea University(高丽大学)
最近问答系统的成功很大程度上归功于预先训练的语言模型。然而,由于语言模型大多是在维基百科等通用领域语料库上进行预训练的,因此它们通常难以理解生物医学问题。在本文中,我们研究了BioBERT,一个预训练的生物医学语言模型,在回答生物医学问题,包括事实,列表,是/否类型的问题的性能。BioBERT在各种问题类型中使用几乎相同的结构,并在第七届BioASQ挑战赛(任务7 b,阶段B)中取得了最佳成绩。在SQuAD或SQuAD 2.0上预训练的BioBERT轻松超越了之前的最先进模型。当BioBERT对问题、段落和答案使用适当的前/后处理策略时,它会获得最佳性能。
2019-09-18 cs.CL
Inverse Visual Question Answering with Multi-Level Attentions
Carleton University(卡尔顿大学)
在本文中,我们提出了一种新的深度多层次的注意力模型,以解决逆向视觉问答。该模型在对象层次上生成区域视觉和语义特征,然后利用注意力机制利用答案线索增强这些特征。该模型采用两个层次的多重注意,包括部分问句编码阶段的双重注意和下一个问句生成阶段的动态注意。我们在VQA V1数据集上评估了所提出的模型。它在多个常用指标方面展示了最先进的性能。
2020-12-03 cs.AI cs.CL cs.CV
A Question Answering System Using Graph-Pattern Association Rules (QAGPAR) On YAGO Knowledge Base
University of Andalas(安达卢斯大学);Institut Teknologi Bandung(万隆理工学院)
一个问答系统(QA系统)的开发,使用图形模式的关联规则的YAGO知识库。基于作为输入的用户问题来提供作为系统输出的答案。如果答案在数据库中缺失或不可用,则使用图模式关联规则来获得答案。该问答系统的体系结构包括:问题分类、图组件生成、查询生成和查询处理。该问答系统使用瀑布模型中的关联图模式。在本文中,该系统的体系结构进行了描述,具体讨论了其推理和性能的能力。本研究的结果是,具有高置信度和正确逻辑的规则产生正确答案,反之亦然
2019-02-02 cs.AI cs.DB
Cascading Adaptors to Leverage English Data to Improve Performance of Question Answering for Low-Resource Languages
Dharmsinh Desai University(达尔明辛德赛大学)
本文研究利用预训练多语言模型提升低资源语言问答性能,通过级联语言与任务适配器并采用零样本迁移学习,在七种语言上验证了该方法能显著改善模型表现。
2021-12-18 cs.AI cs.CL cs.HC
Vision And Text Transformer For Predicting Answerability On Visual Question Answering
Japan Advanced Institute of Science and Technology(日本先端科学技术大学院大学);University of Science, Ho Chi Minh City(胡志明市理科大学);Vietnam National University, Ho Chi Minh City(越南国家大学胡志明市分校);Zalo Research Center(Zalo研究中心)
针对视觉问答中的可回答性预测,提出VT-Transformer模型,利用Transformer架构融合视觉与文本特征,在VizWiz 2020数据集上验证了其有效性与鲁棒性。
2026-09-16 cs.AI cs.CV