General-Purpose Question-Answering with Macaw
Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
尽管预训练的语言模型取得了成功,但仍然很少有免费的高质量,通用的QA系统。作为回应,我们提出了Macaw,一个多功能的,生成的问答(QA)系统,我们正在向社会提供。Macaw基于UnifiedQA构建,而UnifiedQA本身又基于T5构建,在各种主题上表现出强大的性能(zero-shot),包括在包含300个挑战性问题的测试题集上超过GPT-3 10%(绝对值),尽管其数量级较小(110亿与1750亿参数)。此外,Macaw允许使用其输入和输出的不同排列(“角度”),例如Macaw可以采取问题并产生答案;或者采取答案并产生问题;或者采取答案和问题,并产生多项选择选项。我们描述了系统,并说明了各种问题类型,它产生了令人惊讶的好答案,以及培训设置之外。我们还确定了问题类,它似乎仍然挣扎,提供洞察预训练的语言模型的局限性。Macaw是免费提供的,我们希望它对社区有用。Macaw可在https://github.com/allenai/macaw上获得
2021-09-06 cs.AI cs.CL
Structural Deep Encoding for Table Question Answering
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);ISIR(巴黎索邦大学计算机科学与智能系统研究所);LERIA(安热大学信息学研究实验室)
本文针对表格问答中展平表格结构导致信息丢失与可扩展性挑战的问题,全面分析了表格编码技术,并提出新型稀疏注意力掩码设计,在提升计算效率的同时保持结构完整性,显著改善了整体性能。
2025-03-03 cs.AI cs.CL
Enhancing Open-Domain Table Question Answering via Syntax- and Structure-aware Dense Retrieval
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
本文提出语法与结构感知的稠密检索方法,通过问题语法表示、表格结构化表示及语法到结构聚合器,在NQ-tables和新开放域Text-to-SQL数据集上取得最优或显著领先效果。
2023-09-19 cs.CL
Capturing Global Structural Information in Long Document Question Answering with Compressive Graph Selector Network
Huazhong University of Science and Technology(华中科技大学);Beijing Institute of Technology(北京理工大学);Beijing Institute of Technology Southeast Academy of Information Technology(北京理工大学东南信息技术研究院)
长文档问答是一个具有挑战性的任务,因为它需要对长文本进行复杂的推理。以往的研究通常将长文档看作非结构化的平面文本,或者只考虑长文档的局部结构。然而,这些方法通常忽略了长期的理解是必不可少的长文档的全局结构。为了解决这个问题,我们提出了压缩图网络(CGSN),以压缩和迭代的方式捕获全局结构。该模型主要研究长文档问答的证据选择阶段。具体来说,它包括三个模块:局部图网络,全局图网络和证据记忆网络。首先,局部图网络在词元、句子、段落和段的层次上构建组块段的图结构,以捕捉文本的短期依赖关系。其次,全局图网络有选择地接收来自局部图的每一层信息,将它们压缩到全局图节点中,并将图注意力应用于全局图节点,以迭代的方式建立对整个文本的远程推理。第三,设计了证据记忆网络,通过保存前几步的选择结果来缓解证据选择中的冗余问题。大量的实验表明,该模型优于以前的方法在两个数据集上。
2022-10-19 cs.CL
Cross-Granularity Hypergraph Retrieval-Augmented Generation for Multi-hop Question Answering
本文提出HGRAG方法,通过超图将细粒度实体与粗粒度段落进行跨粒度整合,结合结构关联和语义相似度检索,提升多跳问答性能并实现6倍检索加速。
2025-08-15 cs.AI cs.CL
On Generality and Knowledge Transferability in Cross-Domain Duplicate Question Detection for Heterogeneous Community Question Answering
Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));University of Alberta(阿尔伯塔大学)
重复问题检测是社区问答中的一个持续挑战,因为语义等同的问题可能具有显著不同的单词和结构。此外,当相同的问题不重复时,识别重复的问题可以减少检索所需的资源。该研究比较了深度神经网络和梯度树提升的性能,并探索了领域自适应与迁移学习的可能性,以改善文本对重复分类任务中表现不佳的目标领域,使用三个异构数据集:通用Quora,技术Ask Ubuntu和学术English Stack Exchange。最终,我们的研究揭示了另一种假设,即“重复”的含义不是固有的通用目的,而是依赖于学习的领域,从而减少了通过适应该领域进行迁移学习的机会。
2018-11-15 cs.AI cs.CL
Exploring Neural Net Augmentation to BERT for Question Answering on SQUAD 2.0
University of California, Berkeley(加州大学伯克利分校)
增强机器回答问题的能力一直是近年来NLP研究的一个相当关注的话题。语言模型如语言模型嵌入(ELMo)[1]和Transformers双向编码器表示(BERT)[2]在开发通用语言模型方面非常成功,可以为大量下游语言任务进行优化。在这项工作中,我们专注于用不同的输出神经网络架构来增强预训练的BERT语言模型,并比较它们在斯坦福问答数据集2.0(SQUAD 2.0)提出的问答任务上的表现。此外,我们还微调了预训练的BERT模型参数,以证明其适应专门语言任务的有效性。我们最好的输出网络是上下文化的CNN,它在不可回答和可回答的问答任务上都有表现,F1得分分别为75.32和64.85。
2020-03-08 cs.AI cs.CL cs.LG
Interpretable Question Answering on Knowledge Bases and Text
iteratec GmbH(iteratec有限公司);LMU Munich(慕尼黑大学)
机器学习(ML)模型的可解释性随着其越来越多的采用而变得更加相关。在这项工作中,我们解决了基于ML的问答(QA)模型的知识库(KB)和文本文档的组合的可解释性。我们采用LIME和输入扰动(IP)等事后解释方法,并将其与模型的自解释注意力机制进行比较。为此,我们提出了一个自动评估范例的解释方法的背景下,QA。我们还与人类注释者进行了一项研究,以评估解释是否有助于他们识别更好的QA模型。我们的研究结果表明,IP提供了更好的解释比石灰或注意,根据自动和人类的评价。我们在两个实验中获得了相同的方法排名,这支持了我们的自动评估范式的有效性。
2019-06-26 cs.AI cs.CL cs.LG
Question Answering in a Natural Language Understanding System Based on Object-Oriented Semantics
Institute of Cybernetics of NAS of Ukraine(乌克兰国家科学院控制论研究所)
提出了一种面向文本信息输入和逻辑处理的计算机系统中的问答算法。所考虑的知识域是人的社会行为。该系统的数据库包括自然语言句子的内部表示和补充信息。回答{ \it Yes}或{ \it No}是针对一般问题形成的。含有疑问词或疑问词组的特殊疑问句可以用来确定主语、宾语、地点、时间、原因、目的和行为或事件的方式。答案生成基于人、组织、机器、事物、地点和时间的识别算法。所提出的问答算法可以在与文本处理(犯罪学、商业操作、医学、文档系统)密切相关的信息系统中实现。
2011-11-18 cs.CL
CBench: Towards Better Evaluation of Question Answering Over Knowledge Graphs
Carleton University(卡尔顿大学)
最近,只能由专家查询的知识图谱的数量有所增加。然而,使用结构化查询来描述问题对于非专家用户来说并不简单,非专家用户需要具有关于所查询的知识图谱的词汇表和结构以及用于描述用户的信息需求的结构化查询语言的语法的足够知识。为了克服上述挑战而引入的最流行的方法是使用自然语言来查询这些知识图谱。虽然几个问答基准可以用来评估问答系统在一些流行的知识图谱,选择一个基准来准确地评估一个问答系统的质量是一个具有挑战性的任务。在本文中,我们介绍了CBench,一个可扩展的,更翔实的基准套件分析基准和评估问答系统。CBench可用于分析现有基准测试中问题和查询的若干细粒度语言、句法和结构属性。我们表明,现有的基准变化显着,这些属性认为选择一个小的子集,他们不可靠的评估QA系统。在进一步的研究提高基准的质量和全面性之前,CBench可以用于使用一组流行的基准来促进这种评估,这些基准可以与其他用户提供的基准一起增强。CBench不仅基于流行的单一数字指标评估问答系统,还对已回答和未回答问题的语言、句法和结构属性进行了详细分析,以更好地帮助问答系统的开发人员更好地了解他们的系统在哪些方面表现出色,在哪些方面表现不佳。
2021-04-05 cs.CL
DiscoTrace: Representing and Comparing Answering Strategies of Humans and LLMs in Information-Seeking Question Answering
University of Maryland(马里兰大学)
DiscoTrace通过分析问答策略揭示社区回答偏好差异,发现LLM在回答时缺乏修辞多样性且倾向于广泛覆盖问题解释。
2026-09-02 cs.CL
DOCMASTER: A Unified Platform for Annotation, Training, & Inference in Document Question-Answering
University of California San Diego(加利福尼亚大学圣迭戈分校);Halıcıoğlu Data Science Institute, University of California San Diego(加利福尼亚大学圣迭戈分校哈利乔格鲁数据科学学院)
本文提出DOCMASTER统一平台,在设备端集成PDF文档标注、模型训练与推理,支持布局感知和文本模型,解决文档问答中的格式复杂性与隐私保护问题,并已应用于UCSD的AI助手处理大量PDF文档。
2024-03-30 cs.CL
Cross-Lingual Open-Domain Question Answering with Answer Sentence Generation
Inria(法国国家信息与自动化研究所);Amazon Alexa AI(亚马逊Alexa AI)
开放域生成式问答通过将文档级检索与答案生成相结合,在英语中取得了令人印象深刻的性能。这些方法,我们称之为GenQA,可以生成完整的句子,有效地回答事实和非事实问题。在本文中,我们将GenQA扩展到多语言和跨语言设置。为此,我们首先介绍GenTyDiQA,这是TyDiQA数据集的扩展,具有阿拉伯语,孟加拉语,英语,日语和俄语的格式良好和完整的答案。基于GenTyDiQA,我们设计了一个跨语言生成模型,该模型通过利用多种语言(包括与问题不同的语言)编写的段落来生成整句答案。我们的跨语言生成系统优于所有5种语言的答案句子选择基线和五种语言中三种语言的单语生成管道。
2022-12-19 cs.CL
Structured Pruning of a BERT-based Question Answering Model
IBM Research AI(IBM研究院AI)
在行业设置的自然语言处理(NLP)研究的最新趋势是在严格的计算限制下操作大规模的预训练语言模型,如BERT。虽然大多数模型压缩工作都集中在使用昂贵的预训练蒸馏来“蒸馏”通用语言表示,但较少关注创建较小的特定于任务的语言表示,可以说,这些语言表示在行业环境中更有用。在本文中,我们研究压缩BERT和RobERTa为基础的问答系统的结构化修剪参数从底层的Transformer模型。我们发现,特定于任务的结构化修剪和特定于任务的蒸馏的廉价组合,而不需要预先训练蒸馏的费用,在一系列速度/精度权衡操作点上产生高性能的模型。我们从针对SQuAD 2.0或Natural Questions训练的现有全尺寸模型开始,并引入允许单独消除Transformers选定部分的门。具体来说,我们研究(1)结构化修剪,以减少每个Transformer层中的参数数量,(2)适用于基于BERT和RobERTa的模型,(3)适用于SQuAD 2.0和Natural Questions,以及(4)将结构化修剪与蒸馏相结合。我们实现了推理速度的近一倍,在自然问题的简短答案准确性方面损失不到0.5 F1点。
2021-04-11 cs.CL cs.LG
SPBERT: An Efficient Pre-training BERT on SPARQL Queries for Question Answering over Knowledge Graphs
University of Science(科学大学);Case Western Reserve University(凯斯西储大学);National Cancer Institute(美国国家癌症研究所)
在本文中,我们提出了SPBERT,一个基于transformer的语言模型预训练的大量SPARQL查询日志。通过结合掩蔽语言建模目标和单词结构目标,SPBERT可以学习自然语言和SPARQL查询语言的通用表示。我们研究如何SPBERT和编码器-解码器架构可以适应基于知识的QA语料库。我们进行了详尽的实验上的两个额外的任务,包括SPARQL查询建设和回答动词化生成。实验结果表明,SPBERT可以获得令人满意的结果,在其中几个任务上获得了最先进的BLEU分数。
2021-06-30 cs.CL
Inside ASCENT: Exploring a Deep Commonsense Knowledge Base and its Usage in Question Answering
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
ASCENT是一种用于从web内容中提取和合并常识断言的全自动化方法(Nguyen等人,WWW 2021)。它通过捕获语义方面(如位置和目的)和复合概念(即,主题的分组和相关方面。在这个演示中,我们展示了一个Web门户,它允许用户了解它的构建过程,探索它的内容,并观察它在问答用例中的影响。演示网站和介绍性视频都可以在线获得。
2021-05-28 cs.AI cs.CL
Extreme Classification for Answer Type Prediction in Question Answering
University of Stavanger(斯塔万格大学)
针对知识图谱类型众多导致的答案类型预测难题,提出改进 XBERT 聚类阶段的方法,融合 KG 文本与结构特征,实现 SMART 任务的当前最优性能。
2023-04-26 cs.AI cs.CL cs.IR
Joint Models for Answer Verification in Question Answering Systems
School of Information, The University of Arizona(亚利桑那大学信息学院);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文研究了基于检索的问答系统的核心组件--回答句选择(AS 2)模块所提供的前$k$中选择正确回答句的联合模型。我们的工作表明,一个关键的步骤,以有效地利用一个答案集关于模型之间的相互关联的信息对答案。为此,我们建立了一个三向多分类器,它决定一个答案是否支持,反驳,或者相对于另一个答案是中性的。更具体地说,我们的神经架构将最先进的AS 2模型与多分类器以及连接所有组件的联合层集成在一起。我们在WikiQA,TREC-QA和真实世界的数据集上测试了我们的模型。结果表明,我们的模型在AS 2中获得了新的艺术状态。
2021-07-09 cs.CL
Multivalent Entailment Graphs for Question Answering
University of Edinburgh(爱丁堡大学);Google Research(谷歌研究院);Alan Turing Institute(艾伦·图灵研究所);Oracle Digital Assistant(甲骨文数字助手)
在开放域自然语言谓词之间进行推理是真正的语言理解的必要条件。为此目的,蕴涵图的无监督学习已经取得了很大的进展。我们做出三个贡献:(1)我们重新解释了分布包含假设,以模拟不同效价谓词之间的蕴涵,如DEFEAT(Biden,Trump)蕴涵WIN(Biden);(2)我们通过学习开放域谓词的无监督多价蕴涵图来实现这一理论;(3)我们在一个新的问答任务中展示了这些图的能力。我们发现,方向蕴涵是更有助于推理比双向相似的细粒度语义问题。我们还表明,利用跨化合价的证据比只使用相同的化合价证据回答了更多的问题。
2021-09-20 cs.CL
Question Analysis for Arabic Question Answering Systems
Kannur University(坎努尔大学)
在问答(QA)系统中处理问题的第一步是对问题进行详细分析,以确定问题的要求以及如何完美地回答它。我们的问题分析使用几种技术来分析任何以自然语言给出的问题:一个Stanford POS Tagger和阿拉伯语解析器,一个命名实体识别器,分词器,停止词删除,问题扩展,问题分类和问题焦点提取组件。我们采用了大量的检测规则和训练分类器,使用来自此分析的特征来检测问题的重要元素,包括:1)问题中涉及答案的部分(焦点); 2)问题中的不同术语,用于确定所要求的实体类型(词汇答案类型); 3)问题扩展; 4)将问题分类为若干不同类型中的一个或多个的过程;我们描述了如何识别这些元素,并使用平均倒数秩(MRR)准确度测量来评估准确检测对我们的问答系统的影响。
2017-01-11 cs.CL
MUST-RAG: MUSical Text Question Answering with Retrieval Augmented Generation
Graduate School of Culture Technology, KAIST, South Korea(文化科技研究生院,韩国釜山科学技术院)
MUST-RAG通过引入音乐专用数据库和检索增强生成技术,提升通用语言模型在音乐问答任务中的表现。
2025-12-08 cs.AI cs.CL cs.IR
Enhancing Question Answering on Charts Through Effective Pre-training Tasks
University of Utah(犹他大学);University of Pennsylvania(宾夕法尼亚大学);Bloomberg(彭博公司)
本文针对现有VisualQA模型在图表问答中的不足,提出三种预训练任务以增强模型的结构-视觉知识与数值理解能力,并在三个图表数据集上验证MatCha-v2模型平均提升1.7%。
2024-10-04 cs.CL
Semantic Parsing for Conversational Question Answering over Knowledge Graphs
University of Edinburgh(爱丁堡大学);Amazon Alexa(亚马逊Alexa)
在本文中,我们感兴趣的是开发语义解析器,理解嵌入在与用户的对话中的自然语言问题,并将其置于具有非常大的词汇量(涵盖数千个概念名称和关系,以及数百万个实体)的通用知识图谱(KG)中的定义上的正式查询。为此,我们开发了一个数据集,其中用户问题用Sparql解析进行注释,系统答案对应于其执行结果。我们提出了两种不同的语义解析方法,并强调了任务的挑战:处理大词汇,建模会话上下文,预测查询与多个实体,并概括到新的问题在测试时。我们希望我们的数据集将作为对话式语义解析器开发的有用测试平台。我们的数据集和模型发布在https://github.com/EdinburghNLP/SPICE。
2023-01-28 cs.CL
Fusing Context Into Knowledge Graph for Commonsense Question Answering
Microsoft Cognitive Services Research Group(微软认知服务研究组)
常识问答(QA)需要一个模型来掌握常识和事实知识来回答关于世界事件的问题。许多现有方法将语言建模与知识图谱(KG)耦合。然而,尽管KG包含丰富的结构信息,但它缺乏上下文来提供对概念的更精确的理解。这在将知识图谱融合到语言建模中时产生了差距,特别是当标记数据不足时。因此,我们建议采用外部实体描述提供知识理解的上下文信息。我们从Wiktionary中检索相关概念的描述,并将其作为预训练语言模型的额外输入。由此产生的模型在CommonsenseQA数据集中实现了最先进的结果,并且在OpenBookQA的非生成模型中获得了最佳结果。
2021-08-02 cs.CL
Exploiting Hybrid Semantics of Relation Paths for Multi-hop Question Answering Over Knowledge Graphs
Peking University(北京大学);Tencent(腾讯)
在知识图谱(KGQA)上表达自然语言问题对于通过多跳推理理解复杂问题仍然是一个巨大的挑战。以往的研究通常利用大规模的实体相关文本语料库或知识图谱(KG)作为辅助信息,以促进答案的选择。然而,丰富的语义隐含在现成的实体之间的关系路径远未得到很好的探索。本文提出利用关系路径的混合语义来改进多跳KGQA。具体来说,我们集成了显式的文本信息和隐含的KG结构特征的关系路径的基础上一个新的旋转和缩放实体链接预测框架。在现有的三个KGQA数据集上的大量实验证明了该方法的优越性,特别是在多跳场景中。进一步的研究证实了我们的方法的系统协调问题和关系路径识别答案实体。
2022-09-02 cs.CL
Finding Answers from the Word of God: Domain Adaptation for Neural Networks in Biblical Question Answering
The University of Auckland(奥克兰大学)
近年来,问答(QA)从深度学习技术中受益匪浅。然而,由于训练神经网络需要大量的数据,特定领域的QA仍然是一个挑战。本文研究了圣经领域的回答句选择任务,并从圣经中选取相关的经文回答问题。为此,我们基于圣经琐事问题创建了一个新的数据集BibleQA,并为我们的任务提出了三个神经网络模型。我们在大规模QA数据集SQuAD上预训练我们的模型,并研究转移权重对模型准确性的影响。此外,我们还测量了模型的准确性与不同的答案上下文长度和不同的圣经翻译。我们肯定迁移学习在模型精度上有明显的提高。我们用较短的上下文长度获得了相对较好的结果,而较长的上下文长度降低了模型的准确性。我们还发现,在数据集中使用更现代的圣经翻译对任务有积极的影响。
2018-10-26 cs.AI cs.CL cs.IR
SCoP: Structured Constraint Parsing for Evidence-Space Control in Temporal Knowledge Graph Question Answering
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
SCoP通过结构化约束解析将时间决策外部化,实现证据空间控制,在TKGQA中无需参数更新即在MultiTQ和TimelineCronQ-R上取得领先性能。
2026-09-22 cs.CL
Multi-hop Question Answering under Temporal Knowledge Editing
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);South China University of Technology(华南理工大学);Ant Group(蚂蚁集团);SDAIA-KAUST AI(沙特数据与人工智能局-阿卜杜拉国王科技大学人工智能项目);Provable Responsible AI and Data Analytics (PRADA) Lab(可信赖负责任人工智能与数据分析实验室)
针对现有知识编辑下多跳问答模型难以处理显式时间上下文的问题,本文提出TEMPLE-MQA框架,通过时间感知图、结构化检索与联合推理提升时间敏感多跳问答性能,并贡献首个时间范围多跳问答基准数据集TKEMQA。
2024-03-30 cs.AI cs.CL cs.LG
ADMUS: A Progressive Question Answering Framework Adaptable to Multiple Knowledge Sources
Sichuan University(四川大学);Peking University(北京大学)
ADMUS提出一种与数据集无关的渐进式KBQA框架,通过解耦传统架构和微服务设计,以极低成本适配多语言、多知识库和多数据集,并利用精确查询、近似查询与大语言模型检索三阶段提升问答能力。
2023-08-09 cs.CL
Enhancing Complex Question Answering over Knowledge Graphs through Evidence Pattern Retrieval
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室)
本文提出证据模式检索(EPR)方法,通过显式建模知识图谱问答中子图提取的结构依赖性,显著提升复杂问答的F1分数。
2024-02-03 cs.CL cs.IR
A Systematic Study of Retrieval Pipeline Design for Retrieval-Augmented Medical Question Answering
Department of Mechatronics & Industrial Engineering, Chittagong University of Engineering & Technology(吉大港工程与技术大学机电与工业工程系);Department of Mechanical Engineering, Chittagong University of Engineering & Technology(吉大港工程与技术大学机械工程系)
本文系统评估了检索增强医疗问答的性能,发现检索增强显著提升了零样本医疗问答效果,最佳配置为密集检索加查询改写和重排序,准确率达60.49%。
2026-04-08 cs.AI cs.CL cs.LG
An Explainable Framework for Misinformation Identification via Critical Question Answering
University of Dundee(邓迪大学);Centre for Argument Technology (ARG-tech)(论证技术中心)
针对现有错误信息检测系统不透明、推理核查缺乏可解释方法的问题,本文基于论证模式与关键问题理论提出可解释框架,发布首个结合论证实例与关键问题答案的NLAS-CQ语料库,验证了结合分类与问答、以关键问题提供解释的框架有效性。
2025-03-18 cs.CL
Complex Temporal Question Answering on Knowledge Graphs
Southwest Jiaotong University(西南交通大学);IIT Bhilai(比莱印度理工学院);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
基于知识图谱的问答(KG-QA)是信息检索中的一个重要研究课题。这项工作提出了EXAQT,第一个端到端的系统,用于回答复杂的时间问题,有多个实体和谓词,以及相关的时间条件。EXAQT通过两个阶段回答KG上的自然语言问题,一个阶段是高召回率,另一个阶段是高精度。第一步计算KG中与问题相关的紧凑子图,并使用Group Steiner Trees和微调的BERT模型,明智地用相关的时间事实增强它们。第二步从第一步的输出构造关系图卷积网络(R-GCN),并通过时间感知实体嵌入和对时间关系的关注来增强R-GCN。我们评估EXAQT上的TimeQuestions,一个大型数据集的16 k时间问题,我们从各种通用KG-QA基准编译。结果表明,EXAQT优于三个国家的最先进的系统回答复杂的问题,从而证明专门治疗的时间QA。
2021-09-18 cs.CL cs.IR
HealthBranches: Synthesizing Clinically-Grounded Question Answering Datasets via Decision Pathways
University of Calabria(卡拉布里亚大学);University of Catanzaro(卡坦扎罗大学);University of Eastern Piedmont(东皮埃蒙特大学);University of Pisa(比萨大学);University of Cambridge(剑桥大学)
HealthBranches是一个新型医疗问答基准数据集,通过半自动化流水线将医学决策路径转化为包含4,063个案例的现实问答,支持多步推理评估,旨在推动高风险领域更可靠的LLMs发展。
2025-08-10 cs.AI cs.CL cs.IR
ASTRA: Adaptive Semantic Tree Reasoning Architecture for Complex Table Question Answering
Zhejiang University(浙江大学)
提出ASTRA架构,通过AdaSTR将表格重构为逻辑语义树,并利用DuTR双模式推理框架结合树搜索文本导航与符号代码执行,在复杂表格问答中达到最优性能。
2026-05-26 cs.AI cs.CL cs.LG
Latent Bridges for Multi-Table Question Answering
EURECOM;University of Antwerp(安特卫普大学)
提出GRAB管道,通过图编码器和潜在桥梁将关系数据转化为紧凑表示,冻结LLM以保持推理能力,在多表问答中显著提升性能。
2026-10-23 cs.AI cs.CL cs.DB
Semantic Web Enabled Geographic Question Answering Framework: GeoTR
Yaşar University(亚沙尔大学);Ege University(爱琴大学)
随着关联数据的大量增长,研究人员一直关注如何提高语义Web技术的可用性,为现实生活中的系统提供实际用途。问答系统是直接与终端用户通信、理解用户意图并生成答案的现实生活系统的示例。最终用户不关心出现问题的结构化查询语言或知识库的词汇表。在这项研究中,提出了一个问答框架,土耳其自然语言输入到SPARQL查询的地理域。此外,一个新的土耳其本体,其中包括一个10年级的地理课命名为空间合成土耳其,已被开发用于作为一个链接的数据提供商。此外,土耳其的问答系统,它利用地理域中的关联数据的文献中的差距,得到解决。一个混合系统架构,结合自然语言处理技术与链接数据技术,以产生答案。提出了进一步的相关研究领域。
2023-01-11 cs.AI cs.CL
DeepSpecs: Expert-Level Questions Answering in 5G
University of California, Los Angeles(加州大学洛杉矶分校)
提出DeepSpecs,一个通过SpecDB、ChangeDB和TDocDB三个元数据库增强结构与时间推理的RAG系统,解决5G规范问答中交叉引用解析与版本演进追踪问题,显著提升答案质量。
2025-11-03 cs.AI cs.CL cs.NI
Open-WikiTable: Dataset for Open Domain Question Answering with Complex Reasoning over Table
KAIST(韩国科学技术院);Amazon(亚马逊)
针对现有表格开放域问答数据集忽视表格结构、仅处理单单元格答案的问题,提出Open-WikiTable数据集,基于WikiSQL和WikiTableQuestions构建,要求复杂推理,同时提供文本答案和SQL查询,支持阅读器与解析器方法。
2023-05-12 cs.CL
Leveraging Synthetic Data for Question Answering with Multilingual LLMs in the Agricultural Domain
CSIR-Central Scientific Instruments Organisation, India(印度CSIR-中央科学仪器组织);Academy of Scientific and Innovative Research (AcSIR), Ghaziabad, U.P, India(印度科学与创新研究院(AcSIR));School of Mathematical and Computational Sciences, Massey University, New Zealand(梅西大学数学与计算科学学院)
本研究针对通用多语言LLMs在农业领域问答中精准性不足的问题,利用印度农业文档生成多语言合成数据集微调LLMs,显著提升了模型的事实性、相关性与农业共识性。
2026-08-04 cs.AI cs.CL
Coarse-to-Careful: Seeking Semantic-related Knowledge for Open-domain Commonsense Question Answering
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
利用外部知识来帮助机器回答需要背景常识的问题是普遍的,这面临着无限的知识会传递噪声和误导信息的问题。对于引入相关知识的问题,我们提出了一个语义驱动的知识感知QA框架,它控制在一个粗略到仔细的方式知识注入。我们设计了一个裁剪策略,以过滤提取的知识下监测的粗语义问题的知识提取阶段。我们开发了一个语义感知的知识获取模块,该模块利用结构化的知识信息,并根据问句的细致语义,以层次化的方式融合适当的知识。实验结果表明,与强基线相比,该方法提高了在CommonsenseQA数据集上的性能。
2021-07-04 cs.CL
Answering while Summarizing: Multi-task Learning for Multi-hop QA with Evidence Extraction
NTT Media Intelligence Laboratories, NTT Corporation(日本电信电话株式会社NTT媒体智能实验室);NTT Communication Science Laboratories, NTT Corporation(日本电信电话株式会社NTT通信科学实验室)
基于文本信息的问答在阅读理解中的应用已经引起了广泛的关注。本研究的重点是可解释的多跳问答任务,它要求系统通过推理和收集参考文本的不相交片段来返回带有证据句子的答案。它提出了用于证据提取的查询集中提取器(QFE)模型,并将多任务学习与QA模型结合使用。QFE受抽取式摘要模型的启发,与现有的独立抽取每个证据句的方法相比,该方法利用带有注意力机制的RNN对问题句进行顺序抽取。它使QFE能够考虑证据句之间的依赖关系,并覆盖问题句中的重要信息。实验结果表明,具有简单RC基线模型的QFE在HotpotQA上实现了最先进的证据提取分数。虽然是为RC设计的,但它也在FEVER上实现了最先进的证据提取分数,FEVER是一个大型文本数据库上的识别文本蕴涵任务。
2019-05-29 cs.CL
Identifying Purpose Behind Electoral Tweets
National Research Council Canada(加拿大国家研究委员会)
与一个单一事件有关的推文,比如全国大选,可以达到数亿条。自动分析它们在诸如问答和摘要的许多下游自然语言应用中是有益的。在本文中,我们提出了一项新任务:确定选举推文背后的目的--人们为什么发布以选举为导向的推文?我们发现,识别目的与情感和情感检测的相关现象相关,但仍显着不同。检测目的有许多应用,包括检测选民的情绪,估计政策的受欢迎程度,确定争论的关键问题,并预测事件的进程。我们创建了一个大型的选举推文数据集,并为几千条推文做了注释。我们开发了一个系统,根据其目的自动分类选举推文,获得43.56%的准确性11类任务和73.91%的准确性3类任务(这两个精度远高于最频繁的类基线)。最后,我们表明,为情感检测开发的资源也有助于检测的目的。
2013-11-05 cs.CL
MultiCube-RAG for Multi-hop Question Answering
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Korea University(韩国大学)
MultiCube-RAG通过多维立方体结构实现多跳问答的高效推理与检索,提升响应准确率并增强可解释性。
2026-02-11 cs.CL
DisastQA: A Comprehensive Benchmark for Evaluating Question Answering in Disaster Management
Texas A&M University(德克萨斯大学)
DisastQA是一个用于评估灾难管理中问答能力的综合性基准,通过严格验证的问题和人类-LLM协作流程,揭示了在噪声环境下模型性能的显著差异。
2026-01-07 cs.CL
IMB: An Italian Medical Benchmark for Question Answering
University of Naples Federico II, Department of Electrical Engineering(那不勒斯费德里科二世大学电子工程系);Consorzio Interuniversitario Nazionale per l'Informatica (CINI) - ITEM National Lab(国家信息计算联合研究中心(CINI)- ITEM国家实验室);Northwestern University, Department of Computer Science, McCormick School of Engineering(西北大学计算机科学系,工程学院)
该研究发布了两个意大利语医学问答基准IMB-QA和IMB-MCQA,验证了领域适配策略结合检索增强生成等技术可让大模型在医学问答任务中超越通用大模型,为多语言医学问答研究提供支持。
2025-10-21 cs.CL
Improving Complex Knowledge Base Question Answering via Question-to-Action and Question-to-Question Alignment
Zhejiang University(浙江大学)
复杂的知识库问答可以通过将问题转换为预定义的动作序列来实现。然而,在自然语言和动作序列之间存在显著的语义和结构鸿沟,这使得这种转换变得困难。在本文中,我们介绍了一个增强的复杂问答框架,称为ALCQA,它通过问题到动作对齐和问题到问题对齐来缓解这一差距。我们训练一个问题重写模型来对齐问题和每个动作,并利用预训练的语言模型来隐式地对齐问题和KG工件。此外,考虑到类似的问题对应于类似的动作序列,我们检索top-k相似的问答对在推理阶段通过问题到问题对齐,并提出了一种新的奖励引导的动作序列选择策略,从候选动作序列中选择。在CQA和WQSP数据集上进行了实验,结果表明,该方法在CQA数据集上的F1度量提高了9.88%,优于现有方法.我们的源代码可在https://github.com/TTTTTTTTy/ALCQA上获得。
2022-12-26 cs.AI cs.CL
Question Answering as Global Reasoning over Semantic Abstractions
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Pennsylvania(宾夕法尼亚大学);Allen Institute for Artificial Intelligence (AI2)(艾伦人工智能研究所(AI2))
我们提出了一种新的方法,利用文本的语义结构来回答多项选择题。该方法特别适用于需要对不同语言结构进行推理但训练数据有限的领域。为了解决这些挑战,我们提出了第一个系统,据我们所知,原因在广泛的语义抽象的文本,这是使用现成的,通用的,预先训练的自然语言模块,如语义角色标签,共指解析器和依赖解析器。代表多个抽象作为一个家庭的图形,我们翻译问答(QA)到一个最佳的子图,满足一定的全球和当地的属性搜索。该公式概括了几个先前的结构化QA系统。我们的系统SEMANTICILP同时在两个领域表现出强大的性能。特别是,在一系列具有挑战性的科学QA数据集上,它的表现优于各种最先进的方法,包括神经模型、广泛覆盖的信息检索和使用结构化知识库的专业技术,提高了2%-6%。
2019-06-09 cs.AI cs.CL
AmaSQuAD: A Benchmark for Amharic Extractive Question Answering
College of Engineering, Carnegie Mellon University(卡内基梅隆大学工程学院)
本文提出将抽取式问答数据集翻译为低资源语言的框架,构建阿姆哈拉语 AmaSQuAD 数据集,并通过微调 XLM-R 显著提升问答性能。
2025-02-04 cs.CL
Creating Causal Embeddings for Question Answering with Minimal Supervision
University of Arizona(亚利桑那大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究院)
问答(QA)的一个常见模型是,一个好的答案是一个密切相关的问题,其中相关性往往是使用通用的词汇模型,如词嵌入确定。我们认为,一个更好的方法是寻找答案,相关的问题,在相关的方式,根据问题的信息需求,这可能是通过特定任务的嵌入确定。以因果关系为用例,我们分三步实现这一见解。首先,我们通过使用一小部分种子模式从自由文本中提取因果对,以经济高效的方式生成因果嵌入。其次,我们训练使用特定于任务的上下文,即,一个原因的背景就是它的结果。最后,我们扩展了一个国家的最先进的重新排序的方法,QA将这些因果嵌入。我们评估因果嵌入模型直接与一个偶然的含义任务,并间接地,在下游因果QA任务使用数据从雅虎!答案我们表明,明确建模的因果关系,提高了这两个任务的性能。在QA任务中,我们的最佳模型实现了37.3%P@1,显著优于强基线7.7%(相对)。
2016-09-26 cs.CL
ArtistMus: A Globally Diverse, Artist-Centric Benchmark for Retrieval-Augmented Music Question Answering
ArtistMus提出一个全球多样、以艺术家为中心的基准,通过检索增强生成技术提升音乐问答的准确性和上下文推理能力。
2026-02-15 cs.AI cs.CL cs.IR
Hi, how can I help you?: Automating enterprise IT support help desks
IBM Global Business Services(IBM全球企业咨询服务部)
问答是自然语言理解的主要挑战之一。在实现这样的系统时,提供对问题的复杂的长答案是一项具有挑战性的任务,而不是事实回答,因为前者需要上下文消歧。文献中探索的不同方法可以大致分为三类,即:1)基于分类,2)基于知识图谱和3)基于检索。单独来看,它们都没有解决IT支持和维护领域的企业范围的援助系统的需求。在这个领域中,答案的差异很大,从事实到结构化操作程序;知识存在于异构数据源中,如特定于应用程序的文档,门票管理系统和任何单一的通用技术辅助都无法扩展到这样的景观。为了解决这个问题,我们已经建立了一个认知平台,该平台具有针对该领域的功能。此外,我们已经建立了一个通用的问答系统,利用该平台,可以实例化的多个产品,技术在支持领域。该系统使用了一种新的混合回答模型,该模型协调了深度学习分类器、基于知识图谱的上下文消歧模块和复杂的词袋搜索系统。该编排为所提供的问题执行上下文切换,并且如果没有自动化技术可以提供有把握的答案,则还将问题平滑地移交给人类专家。该系统已在675个企业内部IT支持和维护项目中部署。
2017-11-02 cs.AI cs.CL
Knowledge Base Question Answering by Case-based Reasoning over Subgraphs
UMass Amherst(马萨诸塞大学阿默斯特分校);University of Southern California(南加州大学);Google DeepMind(谷歌DeepMind);University of Washington(华盛顿大学)
知识库上的问答(QA)是一个具有挑战性的问题,因为它需要各种各样的推理模式。然而,我们假设在一个大的KB,推理模式需要回答的查询类型重新出现在各自的子图邻域中的各种实体。利用不同子图的局部邻域之间的这种结构相似性,我们引入了半参数模型(CBR-SUBG)具有(i)非参数分量,对于每个查询,动态检索其他类似的$k$ -最近邻(KNN)训练查询以及查询特定的子图,以及(ii)被训练以识别(潜在)从KNN查询的子图中推理模式,然后将它们应用于目标查询的子图。我们还提出了一个自适应的子图收集策略来选择一个查询特定的紧凑子图,使我们能够扩展到包含数十亿事实的完整Freebase KB。我们表明,CBR-SUBG可以回答需要子图推理模式的查询,并在几个KBQA基准测试中与最佳模型竞争。我们的子图收集策略还产生更紧凑的子图(例如,WebQSP的大小减少了55\%,而答案召回率增加了4.85\%)\footnote{Code, model, and subgraphs are available at \url{https://github.com/rajarshd/CBR-SUBG}}。
2022-06-17 cs.AI cs.CL cs.LG
Beyond Single Plots: A Benchmark for Question Answering on Multi-Charts
Department of Computer Science, Iowa State University(计算机科学系,爱荷华州立大学)
本文提出PolyChartQA数据集,用于评估多图表问答性能,通过九种先进多模态语言模型测试,发现人类生成问题的LLM准确率下降27.4%,而本文提出的提示方法提升了5.39%。
2026-04-23 cs.AI cs.CL cs.CV