Question Answering in a Natural Language Understanding System Based on Object-Oriented Semantics
Institute of Cybernetics of NAS of Ukraine(乌克兰国家科学院控制论研究所)
提出了一种面向文本信息输入和逻辑处理的计算机系统中的问答算法。所考虑的知识域是人的社会行为。该系统的数据库包括自然语言句子的内部表示和补充信息。回答{ \it Yes}或{ \it No}是针对一般问题形成的。含有疑问词或疑问词组的特殊疑问句可以用来确定主语、宾语、地点、时间、原因、目的和行为或事件的方式。答案生成基于人、组织、机器、事物、地点和时间的识别算法。所提出的问答算法可以在与文本处理(犯罪学、商业操作、医学、文档系统)密切相关的信息系统中实现。
2011-11-18 cs.CL
SemanticZ at SemEval-2016 Task 3: Ranking Relevant Answers in Community Question Answering Using Semantic Similarity Based on Fine-tuned Word Embeddings
Research Training Group AIPHES(AIPHES研究培训组);Institute for Computational Linguistics(计算语言学研究所);Heidelberg University(海德堡大学);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
我们描述了我们在社区论坛中寻找好答案的系统,如SemEval-2016,关于社区问答的任务3中所定义的。我们的方法依赖于几个语义相似性特征的基础上微调词嵌入和主题的相似性。在主要的子任务C中,我们的主要提交排名第三,MAP为51.68,准确率为69.94。在子任务A中,我们的主要提交也是第三名,MAP为77.58,准确率为73.39。
2019-11-20 cs.AI cs.CL cs.IR
Question-Aware Sentence Gating Networks for Question and Answering
Korea University(高丽大学);NCSOFT
机器理解问答是对给定段落的问题找到答案,它涉及理解和跟踪文档中各种语义单元(如单词、短语和句子)的相关内容的高级推理过程。本文提出了一种新的问题感知句子门控网络,它直接将句子级信息纳入单词级编码过程。为此,我们的模型首先学习问题感知的句子表示,然后动态地将它们与单词级表示相结合,从而为QA任务提供语义上有意义的单词表示。实验结果表明,我们的方法一致地提高了现有的基线方法在各种QA数据集的准确性,并承担其他神经网络的QA模型的广泛适用性。
2018-07-20 cs.AI cs.CL
Contextual Aware Joint Probability Model Towards Question Answering System
Stanford University(斯坦福大学)
在本文中,我们解决了SQuAD 2.0数据集的问答挑战。我们设计了一个模型架构,利用BERT的上下文感知的词嵌入和Bioblog的上下文交互式探索机制的能力。通过整合这两个国家的最先进的架构,我们的系统试图提取上下文单词表示在单词和字符的水平,更好地理解问题和上下文及其相关性。我们还提出了我们原来的联合后验概率预测模块及其相关的损失函数。到目前为止,我们最好的模型在测试PCE排行榜上获得了75.842%的F1分数和72.24%的EM分数。
2019-04-17 cs.AI cs.CL
A Question-Focused Multi-Factor Attention Network for Question Answering
Department of Computer Science(计算机科学系);National University of Singapore(新加坡国立大学)
最近提出的用于问答(QA)的神经网络模型主要集中在捕获问题-问题关系。然而,他们有最小的能力来链接分布在多个句子中的相关事实,这对于实现更深层次的理解至关重要,例如执行多句推理,共指解析等,他们也没有明确地关注问答类型,而问答类型通常在QA中起着关键作用。在本文中,我们提出了一种新的端到端的问题为重点的多因素注意力网络的答案提取。使用基于张量的变换的多因素注意编码聚合有意义的事实,即使它们位于多个句子中。为了隐式地推断答案类型,我们还提出了一种最大注意力问题聚合机制,根据问题中的重要词来编码问题向量。在预测过程中,我们将序列级编码的第一个wh-word及其紧接着的字作为一个额外的来源的问题类型的信息。我们提出的模型在三个大规模具有挑战性的QA数据集(即NewsQA,TriviaQA和SearchQA)上取得了显着的改进。
2018-01-25 cs.CL
Conversational Question Answering over Passages by Leveraging Word Proximity Networks
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
文本段上的问答是信息检索领域的一个重要问题。最近,会话设置引起了人们的注意,其中用户询问一系列问题以满足她围绕主题的信息需求。虽然这种设置是一种自然的设置,类似于人类彼此交谈,但它引入了两个关键的研究挑战:理解用户在后续问题中留下的隐含上下文,以及处理特设问题公式。在这项工作中,我们展示了CROWN(通过词网络推理的会话段落排名):一个无监督但有效的系统,用于会话QA与通道响应,支持多种模式的上下文传播多个回合。为此,CROWN首先从大型语料库中构建一个词邻近网络(WPN)来存储统计上显著的术语共现。在回答时,段落通过其与问题的相似性和查询术语的一致性的组合进行排名:这些因素通过从WPN读取节点和边权重来测量。CROWN提供了一个界面,既直观的最终用户,并为专家的洞察力,重新配置到个人设置。在TREC CAsT数据上评估了CROWN,其中它在神经方法池中实现了高于中值的性能。
2020-05-25 cs.CL cs.IR
Quantum Language Model with Entanglement Embedding for Question Answering
Zhejiang University(浙江大学);University of New South Wales(新南威尔士大学)
量子语言模型(QLM),其中的话被建模为量子叠加的义素已表现出高层次的模型透明性和良好的事后解释能力。然而,在目前的文献中,字序列基本上被建模为一个经典的混合字状态,不能充分利用量子概率描述的潜力。一个完整的量子模型还有待开发,以明确捕捉单词序列中的非经典相关性。提出了一种神经网络模型,该模型引入了一个新的纠缠嵌入(EE)模块,其功能是将字序列转化为多体量子系统的纠缠纯态。强量子纠缠是量子信息的核心概念,也是单词之间并行相关性的一个标志,在单词序列中可以观察到。数值实验表明,与经典的深度神经网络模型和其他QLM相比,所提出的QLM with EE(QLM-EE)在问答(QA)数据集上实现了更好的性能。此外,通过量化词之间的纠缠程度,可以提高模型的事后可解释性。
2021-12-20 cs.AI cs.CL quant-ph
A Data Driven Approach to Query Expansion in Question Answering
University of Sheffield(谢菲尔德大学)
自然语言问题的自动回答是一个有趣而有用的问题。问答(QA)系统通常在初始阶段执行信息检索。Lucene等引擎提供的信息检索(IR)性能限制了整个系统的性能。例如,对于几乎40%的问题,在低级别没有检索到带有答案的文档。在本文中,回答文本从以前的QA评估举行的文本检索会议(TREC)的一部分,配对查询和分析,试图确定性能增强的话。然后,这些词用于评估查询扩展方法的性能。数据驱动的扩展词被发现对70%以上的难题有帮助。这些词可用于改进和评估查询扩展方法。简单的盲相关反馈(RF)被正确预测为不太可能帮助整体性能,并提供了一个可能的解释,其低价值的IR QA。
2012-03-22 cs.CL cs.IR
Data Augmentation for Biomedical Factoid Question Answering
Athens University of Economics and Business(雅典经济与商业大学);Institute for Language and Speech Processing, Research Center ‘Athena’(“雅典娜”研究中心语言与语音处理研究所);Institute of Informatics and Telecommunications, NCSR ‘Demokritos’(国家科学研究中心“德谟克利特”信息与电信研究所)
我们研究了七种数据增强(da)方法在模拟问答中的效果,主要集中在生物医学领域,在那里获得训练实例特别困难。我们用BioASQ挑战赛的数据进行实验,我们用从人工生物医学机器阅读理解数据集获得的训练实例,或通过反向翻译,信息检索,基于word 2 vec嵌入的单词替换,或掩蔽语言建模,问题生成,或用额外的上下文扩展给定的段落。我们表明,DA可以导致非常显着的性能增益,即使使用大型预训练的Transformers,有助于更广泛的讨论,如果/当DA受益于大型预训练模型。最简单的da方法之一,基于word 2 vec的单词替换,性能最好,值得推荐。我们发布我们的人工训练实例和代码。
2022-04-10 cs.AI cs.CL
Deceiving Question-Answering Models: A Hybrid Word-Level Adversarial Approach
University of Technology Sydney(悉尼科技大学);Shandong University(山东大学)
本文提出QA-Attack词级对抗策略,利用定制注意力机制和删除排序策略替换同义词,在保持语法完整性的同时成功欺骗问答模型,并在多项指标上超越现有对抗技术。
2024-11-12 cs.AI cs.CL cs.LG
Question-Answering with Grammatically-Interpretable Representations
Johns Hopkins University(约翰斯·霍普金斯大学);Citadel(城堡投资);Microsoft Research AI(微软研究院人工智能)
我们介绍了一个架构,张量积递归网络(TPRN)。在我们的TPRN应用中,通过在执行文本问答(QA)任务的深度神经网络中进行端到端优化而学习到的内部表示可以使用语言学理论的基本概念来解释。没有性能损失需要支付这种增加的可解释性:所提出的模型执行的SQuAD QA任务上的最先进的系统。被解释的内部表示是张量积表示:对于每个输入单词,模型选择一个符号来编码单词,以及放置符号的角色,并将两者绑定在一起。选择是通过软注意。整体解释是从符号的解释中构建的,如训练模型所招募的,以及模型所使用的角色的解释。我们发现支持我们最初的假设,即符号可以解释为词汇语义的词义,而角色可以解释为语法角色的近似细粒度分析揭示了学习角色和由标准标注器分配的词性之间的特定对应关系(Toutanova等人,2003年),并发现了几个有利于模型的差异。从这个意义上说,模型在仅仅接触了语言学上未注释的文本、问题和答案之后,学习了语法的重要方面:没有给模型提供先验的语言学知识。所给出的是使用符号和角色来构建表征的方法,带有一种有利于以近似离散的方式使用这些符号和角色的归纳偏见。
2017-09-25 cs.CL
A Better Way to Attend: Attention with Trees for Video Question Answering
Zhejiang University(浙江大学)
提出了一种新的视频问答注意力模型。注意力模型的主要思想是定位于视觉数据中信息量最大的部分。注意力机制现在很流行。然而,大多数现有的视觉注意力机制将问题视为一个整体。它们忽略了词级语义,每个词可以有不同的注意力,有些词不需要注意。他们也不考虑句子的语义结构。虽然用于视频问答的扩展软注意(E-SA)模型利用了词级注意,但它在长问句上表现不佳。在本文中,我们提出了异构树结构记忆网络(HTreeMN)的视频问答。我们提出的方法是基于问句的语法分析树。HTreeMN不同地处理单词,其中\textit{visual}单词用注意模块处理,而\textit{verbal}单词不用注意模块处理。它还利用了句子的语义结构,通过结合邻居的递归结构的分析树。对文字的理解和对视频的理解从叶子到根进行传播和融合。此外,我们建立了一个层次化的注意力机制来提取关注特征。我们在两个数据集上评估我们的方法。实验结果表明,我们的HTreeMN模型优于其他注意力模型,特别是在复杂的问题。我们的代码可以在github上找到。我们的代码可在www.example.com上获得
2019-09-05 cs.CL cs.CV cs.LG
Learning to Attend On Essential Terms: An Enhanced Retriever-Reader Model for Open-domain Question Answering
University of California, San Diego(加州大学圣地亚哥分校);Microsoft(微软)
开放域问答仍然是一项具有挑战性的任务,因为它需要能够理解问题和答案,收集有用信息和推理证据的模型。以前的工作通常制定这个任务作为一个阅读理解或蕴涵问题的证据检索搜索引擎。然而,现有的技术努力检索间接相关的证据时,没有直接相关的证据提供,特别是对于复杂的问题,它是很难准确地解析问题问。在本文中,我们提出了一个检索者-读者模型,学习参加在问答过程中的基本条款。我们构建了(1)一个基本术语选择器,它首先识别问题中最重要的词,然后重新制定查询并搜索相关证据;以及(2)一个增强的阅读器,它区分基本术语和分散注意力的词来预测答案。我们在多个开放域多项选择QA数据集上评估了我们的模型,特别是在AI 2推理挑战(ARC)数据集上表现出最先进的水平。
2019-05-09 cs.CL
A Multi-Resolution Word Embedding for Document Retrieval from Large Unstructured Knowledge Bases
University of Arkansas(阿肯色大学);Google LLC.(谷歌有限责任公司)
深度语言模型学习分层表示被证明是自然语言处理、文本挖掘和信息检索的强大工具。然而,表现良好的检索表示必须捕捉不同层次的抽象或上下文范围的语义含义。在本文中,我们提出了一种新的方法来产生多分辨率的词嵌入,表示在多个分辨率的上下文范围的文件。为了研究其性能,我们使用斯坦福问答数据集(SQuAD)和问答搜索和阅读(QUASAR)在一个开放域的问答设置,其中的第一个任务是找到有用的文件来回答给定的问题。为此,我们首先比较了各种文本嵌入方法的检索性能的质量,并给出了广泛的经验比较与各种非增强的基础嵌入的性能,并没有多分辨率表示。我们认为,多分辨率词嵌入始终优于原始的对应物,并且专门为检索目的训练的深度残差神经模型在用于增强这些嵌入时可以产生进一步的显着收益。
2019-05-22 cs.CL cs.IR
ControversialQA: Exploring Controversy in Question Answering
Tokyo Institute of Technology(东京工业大学);Delft University of Technology(代尔夫特理工大学)
争议在网上很普遍。以前的研究主要是根据对争议与仇恨言论和冒犯性言论等情绪的关系的模糊假设来定义争议。本文介绍了第一个通过用户感知定义内容争议的问答数据集,即,来自大量用户的投票。它包含近10K个问题,每个问题都有一个最佳答案和一个最具争议的答案。实验结果表明,问答中的争议检测是必要的和具有挑战性的,争议和情感任务之间没有很强的相关性。
2023-02-10 cs.CL
Question Answering with Subgraph Embeddings
Facebook(脸书)
本文提出了一个系统,学习回答问题的广泛的主题,从知识库使用一些手工制作的功能。我们的模型学习单词和知识库成分的低维嵌入;这些表示用于对候选答案的自然语言问题进行评分。训练我们的系统,使用对问题和结构化的表示,他们的答案,和对问题的释义,产生竞争力的结果在竞争力的基准文献。
2014-09-04 cs.CL
FEQA: A Question Answering Evaluation Framework for Faithfulness Assessment in Abstractive Summarization
Cornell University(康奈尔大学);New York University(纽约大学);The George Washington University(乔治华盛顿大学);Amazon Web Services AI(亚马逊网络服务人工智能)
神经抽象摘要模型容易产生与源文档不一致的内容,即不忠实。现有的自动度量不能有效地捕获此类错误。我们解决的问题,评估的忠实性生成的摘要,其源文件。我们首先收集了两个数据集上众多模型输出的忠实度的人类注释。我们发现,目前的模型表现出抽象性和忠实性之间的权衡:与源文档的字重叠较少的输出更有可能是不忠实的。接下来,我们提出了一个自动的问答(QA)为基础的忠实度,FEQA,它利用了最近的进展,阅读理解。给定从摘要生成的问题-答案对,QA模型从文档中提取答案;不匹配的答案表示摘要中的不忠实信息。在基于词重叠、嵌入相似性和学习语言理解模型的度量中,我们基于QA的度量与人类忠实度分数具有显著更高的相关性,特别是在高度抽象的摘要上。
2020-05-07 cs.CL
A Thousand Words Are Worth More Than a Picture: Natural Language-Centric Outside-Knowledge Visual Question Answering
University of California, Los Angeles(加州大学洛杉矶分校);Amazon(亚马逊)
外部知识可视化问答(OK-VQA)要求智能体理解图像,利用整个网络的相关知识,并消化所有信息来回答问题。大多数以前的作品解决这个问题,首先融合图像和问题的多模态空间,这是不灵活的进一步融合大量的外部知识。在本文中,我们呼吁一个范式转变的OK-VQA任务,它将图像转换成纯文本,使我们能够在自然语言空间的知识通道检索,并生成问答。这种模式利用了庞大的知识库和丰富的预训练语言模型。提出了一种转换-生成-生成框架(TRiG),该框架可以与替代的图像到文本模型和文本知识库即插即用。实验结果表明,我们的TRiG框架优于所有国家的最先进的监督方法至少11.1%的绝对利润率。
2022-01-14 cs.CL cs.CV cs.IR
Question Retrieval for Community-based Question Answering via Heterogeneous Network Integration Learning
Zhejiang University(浙江大学)
基于社区的问答平台已经吸引了大量的用户来分享知识和相互学习。随着CQA平台的迅速扩大,大量的重复问题出现,这给用户选择合适的参考文献带来了困难。因此,迫切需要采取有效的自动化算法来重用具有相应答案的历史问题。在本文中,我们关注的问题与问题检索,其目的是匹配的历史问题是相关的或语义等价的直接解决一个人的查询。在这个任务中的挑战是词汇之间的差距问题的单词歧义和单词不匹配的问题。此外,有限的词在查询的句子造成稀疏的词的特征。为了缓解这些挑战,我们提出了一个新的框架命名为HNIL编码不仅是问题的内容,但也询问者的社会互动,以提高问题嵌入性能。更具体地说,我们采用基于随机游走的学习方法与递归神经网络相匹配的提问者的问题和其他用户提出的历史问题之间的相似性。对来自现实世界CQA站点的大规模数据集进行的广泛实验表明,在该任务中,使用异构社交网络信息的性能优于其他最先进的解决方案。
2016-11-24 cs.CL cs.IR
Coarse-grained decomposition and fine-grained interaction for multi-hop question answering
School of Electronic and Information, Beijing Jiaotong University(北京交通大学电子信息学院);Key Laboratory of Communication and Information Systems, Beijing Municipal Commission of Education(北京市教育委员会通信与信息系统重点实验室)
关于问答和阅读理解的最新进展已经产生了超越人类表现的模型,当答案包含在单个连续的文本中时,只需要单跳推理。然而,在实际场景中,许多复杂的查询需要多跳推理。问答任务的关键是文档和问题之间的语义特征交互,双向注意流(Bi-Directional Attention Flow,Bi-Directional Attention Flow)广泛处理这一交互,但双向注意流通常只捕捉复杂问题中词语的表层语义,而无法捕捉中间答案的隐含语义特征。因此,Bi-texture部分忽略了与问题相关的部分上下文,无法提取多个文档中最重要的部分。在本文中,我们提出了一个新的模型架构多跳问答,通过应用两个完成策略:(1)引入粗粒度复杂问题分解(CGDe)策略,在不需要任何附加标注的情况下,将复杂问题分解为简单问题。(2)细粒度交互(FGIn)引入策略以更好地表示文档中的每个单词,并提取与推理路径相关的更全面、准确的句子。将上述两种策略结合起来并在SQuAD和HotpotQA数据集上进行测试,实验结果表明,我们的方法优于国家的最先进的基线。
2021-01-15 cs.CL
SelQA: A New Benchmark for Selection-based Question Answering
Emory University(埃默里大学)
本文提出了一种新的基于选择的问答数据集SelQA。该数据集由众包生成的问题和句子长度答案组成,这些答案来自英文维基百科中最流行的十个主题。我们引入了一个语料库注释方案,该方案通过明确旨在减少问题和答案之间的单词共现来增强大型,多样化和具有挑战性的数据集的生成。我们的注释计划是由一系列的众包任务,以期更有效地利用众包在不同领域的问答数据集的创建。对几个系统在答案句子选择和答案触发任务方面进行了比较,为未来的工作提供了强有力的基线结果以供改进。
2016-10-28 cs.CL
Mitigating Noisy Inputs for Question Answering
University of Maryland(马里兰大学);Carnegie Mellon University(卡内基梅隆大学)
自然语言处理系统通常位于不可靠输入的下游:机器翻译、光学字符识别或语音识别。例如,虚拟助手只能在理解你的演讲后回答你的问题。我们调查和减轻噪声的影响,从自动语音识别系统上的两个事实的问答(QA)任务。经验表明,将置信度集成到模型中并强制解码未知单词可以提高下游神经QA系统的准确性。我们在超过50万个嘈杂句子的合成语料库上创建和训练模型,并在Quizbowl和Jeopardy的两个人类语料库上进行评估!竞争。
2019-08-08 cs.CL
A Comparative and Experimental Study on Automatic Question Answering Systems and its Robustness against Word Jumbling
本研究探讨了自然语言处理自动问答系统在聊天机器人等场景中的应用价值,并实验分析了人类输入错误(如单词乱序)对模型性能的不利影响。
2023-11-27 cs.CL cs.LG
Graph-Based Reasoning over Heterogeneous External Knowledge for Commonsense Question Answering
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Sun Yat-sen University(中山大学);Peking University(北京大学);Microsoft Corporation(微软公司);Microsoft Research Asia(微软亚洲研究院)
常识问答的目的是回答需要背景知识的问题,而这些知识在问题中没有明确表达。关键的挑战是如何从外部知识中获取证据,并根据证据进行预测。最近的作品要么学习从人工注释的证据中生成证据,这是昂贵的收集,或从结构化或非结构化的知识库中提取证据,未能利用这两个来源。在这项工作中,我们提出了自动提取证据的异构知识源,并回答问题的基础上提取的证据。具体来说,我们从结构化知识库(即概念网)和维基百科纯文本中提取证据。我们构造图的两个来源,以获得证据的关系结构。基于这些图,我们提出了一个基于图的方法,包括一个基于图的上下文单词表示学习模块和一个基于图的推理模块。第一个模块利用图形结构信息来重新定义单词之间的距离,以学习更好的上下文单词表示。第二模块采用图卷积网络将邻居信息编码到节点的表示中,并利用图注意力机制进行证据聚合,预测最终答案。在CommonsenseQA数据集上的实验结果表明,我们在两个知识源上的基于图的方法在强基线上有所改进。我们的方法在CommonsenseQA排行榜上达到了最先进的准确率(75.3%)。
2020-06-09 cs.CL
Finding Answers from the Word of God: Domain Adaptation for Neural Networks in Biblical Question Answering
The University of Auckland(奥克兰大学)
近年来,问答(QA)从深度学习技术中受益匪浅。然而,由于训练神经网络需要大量的数据,特定领域的QA仍然是一个挑战。本文研究了圣经领域的回答句选择任务,并从圣经中选取相关的经文回答问题。为此,我们基于圣经琐事问题创建了一个新的数据集BibleQA,并为我们的任务提出了三个神经网络模型。我们在大规模QA数据集SQuAD上预训练我们的模型,并研究转移权重对模型准确性的影响。此外,我们还测量了模型的准确性与不同的答案上下文长度和不同的圣经翻译。我们肯定迁移学习在模型精度上有明显的提高。我们用较短的上下文长度获得了相对较好的结果,而较长的上下文长度降低了模型的准确性。我们还发现,在数据集中使用更现代的圣经翻译对任务有积极的影响。
2018-10-26 cs.AI cs.CL cs.IR
Organizing Encyclopedic Knowledge based on the Web and its Application to Question Answering
我们提出了一种方法来产生大规模的百科知识,这是有价值的许多自然语言处理的研究,基于Web。我们首先在Web上搜索包含有问题的术语的页面。然后,我们使用语言模式和HTML结构来提取描述该术语的文本片段。最后,我们根据词义和领域组织提取的术语描述。此外,我们将自动生成的百科全书应用于针对日本信息技术工程师考试的问答系统。
2001-06-10 cs.CL
Answering Complicated Question Intents Expressed in Decomposed Question Sequences
University of Maryland, College Park(马里兰大学大学公园分校);Microsoft Research(微软研究院)
最近的问答语义解析工作集中在长而复杂的问题上,其中许多问题如果在两个人之间的正常对话中被问到,似乎是不自然的。在努力探索会话QA设置,我们提出了一个更现实的任务:回答简单但相互关联的问题序列。我们从维基百科收集了6,066个询问半结构化表格的问题序列的数据集,总共有17,553个问答对。在我们的数据集上进行评估时,现有的QA系统面临两个主要问题:(1)处理包含对先前问题或答案的共引用的问题,以及(2)将问题中的单词或短语与关联表中的相应条目进行匹配。最后,我们提出了处理这两个问题的战略。
2016-11-04 cs.CL
Word-Sequence Entropy: Towards Uncertainty Estimation in Free-Form Medical Question Answering Applications and Beyond
University of Electronic Science and Technology of China(电子科技大学);Drexel University(德雷塞尔大学);University of Pennsylvania(宾夕法尼亚大学);Yale University(耶鲁大学);Massachusetts Institute of Technology(麻省理工学院);Illinois Institute of Technology(伊利诺伊理工学院)
本文提出Word-Sequence Entropy(WSE)方法,通过在词和序列级别结合语义相关性校准不确定性,解决了开放式医疗问答中自由形式答案的不确定性量化偏差问题,显著提升了LLMs的不确定性量化性能与实际应用准确率。
2024-11-18 cs.AI cs.CL cs.LG
Adapting general-purpose speech recognition engine output for domain-specific natural language question answering
TCS Innovation Labs - Delhi(塔塔咨询服务创新实验室 - 德里);TCS Innovation Labs - Mumbai(塔塔咨询服务创新实验室 - 孟买)
面向企业系统的基于语音的自然语言问答界面正受到广泛关注。通用语音引擎可以与NLP系统集成以提供这样的接口。通常,通用语音引擎是在大型“通用”语料库上训练的。然而,当这样的引擎用于特定领域时,它们可能不能很好地识别特定领域的单词,并且可能产生错误的输出。此外,说话者说出句子的口音和环境条件可能导致语音引擎不准确地识别某些单词。随后的自然语言问答不会产生必要的结果,因为问题没有准确地表示说话者的意图。因此,在执行进一步的自然语言处理之前,语音引擎的输出可能需要适合于某个领域。我们提出了两种适应机制,一种是基于进化发展的,另一种是基于机器学习的,并展示了我们如何修复语音输出,使随后的自然语言问答更好。
2017-10-12 cs.AI cs.CL
SPBERTQA: A Two-Stage Question Answering System Based on Sentence Transformers for Medical Texts
University of Information Technology(信息技术大学);Vietnam National University Ho Chi Minh City(越南胡志明市国家大学)
近年来,问答(QA)系统获得了爆炸性的关注。然而,越南语的QA任务没有太多的数据集。值得注意的是,在医学领域几乎没有数据集。因此,我们建立了一个越南医疗保健问答数据集(ViHealthQA),包括10,015个问答段落对,其中对健康感兴趣的用户在著名的健康网站上提出的问题和高素质专家的答案。本文提出了一种基于句子BERT(SBERT)的两阶段问答系统,该系统使用多个否定排序(MNR)损失并结合BM 25。然后,我们进行了不同的实验与许多袋的话模型,以评估我们的系统的性能。与传统的方法相比,该系统取得了更好的性能。
2022-06-20 cs.CL
Better Early than Late: Fusing Topics with Word Embeddings for Neural Question Paraphrase Identification
The Alan Turing Institute(艾伦·图灵研究所);University of Warwick(华威大学);Utrecht University(乌得勒支大学)
问题释义识别是社区问答(CQA)中的一项关键任务,用于确定传入的问题之前是否被询问过。许多当前的模型使用词嵌入来识别重复的问题,但在功能工程系统中使用主题模型表明,它们也可以帮助完成这项任务。因此,我们提出了两种方式合并主题与词嵌入(早期与晚期融合)在一个新的神经架构的问题释义识别。我们的研究结果表明,我们的系统在多个CQA数据集上的表现优于神经基线,而消融研究强调了主题的重要性,特别是在我们的架构中早期主题嵌入融合。
2020-07-22 cs.CL
Long-Term Memory Networks for Question Answering
SUNY Buffalo(布法罗纽约州立大学);PARC(帕洛阿尔托研究中心);United Technologies Research Center(联合技术研究中心);Conduent Labs US(美国康杜恩特实验室);LinkedIn(领英)
问答是自然语言处理领域中的一个重要而又困难的任务,因为许多基本的自然语言处理任务都可以转化为一个问答任务。最近已经开发了几种深度神经网络架构,其采用记忆和推理组件来记忆和推理文本信息,并生成问题的答案。然而,许多这样的模型的一个主要缺点是它们只能生成单个单词的答案。此外,它们需要大量的训练数据来生成准确的答案。在本文中,我们介绍了长期记忆网络(LTMN),它结合了外部存储器模块和长短期记忆(LSTM)模块来理解输入数据并生成多词答案。LTMN模型可以使用反向传播进行端到端训练,并且需要最少的监督。我们在两个合成数据集(基于Facebook的bAbI数据集)和真实世界的斯坦福大学问答数据集上测试了我们的模型,并表明它可以实现最先进的性能。
2017-07-06 cs.AI cs.CL
SPBERT: An Efficient Pre-training BERT on SPARQL Queries for Question Answering over Knowledge Graphs
University of Science(科学大学);Case Western Reserve University(凯斯西储大学);National Cancer Institute(美国国家癌症研究所)
在本文中,我们提出了SPBERT,一个基于transformer的语言模型预训练的大量SPARQL查询日志。通过结合掩蔽语言建模目标和单词结构目标,SPBERT可以学习自然语言和SPARQL查询语言的通用表示。我们研究如何SPBERT和编码器-解码器架构可以适应基于知识的QA语料库。我们进行了详尽的实验上的两个额外的任务,包括SPARQL查询建设和回答动词化生成。实验结果表明,SPBERT可以获得令人满意的结果,在其中几个任务上获得了最先进的BLEU分数。
2021-06-30 cs.CL
Exploiting Rich Syntax for Better Knowledge Base Question Answering
Soochow University(苏州大学);Tencent(腾讯)
最近的研究表明,知识库问答(KBQA)通过更好地理解问题,在这一任务上取得了很大的进展。以往的编码问题的研究主要集中在单词序列上,而很少考虑句法树的信息。首先,我们通过考虑关键字之间的最短依赖路径来编码基于路径的语法。然后,我们提出了两种编码策略来对整个句法树的信息进行建模,以获得基于树的句法。最后,我们结合了基于路径和基于树的语法表示KBQA。我们在一个广泛使用的基准数据集上进行了大量的实验,实验结果表明,我们的语法感知系统可以充分利用不同设置中的语法信息,并实现最先进的KBQA性能。
2021-07-16 cs.CL
Enhanced vectors for top-k document retrieval in Question Answering
现代应用程序,特别是涉及“搜索”作为其用例的信息检索网络应用程序,正逐渐向“应答”模块移动。会话式聊天机器人已被证明对用户更具吸引力,使用问答作为其核心。由于精确的回答在计算上是昂贵的,因此已经开发了几种方法来从包含答案的数据库中预取最相关的文档/段落。我们提出了一种不同的方法,可以高效、准确地检索证据文档,确保不会错过给定用户查询的相关文档。我们通过为每个文档(或本文中的段落)分配一个唯一的标识符,并使用它们来创建可以有效索引的密集向量。更准确地说,我们使用标识符来预测与段落对应的相关问题的随机采样的上下文窗口单词以及段落本身的单词。这自然地将通道标识符嵌入到向量空间中,使得嵌入更接近问题而不损害信息内容。这种方法可以在约4毫秒内高效地创建实时查询向量。
2022-10-08 cs.CL cs.IR cs.LG
A Supervised Word Alignment Method based on Cross-Language Span Prediction using Multilingual BERT
NTT Communication Science Laboratories, NTT Corporation(日本电信电话株式会社NTT通信科学实验室)
本文提出了一种基于跨语言跨度预测的有监督词对齐方法。我们首先将单词对齐问题形式化为从源句子中的标记到目标句子中的跨度的独立预测的集合。由于这相当于SQuAD v2.0风格的问答任务,因此我们使用多语言BERT解决了这个问题,该问题是在手动创建的黄金单词对齐数据上进行微调的。我们通过向问题中添加标记的上下文,大大提高了单词对齐的准确性。在使用中文,日语,德语,罗马尼亚语,法语和英语之间的五个单词对齐数据集的实验中,我们表明,所提出的方法显着优于以前的监督和无监督的单词对齐方法,而无需使用任何双文本进行预训练。例如,我们对中英文数据的F1得分为86.7,比以前最先进的监督方法高出13.3分。
2020-04-29 cs.CL
Answer ranking in Community Question Answering: a deep learning approach
Universidad Nacional de Educación a Distancia(西班牙国立远程教育大学)
社区问答(英语:Community Question Questioning)是计算语言学的一个领域,它处理的是从Quora或Stack Overflow等网站上发布的问题和答案中衍生出来的问题。在这些问题中,我们发现了一个问题,即对每个问题的多个答案进行排名,通过它们在试图解决原始问题时的信息量来排名。这项工作试图通过深度学习方法来推进社区问答的答案排名。我们首先创建了一个大型的问题和答案数据集,发布到Stack Overflow网站上。然后,我们利用密集嵌入和LSTM网络的自然语言处理功能来生成对接受答案属性的预测,并以排名形式呈现答案,并根据提问者将其标记为接受的可能性进行排序。我们还制作了一组数字特征来协助答案排名任务。这些数字特征要么是从Stack Overflow帖子中的元数据中提取的,要么是从问答文本中提取的。我们将我们的深度学习模型的性能与一组森林和增强树集成方法进行了比较,发现我们的模型无法提高最佳基线结果。我们推测,与基线模型相比,这种性能改进的缺乏可能是由于问题和答案文本中的编程代码片段中存在大量词汇表外的单词造成的。我们的结论是,虽然深度学习方法可能有助于回答排名问题,但应该开发新方法来帮助解决编程代码片段中存在的大量词汇表外的单词
2022-10-16 cs.CL
Question Analysis for Arabic Question Answering Systems
Kannur University(坎努尔大学)
在问答(QA)系统中处理问题的第一步是对问题进行详细分析,以确定问题的要求以及如何完美地回答它。我们的问题分析使用几种技术来分析任何以自然语言给出的问题:一个Stanford POS Tagger和阿拉伯语解析器,一个命名实体识别器,分词器,停止词删除,问题扩展,问题分类和问题焦点提取组件。我们采用了大量的检测规则和训练分类器,使用来自此分析的特征来检测问题的重要元素,包括:1)问题中涉及答案的部分(焦点); 2)问题中的不同术语,用于确定所要求的实体类型(词汇答案类型); 3)问题扩展; 4)将问题分类为若干不同类型中的一个或多个的过程;我们描述了如何识别这些元素,并使用平均倒数秩(MRR)准确度测量来评估准确检测对我们的问答系统的影响。
2017-01-11 cs.CL
Boosting Question Answering by Deep Entity Recognition
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
本文介绍了一个开放域的波兰语类事实问答系统RAFAEL。该系统不仅仅是找到一个回答句子;它还提取一个与所需实体相对应的字符串。在这里,重点放在不同的方法来实体识别,检索信息匹配问题的约束条件是必不可少的。除了传统的方法,包括命名实体识别(NER)的解决方案,一种新的技术,称为深度实体识别(DeepER)的介绍和实现。它允许基于先前组装的实体库,全面搜索与给定WordNet同义词集(例如印象派)匹配的所有形式的实体引用。它是通过分析百科全书条目的第一句话以及消除歧义和重定向页面创建的。DeepER还提供自动评估,这使得许多实验成为可能,包括在波兰维基百科上回答的电视问答节目中的一千多个问题。对单独问题集进行手动评估的最终结果表明,DeepER方法的优势在于它能够回答需要超出传统命名实体类别的答案的问题。
2016-05-27 cs.CL
Learning Question-Guided Video Representation for Multi-Turn Video Question Answering
Carnegie Mellon University(卡内基梅隆大学);Google AI(谷歌人工智能);University of California, Santa Barbara(加州大学圣巴巴拉分校);Amazon Alexa AI(亚马逊Alexa人工智能)
理解和对话动态场景是人工智能智能体的关键能力之一,它可以在环境中导航并向人类传达有用的信息。视频问答是这种人工智能与人类交互的特定场景,其中代理对关于动态场景的视频的问题生成自然语言响应。从通常提供补充信息的多个模态中提取特征是视频问答的挑战性方面之一。此外,问题通常只涉及视频的一小部分,因此使用递归神经网络对整个视频序列进行编码在计算上效率不高。我们提出的问题引导的视频表示模块有效地生成由问题中的每个单词引导的令牌级视频摘要。然后将学习到的表征与问题融合以生成答案。通过对视听场景感知对话(AVSD)数据集的实证评估,我们提出的模型在单轮和多轮问答中的几个自动自然语言生成评估指标上达到了最先进的性能。
2019-07-31 cs.CL
ComQA:Compositional Question Answering via Hierarchical Graph Neural Networks
Sogou Inc.(搜狗公司);Tsinghua University(清华大学)
随着深度学习技术和大规模数据集的发展,问答系统得到了快速的改进,能够提供更准确、更令人满意的答案。然而,当前的QA系统要么关注于测试级答案,即,答案选择或短语级答案,即,机器阅读理解。如何产生组合的答案还没有得到全面的研究。在组合式问答中,系统需要从文档中收集多个支持证据来生成最终答案,这比句子级或短语级QA更困难。在本文中,我们提出了一个大规模的组合问答数据集包含超过120k人类标记的问题。此数据集中的答案由相应文档中的不连续句子组成。为了解决ComQA问题,我们提出了一个分层的图神经网络,它表示从低级别的词到高级别的句子的文档。我们还设计了一个问题选择和节点选择任务的预训练。我们提出的模型实现了显着的改进,以前的机器阅读理解方法和预训练方法。代码和数据集见\url{https://github.com/benywon/ComQA}。
2021-01-16 cs.CL
Pretrained Transformers for Simple Question Answering over Knowledge Graphs
University of Bonn(波恩大学);Ruhr University Bochum(波鸿鲁尔大学);Fraunhofer IAIS(弗劳恩霍夫应用信息技术研究所)
在知识图谱上生成简单问题是问答中的一个研究热点。以前用于此任务的方法建立在基于递归和卷积神经网络的架构上,这些架构使用预训练的词嵌入。最近的研究表明,微调预训练的Transformer网络(例如BERT)可以在各种自然语言处理任务上优于以前的方法。在这项工作中,我们调查如何以及BERT执行SimpleQuestions,并提供了一个评估的BERT和BiLSTM为基础的模型,在codeparse方案。
2020-01-31 cs.AI cs.CL cs.LG
Computing Word Classes Using Spectral Clustering
The Hebrew University(希伯来大学)
词汇聚类是自然语言处理中的一个重要问题。词聚类用于处理统计语言处理中的稀疏数据,以及解决各种NLP任务(文本分类,问答,命名实体识别等)的功能。谱聚类是图像处理和语音识别领域中广泛使用的技术。然而,它几乎没有在NLP的上下文中进行过探索;特别是,本文中使用的方法(Meila和Shi,2001)从未被用于聚类一般词汇。我们将谱聚类应用于词汇,通过使用它们作为解决两个经典NLP任务的特征来评估所产生的聚类:语义角色标注和依存句法分析。我们比较性能与布朗聚类,一个广泛使用的词聚类技术,以及与其他聚类方法。我们表明,谱聚类产生类似的结果布朗集群,并优于其他聚类方法。此外,我们量化了光谱和布朗集群之间的重叠,表明每个模型都捕获了一些其他模型未捕获的信息。
2018-08-16 cs.CL
Contextual Word Representations: A Contextual Introduction
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
这篇介绍旨在讲述我们如何将文字输入计算机的故事。它是人工智能的一个分支自然语言处理(NLP)领域故事的一部分。它的目标受众广泛,对计算机编程有基本的了解,但避免了详细的数学处理,也没有提出任何算法。它也不关注NLP的任何特定应用,如翻译,问答或信息抽取。这里提出的想法是由许多研究人员在几十年中发展起来的,所以引用并不详尽,而是引导读者阅读一些论文,在作者看来,这些论文是开创性的。阅读本文档后,您应该对词向量(也称为词嵌入)有一个大致的了解:它们为什么存在,它们解决了什么问题,它们来自哪里,它们如何随着时间的推移而变化,以及关于它们的一些开放性问题是什么。对于已经熟悉词向量的读者,建议跳到第5节来讨论最新的进展,上下文词向量。
2020-04-17 cs.CL
Biomedical Question Answering via Weighted Neural Network Passage Retrieval
ETH Zurich(苏黎世联邦理工学院)
近年来,可公开获得的生物医学文献的数量一直在快速增长,然而问答系统仍在努力开发这种数据源的全部潜力。在初步处理步骤中,许多问答系统依赖于检索模型来识别相关文档和段落。提出了一种基于神经网络词嵌入的加权余弦距离检索方案。我们的实验基于BioASQ生物医学问答挑战赛的公开数据和任务,并在各种最先进的模型中表现出显着的性能提升。
2018-01-09 cs.AI cs.CL cs.IR
Is Sluice Resolution really just Question Answering?
水闸解析是一个系统需要输出相应的wh-椭圆的先行词的问题。先行词是省略在wh-词后面的内容,但使用上下文隐含地被提及。以前的工作框架水闸决议作为问答在此设置优于所有其以前的作品大幅度。省略和疑问句是指称依赖表达(照应),检索相应的先行词就像回答问题一样,输出澄清信息。然而,任务并没有完全解决。因此,我们想进一步调查是什么使水闸决议不同的问答,并填补错误的差距。我们还提出了一些结果,使用最近的国家的最先进的问答系统,提高了以前的工作(86.01至90.39 F1)。
2021-05-29 cs.AI cs.CL
UH-PRHLT at SemEval-2016 Task 3: Combining Lexical and Semantic-based Features for Community Question Answering
Universitat Politècnica de València(瓦伦西亚理工大学);University of Houston(休斯顿大学)
在这项工作中,我们描述了由休斯顿大学(UH)计算机科学系和模式识别和人类语言技术(PRHLT)研究中心- Universitat Polit`ecnica de Val` Valle:UH-PRHLT为SemEval 2016任务3的三个英语子任务构建的系统。我们的系统代表的实例,同时使用基于词汇和语义的文本对之间的相似性度量。我们的语义功能包括使用分布式表示的话,知识图谱生成的BabelNet多语言语义网络,和FrameNet词汇数据库。实验结果优于随机和谷歌搜索引擎基线在三个英语子任务。与其他任务参与者相比,我们的方法获得了子任务B的最高结果。
2018-07-30 cs.CL
Exploring the Effectiveness of Convolutional Neural Networks for Answer Selection in End-to-End Question Answering
David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学 David R. Cheriton 计算机科学学院);Department of Computer Science, University of Maryland(马里兰大学计算机科学系)
目前自然语言问答的大部分工作都集中在答案选择上:给定一个候选句子列表,确定哪个包含答案。答案选择虽然重要,但只是标准端到端问答管道中的一个阶段。本文探讨了卷积神经网络(CNN)在端到端环境中使用标准TrecQA数据集进行答案选择的有效性。我们观察到,一个简单的idf加权词重叠算法形成了一个非常强大的基线,尽管社区在应用深度学习来解决答案选择方面做出了大量努力,但在这个数据集上的收益充其量是适度的。此外,目前还不清楚CNN是否比基于标准检索指标的端到端上下文中的基线更有效。为了进一步探索这一发现,我们进行了手动用户评估,确认来自CNN的答案明显优于来自idf加权单词重叠的答案。这一结果表明,用户敏感的答案选择质量相对较小的差异。
2017-07-25 cs.CL cs.IR
A Comprehensive Comparative Study of Word and Sentence Similarity Measures
句子相似度是信息检索、问答和文本摘要等自然语言处理任务的基础。对比文本片段之间的语义是基于词语的语义特征及其相互关系。本文回顾了一组单词和句子相似性度量,并在基准数据集上进行了比较。在所研究的数据集上,结果表明,混合语义度量的性能优于基于知识和语料库的度量。
2016-02-17 cs.CL cs.IR
A Question Answering Approach to Emotion Cause Extraction
Shenzhen Graduate School, Harbin Institute of Technology(哈尔滨工业大学深圳研究生院);College of Mathematics and Computer Science, Fuzhou University(福州大学数学与计算机科学学院);School of Engineering and Applied Science, Aston University(阿斯顿大学工程与应用科学学院);Guangdong Provincial Engineering Technology Research Center for Data Science(广东省数据科学工程技术研究中心);Department of Computing, the Hong Kong Polytechnic University(香港理工大学计算学系)
情感原因抽取的目的是识别文本中表达的某种情感背后的原因。与情感分类相比,这是一项困难得多的任务。受深度记忆网络在问答中应用的最新进展的启发,我们提出了一种新的方法,将情感原因识别作为问答中的阅读理解任务。受卷积神经网络的启发,我们提出了一种新的机制,将相关的上下文存储在不同的内存槽中,以模拟上下文信息。我们提出的方法可以同时提取词级序列特征和词汇特征。性能评估表明,我们的方法达到了最先进的性能在最近发布的情绪原因数据集,超过了一些竞争基线的F-测量至少3.01%。
2017-09-24 cs.CL
Neural Mask Generator: Learning to Generate Adaptive Word Maskings for Language Model Adaptation
KAIST(韩国科学技术院);AITRICS(艾崔克斯)
我们提出了一种方法来自动生成一个域和任务自适应掩码的自监督预训练的给定文本,这样我们就可以有效地适应特定的目标任务(例如问答)的语言模型。具体而言,我们提出了一种新的基于强化学习的框架,该框架学习掩蔽策略,使得使用生成的掩码对目标语言模型进行进一步的预训练有助于提高对未见过文本的任务性能。我们使用非策略的actor-critic与熵正则化和经验重放进行强化学习,并提出了一个基于transformer的策略网络,可以考虑给定文本中单词的相对重要性。我们使用BERT和DistilBERT作为语言模型,通过自动学习最佳自适应掩码,在几个问答和文本分类数据集上验证了我们的神经掩码生成器(NMG),在这些数据集上,它优于基于规则的掩码策略。
2020-10-06 cs.AI cs.CL cs.LG
Let Me Know What to Ask: Interrogative-Word-Aware Question Generation
KAIST(韩国科学技术院)
问题生成(Question Generation,QG)是一项自然语言处理(Natural Language Processing,NLP)任务,有助于问答(Question Questioning,QA)和会话助理的发展。现有的模型专注于基于文本生成问题,并且可能是对所生成的问题的答案。他们需要确定要生成的疑问词的类型,同时必须注意问题的语法和词汇。在这项工作中,我们提出了疑问词感知问题生成(IWAQG),一个流水线系统由两个模块组成:一个疑问词分类器和QG模型。第一模块预测提供给第二模块以创建问题的疑问词。由于增加了决定用于生成的问题的疑问词的召回,所提出的模型在SQuAD中的QG任务上实现了新的最先进的结果,在BLEU-1中从46.58提高到47.69,在BLEU-4中从17.55提高到18.53,在METEOR中从21.24提高到22.33,在ROUGE-L中从44.53提高到46.94。
2019-10-30 cs.CL
UNCC Biomedical Semantic Question Answering Systems. BioASQ: Task-7B, Phase-B
UNC Charlotte(北卡罗来纳大学夏洛特分校)
在本文中,我们详细介绍了我们提交的2019年,第7年,BioASQ比赛。我们提出了我们的方法,任务-7b,B阶段,精确定位任务。这些问答(QA)任务包括模拟事实、是/否、列表类型问答。我们的系统是基于上下文的词嵌入模型。我们使用了双向编码器表示从Transformers(BERT)为基础的系统,微调生物医学问答任务,使用生物BERT。在第三批测试中,我们的系统取得了最高的MRR分数的仿真问答任务。此外,对于列表类型的问答任务,我们的系统在第四批测试中获得了最高的召回分数。随着我们的详细方法,我们提出了我们提交的结果,并强调了我们当前方法的缺点以及在未来实验中改进它们的方法。
2020-02-05 cs.CL cs.IR
DUAL: Discrete Spoken Unit Adaptive Learning for Textless Spoken Question Answering
National Taiwan University(国立台湾大学);Massachusetts Institute of Technology(麻省理工学院);Meta AI
口语问答(SQA)是从给定问题的口语文档中找到答案,这对于个人助理回答用户的查询至关重要。现有的SQA方法都依赖于自动语音识别(ASR)转录。ASR不仅需要使用大量注释数据进行训练,这些数据对于低资源语言来说是时间和成本高昂的,而且更重要的是,问题的答案通常包括无法正确识别的名称实体或词汇表外的单词。此外,ASR的目标是最大限度地减少所有单词的识别错误,包括许多与SQA任务无关的功能词。因此,尽管已知非常困难,但没有ASR转录本(无文本)的SQA总是非常理想的。这项工作提出了离散口语单元自适应学习(DUAL),利用未标记的数据进行预训练,并由SQA下游任务进行微调。口语回答的时间间隔可以直接从口语文档中预测。我们还发布了一个新的SQA基准语料库,NMSQA,用于更现实的场景数据。我们的经验表明,DUAL产生的结果与通过级联ASR和文本QA模型获得的结果相当,并且对真实世界的数据具有鲁棒性。我们的代码和模型将是开源的。
2022-06-21 cs.CL cs.SD eess.AS