Fine-tuning BERT for Low-Resource Natural Language Understanding via Active Learning
Institute for Applied Artificial Intelligence (IAAI)(应用人工智能研究所(IAAI));Hochschule der Medien Stuttgart(斯图加特媒体大学);Institute for Natural Language Processing (IMS)(自然语言处理研究所(IMS));University of Stuttgart(斯图加特大学)
最近,在下游利用预先训练的基于Transformer的语言模型,任务特定模型已经在自然语言理解任务中取得了先进的技术水平。然而,只有很少的研究探索了这种方法在低资源设置中的适用性,其中训练数据点少于1,000。在这项工作中,我们探索了BERT的微调方法-一个预先训练的基于Transformer的语言模型-通过利用基于池的主动学习来加快训练,同时保持标记新数据的成本不变。我们在GLUE数据集上的实验结果表明,当从未标记数据池中查询时,通过最大化模型的近似知识增益,模型性能具有优势。最后,我们展示并分析了在微调期间冻结语言模型的层以减少可训练参数的数量,使其更适合于低资源设置的好处。
2020-12-04 cs.CL
Empowering Language Models with Active Inquiry for Deeper Understanding
Nanjing University(南京大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
本文提出 LaMAI 框架,利用主动学习技术让语言模型主动提问以澄清用户意图,在复杂数据集上将答案准确率从 31.9% 提升至 50.9%,并优于基线方法。
2024-02-06 cs.AI cs.CL
Discrete Word Embedding for Logical Natural Language Understanding
MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室);IBM Research(IBM研究院)
我们提出了一个无监督的神经模型,用于学习单词的离散嵌入。与现有的离散嵌入不同,我们的二进制嵌入支持类似于连续嵌入的向量算术运算。我们的嵌入表示每个词作为一组命题语句描述的过渡规则在经典/CIPPS规划形式主义。这使得嵌入直接兼容的象征性,国家的最先进的经典规划求解器。
2020-10-15 cs.AI cs.CL
Towards More Robust Natural Language Understanding
The Ohio State University(俄亥俄州立大学)
自然语言理解(NLU)是自然语言处理(NLP)的一个分支,它使用智能计算机软件来理解编码人类知识的文本。近年来,使用深度学习技术的各种NLU任务取得了显着进展,特别是使用预训练的语言模型。除了提出更先进的模型架构之外,构建更可靠和值得信赖的数据集在改进NLU系统方面也发挥着巨大的作用,没有这些数据集就不可能训练出一个像样的NLU模型。值得注意的是,人类理解自然语言的能力是灵活和健壮的。相反,大多数现有的NLU系统无法在域外数据上实现期望的性能,或者在处理具有挑战性的项目(例如,固有的模糊项、对抗项)。因此,为了使NLU模型更有效地理解人类语言,预计将优先考虑鲁棒自然语言理解的研究。在本文中,我们认为自然语言理解系统由两部分组成:自然语言理解模型和自然语言理解数据集。因此,我们认为,为了实现强大的NLU,模型架构/训练和数据集同样重要。具体来说,我们将专注于三个NLU任务,以说明不同NLU任务中的鲁棒性问题和我们的贡献(即,新模型和新数据集)来帮助实现更健壮的自然语言理解。展望未来,强大的自然语言理解的最终目标是构建能够表现出人性化的NLU模型。也就是说,预计健壮的NLU系统能够更可靠地将知识从训练语料库转移到看不见的文档中,并且在遇到具有挑战性的项目时能够生存下来,即使系统不知道用户输入的先验。
2022-02-27 cs.AI cs.CL
Natural Context Drift Undermines the Natural Language Understanding of Large Language Models
Department of Computer Science, University of Manchester(曼彻斯特大学计算机科学系);Imperial College London, Imperial Global Singapore(伦敦帝国学院,帝国全球新加坡)
该研究提出框架整理自然演化的阅读段落变体并分析其与预训练内容的语义相似性,发现文本自然演化会导致大语言模型问答准确率显著下降,揭示了自然上下文漂移对LLM语言理解能力的挑战。
2025-09-01 cs.AI cs.CL
Active Video Perception: Iterative Evidence Seeking for Agentic Long Video Understanding
Salesforce AI Research(Salesforce AI研究院);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出了一种主动视频感知框架AVP,通过迭代计划-观察-反思过程,主动决定视频内容的观察目标和时间,以提高长视频理解的准确性和效率。
2026-06-04 cs.AI cs.CL cs.CV
Meta Semantics: Towards better natural language understanding and reasoning
Institute of Computing and Mathematical Sciences(计算与数学科学研究所);University of Leicester(莱斯特大学)
针对 LLM 逻辑推理弱且存在 OOV 问题、规则方法又难以处理非正式文本的矛盾,本文受语用学与结构主义启发,提出两种 OOV 解决策略和一个语义模型,以兼顾自然语言理解与推理。
2023-04-20 cs.AI cs.CL
A Generative Model for Joint Natural Language Understanding and Generation
University of Cambridge(剑桥大学);Apple(苹果公司)
自然语言理解(NLU)和自然语言生成(NLG)是构建面向任务的对话系统的两个基本且相关的任务,它们具有相反的目标:NLU处理从自然语言到形式表示的转换,而NLG则相反。在任一任务中成功的关键是并行训练数据,其大规模获得是昂贵的。在这项工作中,我们提出了一个生成模型,该模型通过共享潜变量将NLU和NLG耦合起来。这种方法允许我们探索自然语言和形式表示的空间,并通过潜在空间促进信息共享,最终使NLU和NLG受益。我们的模型在两个对话数据集上实现了最先进的性能,具有平面和树结构的正式表示。我们还表明,该模型可以通过利用未标记的数据以半监督的方式进行训练,以提高其性能。
2020-06-12 cs.AI cs.CL
Uncertainty Sentence Sampling by Virtual Adversarial Perturbation
Zuoyebang Education Technology (Beijing) Co., Ltd(作业帮教育科技(北京)有限公司)
句子理解的主动学习试图通过识别信息量最大的示例来降低注释成本。主动学习的常用方法在基于池的场景中使用不确定性或多样性采样。在这项工作中,为了结合预测不确定性和样本多样性,我们提出了主动学习的虚拟对抗扰动(VAPAL),这是一种不确定性-多样性组合框架,使用虚拟对抗扰动(Miyato et al.,2019)作为模型不确定性表示。VAPAL在四个句子理解数据集上的表现一直与强基线一样好,甚至更好:AGNEWS,IMDB,PUBMED和SST-2,为句子理解任务的主动学习提供了一个潜在的选择。
2022-10-27 cs.CL
Understanding Syllogistic Reasoning in LLMs from Formal and Natural Language Perspectives
本文从形式和自然语言角度研究大语言模型的三段论推理能力,通过测试14种模型的符号推理和自然语言理解,探讨大语言模型是否正向形式化推理机制发展。
2025-12-29 cs.AI cs.CL
Unified BERT for Few-shot Natural Language Understanding
International Digital Economy Academy(国际数字经济学院);South China University of Technology(华南理工大学)
即使预先训练的语言模型共享语义编码器,自然语言理解也会受到输出模式多样性的影响。本文在BERT框架的基础上,提出了一种统一的双向语言理解模型UBERT,它可以通过一个双仿射网络对不同自然语言理解任务的训练对象进行统一建模。具体而言,UBERT从各个方面对先验知识进行编码,统一构建跨多个NLU任务的学习表示,有利于增强捕捉共同语义理解的能力。通过使用双仿射来建模原始文本的开始和结束位置的分数对,可以将各种分类和提取结构转换为通用的跨度解码方法。实验表明,UBERT在2022 AIWIN -世界人工智能创新大赛、中国保险Few-Shot多任务赛道中斩获一等奖,实现了广泛信息抽取和语言推理任务的统一。
2022-08-13 cs.AI cs.CL
Language Model is All You Need: Natural Language Understanding as Question Answering
Amazon Alexa AI(亚马逊Alexa人工智能部门)
不同风格的迁移学习在推进机器学习的研究和应用方面表现出巨大的影响。在这项工作中,我们研究了使用一个特定的家庭的迁移学习,目标域映射到源域。具体来说,我们映射自然语言理解(NLU)的问题,翻译(QA)的问题,我们表明,在低数据制度,这种方法提供了显着的改进相比,其他方法NLU。此外,我们表明,这些收益可以通过连续的迁移学习从不同领域的NLU问题。我们表明,我们的方法可以减少所需的数据量相同的性能高达10倍。
2020-11-05 cs.AI cs.CL
Why Robust Natural Language Understanding is a Challenge
Heriot-Watt University(赫瑞-瓦特大学);University of Edinburgh(爱丁堡大学);University of Strathclyde(思克莱德大学)
随着深度机器学习在现实生活中的应用,这项技术的一个特殊属性引起了人们的注意:鲁棒性神经网络众所周知的低鲁棒性,并且对小的输入扰动高度敏感。近年来,人们提出了许多检验网络鲁棒性的方法,但这些方法主要应用于计算机视觉。在本文中,我们提出了一个验证规范的自然语言理解分类的基础上更大的区域的利益,我们讨论了这样的任务的挑战。我们观察到,虽然数据几乎是线性可分的,验证者的斗争,输出积极的结果,我们解释的问题和影响。
2022-07-13 cs.AI cs.CL
Natural Language Understanding Based on Semantic Relations between Sentences
Kim Il Sung University(金日成综合大学)
本文定义了自然语言句子上的事件表示和事件之间的语义关系。在此基础上,我们形式化地考虑了以事件为基本单位的文本理解过程。
2012-12-19 cs.CL
Active Learning for Natural Language Generation
IBM Research AI(IBM研究院人工智能部门)
针对自然语言生成标注数据稀缺问题,首次系统研究主动学习在生成任务中的应用,发现现有策略性能不稳定,并分析了分类与生成场景差异,为探索新方法提供了动机。
2023-10-17 cs.CL
Deep Bayesian Active Learning for Natural Language Processing: Results of a Large-Scale Empirical Study
Carnegie Mellon University(卡内基梅隆大学)
最近的几篇论文研究了主动学习(AL),以减轻深度学习对自然语言处理的数据依赖。然而,AL的适用性,以现实世界的问题仍然是一个悬而未决的问题。虽然在监督学习中,实践者可以尝试许多不同的方法,在选择模型之前对每个方法进行验证,但AL没有这样的奢侈。在一次AL运行过程中,代理注释其数据集,耗尽其标记预算。因此,给定一个新的任务,主动学习者没有机会比较模型和习得功能。本文提供了深度主动学习的大规模实证研究,解决了多个任务,每个任务都有多个数据集,多个模型和一整套采集功能。我们发现,在所有设置中,贝叶斯主动学习的分歧,使用不确定性估计提供的辍学或贝叶斯Backprop显着提高了i.i.d.通常优于经典的不确定性抽样。
2018-09-24 cs.CL cs.LG stat.ML
Investigating Multi-source Active Learning for Natural Language Inference
University of Amsterdam(阿姆斯特丹大学);Stanford University(斯坦福大学);University of Sheffield(谢菲尔德大学)
近年来,主动学习已成功地应用于一系列的NLP任务。然而,以前的工作通常假设训练和测试数据来自相同的分布。这是有问题的,因为在现实生活中,数据可能来自不同相关性和质量的几个来源。我们发现,四个流行的主动学习计划未能优于随机选择时,适用于由多个数据源组成的未标记池的任务上的自然语言推理。我们发现,基于不确定性的策略表现不佳,由于收购集体离群值,即,难以学习的实例,妨碍学习和概括。当离群值被移除时,发现策略可以恢复并优于随机基线。在进一步的分析中,我们发现集体离群值在不同来源之间的形式不同,并表明难以学习的数据并不总是绝对有害的。最后,我们利用数据集制图来引入难度分层测试,并发现不同的策略受到示例可学习性和难度的不同影响。
2023-02-14 cs.CL
Active Learning Over Multiple Domains in Natural Language Tasks
Apple(苹果公司);MIT(麻省理工学院);Berkeley(加州大学伯克利分校)
主动学习的研究传统上假设目标数据和源数据来自单一领域。然而,在实际应用中,从业者通常需要使用多个分布外数据源进行主动学习,其中先验地不清楚哪些数据源将帮助或损害目标域。我们调查了各种各样的技术在主动学习(AL),域偏移检测(DS),和多域采样,以检查这个具有挑战性的设置为问答和情感分析。我们要问:(1)什么样的方法对这项任务有效?以及,(2)所选的例子和域的哪些属性实现了强结果?在来自4个方法家族的18个采集函数中,我们发现H-Divergence方法,特别是我们提出的变体DAL-E,产生了有效的结果,平均比随机基线提高了2-3%。我们还显示了一个不同的分配域的重要性,以及现有的方法域和例子选择的改进空间。我们的研究结果产生了第一个全面的分析现有的和新的方法,从业者面临多领域的主动学习自然语言任务。
2022-02-08 cs.CL cs.LG
Meta-Learning for Natural Language Understanding under Continual Learning Framework
New York University(纽约大学)
神经网络在处理各种自然语言理解(NLU)任务方面的成就已得到公认。已经开发了方法来训练鲁棒模型以处理多个任务以获得文本的一般表示。在本文中,我们实现了模型不可知的元学习(MAML)和在线感知元学习(OML)的元目标下的连续框架的自然语言理解任务。我们验证我们的方法在选定的SuperGLUE和GLUE基准。
2020-11-03 cs.AI cs.CL cs.LG
Dual Supervised Learning for Natural Language Understanding and Generation
National Taiwan University(台湾大学)
自然语言理解(NLU)和自然语言生成(NLG)都是自然语言处理领域的重要研究课题。自然语言理解是从给定的话语中提取出核心语义,而自然语言生成则与之相反,其目标是根据给定的语义构造相应的句子。然而,这种双重关系在文献中还没有被研究。本文在双监督学习的基础上,提出了一种新的语言理解和生成的学习框架,提供了一种利用二元性的方法。初步实验表明,所提出的方法提高了这两个任务的性能。
2020-04-30 cs.CL
Pre-trained Language Model Based Active Learning for Sentence Matching
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Alibaba AI Labs(阿里巴巴人工智能实验室)
主动学习能够显著降低数据驱动技术的注释成本。然而,以往的自然语言处理的主动学习方法主要依赖于基于熵的不确定性准则,忽略了自然语言的特点。本文提出了一种基于预训练语言模型的主动学习句子匹配方法。与以往的主动学习不同,它可以提供语言标准来衡量实例,并帮助选择更有效的实例进行注释。实验表明,我们的方法可以实现更高的准确性与更少的标记训练实例。
2020-10-12 cs.CL
Practical Approach to Knowledge-based Question Answering with Natural Language Understanding and Advanced Reasoning
本研究假设,一种实用的方法,以一个解决方案框架的形式被称为自然语言理解和推理的智能(NaLURI),它结合了全话语自然语言理解,强大的表示形式主义,能够利用本体信息和推理方法与先进的功能,将解决以下问题,而不损害实用性因素:1)对问题和响应的性质的限制,以及2)对跨域扩展和对现实生活中的自然语言文本的限制。
2007-07-24 cs.AI cs.CL cs.HC
Incrementalizing RASA's Open-Source Natural Language Understanding Pipeline
Boise State University(博伊西州立大学)
随着口语对话系统和聊天机器人的广泛采用,用于自然语言理解的商业和开源服务正在出现。在本文中,我们解释了我们如何改变开源RASA自然语言理解管道以增量方式处理(即,逐词),遵循Schlangen和Skantze提出的增量单元框架。为此,我们更改了现有的RASA组件以增量方式处理,并将更新增量意图识别模型作为组件添加到RASA中。我们对Snips数据集的评估表明,我们的变化允许RASA作为一个有效的增量自然语言理解服务。
2019-07-11 cs.CL
Natural language understanding for logical games
Department of Computer Science, Technical University of Cluj-Napoca(克卢日-纳波卡技术大学计算机科学系)
我们开发了一个能够自动解决自然语言的逻辑难题的系统。我们的解决方案是由一个解析器和一个推理模块。解析器将文本转换为一阶逻辑(FOL),而MACE 4模型查找器用于计算给定FOL理论的模型。我们还赋予我们的软件代理提供是/否的答案与每个难题相关的自然语言问题的能力。此外,根据解释人工智能(XAI),代理可以支持其答案,提供证明的图形表示。使用推理来进行自然语言理解(NLU)而不是机器学习的优点在于,用户可以获得推理链的解释。我们说明了系统如何执行各种类型的自然语言难题,包括382骑士和无赖难题。这些功能与80.89\%的整体性能率一起,使所提出的解决方案的改进后,类似的解决方案的自然语言理解的难题域。
2021-10-01 cs.AI cs.CL cs.LO
Understanding scholarly Natural Language Processing system diagrams through application of the Richards-Engelhardt framework
University of Manchester(曼彻斯特大学)
我们利用Richards-Engelhardt框架作为理解自然语言处理系统图的工具。通过四个例子,从学术会议,我们发现,这个生态和复杂的域的框架的应用是有效的,反映这些图。我们主张用词汇来描述图表中的多重编码、符号变异性以及视觉编码原则的不一致或滥用。此外,对于学术自然语言处理系统的应用,也许更广泛的系统图,我们建议增加“对象的”作为一个新的视觉编码原则,和“强调”作为一个新的视觉编码类型。
2020-08-26 cs.AI cs.CL cs.HC
A Pragmatics-Centered Evaluation Framework for Natural Language Understanding
KU Leuven(鲁汶大学);IRIT (University of Toulouse)(图卢兹大学信息技术与交互研究所)
自然语言理解的新模型最近取得了前所未有的进展,这使得一些研究人员提出,模型诱导通用的文本表示。然而,目前的基准主要是针对语义现象,我们的情况下,语用学需要采取的中心舞台在评估自然语言的理解。我们介绍了PragmEval,一个新的基准评估自然语言理解,团结11语用为重点的评估数据集英语。PragmEval可以在多任务学习设置中用作补充训练数据,并且是公开可用的,以及用于收集和预处理数据集的代码。使用我们的评估套件,我们表明,自然语言推理,一个广泛使用的预训练任务,不会导致真正的通用表示,这对多任务学习提出了新的挑战。
2022-04-04 cs.CL
ALICE: Active Learning with Contrastive Natural Language Explanations
Stanford University(斯坦福大学);University of California, Davis(加州大学戴维斯分校)
训练监督神经网络分类器通常需要许多带注释的训练样本。收集和注释大量的数据点是昂贵的,有时甚至是不可行的。传统的标注过程使用低带宽的人机通信接口:分类标签,每个标签只提供几个比特的信息。我们提出了主动学习与对比解释(ALICE),一个专家在环训练框架,利用对比自然语言解释,以提高学习中的数据效率。ALICE学会首先使用主动学习来选择信息量最大的标签类对,以从专家那里引出对比性的自然语言解释。然后使用语义解析器从这些解释中提取知识。最后,它通过动态改变学习模型的结构来整合提取的知识。我们应用ALICE在两个视觉识别任务,鸟类物种分类和社会关系分类。我们发现,通过结合对比解释,我们的模型优于用多40-100%的训练数据训练的基线模型。我们发现,增加1个解释导致与增加13-30个标记的训练数据点类似的性能增益。
2020-09-22 cs.CL cs.CV cs.HC
Knowledge-driven Natural Language Understanding of English Text and its Applications
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Universidad Rey Juan Carlos(胡安卡洛斯国王大学)
理解文本的意义是自然语言理解研究的一个基本挑战。一个理想的NLU系统应该以一种不专属于单个任务或数据集的方式来处理语言。考虑到这一点,我们介绍了一种新的知识驱动的语义表示方法的英语文本。通过利用VerbNet词典,我们能够将文本的语法树映射到使用基本知识原语表示的常识意义。从我们的方法表示的通用知识可以用来构建任何基于推理的NLU系统,也可以提供理由。我们应用这种方法来构建两个NLU应用程序,我们在这里介绍:SQuARE(基于语义的问答和推理引擎)和StaCACK(有状态会话代理使用常识知识)。这两个系统都通过“真正理解”它们处理的自然语言文本来工作,并且都为它们的响应提供自然语言解释,同时保持高准确性。
2021-01-27 cs.AI cs.CL cs.LO
Semantics-Aware Inferential Network for Natural Language Understanding
Shanghai Jiao Tong University(上海交通大学)
对于自然语言理解任务,无论是机器阅读理解还是自然语言推理,语义感知和推理都是相关建模的有利特征,以获得更好的理解性能。因此,我们提出了一个语义感知推理网络(SAIN),以满足这样的动机。SAIN的推理模块以显式语境化语义作为补充输入,通过注意力机制对语义线索进行一系列推理。通过串接这些步骤,推理网络有效地学习执行迭代推理,该迭代推理结合了显式语义和上下文表示。在良好的预训练语言模型作为前端编码器方面,我们的模型在包括机器阅读理解和自然语言推理在内的11个任务上取得了显着的改进。
2020-04-28 cs.CL
MeDAL: Medical Abbreviation Disambiguation Dataset for Natural Language Understanding Pretraining
McGill University(麦吉尔大学);Facebook(脸书);Mila – Quebec Artificial Intelligence Institute(米拉——魁北克人工智能研究所)
禁止在临床环境中使用许多当前NLP方法的最大挑战之一是公共数据集的可用性。在这项工作中,我们提出了MeDAL,一个大型的医疗文本数据集策划的缩写消歧,专为医学领域的自然语言理解预训练。我们在这个数据集上预训练了几个常见架构的模型,并根据经验表明,在对下游医疗任务进行微调时,这种预训练可以提高性能和收敛速度。
2020-12-27 cs.AI cs.CL cs.LG
Using Natural Language Processing to Screen Patients with Active Heart Failure: An Exploration for Hospital-wide Surveillance
Northwestern University Feinberg School of Medicine(西北大学范伯格医学院)
在本文中,我们提出了两种不同的方法,基于规则的方法和基于机器学习的方法,通过分析电子健康记录(EHR)自动识别活动性心力衰竭病例。对于基于规则的方法,我们从临床笔记中提取心血管数据元素,并使用心力衰竭专家提供的规则根据患者的心力衰竭状况将患者匹配到不同的颜色。准确率为69.4%,F1评分为0.729。对于机器学习方法,以临床笔记的二元组作为特征,我们尝试了四种不同的模型,而具有线性核的SVM以87.5%的准确率和0.86 F1-Score实现了最佳性能。此外,从四种不同模型之间的分类比较,我们认为,线性模型更适合这个问题。一旦我们将机器学习和基于规则的算法结合起来,我们将通过提高输出的准确性和可解释性来实现医院范围内对活动性心力衰竭的监测。
2016-09-06 cs.CL cs.CY
Towards Coinductive Models for Natural Language Understanding. Bringing together Deep Learning and Deep Semantics
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
这篇文章包含了一个建议,增加共归纳的计算装置的自然语言的理解。我们认为,这将提供一个更现实的,计算上的声音,和可扩展的模型的自然语言对话,语法和语义的基础。鉴于自自底向上的、归纳构建的语义和句法结构是脆弱的,似乎无法充分表示较长句子或现实对话的意义,自然语言理解需要一个新的基础。共归纳法使用自顶向下的约束,已成功地用于操作系统和程序设计语言的设计中。此外,隐含地它已经出现在文本挖掘,机器翻译,并在一些尝试建模的意图和模态,这提供了证据,它的工作。本文展示了其中一些用途的高级形式化。由于共归纳和归纳可以共存,它们可以为自然语言理解的研究提供一种共同的语言和概念模型。特别是,这样的机会似乎正在出现在研究组合性。本文给出了自然语言处理中归纳与共归纳共同出现的几个例子。我们认为,已知的个人的局限性,归纳和共归纳可以克服在经验设置的两种方法相结合。我们看到一个开放的问题,在提供一个理论,他们的共同使用。
2020-12-09 cs.AI cs.CL cs.LG
Imagination-Augmented Natural Language Understanding
University of California, Santa Barbara(加州大学圣巴巴拉分校);University of California, Santa Cruz(加州大学圣克鲁兹分校)
人脑同时整合语言信息和知觉信息来理解自然语言,并具有批判性的想象能力。这种能力使我们能够构建新的抽象概念或具体对象,并且在涉及实践知识以解决低资源场景中的问题时至关重要。然而,大多数现有的自然语言理解(NLU)方法主要集中在文本信号。它们没有模拟人类的视觉想象能力,这阻碍了模型从有限的数据样本中进行有效的推理和学习。因此,我们引入了一个想象增强的跨模态编码器(iACE),以解决自然语言理解任务从一个新的学习视角-增强的跨模态理解。iACE通过从强大的生成和预训练的视觉和语言模型转移的外部知识实现视觉想象。在GLUE和SWAG上的大量实验表明,iACE在视觉监督的预训练模型上实现了一致的改进。更重要的是,极端和正常Few-Shot设置的结果验证了iACE在低资源自然语言理解环境中的有效性。
2022-05-03 cs.CL
Robustly Optimized and Distilled Training for Natural Language Understanding
在本文中,我们探索多任务学习(MTL)作为第二个预训练步骤,学习增强通用语言表示的Transformer语言模型。我们在几个自然语言理解任务中使用MTL增强表示来提高性能和泛化能力。此外,我们将知识蒸馏(KD)在MTL中,以进一步提高性能,并设计一个KD变体,有效地从多个教师学习。通过结合MTL和KD,我们提出了鲁棒优化和蒸馏(ROaD)建模框架。我们使用ROaD与ELECTRA模型一起获得机器阅读理解和自然语言推理的最新结果。
2021-03-16 cs.CL
DoubleTransfer at MEDIQA 2019: Multi-Source Transfer Learning for Natural Language Understanding in the Medical Domain
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
本文介绍了我们参加MEDIQA-2019竞赛的竞争系统。我们使用多源迁移学习方法将MT-DNN和SciBERT的知识迁移到医学领域的自然语言理解任务中。对于迁移学习微调,我们对一般和医疗领域的NLI、RQE和QA任务使用多任务学习来提高性能。所提出的方法被证明是有效的自然语言理解在医学领域,我们排名第一的QA任务。
2019-06-11 cs.CL
Natural Language Understanding with Distributed Representation
Center for Data Science, New York University(纽约大学数据科学中心)
这是< Natural Language Understanding with Distributed Representation>2015年秋季纽约大学数据科学中心DS-GA 3001课程的讲义。正如课程名称所示,本课堂讲稿向读者介绍了一种基于神经网络的自然语言理解/处理方法。为了使它尽可能独立,我花了很多时间描述机器学习和神经网络的基础知识,然后才介绍它们如何用于自然语言。在语言方面,我几乎只专注于语言建模和机器翻译,其中两个我个人认为是最吸引人的,也是自然语言理解的基础。
2015-11-24 cs.CL stat.ML
An Analysis of Negation in Natural Language Understanding Corpora
University of North Texas(北德克萨斯大学);Thomson Reuters(汤森路透);Arizona State University(亚利桑那州立大学)
本文分析了八个流行的语料库,跨越六个自然语言理解任务的否定。我们发现,这些语料库有几个否定相比,通用英语,和少数否定在他们往往不重要。事实上,人们往往可以忽略否定,仍然做出正确的预测。此外,实验结果表明,用这些语料库训练的最先进的Transformers在包含否定的实例中获得了更差的结果,特别是如果否定很重要的话。我们的结论是,新的语料库会计否定需要解决自然语言理解任务时,否定是存在的。
2022-03-16 cs.CL
Object-oriented semantics of English in natural language understanding system
Institute of Cybernetics of NAS of Ukraine(乌克兰国家科学院控制论研究所)
提出了一种解决自然语言理解问题的新方法。所考虑的知识领域是人们的社会行为。英语句子被翻译成语义数据库的一组谓词,这些谓词描述人、职业、组织、项目、动作、事件、消息、机器、事物、动物、动作的位置和时间、对象之间的关系、思想、因果关系、抽象对象。有一个知识库,包含对象(功能和结构),动作(动机和原因)和操作的语义描述。
2011-09-27 cs.CL
Deep Human Answer Understanding for Natural Reverse QA
Tianjin University(天津大学);University of Michigan(密歇根大学)
本研究的重点是一个反向的问答(QA)程序,其中机器主动提出问题和人类提供的答案。这个过程存在于许多真实的人机交互应用中。然而,人机交互中的一个关键问题是答案理解。现有的解决方案依赖于强制性选项术语选择来避免自动答案理解。然而,这些解决方案导致了不自然的人机交互,并且负面地影响了用户体验。为此,目前的研究提出了一种新的深度答案理解网络,称为AntNet,用于反向QA。该网络由三个新的模块组成,即,骨架注意问题,相关意识的答案表示,和基于多跳的融合。由于逆向问答的答案理解还没有被探索,一个新的数据语料库,在本研究中编译。实验结果表明,我们提出的网络是显着优于现有的方法和那些从经典的自然语言处理深度模型修改。三个新模块的有效性也得到了验证。
2020-11-29 cs.AI cs.CL cs.LG
Extreme Model Compression for On-device Natural Language Understanding
Amazon Alexa(亚马逊Alexa)
在本文中,我们提出并试验了神经自然语言理解(NLU)模型的极端压缩技术,使其适合在资源受限的设备上执行。我们提出了一种任务感知的端到端压缩方法,该方法与NLU任务学习联合执行单词嵌入压缩。我们在一个大规模的商业NLU系统上展示了我们的结果,该系统训练了一组具有巨大词汇量的各种意图。我们的方法优于一系列基线,实现了97.4%的压缩率,预测性能下降不到3.7%。我们的分析表明,来自下游任务的信号对于以最小的性能退化进行有效压缩是重要的。
2020-11-30 cs.AI cs.CL cs.LG
Entity Aware Syntax Tree Based Data Augmentation for Natural Language Understanding
Nanyang Technological University(南洋理工大学);North Carolina State University(北卡罗来纳州立大学)
理解用户的意图并从其句子中识别语义实体,也称为自然语言理解(NLU),是许多自然语言处理任务的上游任务。主要挑战之一是收集足够数量的带注释的数据来训练模型。现有的文本增强研究没有充分考虑实体,因此在自然语言理解任务中表现不佳。为了解决这个问题,我们提出了一种新的NLP数据增强技术,实体感知数据增强(EADA),它采用了一个树结构,实体感知树(EAST),表示句子结合实体上的注意。我们的EADA技术从少量的注释数据中自动构建EAST,然后生成大量的训练实例用于意图检测和槽填充。在4个数据集上的实验结果表明,该方法在准确率和泛化能力方面均明显优于现有的数据增强方法.
2022-09-06 cs.AI cs.CL cs.LG
Targeted Adversarial Training for Natural Language Understanding
Ochanomizu University(御茶水女子大学);Microsoft Research(微软研究院)
我们提出了一个简单而有效的有针对性的对抗训练(TAT)算法,以提高对抗训练自然语言理解。关键思想是反思当前的错误,并将对抗训练步骤优先考虑到模型错误最多的地方。实验表明,TAT可以显着提高GLUE上的标准对抗训练的准确性,并在XNLI上获得新的最先进的zero-shot结果。我们的代码将在https://github.com/namisan/mt-dnn上发布。
2021-04-12 cs.CL
Concept Tagging for Natural Language Understanding: Two Decadelong Algorithm Development
University of Trento(特伦托大学);VUI, Inc.(VUI公司)
概念标注是自然语言理解(NLU)系统所需要的一种结构化学习。在这个任务中,从一个领域本体的意义标签被分配到单词序列。在本文中,我们回顾了过去二十五年来开发的算法。我们在两个公共数据集上对生成、判别和深度学习方法进行了比较评估。我们报告的统计变异性能测量。第三个贡献是发布了用于NLU评估的算法,数据集和配方的存储库。
2018-07-27 cs.CL
Leveraging Affirmative Interpretations from Negation Improves Natural Language Understanding
University of North Texas(北得克萨斯大学);University of Arizona(亚利桑那大学);Amazon(亚马逊)
否定在许多自然语言理解任务中构成了挑战。受这一事实的启发,理解否定的语句往往需要人类推断肯定的解释,在本文中,我们表明,这样做的好处模型三个自然语言理解任务。我们提出了一个自动化的过程来收集对句子的否定和肯定的解释,导致超过150,000对。实验结果表明,利用这些对有助于(a)T5生成肯定的解释从否定在以前的基准,和(b)基于RoberTa的分类器解决自然语言推理的任务。我们还利用我们的配对来构建一个即插即用的神经生成器,该神经生成器给出否定的陈述,生成肯定的解释。然后,我们将预训练的生成器纳入基于RoberTa的分类器进行情感分析,并表明这样做可以改善结果。最重要的是,我们的建议不需要任何手动操作。
2022-10-26 cs.CL
Multi-task learning to improve natural language understanding
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Institute for Anthropomatics and Robotics(人类工程学与机器人学研究所)
最近,序列到序列神经网络架构的进步已经导致了自然语言理解的改进。在构建基于神经网络的自然语言理解组件时,一个主要挑战是收集足够的训练数据。合成数据集的生成是一种廉价而快速的数据收集方法。由于这些数据通常比真实的自然语言具有更少的多样性,因此神经网络在测试期间通常难以推广到不可见的话语。在这项工作中,我们通过使用多任务学习来应对这一挑战。我们训练域外真实数据和域内合成数据,以提高对自然语言的理解。我们评估这种方法在航空公司的旅游信息领域与两个合成数据集。作为域外真实数据,我们测试了两个基于电影和连续剧字幕的数据集。通过使用基于注意力的编码器-解码器模型,我们能够在较小的合成数据集中将强基线上的F1分数从80.76%提高到84.98%。
2019-02-15 cs.CL
Intent Features for Rich Natural Language Understanding
Interactions;University of Copenhagen(哥本哈根大学)
对话系统中的复杂自然语言理解模块具有对用户话语的更丰富的理解,并且因此在提供更好的用户体验方面是至关重要的。然而,这些模型通常是为特定的客户端和用例从头开始创建的,并且需要对大型数据集进行注释。这鼓励在多个客户端之间共享带注释的数据。为了促进这一点,我们引入了意图特征的概念:只能从句法线索中学习的意图的域和主题不可知属性,因此可以共享。我们引入了一种新的神经网络架构,全局-局部模型,该模型在部署的多意图自然语言理解模块中识别这些特征的强基线上显示出显着的改进,并且更一般地说,在分类设置中,必须利用整个上下文对话语的一部分进行分类。
2021-04-21 cs.CL
Fast and Scalable Expansion of Natural Language Understanding Functionality for Intelligent Agents
智能虚拟代理的自然语言功能的快速扩展对于实现具有吸引力和信息量的交互至关重要。然而,为新的自然语言领域开发精确的模型是一个时间和数据密集型的过程。我们提出了高效的深度神经网络架构,通过迁移学习最大限度地重用可用资源。我们的方法被应用于扩大一个流行的商业代理的理解能力,并评估了数百个新的域,由内部或外部开发人员设计。我们证明,我们提出的方法显着提高了低资源设置的准确性,并使快速开发的准确模型与更少的数据。
2018-05-03 cs.CL
Semi-Supervised Neural Text Generation by Joint Learning of Natural Language Generation and Natural Language Understanding Models
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
在自然语言生成(NLG)中,通过深度学习训练的端到端(E2E)系统最近引起了人们的强烈兴趣。这种深度模型需要大量仔细注释的数据才能达到令人满意的性能。然而,为每个新的NLG应用程序获取这样的数据集是一项繁琐而耗时的任务。在本文中,我们提出了一种半监督深度学习方案,可以从未注释的数据和注释的数据中学习。它使用NLG和自然语言理解(NLU)序列到序列模型,这些模型是联合学习的,以弥补注释的不足。在两个基准数据集上的实验表明,在有限的标注数据量下,该方法可以在不使用任何预处理或重新评分技巧的情况下获得非常有竞争力的结果。这些发现为利用非注释数据集开辟了道路,这是E2E NLG系统开发新应用的当前瓶颈。
2019-09-29 cs.CL
Towards the Rapid Development of a Natural Language Understanding Module
Instituto Superior Técnico(高等技术学院);INESC-ID
在开发会话代理时,通常迫切需要有一个可用的原型,以便与真实用户一起测试应用程序。一个绿野仙踪是可能的,但有时代理应该简单地部署在环境中,它将被使用。在这里,代理应该能够捕获尽可能多的交互,并了解人们对失败的反应。在本文中,我们专注于快速开发的自然语言理解模块的非专家。我们的方法遵循学习范式,并将理解自然语言的过程视为一个分类问题。我们测试我们的模块与会话代理,回答问题,在艺术领域。此外,我们展示了如何使用我们的方法可以由一个自然语言接口的电影数据库。
2013-02-06 cs.CL
Back Transcription as a Method for Evaluating Robustness of Natural Language Understanding Models to Speech Recognition Errors
Adam Mickiewicz University, Poznań(亚当·密茨凯维奇大学);Samsung Research Poland(三星电子波兰研究院)
本文提出一种结合反向转录与细粒度错误分类的方法,利用合成语音评估语音识别错误对自然语言理解模型性能的影响,并证实合成语音可替代真实音频。
2023-10-25 cs.AI cs.CL cs.SD
OPAD: An Optimized Policy-based Active Learning Framework for Document Content Analysis
Adobe Research(奥多比研究院);IIT Roorkee(印度理工学院鲁尔基分校)
文档是许多业务系统的核心,包括表单、报告、合同、发票或采购订单。文档中的信息通常采用自然语言,但可以采用各种布局和格式进行组织。最近,人们对使用新颖的深度学习架构来理解文档内容的兴趣激增。然而,文档理解任务需要密集的信息注释,这对于扩展和概括来说是昂贵的。已经提出了几种主动学习技术来减少注释的总体预算,同时保持底层深度学习模型的性能。然而,这些技术中的大多数仅适用于分类问题。但内容检测是一个更复杂的任务,在主动学习文献中几乎没有探讨。在本文中,我们提出了\textit{OPAD},一个新的框架,使用强化政策的主动学习的内容检测任务的文件。所提出的框架学习的采集功能,以决定要选择的样本,同时优化性能指标,任务通常有。此外,我们扩展到弱标签的情况下,以进一步降低成本的注释显着。我们提出了新的奖励占类的不平衡和用户反馈的注释界面,以改善主动学习方法。我们表现出优越的性能所提出的\textit{OPAD}框架主动学习的各种任务,如布局解析,目标检测和命名实体识别的文档理解。消融研究人类的反馈和类不平衡的奖励,随着注释时间的比较不同的方法。
2021-10-07 cs.CL cs.IR
Statistical Model Compression for Small-Footprint Natural Language Understanding
Alexa Machine Learning, Amazon.com(亚马逊公司Alexa机器学习部门)
在本文中,我们研究统计模型压缩应用于自然语言理解(NLU)模型。占用空间小的NLU模型对于在硬件受限的设备上启用离线系统以及减少基于云的系统中的按需模型加载延迟非常重要。为了压缩NLU模型,我们提出了两种主要的技术,参数量化和完美的特征散列。这些技术是对现有模型修剪策略(如L1正则化)的补充。我们在一个大规模的NLU系统上进行了实验。结果表明,与原始模型相比,我们的方法实现了14倍的内存使用减少,预测性能影响最小。
2018-07-19 cs.CL
KorNLI and KorSTS: New Benchmark Datasets for Korean Natural Language Understanding
Kakao Brain
自然语言推理(NLI)和语义文本相似性(STS)是自然语言理解(NLU)的关键任务。虽然这些任务的几个基准数据集已经以英语和其他几种语言发布,但没有公开可用的韩语NLI或STS数据集。出于这一动机,我们构建和发布新的数据集韩国NLI和STS,分别称为KorNLI和KorSTS。按照以前的方法,我们机器翻译现有的英语训练集,并手动将开发和测试集翻译成韩语。为了加速对韩国NLU的研究,我们还建立了KorNLI和KorSTS的基线。我们的数据集可在https://github.com/kakaobrain/KorNLUDatasets上公开获取。
2020-10-05 cs.CL
Natural Language Understanding with the Quora Question Pairs Dataset
本文通过查看Quora数据集中的重复问题检测来探索任务自然语言理解(NLU)。我们对数据集进行了广泛的探索,并使用了各种机器学习模型,包括线性和基于树的模型。我们的最终发现是,一个简单的连续词袋神经网络模型具有最好的性能,优于更复杂的循环和基于注意力的模型。我们还进行了错误分析,发现数据集的标签存在一定的主观性。
2019-07-01 cs.CL cs.LG