A Generative Model for Joint Natural Language Understanding and Generation
University of Cambridge(剑桥大学);Apple(苹果公司)
自然语言理解(NLU)和自然语言生成(NLG)是构建面向任务的对话系统的两个基本且相关的任务,它们具有相反的目标:NLU处理从自然语言到形式表示的转换,而NLG则相反。在任一任务中成功的关键是并行训练数据,其大规模获得是昂贵的。在这项工作中,我们提出了一个生成模型,该模型通过共享潜变量将NLU和NLG耦合起来。这种方法允许我们探索自然语言和形式表示的空间,并通过潜在空间促进信息共享,最终使NLU和NLG受益。我们的模型在两个对话数据集上实现了最先进的性能,具有平面和树结构的正式表示。我们还表明,该模型可以通过利用未标记的数据以半监督的方式进行训练,以提高其性能。
2020-06-12 cs.AI cs.CL
Understanding Syllogistic Reasoning in LLMs from Formal and Natural Language Perspectives
本文从形式和自然语言角度研究大语言模型的三段论推理能力,通过测试14种模型的符号推理和自然语言理解,探讨大语言模型是否正向形式化推理机制发展。
2025-12-29 cs.AI cs.CL
Unified BERT for Few-shot Natural Language Understanding
International Digital Economy Academy(国际数字经济学院);South China University of Technology(华南理工大学)
即使预先训练的语言模型共享语义编码器,自然语言理解也会受到输出模式多样性的影响。本文在BERT框架的基础上,提出了一种统一的双向语言理解模型UBERT,它可以通过一个双仿射网络对不同自然语言理解任务的训练对象进行统一建模。具体而言,UBERT从各个方面对先验知识进行编码,统一构建跨多个NLU任务的学习表示,有利于增强捕捉共同语义理解的能力。通过使用双仿射来建模原始文本的开始和结束位置的分数对,可以将各种分类和提取结构转换为通用的跨度解码方法。实验表明,UBERT在2022 AIWIN -世界人工智能创新大赛、中国保险Few-Shot多任务赛道中斩获一等奖,实现了广泛信息抽取和语言推理任务的统一。
2022-08-13 cs.AI cs.CL
Language Model is All You Need: Natural Language Understanding as Question Answering
Amazon Alexa AI(亚马逊Alexa人工智能部门)
不同风格的迁移学习在推进机器学习的研究和应用方面表现出巨大的影响。在这项工作中,我们研究了使用一个特定的家庭的迁移学习,目标域映射到源域。具体来说,我们映射自然语言理解(NLU)的问题,翻译(QA)的问题,我们表明,在低数据制度,这种方法提供了显着的改进相比,其他方法NLU。此外,我们表明,这些收益可以通过连续的迁移学习从不同领域的NLU问题。我们表明,我们的方法可以减少所需的数据量相同的性能高达10倍。
2020-11-05 cs.AI cs.CL
Active Learning for New Domains in Natural Language Understanding
Alexa Machine Learning, Amazon.com(亚马逊Alexa机器学习团队(Amazon Alexa Machine Learning),亚马逊公司(Amazon.com))
我们探索主动学习(AL),以提高自然语言理解(NLU)系统中新领域的准确性。我们提出了一种算法,称为多数-CRF,使用分类模型的合奏,以指导相关的话语的选择,以及一个序列标记模型,以帮助优先信息的例子。三个领域的实验表明,多数CRF实现了6.6%-9%的相对出错率减少随机抽样与相同的注释预算相比,统计上显着的改善相比,其他AL方法。此外,六个新领域的人类在环AL案例研究显示,现有NLU系统的性能提高了4.6%-9%。
2019-03-30 cs.AI cs.CL
Why Robust Natural Language Understanding is a Challenge
Heriot-Watt University(赫瑞-瓦特大学);University of Edinburgh(爱丁堡大学);University of Strathclyde(思克莱德大学)
随着深度机器学习在现实生活中的应用,这项技术的一个特殊属性引起了人们的注意:鲁棒性神经网络众所周知的低鲁棒性,并且对小的输入扰动高度敏感。近年来,人们提出了许多检验网络鲁棒性的方法,但这些方法主要应用于计算机视觉。在本文中,我们提出了一个验证规范的自然语言理解分类的基础上更大的区域的利益,我们讨论了这样的任务的挑战。我们观察到,虽然数据几乎是线性可分的,验证者的斗争,输出积极的结果,我们解释的问题和影响。
2022-07-13 cs.AI cs.CL
Joint Energy-based Model Training for Better Calibrated Natural Language Understanding Models
MIT(麻省理工学院);Salesforce Research(Salesforce研究院)
在这项工作中,我们在预训练文本编码器的微调期间探索联合基于能量的模型(EBM)训练(例如,Roberta)进行自然语言理解(NLU)任务。我们的实验表明,EBM训练可以帮助模型达到更好的校准,与强基线竞争,准确性几乎没有损失。我们讨论了可以在文本编码器上定义的能量函数的三种变体(即标量,隐藏和尖锐隐藏),并在实验中对它们进行了比较。由于文本数据的离散性,我们采用噪声对比估计(NCE)对基于能量的模型进行训练。为了使NCE训练更有效,我们训练一个自回归噪声模型与掩蔽语言模型(MLM)的目标。
2021-02-19 cs.AI cs.CL
DialoGLUE: A Natural Language Understanding Benchmark for Task-Oriented Dialogue
Carnegie Mellon University(卡内基梅隆大学);Amazon Alexa AI(亚马逊Alexa人工智能)
面向任务的对话研究的一个长期目标是能够灵活地调整对话模型以适应新的领域。为了推进这一方向的研究,我们引入了DialogLUE(对话语言理解评估),这是一个公共基准,由7个面向任务的对话数据集组成,涵盖4个不同的自然语言理解任务,旨在鼓励基于表示的迁移,领域自适应和样本有效任务学习的对话研究。我们发布了几个强大的基线模型,通过在大型开放域对话语料库上进行预训练和任务自适应自监督训练,在普通BERT架构上展示了性能改进,并在7个任务中的5个任务上获得了最先进的结果。通过DialogLUE基准、基线方法和我们的评估脚本,我们希望能够促进开发更通用的面向任务的对话模型的目标。
2020-10-01 cs.AI cs.CL
Understanding Game-Playing Agents with Natural Language Annotations
University of California, Berkeley(加州大学伯克利分校)
我们提供了一个包含10 K人类注释的围棋游戏的新数据集,并展示了如何将这些自然语言注释用作模型可解释性的工具。给定一个董事会状态及其相关评论,我们的方法使用线性探测来预测特定领域术语的提及(例如,ko,atari)从像AlphaGo Zero这样的游戏代理的中间状态表示。我们发现这些游戏概念被非平凡地编码在两个不同的策略网络中,一个通过模仿学习训练,另一个通过强化学习训练。此外,提到的领域特定的条款最容易预测从这两个模型的后面几层,这表明这些政策网络编码的高层次的抽象类似于那些使用的自然语言注释。
2022-04-15 cs.AI cs.CL
Semantic Mastery: Enhancing LLMs with Advanced Natural Language Understanding
Apple Inc.(苹果公司)
本文通过高级自然语言理解技术提升大语言模型的语义理解和推理能力,探讨了知识图谱、检索增强生成和对比学习等方法在解决复杂NLP任务中的应用。
2025-12-03 cs.AI cs.CL
Meta-Learning for Natural Language Understanding under Continual Learning Framework
New York University(纽约大学)
神经网络在处理各种自然语言理解(NLU)任务方面的成就已得到公认。已经开发了方法来训练鲁棒模型以处理多个任务以获得文本的一般表示。在本文中,我们实现了模型不可知的元学习(MAML)和在线感知元学习(OML)的元目标下的连续框架的自然语言理解任务。我们验证我们的方法在选定的SuperGLUE和GLUE基准。
2020-11-03 cs.AI cs.CL cs.LG
Practical Approach to Knowledge-based Question Answering with Natural Language Understanding and Advanced Reasoning
本研究假设,一种实用的方法,以一个解决方案框架的形式被称为自然语言理解和推理的智能(NaLURI),它结合了全话语自然语言理解,强大的表示形式主义,能够利用本体信息和推理方法与先进的功能,将解决以下问题,而不损害实用性因素:1)对问题和响应的性质的限制,以及2)对跨域扩展和对现实生活中的自然语言文本的限制。
2007-07-24 cs.AI cs.CL cs.HC
Integrating Symbolic Natural Language Understanding and Language Models for Word Sense Disambiguation
Northwestern University(西北大学)
本文提出利用统计语言模型和符号NLU系统整合的方法,实现无需人工标注数据的词义消歧。
2025-11-20 cs.AI cs.CL
Discrete Reasoning Templates for Natural Language Understanding
Imperial College London(帝国理工学院)
从文章的多个部分中推理信息以得出答案是对阅读理解模型的一个公开挑战。在本文中,我们提出了一种方法,原因复杂的问题,将其分解为更简单的子问题,可以利用单跨度提取阅读理解模型,并得出最终的答案,根据指令在一个预定义的推理模板。我们专注于基于减法的算术问题,并评估我们的方法的DROP数据集的一个子集。我们表明,我们的方法是有竞争力的国家的最先进的,而被解释,并要求很少的监督
2021-04-05 cs.AI cs.CL
Natural language understanding for logical games
Department of Computer Science, Technical University of Cluj-Napoca(克卢日-纳波卡技术大学计算机科学系)
我们开发了一个能够自动解决自然语言的逻辑难题的系统。我们的解决方案是由一个解析器和一个推理模块。解析器将文本转换为一阶逻辑(FOL),而MACE 4模型查找器用于计算给定FOL理论的模型。我们还赋予我们的软件代理提供是/否的答案与每个难题相关的自然语言问题的能力。此外,根据解释人工智能(XAI),代理可以支持其答案,提供证明的图形表示。使用推理来进行自然语言理解(NLU)而不是机器学习的优点在于,用户可以获得推理链的解释。我们说明了系统如何执行各种类型的自然语言难题,包括382骑士和无赖难题。这些功能与80.89\%的整体性能率一起,使所提出的解决方案的改进后,类似的解决方案的自然语言理解的难题域。
2021-10-01 cs.AI cs.CL cs.LO
Rethinking the Evaluating Framework for Natural Language Understanding in AI Systems: Language Acquisition as a Core for Future Metrics
Neurocreaciones(神经创意公司)
针对AI领域传统机器智能评估指标的局限,受大语言模型进展启发,提出从图灵测试转向以语言习得为核心的综合评估框架的范式转变,强调跨学科协作以构建更稳健可持续的评估路径。
2023-10-05 cs.AI cs.CL
Curriculum: A Broad-Coverage Benchmark for Linguistic Phenomena in Natural Language Understanding
Rose-Hulman Institute of Technology(罗斯-霍曼理工学院)
在大型Transformer语言模型时代,语言评估在诊断模型对自然语言理解的能力和局限性方面发挥着重要作用。然而,目前的评估方法显示出一些显著的缺点。特别是,它们没有提供对语言模型捕获语言理解和推理所必需的不同语言技能的洞察力。因此,它们无法有效地映射出语言理解的各个方面,这些方面对现有模型仍然具有挑战性,这使得很难发现模型和数据集中的潜在限制。在本文中,我们介绍了课程作为一种新的格式的NLI基准评估的广泛覆盖的语言现象。课程包含一组涵盖36种主要语言现象的数据集,以及一个评估程序,用于诊断语言模型如何捕捉不同类型语言现象的推理技能。我们表明,这种语言现象驱动的基准可以作为诊断模型行为和验证模型学习质量的有效工具。此外,我们的实验提供了对现有基准数据集和最先进模型的限制的深入了解,这可能会鼓励未来对重新设计数据集,模型架构和学习目标的研究。
2022-05-04 cs.AI cs.CL
Understanding scholarly Natural Language Processing system diagrams through application of the Richards-Engelhardt framework
University of Manchester(曼彻斯特大学)
我们利用Richards-Engelhardt框架作为理解自然语言处理系统图的工具。通过四个例子,从学术会议,我们发现,这个生态和复杂的域的框架的应用是有效的,反映这些图。我们主张用词汇来描述图表中的多重编码、符号变异性以及视觉编码原则的不一致或滥用。此外,对于学术自然语言处理系统的应用,也许更广泛的系统图,我们建议增加“对象的”作为一个新的视觉编码原则,和“强调”作为一个新的视觉编码类型。
2020-08-26 cs.AI cs.CL cs.HC
Quantization-Aware and Tensor-Compressed Training of Transformers for Natural Language Understanding
University of California, Santa Barbara(加州大学圣巴巴拉分校);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文提出量化感知的张量压缩训练方法,将Transformer嵌入层和线性层压缩为低秩张量核心并结合可学习尺度因子的量化训练,在自然语言理解任务中实现最高63倍压缩率且精度损失极小。
2023-07-08 cs.AI cs.CL
Knowledge-driven Natural Language Understanding of English Text and its Applications
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Universidad Rey Juan Carlos(胡安卡洛斯国王大学)
理解文本的意义是自然语言理解研究的一个基本挑战。一个理想的NLU系统应该以一种不专属于单个任务或数据集的方式来处理语言。考虑到这一点,我们介绍了一种新的知识驱动的语义表示方法的英语文本。通过利用VerbNet词典,我们能够将文本的语法树映射到使用基本知识原语表示的常识意义。从我们的方法表示的通用知识可以用来构建任何基于推理的NLU系统,也可以提供理由。我们应用这种方法来构建两个NLU应用程序,我们在这里介绍:SQuARE(基于语义的问答和推理引擎)和StaCACK(有状态会话代理使用常识知识)。这两个系统都通过“真正理解”它们处理的自然语言文本来工作,并且都为它们的响应提供自然语言解释,同时保持高准确性。
2021-01-27 cs.AI cs.CL cs.LO
LRC-BERT: Latent-representation Contrastive Knowledge Distillation for Natural Language Understanding
Alibaba Group(阿里巴巴集团)
以BERT为代表的预训练模型在各种自然语言处理问题中取得了很好的效果。然而,大量的参数需要大量的内存和推理时间的消耗,这使得很难将它们部署在边缘设备上。本文提出了一种基于对比学习的知识蒸馏方法LRC-BERT,从角度距离的角度拟合中间层的输出,这是现有蒸馏方法没有考虑的。此外,我们在训练阶段引入了一种基于梯度扰动的训练结构,以提高LRC-BERT的鲁棒性,这是知识蒸馏的第一次尝试。此外,为了更好地捕捉中间层的分布特征,我们设计了一种两阶段的总蒸馏损失训练方法。最后,通过在通用语言理解评测(GLUE)上对8个数据集进行验证,结果表明,本文提出的LRC-BERT方法的性能优于现有的最新方法,证明了本文方法的有效性。
2020-12-14 cs.AI cs.CL
MeDAL: Medical Abbreviation Disambiguation Dataset for Natural Language Understanding Pretraining
McGill University(麦吉尔大学);Facebook(脸书);Mila – Quebec Artificial Intelligence Institute(米拉——魁北克人工智能研究所)
禁止在临床环境中使用许多当前NLP方法的最大挑战之一是公共数据集的可用性。在这项工作中,我们提出了MeDAL,一个大型的医疗文本数据集策划的缩写消歧,专为医学领域的自然语言理解预训练。我们在这个数据集上预训练了几个常见架构的模型,并根据经验表明,在对下游医疗任务进行微调时,这种预训练可以提高性能和收敛速度。
2020-12-27 cs.AI cs.CL cs.LG
Towards Coinductive Models for Natural Language Understanding. Bringing together Deep Learning and Deep Semantics
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
这篇文章包含了一个建议,增加共归纳的计算装置的自然语言的理解。我们认为,这将提供一个更现实的,计算上的声音,和可扩展的模型的自然语言对话,语法和语义的基础。鉴于自自底向上的、归纳构建的语义和句法结构是脆弱的,似乎无法充分表示较长句子或现实对话的意义,自然语言理解需要一个新的基础。共归纳法使用自顶向下的约束,已成功地用于操作系统和程序设计语言的设计中。此外,隐含地它已经出现在文本挖掘,机器翻译,并在一些尝试建模的意图和模态,这提供了证据,它的工作。本文展示了其中一些用途的高级形式化。由于共归纳和归纳可以共存,它们可以为自然语言理解的研究提供一种共同的语言和概念模型。特别是,这样的机会似乎正在出现在研究组合性。本文给出了自然语言处理中归纳与共归纳共同出现的几个例子。我们认为,已知的个人的局限性,归纳和共归纳可以克服在经验设置的两种方法相结合。我们看到一个开放的问题,在提供一个理论,他们的共同使用。
2020-12-09 cs.AI cs.CL cs.LG
Labels Need Prompts Too: Mask Matching for Natural Language Understanding Tasks
Peking University(北京大学);Boston University(波士顿大学)
针对自然语言理解任务,该研究首次将提示方法引入标签端,提出掩码匹配方法,通过匹配输入与标签的掩码表示预测,在多数据集上取得最优效果,为标签端提示研究提供了开创性探索。
2023-12-16 cs.AI cs.CL
Enhancing Slot Tagging with Intent Features for Task Oriented Natural Language Understanding using BERT
Samsung R&D Institute(三星研发院);Indian Institute of Technology(印度理工学院)
最近的联合意图检测和插槽标记模型与单独的模型相比,性能有所提高。在许多真实世界的数据集中,槽标签和值与其意图标签有很强的相关性。在这种情况下,意图标签信息可以充当槽标记模型的有用特征。在本文中,我们通过3种技术在联合意图和插槽检测模型的插槽标记任务中研究了利用意图标签特征的效果。我们在基准口语数据集SNIPS和ATIS以及大型私人Bixby数据集上评估了我们的技术,并观察到在最先进的模型上改进了插槽标记性能。
2022-05-23 cs.AI cs.CL
Deep Human Answer Understanding for Natural Reverse QA
Tianjin University(天津大学);University of Michigan(密歇根大学)
本研究的重点是一个反向的问答(QA)程序,其中机器主动提出问题和人类提供的答案。这个过程存在于许多真实的人机交互应用中。然而,人机交互中的一个关键问题是答案理解。现有的解决方案依赖于强制性选项术语选择来避免自动答案理解。然而,这些解决方案导致了不自然的人机交互,并且负面地影响了用户体验。为此,目前的研究提出了一种新的深度答案理解网络,称为AntNet,用于反向QA。该网络由三个新的模块组成,即,骨架注意问题,相关意识的答案表示,和基于多跳的融合。由于逆向问答的答案理解还没有被探索,一个新的数据语料库,在本研究中编译。实验结果表明,我们提出的网络是显着优于现有的方法和那些从经典的自然语言处理深度模型修改。三个新模块的有效性也得到了验证。
2020-11-29 cs.AI cs.CL cs.LG
Extreme Model Compression for On-device Natural Language Understanding
Amazon Alexa(亚马逊Alexa)
在本文中,我们提出并试验了神经自然语言理解(NLU)模型的极端压缩技术,使其适合在资源受限的设备上执行。我们提出了一种任务感知的端到端压缩方法,该方法与NLU任务学习联合执行单词嵌入压缩。我们在一个大规模的商业NLU系统上展示了我们的结果,该系统训练了一组具有巨大词汇量的各种意图。我们的方法优于一系列基线,实现了97.4%的压缩率,预测性能下降不到3.7%。我们的分析表明,来自下游任务的信号对于以最小的性能退化进行有效压缩是重要的。
2020-11-30 cs.AI cs.CL cs.LG
Effect of Visual Extensions on Natural Language Understanding in Vision-and-Language Models
National Institute of Informatics(国立信息学研究所);Graduate University for Advanced Studies(高等研究生院)
一种用于创建视觉和语言(V&L)模型的方法是通过结构修改和V&L预训练来扩展语言模型。这种扩展旨在使V&L模型继承原始语言模型的自然语言理解(NLU)能力。为了看看这是如何实现的,我们建议使用NLU基准(GLUE)来评估V&L模型。我们比较了五个V&L模型,包括单流和双流模型,使用相同的预训练进行训练。双流模型,其更高的模态独立性,实现了约一倍的参数数量,预计将保持NLU的能力更好。我们的主要发现是,双流分数并没有太大的差异,比单流分数,与预期相反。进一步的分析表明,预训练导致NLU任务的性能下降,很少有例外。这些结果表明,采用单流结构和设计的预训练可能是一种有效的方法,以提高语言知识的维护V&L扩展。
2021-09-23 cs.AI cs.CL
Entity Aware Syntax Tree Based Data Augmentation for Natural Language Understanding
Nanyang Technological University(南洋理工大学);North Carolina State University(北卡罗来纳州立大学)
理解用户的意图并从其句子中识别语义实体,也称为自然语言理解(NLU),是许多自然语言处理任务的上游任务。主要挑战之一是收集足够数量的带注释的数据来训练模型。现有的文本增强研究没有充分考虑实体,因此在自然语言理解任务中表现不佳。为了解决这个问题,我们提出了一种新的NLP数据增强技术,实体感知数据增强(EADA),它采用了一个树结构,实体感知树(EAST),表示句子结合实体上的注意。我们的EADA技术从少量的注释数据中自动构建EAST,然后生成大量的训练实例用于意图检测和槽填充。在4个数据集上的实验结果表明,该方法在准确率和泛化能力方面均明显优于现有的数据增强方法.
2022-09-06 cs.AI cs.CL cs.LG
Visually-Situated Natural Language Understanding with Contrastive Reading Model and Frozen Large Language Models
NAVER Cloud AI(NAVER云AI);KAIST AI(韩国科学技术院AI);Korea University(高丽大学);NAVER AI Lab(NAVER AI实验室)
本文提出对比阅读模型 Cream,通过结合视觉与辅助编码器及对比特征对齐技术,增强冻结大语言模型对富含文本图像的视觉情境语言理解能力,并在多项推理任务中验证了其优越性能。
2023-10-26 cs.AI cs.CL
Whodunnit? Crime Drama as a Case for Natural Language Understanding
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
在本文中,我们认为,在电视节目,如CSI:犯罪现场调查中的犯罪剧是一个理想的测试平台,近似现实世界的自然语言的理解和与之相关的复杂推理。我们建议把犯罪剧作为一个新的推理任务,利用这一事实,即每一集提出了相同的基本问题(即,谁犯了罪),并自然提供答案时,肇事者被揭露。我们开发了一个新的数据集的基础上CSI的情节,形式化的肇事者识别序列标记问题,并开发了一个基于LSTM的模型,从多模态数据学习。实验结果表明,增量推理策略是做出准确猜测以及从融合文本、视觉和听觉输入的表示中学习的关键。
2017-10-31 cs.AI cs.CL cs.CV
Back Transcription as a Method for Evaluating Robustness of Natural Language Understanding Models to Speech Recognition Errors
Adam Mickiewicz University, Poznań(亚当·密茨凯维奇大学);Samsung Research Poland(三星电子波兰研究院)
本文提出一种结合反向转录与细粒度错误分类的方法,利用合成语音评估语音识别错误对自然语言理解模型性能的影响,并证实合成语音可替代真实音频。
2023-10-25 cs.AI cs.CL cs.SD
Hierarchical Annotation for Building A Suite of Clinical Natural Language Processing Tasks: Progress Note Understanding
University of Wisconsin(威斯康星大学);Loyola University Chicago(芝加哥洛约拉大学);Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院)
将自然语言处理方法应用于电子健康记录(EHR)数据是一个不断发展的领域。现有的语料库和标注集中在文本特征建模和关系预测上。然而,有一个注释的语料库建立临床诊断思维,涉及文本理解,领域知识的抽象和推理的过程中,一个缺乏。这项工作介绍了一个层次化的注释模式,有三个阶段,以解决临床文本理解,临床推理和总结。我们创建了一个注释语料库的基础上广泛收集的公开可用的每日进展记录,一种类型的EHR文档,是在时间序列中收集的问题为导向的格式。进度记录的常规格式遵循主观、客观、评估和计划标题(SOAP)。我们还定义了一套新的任务,进度说明理解,三个任务利用三个注释阶段。这套新的任务旨在训练和评估未来的NLP模型,用于临床文本理解、临床知识表示、推理和总结。
2022-04-06 cs.AI cs.CL cs.CY
BERT: A Review of Applications in Natural Language Processing and Understanding
Financial University under the government of the Russian Federation(俄罗斯联邦政府金融大学)
在这篇综述中,我们描述了最流行的基于深度学习的语言模型之一-- BERT的应用。本文介绍了该模型的操作机制,其应用的文本分析任务的主要领域,在每个任务中与类似的模型进行比较,以及一些专有模型的描述。在编写这份综述时,对过去几年中发表的几十篇原创科学文章的数据进行了系统整理,这些文章在科学界引起了最多的关注。本调查将有助于所有希望了解自然语言文本分析领域最新进展的学生和研究人员。
2021-03-22 cs.AI cs.CL cs.LG
"What's my model inside of?": Exploring the role of environments for grounded natural language understanding
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本论文采用生态学方法研究具身自然语言理解,探索环境设计在数据收集、模型开发中的作用,提出了基于文本游戏环境的训练标注方法、Breakpoint Transformers模型及具身NLP研究路线图,并设计了AI增强的社会思维环境。
2024-02-04 cs.AI cs.CL cs.SI
Out of Order: How Important Is The Sequential Order of Words in a Sentence in Natural Language Understanding Tasks?
Auburn University(奥本大学);Adobe Research(奥多比研究院)
最先进的自然语言理解模型是否关心词序--序列最重要的特征之一?不总是这样!我们发现,在许多GLUE任务上训练的基于BERT的分类器的正确预测中,有75%到90%在输入单词随机洗牌后保持不变。尽管BERT嵌入是众所周知的上下文,每个单词对下游任务的贡献几乎没有变化,即使在单词的上下文被打乱之后。基于BERT的模型能够利用表面线索(例如,情感分析中的关键词的情感;或者自然语言推理中的序列对输入之间的单词相似性)来在令牌以随机顺序排列时做出正确的决策。鼓励分类器捕获词序信息可以提高大多数GLUE任务,SQuAD 2.0和样本外的性能。我们的工作表明,许多胶水任务并不是挑战机器理解句子的含义。
2021-07-26 cs.AI cs.CL cs.LG
Industry Scale Semi-Supervised Learning for Natural Language Understanding
Alexa AI
本文提出了一种基于师生框架的生产半监督学习(SSL)管道,该管道利用数百万未标记的示例来改进自然语言理解(NLU)任务。我们研究了与在生产SSL环境中使用未标记数据相关的两个问题:1)如何从巨大的未标记数据池中选择有利于SSL训练的样本,以及2)所选数据如何影响不同的最先进SSL技术的性能。我们比较了四种广泛使用的SSL技术,伪标签(PL),知识蒸馏(KD),虚拟对抗训练(VAT)和交叉视图训练(CVT)结合两种数据选择方法,包括基于委员会的选择和基于子模块优化的选择。我们进一步研究了这些技术应用于意图分类(IC)和命名实体识别(NER)任务时的优点和缺点,并提供了指导方针,指定这些方法中的每一种方法何时可能有利于改善大规模NLU系统。
2021-03-29 cs.AI cs.CL cs.LG
Model-Agnostic Meta-Learning for Natural Language Understanding Tasks in Finance
自然语言理解(NLU)对于金融来说是一个挑战,因为缺乏注释数据和该领域的专业语言。因此,研究人员提出使用预训练的语言模型和多任务学习来学习鲁棒的表示。然而,积极的微调往往会导致过度拟合和多任务学习可能有利于任务与显着更大的数据量等,为了解决这些问题,在本文中,我们研究模型不可知的Meta学习算法(MAML)在低资源的金融NLU任务。我们的贡献包括:1.我们探索了MAML方法在多种任务类型下的性能:GLUE数据集,SNLI,Sci-Tail和Financial PhraseBank; 2.我们研究了MAML方法在多个单类型任务下的性能:一个真实的Twitter文本数据股票价格预测问题。实验结果表明,我们的模型达到了最先进的性能,这表明我们的方法可以快速适应低资源的情况。
2023-03-26 cs.AI cs.CL cs.LG
Inferring Compact Representations for Efficient Natural Language Understanding of Robot Instructions
University of Rochester(罗切斯特大学);Toyota Technological Institute at Chicago(芝加哥丰田技术学院)
机器人能够解释自然语言的速度和准确性是实现有效人机交互的基础。大量的注意力已经放在开发提高语言理解效率的模型和近似推理算法上。然而,现有的方法仍然试图推理的环境是平坦的,不必要的详细,这限制了可伸缩性的表示。一个开放的问题,然后开发的方法,能够产生最紧凑的环境模型,足以准确和有效的自然语言理解。我们提出了一个模型,利用环境相关的信息编码内的指令,以确定必要的观察和感知分类器的子集,感知一个简洁的,特定的环境表示。该框架使用三个概率图形模型从语料库的注释指令来推断突出的场景语义,感知分类器和接地符号。两个机器人在不同环境中运行的实验结果表明,通过利用内容和结构的指令,我们的方法学习紧凑的环境表示,显着提高自然语言符号接地的效率。
2019-03-21 cs.AI cs.CL cs.LG
MASSIVE: A 1M-Example Multilingual Natural Language Understanding Dataset with 51 Typologically-Diverse Languages
Amazon(亚马逊)
我们提供了MASSIVE数据集-多语言Amazon Slu资源包(SLURP),用于插槽填充,意图分类和虚拟助手评估。MASSIVE包含1 M真实、并行、标记的虚拟助理话语,涵盖51种语言、18个领域、60种意图和55个插槽。MASSIVE是由专业翻译人员创建的,他们将仅限英语的SLURP数据集本地化为来自29个属的50种不同类型的语言。我们还介绍了XLM-R和mT5的建模结果,包括精确匹配精度,意图分类精度和插槽填充F1得分。我们已经公开发布了我们的数据集、建模代码和模型。
2022-06-17 cs.AI cs.CL cs.LG
ViCLSR: A Supervised Contrastive Learning Framework with Natural Language Inference for Natural Language Understanding Tasks
University of Information Technology, Ho Chi Minh City, Vietnam(越南胡志明市信息技术大学);Vietnam National University, Ho Chi Minh City, Vietnam(越南国家大学)
本文提出ViCLSR,一种针对越南语优化的监督对比学习框架,利用NLI数据集提升句子表示,优于PhoBERT等模型,在多个NLU任务中取得显著提升。
2026-03-22 cs.AI cs.CL cs.LG
SkillNet-NLU: A Sparsely Activated Model for General-Purpose Natural Language Understanding
Tencent AI Lab(腾讯人工智能实验室)
流行的深度模型是单一目的的,并且过度专注于单个任务。然而,当被扩展到新的任务时,他们通常会忘记以前学到的技能,从头开始学习。我们通过引入SkillNet-NLU来解决这个问题,SkillNet-NLU是一种通用模型,可以将现有技能缝合在一起,以更有效地学习新任务。我们方法的关键特征是,它是在预定义技能的指导下稀疏激活的。与传统的密集模型总是激活所有模型参数不同,SkillNet-NLU只激活与目标任务相关的部分模型参数。当学习新任务时,我们的方法精确地激活了所需的技能,并提供了添加新技能的选项。我们评估了自然语言理解任务,并有以下发现。首先,只有一个模型检查点,SkillNet-NLU的性能优于特定于任务的微调和两个多任务学习基线(即,密集模型和专家混合模型)。其次,稀疏激活的预训练进一步提高了整体性能。第三,SkillNet-NLU在扩展到新任务时,性能明显优于基线系统。
2022-05-09 cs.AI cs.CL cs.LG
Canary Extraction in Natural Language Understanding Models
Institute for Systems Research(系统研究所);University of Maryland(马里兰大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
自然语言理解(NLU)模型可以在敏感信息(如电话号码,邮政编码等)上进行训练。最近的文献集中在模型反演攻击(ModIvA)上,该攻击可以从模型参数中提取训练数据。在这项工作中,我们提出了一个版本的这样的攻击提取金丝雀插入NLU训练数据。在攻击中,对模型具有开放式访问权限的对手重建模型训练集中包含的金丝雀。我们评估我们的方法,通过执行文本完成金丝雀,并证明,通过使用前缀(非敏感)令牌的金丝雀,我们可以生成完整的金丝雀。例如,我们的攻击能够在NLU模型的训练数据集中重建四位数代码,其最佳配置的概率为0.5。作为对策,我们确定了几种防御机制,当结合起来,有效地消除了ModIvA在我们的实验中的风险。
2022-03-25 cs.AI cs.CL cs.IR
A Relational Tsetlin Machine with Applications to Natural Language Understanding
Centre for AI Research(人工智能研究中心);University of Agder(阿格德尔大学);University of Pittsburgh(匹兹堡大学)
TM是一种模式识别方法,它使用有限状态机进行学习,并使用命题逻辑来表示模式。除了原生解释外,它们还为各种任务提供了具有竞争力的准确性。在本文中,我们提出了一个一阶逻辑为基础的框架与Herbrand语义,以提高计算能力的TM。由此产生的TM是相关的,可以利用自然语言中出现的逻辑结构,学习代表现实世界中行为和后果如何相关的规则。结果是Horn子句的逻辑程序,引入了非结构化数据的结构化视图。在闭域问答中,一阶表示产生了10倍更紧凑的KB,同时回答准确率从94.83%提高到99.48%。该方法对错误,缺失和多余的信息更加强大,提取了对现实世界理解重要的文本方面。
2021-02-22 cs.AI cs.CL cs.LG
Intuitive physics understanding emerges from self-supervised pretraining on natural videos
FAIR at Meta(Meta FAIR实验室);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);EHESS(法国社会科学高等研究院)
该研究探究通用深度神经网络模型中直觉物理理解能力的涌现,发现基于自然视频自监督预训练、在抽象表示空间预测掩码区域的视频预测模型能理解物体恒存性等物理属性,挑战了核心知识需硬编码的观点。
2025-02-17 cs.AI cs.CV
Towards understanding deep learning with the natural clustering prior
UCLouvain(鲁汶天主教大学)
先验知识(A.K.A.)先验知识)对机器学习系统的泛化能力有很大的影响。在深度学习的特定背景下,这些先验知识中的一些还很难被理解,因为它们隐含地出现在深度学习设计中涉及的生物大脑的成功尝试和尝试性近似中。通过监督图像分类问题的镜头,本文研究了自然聚类先验的隐式集成,该先验由三个陈述组成:(i)自然图像表现出丰富的聚类结构,(ii)图像类由多个聚类组成,(iii)每个聚类包含来自单个类的示例。将类分解为多个聚类意味着有监督的深度学习系统可以从无监督聚类中受益,以定义适当的决策边界。因此,本文试图识别深度学习系统中的隐式聚类能力、机制和超参数,并评估它们与解释这些系统泛化能力的相关性。我们通过对训练动态以及深层神经网络的神经元和层级表示进行广泛的实证研究来实现这一点。由此产生的实验集合为理解深度学习的自然聚类先验的相关性提供了初步证据。
2022-03-15 cs.AI cs.LG