To What Degree Can Language Borders Be Blurred In BERT-based Multilingual Spoken Language Understanding?
Amazon Alexa(亚马逊Alexa)
本文讨论的问题,在何种程度上基于BERT的多语言口语语言理解(SLU)模型可以跨语言的知识转移。通过实验,我们将表明,虽然它的工作相当不错,即使在遥远的语言群体,仍然有一个理想的多语言性能的差距。此外,我们提出了一种新的基于BERT的对抗模型架构,以学习多语言SLU的语言共享和语言特定的表示。我们的实验结果证明,该模型是能够缩小差距,理想的多语言性能。
2020-11-10 cs.AI cs.CL
Extending Machine Language Models toward Human-Level Language Understanding
Stanford University(斯坦福大学);DeepMind;Bosch Center for Artificial Intelligence(博世人工智能中心);Google Research(谷歌研究院);LMU Munich(慕尼黑大学)
语言对人类智力至关重要,但它的作用究竟是什么?我们认为语言是理解和交流环境的系统的一部分。人类理解和交流情况的能力逐渐从经验中产生,并依赖于生物神经网络的领域一般原则:基于连接的学习,分布式表示,以及上下文敏感,基于相互约束满足的处理。当前的人工语言处理系统依赖于体现在人工神经网络中的相同领域的一般原理。事实上,这一领域的最新进展依赖于\emph{query-based attention},它扩展了这些系统利用上下文的能力,并促成了显着的突破。然而,目前大多数模型只关注语言内部任务,限制了它们执行依赖于理解情况的任务的能力。这些系统也缺乏对固定上下文范围之外的先前情况的内容的记忆。我们描述了大脑的分布式理解系统的组织,其中包括一个快速学习系统,解决记忆问题。我们勾画了一个框架,为未来的理解模型,同样借鉴认知神经科学和人工智能,并利用查询为基础的注意。我们强调相关的当前方向,并考虑在计算系统中完全捕获人类水平的语言理解所需的进一步发展。
2020-07-04 cs.AI cs.CL
Robustness Testing of Language Understanding in Task-Oriented Dialog
Tsinghua University(清华大学);Huawei Technologies(华为技术有限公司)
面向任务的对话系统中的大多数语言理解模型都是在少量带注释的训练数据上训练的,并在来自相同分布的小集合中进行评估。然而,当这些模型在实践中暴露于自然语言扰动或变化时,可能导致系统故障或不期望的输出。本文对自然语言理解模型的鲁棒性进行了综合评价和分析,并介绍了现实世界对话系统中与语言理解相关的三个重要方面,即语言多样性、语音特征和噪声扰动。我们提出了一个模型无关的工具LAUG来近似自然语言的扰动测试的鲁棒性问题,在面向任务的对话。四个数据增强的方法,涵盖了这三个方面组装在LAUG,这揭示了关键的鲁棒性问题,在国家的最先进的模型。通过LAUG增强的数据集可以用来促进未来的研究面向任务的对话中的语言理解的鲁棒性测试。
2021-06-04 cs.AI cs.CL
Preservation of Language Understanding Capabilities in Speech-aware Large Language Models
Adam Mickiewicz University(亚当·密茨凯维奇大学)
提出C3T基准,通过文本任务和语音克隆TTS评估语音感知大语言模型在语音输入下语言理解能力的保持程度、说话者公平性及跨模态鲁棒性。
2025-10-16 cs.AI cs.CL
Enhancing Language Models for Robust Greenwashing Detection
National University of Singapore(新加坡国立大学);Massachusetts Institute of Technology(麻省理工学院);Nanyang Technological University(南洋理工大学)
本文提出了一种参数高效框架,通过结合对比学习和顺序排名目标来增强语言模型在绿色洗脑检测中的鲁棒性。
2026-01-29 cs.AI cs.CL
Adapting Pretrained Transformer to Lattices for Spoken Language Understanding
National Taiwan University(国立台湾大学)
格是对多个假设进行编码的紧凑表示,例如语音识别结果或不同的分词。结果表明,与自动语音识别器(ASR)产生的1-最佳结果相比,编码格提高了口语语言理解(SLU)的性能。近年来,基于Transformer结构的预训练语言模型在自然语言理解方面取得了令人瞩目的成果,但其对格的编码能力尚未得到充分的研究。因此,本文旨在将预训练的Transformers适应于格输入,以便执行专门针对口语的理解任务。我们在基准ATIS数据集上的实验表明,使用lattice输入微调预训练的Transformers比使用1-best结果进行微调有明显的改善。进一步的评估表明,我们的方法在不同的声学条件下的有效性。我们的代码可在https://github.com/MiuLab/Lattice-SLU上获得
2020-11-02 cs.AI cs.CL
Can Machines Read Coding Manuals Yet? -- A Benchmark for Building Better Language Models for Code Understanding
IBM Research, T.J. Watson Research Center(IBM研究院托马斯·J·沃森研究中心);Rensselaer Polytechnic Institute (RPI)(伦斯勒理工学院)
代码理解是人工智能日益重要的应用。理解代码的一个基本方面是理解关于代码的文本,例如,文件和论坛讨论。预先训练的语言模型(例如,BERT)是各种NLP任务的流行方法,现在有各种基准测试,如GLUE,以帮助改进此类模型的开发,以实现自然语言理解。然而,人们对此类模型在有关代码的文本工件上的效果知之甚少,而且我们不知道此类评估的任何系统性下游任务集。在本文中,我们得出了一组基准(BLANCA -基准语言模型编码工件),评估代码理解的基础上的任务,如预测的最佳答案的问题在一个论坛帖子,找到相关的论坛帖子,或预测类相关的层次结构从类文档。我们评估了当前最先进的语言模型在这些任务上的性能,并表明微调对每个任务都有显着的改善。我们还表明,多任务训练BLANCA任务有助于建立更好的语言模型的代码理解。
2021-09-15 cs.AI cs.CL
Language Model is All You Need: Natural Language Understanding as Question Answering
Amazon Alexa AI(亚马逊Alexa人工智能部门)
不同风格的迁移学习在推进机器学习的研究和应用方面表现出巨大的影响。在这项工作中,我们研究了使用一个特定的家庭的迁移学习,目标域映射到源域。具体来说,我们映射自然语言理解(NLU)的问题,翻译(QA)的问题,我们表明,在低数据制度,这种方法提供了显着的改进相比,其他方法NLU。此外,我们表明,这些收益可以通过连续的迁移学习从不同领域的NLU问题。我们表明,我们的方法可以减少所需的数据量相同的性能高达10倍。
2020-11-05 cs.AI cs.CL
Ask, and shall you receive?: Understanding Desire Fulfillment in Natural Language Text
University of Maryland, College Park(马里兰大学帕克分校);Purdue University(普渡大学)
理解愿望或欲望及其实现的能力对自然语言理解很重要。本文介绍了识别的任务,如果一个主题所表达的愿望在一个给定的短的一段文字得到了满足。我们提出了各种非结构化和结构化的模型,捕捉履行线索,如受试者的情绪状态和行动。我们用两个不同的数据集进行的实验证明了理解叙事和话语结构对解决这一任务的重要性。
2015-11-30 cs.AI cs.CL
On the Winograd Schema: Situating Language Understanding in the Data-Information-Knowledge Continuum
Winograd Schema(WS)Challenge作为Turing Test的替代方案,已经成为评估自然语言理解(NLU)进展的新标准。然而,在本文中,我们将不关注如何应对这一挑战。相反,我们的目标有三个方面:(i)我们将首先在数据-信息-知识连续统一体中正式“解决”WS挑战,提出在该连续统一体中良好WS的位置;(ii)我们将证明WS只是语言理解中一种更普遍的现象--文本缺失现象的特殊情况(此后,MTP)-特别是,我们将认为,我们通常所说的思维在语言理解的过程中涉及发现大量的“缺失文本”-没有明确说明的文本,但往往被隐含地假设为共享的背景知识;(iii)我们结束了一个简短的讨论,为什么MTP是不一致的数据驱动和机器学习方法的语言理解。
2019-02-12 cs.AI cs.CL
Towards More Robust Natural Language Understanding
The Ohio State University(俄亥俄州立大学)
自然语言理解(NLU)是自然语言处理(NLP)的一个分支,它使用智能计算机软件来理解编码人类知识的文本。近年来,使用深度学习技术的各种NLU任务取得了显着进展,特别是使用预训练的语言模型。除了提出更先进的模型架构之外,构建更可靠和值得信赖的数据集在改进NLU系统方面也发挥着巨大的作用,没有这些数据集就不可能训练出一个像样的NLU模型。值得注意的是,人类理解自然语言的能力是灵活和健壮的。相反,大多数现有的NLU系统无法在域外数据上实现期望的性能,或者在处理具有挑战性的项目(例如,固有的模糊项、对抗项)。因此,为了使NLU模型更有效地理解人类语言,预计将优先考虑鲁棒自然语言理解的研究。在本文中,我们认为自然语言理解系统由两部分组成:自然语言理解模型和自然语言理解数据集。因此,我们认为,为了实现强大的NLU,模型架构/训练和数据集同样重要。具体来说,我们将专注于三个NLU任务,以说明不同NLU任务中的鲁棒性问题和我们的贡献(即,新模型和新数据集)来帮助实现更健壮的自然语言理解。展望未来,强大的自然语言理解的最终目标是构建能够表现出人性化的NLU模型。也就是说,预计健壮的NLU系统能够更可靠地将知识从训练语料库转移到看不见的文档中,并且在遇到具有挑战性的项目时能够生存下来,即使系统不知道用户输入的先验。
2022-02-27 cs.AI cs.CL
Fine-tuning vs Prompting, Can Language Models Understand Human Values?
HKUST(香港科技大学)
本文探讨了微调与提示调优在人类价值检测任务中的效果,并验证了预训练知识与RLHF对齐的LLMs在该任务中的能力,展示了初步实验结果。
2024-03-12 cs.AI cs.CL
Warped Language Models for Noise Robust Language Understanding
Amazon Alexa AI(亚马逊Alexa人工智能部门)
Masked语言模型(MLM)是一种自我监督的神经网络,它被训练成用掩码标记来填充给定句子中的空白。尽管MLM对于各种基于文本的任务取得了巨大的成功,但是它们对于口语语言理解,特别是对于自发的会话语音识别噪声,并不鲁棒。在这项工作中,我们介绍了扭曲的语言模型(WLM),其中输入的句子在训练时经过相同的修改,在传销,加上两个额外的修改,即插入和丢弃随机令牌。这两个修改除了在MLMs中的修改之外,还扩展和收缩了句子,因此名称中的单词“warped”。在WLM的训练期间输入文本的插入和丢弃修改类似于由于自动语音识别(ASR)错误而引起的噪声类型,并且因此WLM可能对ASR噪声更鲁棒。通过计算结果,我们表明,建立在WLM之上的自然语言理解系统比建立在MLM之上的系统表现得更好,特别是在存在ASR错误的情况下。
2020-11-03 cs.AI cs.CL
Learning Executable Semantic Parsers for Natural Language Understanding
Stanford University(斯坦福大学)
为了构建问答系统和自然语言接口,语义解析已经成为一种重要而强大的范例。语义分析器将自然语言映射为逻辑形式,这是许多重要语言现象的经典表示。现代的转折是,我们对从数据中学习语义解析器感兴趣,这引入了一个新的统计和计算问题层。本文列出了统计语义解析器的组件,并强调了关键的挑战。我们将看到,语义解析是逻辑和统计世界的丰富融合,这种融合将在未来的自然语言理解系统中发挥不可或缺的作用。
2016-03-22 cs.AI cs.CL
Compositional Language Understanding with Text-based Relational Reasoning
Mila(米拉研究所);McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学);Facebook AI Research (FAIR)(脸书人工智能研究院);Samsung Advanced Institute of Technology (SAIT)(三星综合技术院)
用于自然语言推理的神经网络主要集中在提取、基于事实的问答(QA)和常识推理。然而,了解神经网络可以从自然语言执行关系推理和组合概括的程度也至关重要-这些能力通常被注释工件和标准QA基准中语言建模的主导地位所掩盖。在这项工作中,我们提出了一个新的基准数据集的语言理解,隔离性能的关系推理。我们还提出了一个神经消息传递基线,并表明,该模型,其中包括一个关系归纳偏差,是优于组合推广相比,传统的递归神经网络方法。
2018-11-08 cs.AI cs.CL
Testing Pre-trained Language Models' Understanding of Distributivity via Causal Mediation Analysis
University of Washington(华盛顿大学)
预训练的语言模型在多大程度上掌握了关于分布现象的语义知识?在本文中,我们介绍了DistNLI,一个新的诊断数据集的自然语言推理,目标的语义差异所产生的分布性,并采用因果中介分析框架来量化模型的行为,并探讨在这个语义相关的任务的潜在机制。我们发现,模型的理解程度与模型大小和词汇量有关。我们还提供了模型如何编码这种高层次的语义知识的见解。
2022-10-19 cs.AI cs.CL
Rethinking the Evaluating Framework for Natural Language Understanding in AI Systems: Language Acquisition as a Core for Future Metrics
Neurocreaciones(神经创意公司)
针对AI领域传统机器智能评估指标的局限,受大语言模型进展启发,提出从图灵测试转向以语言习得为核心的综合评估框架的范式转变,强调跨学科协作以构建更稳健可持续的评估路径。
2023-10-05 cs.AI cs.CL
Benchmarking Large Language Models for News Summarization
大语言模型(LLM)已经显示出自动摘要的前景,但其成功背后的原因却知之甚少。通过对不同预训练方法、提示和模型尺度的10个LLM进行人工评估,我们得出了两个重要的观察结果。首先,我们发现指令微调,而不是模型大小,是LLM的zero-shot总结能力的关键。其次,现有的研究受到低质量参考文献的限制,导致低估了人类的表现,以及较低的Few-Shot和微调性能。为了更好地评估LLM,我们对我们从自由撰稿人那里收集的高质量摘要进行了人工评估。尽管主要的文体差异,如释义量,我们发现,LMM摘要被判断为与人类的书面摘要。
2023-01-31 cs.AI cs.CL cs.LG
Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation
LMU Munich(慕尼黑大学)
无监督神经机器翻译(UNMT)的成功方法是通过自我监督进行跨语言预训练,通常以掩蔽语言建模或序列生成任务的形式进行,这需要模型对齐两种语言的词汇和高级表示。虽然跨语言预训练适用于具有丰富语料库的相似语言,但它在低资源和遥远的语言中表现不佳。以前的研究表明,这是因为表征没有充分对齐。在本文中,我们加强双语掩蔽语言模型预训练与词汇级信息,通过使用类型级跨语言子词嵌入。实证结果表明,使用我们的方法与UNMT基线相比,UNMT(高达4.5 BLEU)和双语词典归纳的性能都有所改善。
2021-04-14 cs.CL
Performance of Recent Large Language Models for a Low-Resourced Language
University of Moratuwa(莫拉图瓦大学)
本文评估了四款近期LLMs在低资源语言僧伽罗语上的直接表现、英译互译能力及少量数据微调潜力,发现Claude和GPT 4o开箱即用表现优异,而Llama和Mistral虽表现不佳但微调后有改进空间。
2024-07-31 cs.CL
XDBERT: Distilling Visual Information to BERT from Cross-Modal Systems to Improve Language Understanding
National Taiwan University(台湾大学);Academia Sinica(中央研究院)
基于转换器的模型广泛用于自然语言理解(NLU)任务,多模态Transformers在视觉语言任务中非常有效。本研究探讨了从预训练的多模态Transformers到预训练的语言编码器的视觉信息提取。我们的框架的灵感来自于跨模态编码器在视觉语言任务中的成功,同时我们改变了学习目标以迎合NLU的语言重特性。经过少量额外的自适应步骤和微调训练后,所提出的XDBERT(跨模态蒸馏BERT)在一般语言理解评估(GLUE),对抗生成(SWAG)基准测试和可读性基准测试中的性能优于预训练的BERT。我们分析了XDBERT在GLUE上的性能,以表明这种改进可能是视觉上的。
2022-05-03 cs.AI cs.CL cs.LG
Investigation of Language Understanding Impact for Reinforcement Learning Based Dialogue Systems
Microsoft Research(微软研究院);National Taiwan University(国立台湾大学)
语言理解是口语对话系统的关键组成部分。在本文中,我们调查如何语言理解模块的影响对话系统的性能进行了一系列的系统实验,面向任务的神经对话系统在强化学习为基础的设置。实证研究表明,在不同类型的语言理解错误中,槽级错误比意图级错误对对话系统整体性能的影响更大。此外,我们的实验表明,基于强化学习的对话系统能够学习什么时候和什么确认,以实现更好的性能和更大的鲁棒性。
2017-03-21 cs.AI cs.CL cs.LG
Language over Content: Tracing Cultural Understanding in Multilingual Large Language Models
KAIST(韩国釜山科学技术院)
本研究通过测量激活路径重叠度,探究多语言大型语言模型的内部文化理解机制,发现语言对内部表示的影响强于文化,且语言相似性未必带来文化表示一致性。
2025-11-11 cs.AI cs.CL cs.LG
TURNA: A Turkish Encoder-Decoder Language Model for Enhanced Understanding and Generation
Bogazici University(海峡大学);VNGRS-AI
TURNA是一种专为土耳其语设计的编码器-解码器语言模型,通过预训练在低资源环境下实现了对自然语言理解和生成任务的提升。
2024-01-25 cs.AI cs.CL cs.LG
Time-Stamped Language Model: Teaching Language Models to Understand the Flow of Events
Michigan State University(密歇根州立大学)
由于过程中描述的世界的动态性,在文本中描述的整个过程中跟踪实体具有挑战性。首先,我们建议制定这个任务作为一个问答问题。这使我们能够在其他QA基准测试中使用预先训练的基于transformer的语言模型,使其适应过程性文本理解。其次,由于基于transformer的语言模型不能单独对事件流进行编码,本文提出了一种基于时间戳的语言模型(TSLM模型),通过引入时间戳编码来对LM体系结构中的事件信息进行编码。我们的模型在Propara数据集上进行了评估,结果显示出对已发表的最新结果的改进,F1评分增加了$3.1\%$。此外,我们的模型在NPN-Cooking数据集上的位置预测任务上产生了更好的结果。这一结果表明,我们的方法是有效的程序性文本的理解一般。
2021-04-15 cs.AI cs.CL cs.LG
Natural Language Understanding Based on Semantic Relations between Sentences
Kim Il Sung University(金日成综合大学)
本文定义了自然语言句子上的事件表示和事件之间的语义关系。在此基础上,我们形式化地考虑了以事件为基本单位的文本理解过程。
2012-12-19 cs.CL
Explainable and Discourse Topic-aware Neural Language Understanding
Siemens AG(西门子股份公司);University of Munich (LMU)(慕尼黑大学(LMU))
本文提出一种神经复合语言模型,在主题与语言模型的联合学习框架中,引入可解释的主题表示与句子级主题篇章建模,实验证明其有效提升了多任务的语言理解能力。
2023-06-27 cs.AI cs.CL cs.LG
The Turking Test: Can Language Models Understand Instructions?
Tel-Aviv University(特拉维夫大学);Facebook AI Research(脸书人工智能研究院)
监督机器学习为学习者提供了一组目标任务的输入-输出示例。然而,人类也可以从自然语言的指令中学习执行新任务。机器也能学会理解指令吗?我们提出了Turking测试,该测试考察模型遵循不同复杂度的自然语言指令的能力。这些任务范围从简单的任务(如检索句子中的第n个单词)到需要创造力的任务(如为SNLI和SQuAD生成示例以代替人类智能工作者(“turkers”))。尽管我们的评估方法宽松,但我们观察到,大型预训练语言模型在所有任务中的表现都很差。分析模型的错误模式表明,模型往往会忽略明确的指令,并经常生成不能被解释为试图解决任务的输出。虽然目前还不清楚指令理解是否可以被传统的语言模型所捕获,但指令理解的纯粹表达能力使其成为新兴的Few-Shot推理范式的一个有吸引力的替代方案。
2020-10-22 cs.AI cs.CL cs.LG
Meta-Learning for Natural Language Understanding under Continual Learning Framework
New York University(纽约大学)
神经网络在处理各种自然语言理解(NLU)任务方面的成就已得到公认。已经开发了方法来训练鲁棒模型以处理多个任务以获得文本的一般表示。在本文中,我们实现了模型不可知的元学习(MAML)和在线感知元学习(OML)的元目标下的连续框架的自然语言理解任务。我们验证我们的方法在选定的SuperGLUE和GLUE基准。
2020-11-03 cs.AI cs.CL cs.LG
Dual Supervised Learning for Natural Language Understanding and Generation
National Taiwan University(台湾大学)
自然语言理解(NLU)和自然语言生成(NLG)都是自然语言处理领域的重要研究课题。自然语言理解是从给定的话语中提取出核心语义,而自然语言生成则与之相反,其目标是根据给定的语义构造相应的句子。然而,这种双重关系在文献中还没有被研究。本文在双监督学习的基础上,提出了一种新的语言理解和生成的学习框架,提供了一种利用二元性的方法。初步实验表明,所提出的方法提高了这两个任务的性能。
2020-04-30 cs.CL
Cost Analysis of Human-corrected Transcription for Predominately Oral Languages
本文通过实地研究十名转录员校正53小时班巴拉语ASR转录,测得实验室和实地条件下每小时语音转录分别需30和36小时人力,为低资源口语语言数据集创建提供成本基线。
2025-10-14 cs.CL
Data Augmentation for Spoken Language Understanding via Pretrained Language Models
Microsoft Research(微软研究院)
口语语言理解(SLU)模型的训练常常面临数据稀缺的问题。在本文中,我们提出了一种数据增强方法,使用预训练的语言模型,以提高生成的话语的可变性和准确性。此外,我们调查并提出了解决方案,以前被忽视的半监督学习的情况下,数据稀缺的SLU:i)丰富的本体:本体信息与许多有效的对话行为; ii)丰富的话语:大量的未标记的话语。实证结果表明,我们的方法可以产生合成的训练数据,提高性能的语言理解模型在各种情况下。
2021-03-11 cs.CL
Understanding by Understanding Not: Modeling Negation in Language Models
Mila/Université de Montréal(米拉/蒙特利尔大学);Mila/McGill University(米拉/麦吉尔大学);Element AI;ServiceNow;Microsoft Research(微软研究院)
否定是自然语言中的一个核心结构。尽管在许多任务上非常成功,但最先进的预训练语言模型通常会错误地处理否定。为了改善语言模型在这方面,我们建议增加语言建模的目标与不可能的目标,是基于否定的通用句子从原始文本语料库。通过使用得到的组合目标训练BERT,我们在否定的LAMA数据集上将平均top~1出错率降低到4%。我们也看到了否定的NLI基准的一些改进。
2021-05-07 cs.CL
Can Language Model Understand Word Semantics as A Chatbot? An Empirical Study of Language Model Internal External Mismatch
University of Toronto(多伦多大学);University of Alberta(阿尔伯塔大学)
本文针对语言模型内部与外部不匹配问题,研究了Encoder-only、Decoder-only和Encoder-Decoder预训练模型在词语义理解上的差异,揭示了提示与内部表征间的知识不一致性。
2024-09-21 cs.CL
WAVPROMPT: Towards Few-Shot Spoken Language Understanding with Frozen Language Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
在大规模文本上预训练的大规模自回归语言模型已经证明了它们令人印象深刻的能力,只需几个文本示例就可以执行新的自然语言任务,而无需进行微调。最近的研究进一步表明,这种Few-Shot学习能力可以通过训练编码器将图像编码为嵌入来扩展到文本图像设置,嵌入的功能类似于语言模型的文本嵌入。感兴趣的探索转移的Few-Shot学习能力的音频文本设置的可能性,我们提出了一种新的语音理解框架,WavPrompt,在那里我们微调wav2vec模型生成一个序列的音频嵌入理解的语言模型。我们表明,WavPrompt是一个Few-Shot学习者,可以执行语音理解任务比一个天真的文本基线。我们对不同的组件和超参数进行详细的消融研究,以经验确定最佳的模型配置。此外,我们进行了一个非语音理解实验,以显示WavPrompt可以提取更多的信息,而不仅仅是transmits。代码可在https://github.com/Hertin/WavPrompt上获得
2022-04-14 cs.AI cs.CL eess.AS
ShapeWorld - A new test methodology for multimodal language understanding
University of Cambridge(剑桥大学)
我们引入了一个新的框架,用于评估多模态深度学习模型的语言理解和泛化能力。在这种方法中,根据实验者的规格自动生成人工数据。在训练和评估过程中,数据的内容可以被详细控制,这使得能够创建需要真正的泛化能力的任务,特别是以新颖的方式组合先前引入的概念。我们通过评估四个不同任务的各种视觉问答模型来展示我们方法的潜力,并展示我们的框架如何让我们详细了解它们的能力和局限性。通过开源我们的框架,我们希望刺激多模态语言理解领域的进步。
2017-04-14 cs.AI cs.CL cs.CV
Ethical-Advice Taker: Do Language Models Understand Natural Language Interventions?
University of California, Los Angeles(加州大学洛杉矶分校);Allen Institute for AI(艾伦人工智能研究所)
是否有可能使用自然语言来干预模型的行为,并以期望的方式改变其预测?我们调查的有效性自然语言干预阅读理解系统,研究这一背景下的社会刻板印象。具体来说,我们提出了一个新的语言理解任务,语言伦理干预(LEI),其目标是通过传达特定于上下文的道德和公平原则来修正问答(QA)模型的不道德行为。用不同种类的道德干预和在这些干预下所期望的行为模式来增强它们。我们的zero-shot评估发现,即使是今天强大的神经语言模型也是非常糟糕的道德建议接受者,也就是说,它们对道德干预的反应令人惊讶地少,即使这些干预是以简单的句子来陈述的。少样本学习改进了模型行为,但仍然远远没有达到预期的结果,特别是在评估各种类型的泛化时。因此,我们的新任务对社区的语言理解提出了新的挑战。
2021-06-02 cs.AI cs.CL cs.LG
Conversational Agents and the Understanding of Human Language: Reflections on AI, LLMs, and Cognitive Science
HEIG-VD / HES-SO(瑞士西部应用科学与艺术大学伊韦尔东工程与管理高等学院);EPFL(瑞士洛桑联邦理工学院)
本文探讨计算机自然语言处理与人类语言能力理解的关系,分析NLP发展与语言能力理论的异同,指出语言技术的进步未显著深化人类语言处理机制的理解。
2026-03-29 cs.CL
Benchmarking Language Models for Code Syntax Understanding
University of Maryland, College Park(马里兰大学帕克分校);Google Research(谷歌研究院);Washington University in St. Louis(圣路易斯华盛顿大学);University of California, Berkeley(加州大学伯克利分校)
预训练的语言模型在自然语言处理和程序理解方面都表现出了令人印象深刻的性能,它将输入表示为令牌序列,而不显式地对其结构进行建模。一些先前的工作表明,预先训练的语言模型可以捕获自然语言的语法规则,而无需对语法理解任务进行微调。然而,到目前为止,对预训练模型如何理解代码结构的理解有限。在这项工作中,我们对最先进的预训练模型进行了第一次彻底的基准测试,用于识别程序的语法结构。具体来说,我们介绍Codebooks,一个大规模的数据集的程序注释的语法关系,在其相应的抽象语法树。我们的主要观察是,现有的代码预训练的语言模型仍然缺乏对代码语法的理解。事实上,这些预先训练的程序设计语言模型无法匹配基于位置偏移和关键字的简单基线的性能。我们还提出了一个自然语言的基准突出自然语言和程序设计语言的语法结构理解方面的差异。我们的研究结果指出了现有的程序设计语言的预训练方法的主要局限性,并提出了建模代码语法结构的重要性。
2022-10-26 cs.CL
Meaning and understanding in large language models
Institute of Philosophy of the Czech Academy of Sciences(捷克科学院哲学研究所);University of West Bohemia(西波希米亚大学)
本文批判了将LLMs语言能力仅视为浅层句法模拟的观点,论证其在满足特定条件时可具备真正的语义理解,并探讨其意义基础。
2023-10-26 cs.CL
Practical Approach to Knowledge-based Question Answering with Natural Language Understanding and Advanced Reasoning
本研究假设,一种实用的方法,以一个解决方案框架的形式被称为自然语言理解和推理的智能(NaLURI),它结合了全话语自然语言理解,强大的表示形式主义,能够利用本体信息和推理方法与先进的功能,将解决以下问题,而不损害实用性因素:1)对问题和响应的性质的限制,以及2)对跨域扩展和对现实生活中的自然语言文本的限制。
2007-07-24 cs.AI cs.CL cs.HC
Does He Wink or Does He Nod? A Challenging Benchmark for Evaluating Word Understanding of Language Models
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS))
在大型语料库上预训练语言模型的最新进展已经在许多NLP任务上取得了很大的性能提升。这些大型模型在预训练期间获得语言知识,这有助于通过微调提高下游任务的性能。为了评估获得了什么样的知识,语言模型通常是通过“填空”式完形填空来查询的。现有的探测数据集主要集中在单词和实体之间的关系的知识。我们引入了WDLMPro(Word Definition语言模型Probing)来直接使用单词的字典定义来评估单词理解。在我们的实验中,三种流行的预训练语言模型很难匹配单词及其定义。这表明他们对许多单词的理解很差,我们的新探测任务是一个困难的挑战,可以帮助指导未来对LM的研究。
2021-02-06 cs.CL
Language Cognition and Language Computation -- Human and Machine Language Understanding
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Zhejiang University(浙江大学);Zhejiang Lab(之江实验室);Institute of Psychology(中国科学院心理研究所)
语言理解是认知科学和计算机科学领域的一个关键科学问题。然而,这两个学科在具体的研究问题上有很大的不同。认知科学侧重于分析大脑的具体机制,研究大脑对语言的反应;很少有研究将大脑的语言系统作为一个整体来考察。相比之下,计算机科学家在选择研究问题时关注的是实际应用的效率,但可能会忽视语言最基本的规律。鉴于这些差异,这些学科的结合能否为构建智能语言模型和研究语言认知机制提供新的见解?在下文中,我们首先回顾了认知科学和计算机科学中语言理解的研究问题、历史和方法,重点讨论了当前的进展和挑战。然后对认知科学和计算机科学对语言理解的研究进行了比较。最后,我们回顾现有的工作,结合语言认知和语言计算的见解,并提供未来的发展趋势的前景。
2023-01-12 cs.CL
Explain Yourself! Leveraging Language Models for Commonsense Reasoning
Salesforce Research(赛富时研究院)
深度学习模型在需要常识推理的任务上表现不佳,这通常需要某种形式的世界知识或对输入中不直接存在的信息进行推理。我们以自然语言序列的形式收集人类对常识推理的解释,并在一个名为常识推理(CoS-E)的新数据集中突出显示注释。我们使用CoS-E来训练语言模型,以自动生成解释,这些解释可以在一个新的常识自动生成解释(CAGE)框架中的训练和推理过程中使用。CAGE在具有挑战性的CommonsenseQA任务上将最先进的技术提高了10%。我们进一步研究了DNN中的常识推理,使用人类和自动生成的解释,包括转移到域外任务。实验结果表明,我们可以有效地利用语言模型的常识推理。
2019-06-06 cs.CL
Incrementalizing RASA's Open-Source Natural Language Understanding Pipeline
Boise State University(博伊西州立大学)
随着口语对话系统和聊天机器人的广泛采用,用于自然语言理解的商业和开源服务正在出现。在本文中,我们解释了我们如何改变开源RASA自然语言理解管道以增量方式处理(即,逐词),遵循Schlangen和Skantze提出的增量单元框架。为此,我们更改了现有的RASA组件以增量方式处理,并将更新增量意图识别模型作为组件添加到RASA中。我们对Snips数据集的评估表明,我们的变化允许RASA作为一个有效的增量自然语言理解服务。
2019-07-11 cs.CL
Accurate, yet inconsistent? Consistency Analysis on Language Understanding Models
University of Oxford(牛津大学);SK Telecom(SK电信)
一致性是指为语义相似的上下文生成相同预测的能力,是健全的语言理解模型的高度期望的属性。尽管最近的预训练语言模型(PLM)在各种下游任务中表现出色,但如果模型真正理解语言,它们应该表现出一致的行为。在本文中,我们提出了一个简单的框架命名为一致性分析语言理解模型(CALUM)}来评估模型的下界一致性能力。通过实验,我们证实,目前的PLM是容易产生不一致的预测,即使是语义相同的输入。我们还观察到,具有释义识别任务的多任务训练有利于提高一致性,平均提高了13%的一致性。
2021-08-15 cs.CL
Data Annealing for Informal Language Understanding Tasks
University of California, Davis(加州大学戴维斯分校)
正式和非正式的语言理解任务之间存在巨大的绩效差距。最近的预训练模型提高了形式语言理解任务的性能,但在非正式语言上没有取得可比的结果。我们提出了一个数据退火迁移学习过程,以弥补非正式的自然语言理解任务的性能差距。它成功地利用了预先训练的模型,如非正式语言中的BERT。在我们的数据退火过程中,训练集主要包含正式文本数据,然后,非正式文本数据的比例在训练过程中逐渐增加。我们的数据退火过程是独立于模型的,可以应用于各种任务。我们在详尽的实验中验证了它的有效性。当BERT与我们的学习过程实现时,它在三个常见的非正式语言任务上的表现优于所有最先进的模型。
2020-04-24 cs.CL
Do Language Models Understand Measurements?
KAIST(韩国科学技术院)
最近成功的预训练语言模型(PLM)激发了人们对他们理解和处理数字的能力的兴趣。然而,测量的数值推理还没有正式研究,尽管他们的重要性。在这项研究中,我们表明,PLM缺乏推理测量所需的能力。此外,我们发现,一个语言模型上训练的测量丰富的语料库表现出更好的性能理解测量。我们提出了一个简单的嵌入策略,以更好地区分数字和单位,这导致探测任务的显着改善。
2022-10-23 cs.CL
Robustly Optimized and Distilled Training for Natural Language Understanding
在本文中,我们探索多任务学习(MTL)作为第二个预训练步骤,学习增强通用语言表示的Transformer语言模型。我们在几个自然语言理解任务中使用MTL增强表示来提高性能和泛化能力。此外,我们将知识蒸馏(KD)在MTL中,以进一步提高性能,并设计一个KD变体,有效地从多个教师学习。通过结合MTL和KD,我们提出了鲁棒优化和蒸馏(ROaD)建模框架。我们使用ROaD与ELECTRA模型一起获得机器阅读理解和自然语言推理的最新结果。
2021-03-16 cs.CL
Dialogue Games for Benchmarking Language Understanding: Motivation, Taxonomy, Strategy
University of Potsdam(波茨坦大学)
本文提出用对话博弈补充传统语言理解测试,通过构建情境化语言使用活动并建立与底层能力模型关联的分类体系,以更全面评估人工语言理解能力。
2023-04-14 cs.CL
Imagination-Augmented Natural Language Understanding
University of California, Santa Barbara(加州大学圣巴巴拉分校);University of California, Santa Cruz(加州大学圣克鲁兹分校)
人脑同时整合语言信息和知觉信息来理解自然语言,并具有批判性的想象能力。这种能力使我们能够构建新的抽象概念或具体对象,并且在涉及实践知识以解决低资源场景中的问题时至关重要。然而,大多数现有的自然语言理解(NLU)方法主要集中在文本信号。它们没有模拟人类的视觉想象能力,这阻碍了模型从有限的数据样本中进行有效的推理和学习。因此,我们引入了一个想象增强的跨模态编码器(iACE),以解决自然语言理解任务从一个新的学习视角-增强的跨模态理解。iACE通过从强大的生成和预训练的视觉和语言模型转移的外部知识实现视觉想象。在GLUE和SWAG上的大量实验表明,iACE在视觉监督的预训练模型上实现了一致的改进。更重要的是,极端和正常Few-Shot设置的结果验证了iACE在低资源自然语言理解环境中的有效性。
2022-05-03 cs.CL
The Singleton Fallacy: Why Current Critiques of Language Models Miss the Point
RISE (Research Institutes of Sweden)(瑞典国家研究院(瑞典研究所))
本文讨论了当前对基于神经网络的自然语言理解(NLU)解决方案(称为语言模型)的批评。我们认为,目前的辩论大部分依赖于一个论证错误,我们将称为单例谬误:假设语言,意义和理解是单一的和统一的现象,是无法获得的(当前)语言模型。与此相反,我们将认为,有许多不同类型的语言使用,意义和理解,(当前)语言模型建立与获取和代表一种类型的语言结构的理解明确的目的。我们认为,这种结构性理解可能涵盖几种不同的模态,因此可以处理几种不同类型的意义。我们的立场是,我们目前看不出有任何理论理由说明这种结构性知识不足以算作“真正的”理解。
2021-02-08 cs.CL
Semantics-Aware Inferential Network for Natural Language Understanding
Shanghai Jiao Tong University(上海交通大学)
对于自然语言理解任务,无论是机器阅读理解还是自然语言推理,语义感知和推理都是相关建模的有利特征,以获得更好的理解性能。因此,我们提出了一个语义感知推理网络(SAIN),以满足这样的动机。SAIN的推理模块以显式语境化语义作为补充输入,通过注意力机制对语义线索进行一系列推理。通过串接这些步骤,推理网络有效地学习执行迭代推理,该迭代推理结合了显式语义和上下文表示。在良好的预训练语言模型作为前端编码器方面,我们的模型在包括机器阅读理解和自然语言推理在内的11个任务上取得了显着的改进。
2020-04-28 cs.CL
ICU: Conquering Language Barriers in Vision-and-Language Modeling by Dividing the Tasks into Image Captioning and Language Understanding
University of Zurich(苏黎世大学)
提出ICU方法,将视觉-语言任务分解为英文图像描述与多语言理解两阶段,利用多语言文本数据优势,在IGLUE基准9种语言上取得5项最先进结果。
2024-02-05 cs.CL