Standardization of the formal representation of lexical information for NLP
Laurent Romary
词典模型和格式的调查，以及相应的最近的标准化活动的介绍。
A survey of dictionary models and formats is presented as well as a presentation of corresponding recent standardisation activities.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
The Interplay between Lexical Resources and Natural Language Processing
将语言、世界和常识知识转化为人工智能/自然语言处理系统目前是一个重要的研究领域，但仍存在一些问题和挑战。同时，在词汇资源中处理和存储这些知识并不是一项简单的任务。本教程建议从两个方法论角度来解决这些互补的目标：使用NLP方法来帮助构建和丰富词汇资源的过程，以及使用词汇资源来改进NLP应用程序。两种主要类型的受众可以从本教程中受益：那些致力于语言资源的人，他们有兴趣熟悉自动NLP技术，最终目标是加速和/或简化资源管理过程;另一方面，NLP研究人员希望从词汇资源的知识中受益，以改进他们的系统和模型。本教程的幻灯片可在https://bitbucket.org/luisespinosa/lr-nlp/上获得
Recent advances in conversational NLP : Towards the standardization of Chatbot building
对话系统最近在我们的生活中变得至关重要。它们的使用越来越流畅，越来越容易。这可以归结为NLP和AI领域的改进。在本文中，我们试图提供一个概述的对话系统，他们的类别和不同的方法来建立他们的艺术现状。最后，我们将对所有技术进行比较，并分析每种技术的优缺点。最后，我们提出了一个意见，建议定向的对话系统建设的标准化研究。
TajPersLexon: A Tajik-Persian Lexical Resource and Hybrid Model for Cross-Script Low-Resource NLP
本文提出TajPersLexon，一个包含40112词对的塔吉克-波斯语平行词汇资源，通过混合模型在低资源环境下实现跨脚本词检索与对齐，取得96.4%准确率。
ViLexNorm: A Lexical Normalization Corpus for Vietnamese Social Media Text
本研究构建了首个越南语社交媒体词汇规范化语料库ViLexNorm，含超10000对人工标注句，经评估最优系统ERR达57.74%，验证了该任务对下游NLP任务的增益，语料库供研究公开使用。
Multitask and Multilingual Modelling for Lexical Analysis
在自然语言处理（NLP）中，传统上一次考虑针对单个语言（例如英语）的单个任务（例如词性标注）。然而，最近的研究表明，利用任务之间以及语言之间的相关性是有益的。在这项工作中，我研究了相关性的概念，并探索如何利用它来构建需要较少手动注释数据的NLP模型。一个大的选择的NLP任务进行了调查，包括60种语言的大量语言样本。结果显示了联合多任务和多语言建模的潜力，并暗示了可以从这些模型中获得的语言见解。
Proceedings of the LexSem+Logics Workshop 2016
词汇语义在推动NLP研究方向方面继续发挥着重要作用，对上下文的识别和理解在NLP任务中取得成功变得越来越重要。除了传统的处理领域，如词义和命名实体消歧，词典，注释语料库和资源的创建和维护已成为词汇语义研究的基石，并产生了丰富的上下文信息，NLP过程可以利用。新的努力都链接和从头开始构建这样的信息-作为链接的开放数据或来自逻辑，本体论和自动推理的正式工具的方式-增加了词汇和计算语义资源的互操作性和可访问性，即使在这些语言，他们以前是有限的。LexSem+Logics 2016结合了第一届资源较少语言的词汇语义研讨会和第三届逻辑和本体研讨会。我们项目中接受的论文涵盖了这两个领域的主题，包括：Wordnets中复数的编码，基于语义相似性度量从多个来源创建词库，以及使用跨语言树库和注释进行通用词性标记。我们还欢迎两位杰出演讲者的演讲：关于葡萄牙语词汇知识库（不同的方法，结果及其在NLP任务中的应用）和开放式信息抽取的新策略（从大量文本语料库中捕获基于动词的命题）。
One Model to Rule them all: Multitask and Multilingual Modelling for Lexical Analysis
当你学习一项新技能时，你会利用你先前的技能和知识。例如，如果你是一个熟练的小提琴手，你可能会有一个更容易学习演奏大提琴。同样，当你学习一门新语言时，你会利用你已经说的语言。例如，如果你的母语是挪威语，你决定学习荷兰语，这两种语言之间的词汇重叠可能会有利于你的语言习得速度。本论文在自然语言处理（NLP）的背景下研究了多任务学习和多语言学习的交叉点，自然语言处理可以定义为对人类语言的计算处理的研究。虽然这两种学习方式在表面上看起来不同，但我们会发现它们有许多相似之处。NLP的传统方法是一次考虑一种语言的单一任务。然而，最近的进展允许通过同时考虑多个任务和语言的数据来扩大这种方法。这是一个需要进一步探索的重要方法，因为提高NLP可靠性的关键，特别是对于低资源语言，是尽可能利用所有相关数据。在这样做的过程中，希望从长远来看，低资源语言可以从NLP的进步中受益，这些进步目前在很大程度上是为高资源语言保留的。这反过来可能会产生积极的影响，例如，语言保护，因为使用少数民族语言的人使用高资源语言的压力较小。在短期内，回答所提出的具体研究问题应该对致力于同一目标的NLP研究人员有用。
Nominal Compound Chain Extraction: A New Task for Semantic-enriched Lexical Chain
词汇链由文档中的衔接词组成，它暗示了文本的底层结构，从而有助于下游的NLP任务。然而，现有的工作主要集中在检测具有浅层句法关联的简单表层词汇，而忽略了语义感知的词汇复合词以及潜在的语义框架，主题），这对于现实世界的NLP应用程序来说可能更为重要。在本文中，我们介绍了一种新的任务，名词复合词链提取（NCCE），提取和聚类所有名词复合词，共享相同的语义主题。此外，我们将任务建模为两阶段预测（即，复合提取和链检测），其经由所提出的联合框架来处理。该模型采用BERT编码器来产生上下文化的文档表示。此外，知网作为外部资源，提供丰富的义素信息。实验基于我们的人工标注语料库，结果证明了NCCE任务的必要性以及我们的联合方法的有效性。
Shared task: Lexical semantic change detection in German (Student Project Report)
最近的NLP架构已经以各种方式说明了如何跨时间和域捕获语义变化。然而，在评价方面，缺乏对这些系统的业绩进行相互比较的基准。我们基于Schlechtweg等人提出的评估框架，在德语中提出了第一个无监督词汇语义变化检测（LSCD）共享任务的结果。（2019）。
Lexical and Statistical Analysis of Bangla Newspaper and Literature: A Corpus-Driven Study on Diversity, Readability, and NLP Adaptation
本文通过分析孟加拉语文学和报纸语料库，探讨其多样性、可读性及自然语言处理适应性，发现文学语料库在词法丰富性和结构变化上更突出，且对下游任务性能提升有积极影响。
NLP-CIC @ DIACR-Ita: POS and Neighbor Based Distributional Models for Lexical Semantic Change in Diachronic Italian Corpora
我们在EVALITA 2020的DIACR-Ita共享任务中展示了我们关于意大利语无监督词汇语义变化的系统和发现。该任务是确定目标词是否随着时间的推移而演变其含义，仅依赖于来自两个特定时间数据集的原始文本。我们提出了两个模型，代表目标词的各个时期预测变化的话，使用阈值和投票计划。我们的第一个模型仅仅依赖于词性的使用和距离测量的集合。第二个模型使用词嵌入表示法提取相邻词在空间上的相对距离，并提出“绝对差平均值”来估计词汇语义变化。我们的模型取得了令人满意的结果，在DIACR-Ita竞赛中排名第三。此外，我们使用第二个模型的k_neighbor参数进行实验，以比较使用“绝对差的平均值”与Hamilton et al.（2016）中使用的余弦距离的影响。
How Can BERT Help Lexical Semantics Tasks?
诸如BERT之类的上下文化嵌入可以作为NLP任务的强输入表示，优于诸如skip-gram、CBOW和GloVe之类的静态嵌入。然而，这样的嵌入是动态的，根据一个词汇级上下文计算，这限制了它们在词汇语义任务中的使用。我们通过使用动态嵌入作为训练静态嵌入的单词表示来解决这个问题，从而利用它们强大的表示能力来消除上下文信息的歧义。结果表明，该方法导致改进传统的静态嵌入的词汇语义任务的范围内，获得最好的报告结果在七个数据集。
A Survey on Lexical Ambiguity Detection and Word Sense Disambiguation
本文综述了自然语言处理中的词义消歧技术，涵盖深度学习与知识图谱方法，介绍了词义扩展等前沿技术及其在生物医学等领域的应用，并指出了语料稀缺等挑战与未来发展方向。
Deep Lexical Hypothesis: Identifying personality structure in natural language
自然语言处理（NLP）的最新进展已经产生了可以执行复杂任务的通用模型，例如总结长段落和跨语言翻译。在这里，我们介绍了一种方法来提取形容词相似性的语言模型与传统的心理语言学研究中的调查为基础的评级，但在自然环境中使用数百万倍的文本。通过这种方法产生的相关结构与Saucier和Goldberg（1996 a）报告的435个术语的自我和他人评级高度相似。使用NLP产生的前三个未旋转因子与调查数据中的因子一致，系数为0.89，0.79和0.79。这种结构对许多建模决策都是鲁棒的：形容词集，包括1,710个术语（Goldberg，1982）和18,000个术语（Allport & Odbert，1936）;用于提取相关性的查询;和语言模型。值得注意的是，神经质和开放性只有微弱和不一致的恢复。这是一个新的信号源，更接近词汇假设的原始（语义）视野。这种方法可以应用于调查无法应用的领域：同时使用几十种语言，有数万个项目，对历史文本，以及以极低的成本进行超大规模的调查。公开代码是为了便于复制和快速迭代新的研究方向。
Representation Of Lexical Stylistic Features In Language Models' Embedding Space
本文提出利用少量种子对在语言模型嵌入空间中构建词汇风格（复杂性、正式性、比喻性）的向量表示，并发现静态嵌入在词级更优、上下文模型在句级更优，且各向异性可经标准化部分修正。
Morphological Cues for Lexical Semantics
大多数自然语言处理任务需要词汇语义信息。因此，自动获取这些信息将增加NLP系统的鲁棒性和可移植性。本文描述了一种利用派生词缀与词汇语义信息之间的固定对应关系的习得方法。这种方法和其他只依赖于语言表面特征的方法的一个优点是，必要的输入是当前可用的。
Linguistically-Informed Neural Architectures for Lexical, Syntactic and Semantic Tasks in Sanskrit
该论文针对梵语低资源、形态丰富及连音等挑战，提出融合语言信息的神经架构以解决词分割、依存分析、复合词识别和诗歌分析任务，并发布 SanskritShala 在线工具包。
The Divergence Hypothesis: Unmasking Lexical Interference and Label Bias in Mental Health NLP
该研究提出TSS诊断框架与DoD统计量，揭示心理健康NLP分类器的词汇干扰与标签偏差，可标记特定标签源的捷径学习，为相关模型审计提供支撑。
Path-based vs. Distributional Information in Recognizing Lexical Semantic Relations
识别术语之间的各种语义关系对于许多NLP任务是有益的。虽然基于路径和分布式信息源被认为是这项任务的补充，但后者最近显示的优越结果表明，前者的贡献可能已经过时。我们遵循最近成功的用于上位性检测的集成神经方法（Shwartz等人，2016年），并将其扩展到识别多种关系。实验结果表明，该方法在多类情况下也是有效的。我们进一步表明，基于路径的信息源总是有助于分类，并分析的情况下，它主要是补充的分布信息。
Conversion of Lexicon-Grammar tables to LMF. Application to French
本文首次将法语动词词典-语法表转换为LMF格式，探讨了转换过程中的挑战及所获资源。
MultiLexNorm++: A Unified Benchmark and a Generative Model for Lexical Normalization for Asian Languages
MultiLexNorm++提出一种基于大语言模型的新架构，用于改进亚洲语言的词汇规范化任务，涵盖5种不同语言家族的亚洲语言。
Towards a Seamless Integration of Word Senses into Downstream NLP Applications
词汇歧义会阻碍自然语言处理系统对语义的准确理解。尽管有潜在的好处，但将感官层面的信息整合到NLP系统中仍然没有得到充分的研究。通过将一种新的消歧算法融入到最先进的分类模型中，我们创建了一个管道，将意义级信息集成到下游NLP应用程序中。我们表明，一个简单的消歧的输入文本可以导致一致的性能提高多个主题分类和极性检测数据集，特别是当细粒度的基本感库存减少，文档足够大。我们的研究结果还指出，有必要对感官表征研究更多地关注体内评估，这些评估的目标是下游NLP应用的性能，而不是人工基准。
Deep Learning Approaches to Lexical Simplification: A Survey
本文综述了2017至2023年间深度学习在词汇简化（LS）及其子任务中的最新进展，并提供了基准数据集以促进未来LS系统开发。
A Kind Introduction to Lexical and Grammatical Aspect, with a Survey of Computational Approaches
体意义是指情景的内部时间结构是如何呈现的。这包括一种情况是被描述为一种状态还是一个事件，这种情况是已经结束还是正在进行，以及它是被视为一个整体还是集中在一个特定的阶段。本调查概述了建模词汇和语法方面的计算方法，以及对必要的语言概念和术语的直观解释。特别是，我们描述了静态性，telicity，习惯性，完善和不完善的概念，以及有影响力的库存的可能性和情况类型。我们认为，因为方面是语义的一个重要组成部分，特别是当它涉及到以精确的方式报告的情况下的时间结构，未来的NLP方法需要能够处理和评估它系统，以实现人类水平的语言理解。
Are Language Models Borrowing-Blind? A Multilingual Evaluation of Loanword Identification across 10 Languages
本文探讨了预训练语言模型在多语言环境下识别借词的能力，发现模型在区分借词与本土词汇方面表现不佳，对少数语言NLP工具开发和语言保护有重要意义。
Multilingual Word Sense Disambiguation with Unified Sense Representation
词义消歧是自然语言处理的一项重要任务，它评估自然语言处理模型在特定语境下对词汇语义的理解能力。得益于大规模标注，当前的词义消歧系统通过将监督学习与词汇知识相结合，在英语中取得了令人印象深刻的性能。然而，这样的成功是很难被复制在其他语言中，我们只有有限的annotations.In本文中，基于多语种词典BabelNet描述跨语言的同一组概念，我们提出了建立知识和监督为基础的多语种词义消歧（MWSD）系统。我们为多种语言建立统一的意义表示，并通过将注释从丰富的语言转移到贫穷的语言来解决MWSD的注释稀缺问题。通过统一的意义表示，可以联合训练来自多种语言的注释，以使MWSD任务受益。SemEval-13和SemEval-15数据集的评估证明了我们方法的有效性。
Validation and Normalization of DCS corpus using Sanskrit Heritage tools to build a tagged Gold Corpus
梵文数字语料库记录了大约65万个句子及其形态和词汇标记。但是，在形态分析和提供关键信息，如分割的词，不一致的，迫切需要标准化和验证这个语料库。验证过程的自动化需要高效的分析器，这些分析器还可以提供缺失的信息。梵语遗产引擎的读者产生所有可能的分割形态和词汇分析。对齐这些系统将有助于我们记录语言差异，这些差异可用于更新这些系统以产生标准化结果，并且还将提供标记有完整形态和词汇信息以及分割单词的Gold语料库。Krishna et al.（2017）考虑到一些语言差异，对齐了115，000个句子。由于这两个系统都发生了显著的变化，考虑到这些系统之间所有剩余的语言差异，再次进行对齐。本文详细描述了修改后的对齐过程，并记录了观察到的其他语言差异。参考文献：Amrith Krishna，Pavankumar Satuluri和Pawan Goyal。2017.用于梵文分词的数据集。SIGHUM文化遗产、社会科学、人文科学和文学计算语言学联合研讨会论文集，第105-114页。计算语言学协会，八月。
Training-free Lexical Backdoor Attacks on Language Models
大规模语言模型在各种自然语言处理（NLP）应用中取得了巨大的成功。然而，语言模型容易受到后门攻击的攻击，后门攻击会向模型中注入隐形触发器，以引导它们进行不期望的行为。大多数现有的后门攻击，如数据投毒，需要进一步（重新）训练或微调语言模型，以学习预期的后门模式。然而，额外的训练过程减少了攻击的隐蔽性，因为训练语言模型通常需要很长的优化时间、大量的数据以及对模型参数的大量修改。在这项工作中，我们提出了训练免费词汇后门攻击（TFLexAttack）作为第一个训练免费后门攻击语言模型。我们的攻击是通过注入词汇触发器到一个语言模型的标记器，通过操纵其嵌入字典使用精心设计的规则。这些规则可以向人类开发人员解释，这激发了更广泛的黑客攻击。字典的稀疏操作也证明了我们攻击的隐蔽性。我们对基于九个语言模型的三个主要NLP任务进行了广泛的实验，以证明我们的攻击的有效性和通用性。这个工作的代码可以在https://github.com/Jinxhy/TFLexAttack上找到。
Automatic Keyword Extraction from Spoken Text. A Comparison of two Lexical Resources: the EDR and WordNet
词汇资源，如WordNet和EDR电子词典已被用于几个NLP任务。也许，部分原因是EDR不是免费提供的，WordNet的使用频率远远超过EDR。我们在同一任务中使用了这两种资源，以便进行比较。该任务是自动分配关键字到多方对话片段（即口语文本的主题连贯延伸）。我们表明，在这样的任务中使用的词汇资源的结果比使用一个纯粹的基于统计的方法略高的性能。
Lexical Sememe Prediction using Dictionary Definitions by Capturing Local Semantic Correspondence
义素在语言学中被定义为人类语言的最小语义单位，在许多自然语言处理任务中被证明是有用的。由于人工构建和更新义素知识库（KBs）的成本很高，因此提出了自动义素预测的任务来辅助义素标注。在本文中，我们探讨的方法，应用字典的定义来预测义素的未注释的话。我们发现，每个词的义素通常是语义匹配到不同的词在其词典定义，我们称之为局部语义对应这种匹配关系。因此，我们提出了一个语义对应池（SCorP）模型，它能够捕捉这种匹配来预测语义。我们评估我们的模型和基线方法上一个著名的词素KB知网，发现我们的模型达到了最先进的性能。进一步的定量分析表明，该模型能够正确地学习词典释义中义素与词之间的局部语义对应关系，说明了该模型的有效性。本文的源代码可以从https://github.com/thunlp/scorp获得。
Embedding Lexical Features via Low-Rank Tensors
现代NLP模型严重依赖工程特征，这些特征通常将单词和上下文信息组合成复杂的词汇特征。这样的组合导致大量的特征，这可能导致过拟合。我们提出了一个新的模型，表示复杂的词汇功能-包括部分的话，上下文信息和标签-在一个张量，捕捉这些部分之间的连接信息。我们将低秩张量近似应用于相应的参数张量，以减少参数空间并提高预测速度。此外，我们研究了两种方法处理功能，包括$n$ -混合长度的克。我们的模型在关系抽取、PP附加和介词消歧等任务上取得了最先进的结果。
On the Interplay Between Fine-tuning and Composition in Transformers
预训练的Transformer语言模型在各种NLP任务上表现出卓越的性能。然而，最近的研究表明，这些模型中的短语级表征反映了词汇内容的严重影响，但缺乏证据的复杂，成分短语信息。在这里，我们调查的影响微调的上下文嵌入捕捉词汇内容以外的短语含义信息的能力。具体来说，我们微调了具有高词汇重叠的对抗性释义分类任务和情感分类任务的模型。微调后，我们分析了短语表示在控制设置之前的工作。我们发现，微调在很大程度上未能使这些表示中的组合性受益，尽管对情绪的训练对某些模型产生了较小的局部益处。在后续分析中，我们确定了释义数据集中的混淆线索，这可能解释了该任务缺乏组合物的好处，我们讨论了情感训练的本地化好处的潜在因素。
Scripts Through Time: A Survey of the Evolving Role of Transliteration in NLP
本文综述了翻译学在跨语言NLP中的应用，分析了其在语言模型中的演变和有效性，讨论了关键权衡，并提供了针对不同语言、任务和资源约束的翻译策略建议。
Model Internal Sleuthing: Finding Lexical Identity and Inflectional Features in Modern Language Models
研究通过分析25个模型的词汇身份和屈折特征，发现屈折特征在模型中线性可解，而词汇身份在早期显著但随深度减弱，揭示了transformer在层间保持屈折特征但牺牲词汇身份以获得紧凑预测表示的机制。
Training Bi-Encoders for Word Sense Disambiguation
现代基于transformer的神经架构几乎在每一个NLP任务中都产生了令人印象深刻的结果，词义消歧，即在给定上下文中识别单词的正确含义的问题，也不例外。今天WSD中最先进的方法利用词汇信息以及来自这些模型的预训练嵌入，以实现与标准评估基准上的人类注释者间协议相当的结果。同样，我们尝试了几种策略来优化这个特定任务的双编码器，并提出了向我们的模型呈现词汇信息的替代方法。通过我们的多阶段预训练和微调管道，我们进一步发展了词义消歧的最新技术。
Learning to Understand Phrases by Embedding the Dictionary
学习丰富语义词表示的分布模型是最近NLP研究的成功案例。然而，事实证明，开发学习短语和句子的有用表示的模型要困难得多。我们建议使用日常词典中的定义作为弥合词汇和短语语义之间差距的一种手段。神经语言嵌入模型可以被有效地训练，以将字典定义（短语）映射到由这些定义定义的单词的（词汇）表示。我们提出了这些架构的两个应用程序：“反向字典”，返回一个概念的名称给出了定义或描述和一般知识的填字游戏问题的答案。在这两项任务中，神经语言嵌入模型在少数免费可用的词汇资源的定义上进行训练，其表现与依赖于重要任务特定工程的现有商业系统一样好或更好。结果突出了神经嵌入架构和基于定义的训练对于开发理解短语和句子的模型的有效性。
Information-Restricted Neural Language Models Reveal Different Brain Regions' Sensitivity to Semantics, Syntax and Context
神经语言学中的一个基本问题涉及言语理解过程中涉及句法和语义处理的大脑区域，包括词汇（字处理）和超词汇水平（句子和话语处理）。这些区域在多大程度上是相互分离或交织在一起的？为了解决这个问题，我们在文本语料库上训练了一个词汇语言模型Glove和一个超词汇语言模型GPT-2，我们选择性地删除了语法或语义信息。然后，我们评估了这些信息限制模型在多大程度上能够预测人类听自然主义文本的fMRI信号的时间过程。我们还操纵了提供给GPT-2的上下文信息的大小，以确定参与超词汇处理的大脑区域的整合窗口。我们的分析表明，虽然大多数涉及语言的大脑区域对句法和语义变量都很敏感，但这些影响的相对大小在这些区域之间有很大差异。此外，我们还发现左右半球之间的不对称性，语义和句法加工在左半球比在右半球更加分离，并且左半球和右半球分别对短和长语境表现出更大的敏感性。信息受限的NLP模型的使用，从而揭示了句法处理，语义处理和组合性的空间组织。
Generating Concept Lexicalizations via Dictionary-Based Cross-Lingual Sense Projection
提出一种通过语义投影将英语WordNet概念扩展到新语言的方法，利用双语词典增强对齐并过滤错误投影，在多个语言上提升了精度且保持可解释性和资源效率。
Investigating Lexical Replacements for Arabic-English Code-Switched Data Augmentation
本文研究了基于词对齐平行语料库的词汇替换方法来合成方言阿拉伯语-英语语码转换文本，发现预测模型和随机选择CS点在MT、ASR和ST等下游任务中表现相当且优于字典替换，显著提升了系统性能。
Twitter as a Lifeline: Human-annotated Twitter Corpora for NLP of Crisis-related Messages
Twitter等微博平台在群众聚集和地震、台风等紧急事件期间提供了积极的沟通渠道。在危机局势突然爆发期间，受影响的人在Twitter上发布有用的信息，如果得到及时和有效的处理，这些信息可用于了解情况和其他人道主义救灾工作。处理社交媒体信息提出了多种挑战，例如解析嘈杂的、简短的和非正式的消息，从传入的消息流中学习信息类别，并将它们分类为不同的类别等。其中许多任务的基本要求之一是数据的可用性，特别是人工注释的数据。在本文中，我们展示了在2013年至2015年期间发生的19次不同危机中收集的人类注释的Twitter语料库。为了演示注释的实用性，我们训练机器学习分类器。此外，我们发布了第一个最大的word2vec词嵌入，它是在5200万条与危机相关的推文上训练的。为了处理推文语言问题，我们提出了人类注释的规范化词汇资源不同的词汇变化。
What Do Dialect Speakers Want? A Survey of Attitudes Towards Language Technology for German Dialects
本文通过调查327名德语方言使用者，发现他们更偏好能理解方言语音输入的NLP工具（如虚拟助手），而非生成方言输出的应用，揭示了非标准语言技术开发中的用户需求差异。
EAT: a simple and versatile semantic representation format for multi-purpose NLP
语义表示是许多需要人类可解释数据的NLP任务的核心。连词主义框架-主要由Pietroski（2005，2018）开发-获得表达性表征，只有少数基本语义类型和与句法位置系统相关的关系。虽然表示简单性对于计算应用至关重要，但这些发现尚未对NLP产生重大影响。我们提出了第一个通用的语义表示格式的自然语言处理直接基于这些见解。我们命名的格式EAT由于其基础上的事件，代理，主题参数在新戴维森逻辑形式。它建立在这样一个想法上，即类似的三方论元关系在各个类别中普遍存在，并且可以在没有额外词汇信息的情况下从语法结构中构建。我们提出了一个详细的阐述EAT以及它如何与其他流行的格式在以前的工作中使用，如抽象意义表示（AMR）和最小递归语义（MRS）。EAT在两个方面脱颖而出：简单性和多功能性。独特的是，EAT放弃了语义元预测，而是完全通过位置编码来表示语义角色。这是通过将角色数量限制为只有三个而实现的;从AMR和MRS中认识到的几十个角色中大幅减少。EAT的简单性使其在应用中具有非常多的用途。首先，我们表明，在Hajdik et al.（2019）的测试环境中，基于EAT大幅减少语义角色有利于MRS的文本生成。其次，我们实现了EAT从句法分析的推导，并将其应用于语法类之间的并行语料库生成。第三，我们训练一个编码器-解码器LSTM网络来将EAT映射为英语。最后，我们使用编码器-解码器网络和基于规则的替代…
The Use of NLP-Based Text Representation Techniques to Support Requirement Engineering Tasks: A Systematic Mapping Review
自然语言处理（NLP）被广泛用于支持不同需求工程（RE）任务的自动化。大多数提出的方法都是从各种NLP步骤开始的，这些步骤分析需求语句，提取它们的语言信息，并将它们转换为易于处理的表示，例如特征列表或基于嵌入的向量表示。这些基于NLP的表示通常在稍后阶段用作机器学习技术或基于规则的方法的输入。因此，需求表示在确定不同方法的准确性方面起着重要作用。本文以系统的文献映射（分类）的形式进行了一项调查，以了解（1）RE任务文献中使用的表示方法，（2）这些作品的主要焦点是什么，（3）该领域的主要研究方向是什么，以及（4）差距和潜在的未来方向。在编译了2，227篇论文的初始池并应用一组纳入/排除标准后，我们获得了包含104篇相关论文的最终池。我们的调查显示，研究方向已经从使用词汇和句法特征转向使用先进的嵌入技术，特别是在最近两年。使用高级嵌入表示已经证明了它在大多数RE任务（如需求分析，从评论和论坛中提取需求，以及语义级质量任务）中的有效性。然而，基于词汇和语法特征的表示仍然更适合于其他RE任务（例如建模和语法级质量任务），因为它们为处理这些任务时使用的规则和正则表达式提供了所需的信息。此外，我们确定了现有文献中的四个差距，为什么它们很重要，以及未来的研究如何开始解决这些问题。
Does Vision-and-Language Pretraining Improve Lexical Grounding?
仅从文本中衍生的语言表征因缺乏基础而受到批评，即，将词语与它们在现实世界中的意义联系起来。视觉和语言（VL）模型，共同训练的文本和图像或视频数据，已被提供作为对这些批评的回应。然而，尽管VL预训练在多模态任务（如视觉问答）上取得了成功，但尚不清楚内部语言表征本身与纯文本对应物的比较情况。本文比较了通过VL与纯文本预训练两个最近的VL模型使用一套分析（聚类，探测，和一个常识性的问答任务的性能）在一个纯语言设置的语义表示。我们发现，多模态模型未能显着优于纯文本的变体，这表明，未来的工作是必要的，如果要追求多模态预训练作为一种手段，提高NLP的一般。
Building Safe and Deployable Clinical Natural Language Processing under Temporal Leakage Constraints
本研究提出了一种轻量级审计流程，用于在时间泄露约束下构建安全且可部署的临床NLP系统，通过提升模型的校准性和鲁棒性来确保临床应用的安全性。
Discovering Salient Neurons in Deep NLP Models
本文提出语言相关性分析方法，用于识别深度 NLP 模型中承载特定语言属性的显著神经元，并通过细粒度分析揭示其层次分布、冗余性、微调迁移规律及跨模型与跨语言差异。
How many words does ChatGPT know? The answer is ChatWords
本文提出可扩展的自动化测试系统 ChatWords，用于评估 ChatGPT 等 NLP 工具的词汇知识，并通过西班牙语词典和《Quixote》两个案例揭示其识别率与词义局限。
A Knowledge-Based Approach to Word Sense Disambiguation by distributional selection and semantic features
词义消歧改进了许多自然语言处理（NLP）应用，诸如信息检索、信息抽取、机器翻译或词汇简化。粗略地说，目的是为文本中的每个词选择最佳意义。其中最流行的方法之一是估计两个词义之间的局部语义相似度，然后将其扩展到文本中的所有单词。最直接的方法为每对词义计算一个粗略的分数，并选择具有最佳分数的词汇链（我们可以想象返回这种综合方法的指数复杂性）。在本文中，我们建议使用组合优化元启发式方法来选择通过单词周围的分布选择获得的最近邻居来消除歧义。我们的方法的测试和评估关注的语料库写在法国的语义网络BabelNet的手段。在所有被选的人名和动词上获得的准确率为78%。
The Compactness of Construction Grammars
我们提出了一个参数{ \em构造文法}的基础上的最小描述长度（MDL）的原则（一个正式版本的奥卡姆剃刀）。该论点在于使用语言和计算的证据，在建立一个正式的模型，然后应用MDL原则，以证明其优越性与替代模型。我们表明，基于结构的表示至少是一个数量级更紧凑的相应的词汇化表示相同的语言数据。这一结果对于理解句法和语义之间的关系，进而选择自然语言处理体系结构具有重要意义。例如，处理是否应该在从句法到语义再到语用的管道中进行，以及是否应该将所有语言信息组合在一组约束中。从更广泛的角度来看，本文不仅为某种处理模型进行了论证，而且还提供了一种方法来确定不同NLP方法的优势。
Language Models sounds the Death Knell of Knowledge Graphs
医疗保健领域生成大量非结构化和半结构化文本。自然语言处理（NLP）已被广泛用于处理这些数据。基于深度学习的NLP，特别是大语言模型（LLM），如BERT，已被广泛接受，并广泛用于许多应用程序。语言模型是单词序列上的概率分布。对大型数据语料库的自监督学习自动生成基于深度学习的语言模型。BioBERT和Med-BERT是针对医疗保健领域预先训练的语言模型。医疗保健使用典型的NLP任务，如问答，信息抽取，命名实体识别和搜索，以简化和改进流程。然而，为了确保结果的强大应用，NLP从业者需要将其规范化和标准化。实现规范化和标准化的主要方法之一是使用知识图谱。知识图捕捉特定领域的概念及其关系，但它们的创建非常耗时，需要领域专家的手动干预，这可能会被证明是昂贵的。SNOMED CT（系统化医学名词-临床术语）、统一医学语言系统（UMLS）和基因本体（GO）是来自医疗保健领域的流行本体。SNOMED CT和UMLS捕捉疾病、症状和诊断等概念，GO是世界上最大的基因功能信息来源。医疗保健一直在处理有关不同类型的药物，疾病和程序的信息爆炸。本文认为，使用知识图谱是不是解决这个领域的问题的最佳解决方案。我们目前的实验使用LLM的医疗领域证明，语言模型提供相同的功能，知识图谱，从而使知识图谱冗余。
Natural Language Robot Programming: NLP integrated with autonomous robotic grasping
本文提出基于语法的自然语言机器人编程（NLRP）框架，通过自定义动作词词典实现词汇扩展，结合语音转文本技术生成机械臂关节轨迹，实验验证其在拾取与放置任务中具有高系统可用性且无需迁移学习。
Integrating Multimodal Information in Large Pretrained Transformers
最近基于transformer的上下文单词表示，包括BERT和XLNet，在NLP的多个学科中表现出最先进的性能。在特定于任务的数据集上微调经过训练的上下文模型是实现下游卓越性能的关键。虽然微调这些预先训练的模型对于词汇应用程序（只有语言模态的应用程序）来说很简单，但对于多模态语言（NLP中一个不断增长的领域，专注于对面对面交流进行建模）来说却不是小事。预先训练的模型没有必要的组件来接受视觉和声学的两种额外模式。在本文中，我们提出了一个附件BERT和XLNet称为多模式适配门（MAG）。MAG允许BERT和XLNet在微调期间接受多模态非语言数据。它通过生成到BERT和XLNet的内部表示的转变来实现;这种转变以视觉和声学模态为条件。在我们的实验中，我们研究了常用的CMU-MOSI和CMU-MOSEI数据集的多模态情感分析。微调MAG-BERT和MAG-XLNet显著提高了情感分析性能，超过了以前的基线，以及BERT和XLNet的仅语言微调。在CMU-MOSI数据集上，MAG-XLNet在NLP社区中首次实现了人类水平的多模态情感分析性能。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。