Learning to Explain Non-Standard English Words and Phrases
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
我们描述了一种数据驱动的方法，用于在给定的句子中自动解释新的非标准英语表达，该方法建立在一个大型数据集上，该数据集包括来自UrbanDictionary.com的15年众包示例。与之前的研究不同，我们研究了学习神经序列到序列模型的可能性，该模型可以在给定上下文的情况下生成对看不见的非标准英语表达的解释。我们提出了一个双编码器的方法-一个字级编码器学习上下文的表示，第二个字符级编码器学习目标非标准表达式的隐藏表示。我们的模型可以产生合理的定义，新的非标准英语表达的上下文与一定的信心。
2017-09-26 cs.CL
PREDICT: Persian Reverse Dictionary
Amirkabir University of Technology（阿米尔卡比尔理工大学）
找到适当的词语来表达概念（即，词汇通达）对于有效的交流是必不可少的。反向词典通过帮助个人找到可能与特定概念或想法相关的单词来满足这一需求。据我们所知，该资源不适用于波斯语。在本文中，我们比较了四种不同的架构实现波斯语反向字典（PREDICT）。我们评估我们的模型使用（短语，单词）元组提取的唯一波斯语字典在线，即Amid，Moein和Dehkhoda的短语描述的单词。给定短语，模型建议在传达概念的能力方面最相关的词。如果正确的词是其最重要的建议之一，则该模型被认为表现良好。我们的实验表明，由添加注意力机制增强的长短期记忆（LSTM）单元组成的模型足以产生与原始词典中的单词相当（或在某些情况下更好）的建议。该研究还表明，该模型有时会产生同义词作为其输出，这使得我们引入了一个新的度量标准，用于评估反向词典，称为同义词准确度，占产生单词或同义词的事件发生的次数的百分比。使用这个新指标对最佳模型的评估还表明，至少有62%的时间，它在前100个建议中产生了准确的结果。
2021-10-30 cs.CL cs.IR
Design and Implementation of English To Yorùbá Verb Phrase Machine Translation System
Obafemi Awolowo University（奥巴费米·阿沃洛沃大学）
本文设计并实现了一个英语到约鲁巴语的动词短语机器翻译系统，结合词典匹配、上下文无关文法和有限状态自动机，在人工评估中超过70%的响应优于谷歌翻译。
2023-08-05 cs.CL
Identifying missing dictionary entries with frequency-conserving context models
The University of Vermont（佛蒙特大学）
为了更好地理解自然语言文本的意义，我们探索了旨在将词汇对象组织到上下文中的方法。这些用于组织的方法中有许多属于由单词排序定义的一个家族。与人口统计学或空间数据划分不同，这些搭配模型具有特殊的重要性，因为它们具有普遍的适用性。虽然我们在这里对文本感兴趣，并适当地制定了我们的处理方法，但我们的工作可能适用于其他研究领域（例如，语音、基因组学和移动性模式），其中已经对分类数据进行了排序，（例如，声音、基因和位置）。我们的方法侧重于短语（无论是词或更大）作为主要的意义承载词汇单位和研究对象。要做到这一点，我们采用我们以前开发的框架，用于生成字保存短语频率数据。在使用Wiktionary训练我们的模型时，Wiktionary是一个广泛的，在线的，协作的，开源的字典，包含超过100，000个短语定义，我们开发了高效的过滤器来识别有意义的，缺失的短语条目。我们的预测，然后从事维基词典的编辑社区，并提出了简短的名单，潜在的缺失条目的定义，开发一个突破性的，词汇提取技术，并扩大我们的知识定义的英语词汇的短语。
2015-07-29 cs.CL cs.IT math.IT
Corpus analysis without prior linguistic knowledge - unsupervised mining of phrases and subphrase structure
Ludwig Maximilians University（路德维希-马克西米利安大学）
在研究自然语言的结构时，“短语”和“词”是中心概念。我们认为，在一个完全基于语料库和语言独立的方式，而不使用任何形式的先前的语言知识，任何长度和潜在的组成原则的语言的“有意义的子部分”的识别问题。描述了用于识别“短语”、挖掘子短语结构和以全自动方式查找单词的无监督方法。这可以被认为是自动计算“语料库的通用词典和语法”的一个步骤。我们希望，从长远来看，我们的方法的变体也适用于其他类型的序列数据，例如，语音、基因组序列或音乐注释。即使我们不是主要感兴趣的即时应用程序，各种语言的结果表明，我们的方法是有趣的文本挖掘，术语提取和词典编纂，搜索引擎技术，以及相关领域的许多实际任务。
2016-02-18 cs.CL
Detecting multiword phrases in mathematical text corpora
Cologne University of Applied Sciences（科隆应用科学大学）；Institute of Information Science（信息科学研究所）
本文提出了一种在数学文本语料库中检测多词短语的方法。所使用的方法是基于数学术语的特征。它使用一个名为Lingo的软件工具，可以通过以前定义的词典识别特定的词类，如形容词，人名或名词。多字组的检测是通过算法完成的。索引和信息检索的方法可能的优点和应用基于字典的自动索引的方法，而不是词干程序的结论进行了讨论。
2012-10-02 cs.CL cs.IR
The Grievance Dictionary: Understanding Threatening Language Use
University College London（伦敦大学学院）
本文介绍了冤情字典，心理语言学字典，可用于自动理解语言使用的情况下，冤情燃料的暴力威胁评估。我们描述了字典的发展，这是由经验丰富的威胁评估从业人员的建议。这些建议以及随后的人工和计算单词列表生成产生了由2，318名参与者注释的20，502个单词的词典。通过将其应用于暴力和非暴力个人撰写的文本，该词典得到了验证，显示出强有力的证据表明，在几个词典类别中，人口之间存在差异。进一步的分类任务表现出良好的性能，但仍需要进一步改进。最后，我们为安全专业人员和（暴力）研究人员使用申诉词典提供了说明和建议。
2020-09-10 cs.CL
CLIP also Understands Text: Prompting CLIP for Phrase Understanding
UC San Diego（加州大学圣地亚哥分校）；UC Santa Barbara（加州大学圣巴巴拉分校）
对比图像预训练（CLIP）通过自然语言监督的预训练有效地学习视觉概念。CLIP及其视觉编码器已经在各种视觉和语言任务上进行了探索，并实现了强大的zero-shot或迁移学习性能。然而，它的文本编码器的应用，仅用于文本理解已经较少探索。在本文中，我们发现，CLIP的文本编码器实际上表现出强大的短语理解能力，甚至可以显着优于流行的语言模型，如BERT与适当设计的提示。大量的实验验证了我们的方法在不同数据集和领域的实体聚类和实体集扩展任务的有效性。
2022-10-11 cs.CL
PiC: A Phrase-in-Context Dataset for Phrase Understanding and Semantic Search
Auburn University（奥本大学）；Adobe Research（奥多比研究院）
虽然上下文化的词嵌入已经是一个事实标准，但学习上下文化的短语嵌入却很少被探索，并且由于缺乏人类注释的基准而受到阻碍，该基准测试机器对给定上下文句子或段落（而不是单独的短语）的短语语义的理解。为了填补这一空白，我们提出了PiC --一个包含约28 K名词短语及其上下文维基百科页面的数据集，以及一套用于训练和评估短语嵌入的三个任务。PiC上的训练提高了排名模型的准确性，并显著推动了跨度选择（SS）模型（即，预测目标短语的开始和结束索引）接近人类的准确性，其在给定查询短语和段落的语义搜索上为95%的精确匹配（EM）。有趣的是，我们发现证据表明，这种令人印象深刻的表现是因为SS模型学习更好地捕捉短语的共同含义，而不管其实际上下文。SotA模型在区分两个上下文中同一短语的两个含义（约60%EM）和估计同一上下文中两个不同短语之间的相似性（约70%EM）方面表现不佳。
2023-02-02 cs.AI cs.CL
Towards Structuring an Arabic-English Machine-Readable Dictionary Using Parsing Expression Grammars
Department of Computer Science, Faculty of Computers and Information, Cairo University（计算机科学系，计算机与信息学院，开罗大学）；Department of EECE, Faculty of Engineering, Cairo University（电子工程系，工程学院，开罗大学）；Department of Arabic Language and Literatures, Faculty of Arts, Cairo University（阿拉伯语言与文学系，艺术学院，开罗大学）
提出一种基于解析表达文法的方法，将阿拉伯语-英语Al-Mawrid词典的条目从文本流转换为层次结构，实现机器可读词典的结构化。
2026-07-07 cs.CL
Translating Phrases in Neural Machine Translation
Soochow University（苏州大学）；Tencent AI Lab（腾讯人工智能实验室）
短语在自然语言理解和机器翻译中发挥着重要作用（Sag等人，2002; Villavicencio等人，2005年）。然而，很难将它们集成到当前逐词阅读和生成句子的神经机器翻译（NMT）中。在这项工作中，我们提出了一种方法来翻译NMT中的短语，通过将存储目标短语的短语存储器从基于短语的统计机器翻译（SMT）系统集成到NMT的编码器-解码器架构中。在每个解码步骤中，短语存储器首先由SMT模型重写，SMT模型利用NMT模型提供的上下文信息动态地生成相关目标短语。然后，所提出的模型读取短语记忆中的所有短语的概率估计。如果进行短语生成，则NMT解码器从存储器中选择适当的短语以执行短语翻译，并通过消耗所选短语中的单词来更新其解码状态。否则，NMT解码器如一般NMT解码器那样从词汇表生成单词。实验结果表明，该模型在不同的测试集上都取得了显著的提高。
2017-08-07 cs.CL
Categorization of Semantic Roles for Dictionary Definitions
University of Passau（帕绍大学）
理解术语之间的语义关系是自然语言处理应用中的一项基本任务。虽然可以以正式方式表达这些关系的结构化资源（如本体）仍然稀缺，但收集字典定义的大量语言资源正在变得可用，但理解自然语言定义的语义结构是使其在语义解释任务中有用的基础。WordNet的注释的一个子集的分析的基础上，我们提出了一组语义角色，组成的字典定义的语义结构，并显示它们是如何相关的定义的语法配置，识别模式，可用于开发的信息抽取框架和语义模型。
2018-06-20 cs.CL
LitMind Dictionary: An Open-Source Online Dictionary
Beijing Language and Culture University（北京语言大学）；Shanghai University of Finance and Economics（上海财经大学）
词典可以通过提供单词的定义来帮助语言学习者学习词汇。由于传统的词典把词义作为预定义目录中的离散项目来呈现，它们缺乏灵活性，这是在特定语境中提供单词的特定含义所必需的。在本文中，我们介绍了LitMind词典（dictionary.litmind.ink），这是一个开源的在线生成词典，它将单词和包含该单词的上下文作为输入，并自动生成定义作为输出。它采用最先进的定义生成模型，不仅支持中文和英文，而且支持中英文跨语言查询。此外，它具有用户友好的前端设计，可以帮助用户快速，轻松地理解查询词。所有的代码和数据都可以在https://github.com/blcuicall/litmind-dictionary上找到。
2022-04-23 cs.CL
DILA: Dictionary Label Attention for Mechanistic Interpretability in High-dimensional Multi-label Medical Coding Prediction
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Vanderbilt University（范德堡大学）
针对高维多标签医疗编码预测的可解释性不足问题，提出DILA字典标签注意力模块，将稠密嵌入解耦为含全局医学概念的稀疏嵌入，结合LLM自动识别特征，用稀疏矩阵呈现特征与编码关系，提升可解释性且保持性能与可扩展性。
2025-03-22 cs.CL
Unsupervised Key-phrase Extraction and Clustering for Classification Scheme in Scientific Publications
Ericsson AB（爱立信公司）；Uppsala University（乌普萨拉大学）
已经探索了几种方法来自动化系统映射（SM）和系统评价（SR）方法的一部分。挑战通常围绕文本语义理解的差距以及缺乏弥合这一差距所需的领域和背景知识而演变。在本文中，我们研究可能的方法自动化部分SM/SR过程，即提取关键字和关键短语从科学文献中使用无监督的方法，然后使用语义关键短语聚类技术作为基础，构建相应的分类方案。具体而言，我们探讨了集成分数测量在关键短语提取中的作用，我们探讨了基于语义网络的词嵌入在短语语义的嵌入表示中的作用，最后我们还探讨了如何使用聚类来对相关的关键短语进行分组。评估是在与“可解释的人工智能”领域有关的出版物数据集上进行的，我们使用标准的公开数字图书馆和索引术语（关键词）集构建了该数据集。实验结果表明：集成排序得分确实提高了关键词提取的性能。基于ConceptNet语义网络的基于语义网络的词嵌入与上下文化的词嵌入具有相似的性能，但是前者的计算效率更高。最后，在术语级进行语义关键词聚类，可以将相似的术语聚集在一起，从而适合于分类方案。
2021-02-08 cs.CL
Assessing Phrasal Representation and Composition in Transformers
University of Chicago（芝加哥大学）；Deptartment of Computer Science（计算机科学系）；Department of Linguistics（语言学系）
深度Transformer模型将NLP任务的性能推向了新的极限，这表明对复杂语言输入（如短语）的复杂处理。然而，我们对这些模型如何处理短语表示的理解有限，以及这是否反映了像人类一样复杂的短语含义组成。在本文中，我们对最先进的预训练Transformers中的短语表示进行了系统的分析。我们使用测试，利用人类判断的短语相似性和意义的转变，并比较前后控制词重叠的结果，梳理除了词汇效果与成分的影响。我们发现，这些模型中的短语表示在很大程度上依赖于词的内容，几乎没有证据的细微差别组成。我们还确定了模型，层和表示类型之间的短语表示质量的变化，并为使用这些模型的表示提出相应的建议。
2020-10-14 cs.CL
Neural versus Phrase-Based Machine Translation Quality: a Case Study
FBK（FBK（布鲁诺·凯斯勒基金会））；University of Amsterdam（阿姆斯特丹大学）
在统计机器翻译（SMT）领域，神经方法（NMT）最近成为第一个能够挑战基于短语的方法（PBMT）长期主导地位的技术。特别是，在IWITH 2015年的评估活动中，NMT在英语-德语上的表现优于成熟的最先进的PBMT系统，由于词法和句法差异，英语-德语是一种特别困难的语言对。为了了解NMT在哪些方面提供了比PBMT更好的翻译质量，我们对神经与基于短语的SMT输出进行了详细的分析，利用专业翻译人员对IWITOS数据进行的高质量后期编辑。这是第一次，我们的分析提供了有用的见解，哪些语言现象最好由神经模型建模-例如动词的重新排序-同时指出了其他有待改进的方面。
2016-10-09 cs.CL
Data Augmentation to Address Out-of-Vocabulary Problem in Low-Resource Sinhala-English Neural Machine Translation
University of Moratuwa（莫拉图瓦大学）
词汇表外（Out-of-Vocabulary，OOV）是神经机器翻译（NMT）的一个难题。OOV指的是在训练数据中出现率低的单词，或者指的是在训练数据中不存在的单词。为了减轻这种情况，已经使用了基于单词或短语的数据增强（DA）技术。然而，现有的DA技术只解决了这些OOV类型之一，并限制考虑语法约束或语义约束。我们提出了一个词和短语的补充为基础的DA技术，考虑这两种类型的OOV，通过增加（1）在现有的平行语料库中的罕见的话，和（2）从双语词典的新词。在增强过程中，我们考虑了词的句法和语义属性，以保证合成句子的流畅性。这种技术是用低资源的僧伽罗语-英语语言对进行实验的。我们观察到，只有语义约束的DA，结果是可比的分数考虑到句法约束，并有利于低资源的语言，缺乏语言工具的支持。此外，通过考虑句法和语义约束，可以进一步改善结果。
2022-05-18 cs.CL
How to Understand "Support"? An Implicit-enhanced Causal Inference Approach for Weakly-supervised Phrase Grounding
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）
针对弱监督短语定位中被忽视的隐式短语-区域关系，本文提出结合干预与反事实的IECI因果推断方法，并构建隐式增强数据集，验证其显著优于现有基线及多模态大语言模型。
2024-03-04 cs.AI cs.CL
Text2Node: a Cross-Domain System for Mapping Arbitrary Phrases to a Taxonomy
Knowtions Research Inc.（Knowtions Research公司）
电子健康记录（EHR）系统在整个医疗保健领域得到广泛使用。然而，由于跨系统使用不同的编码标准，EHR系统之间的数据可互换性受到限制。现有的基于人工人类专家映射、字典映射、符号NLP和分类的编码标准映射方法是不可扩展的，并且不能适应大规模的EHR数据集。在这项工作中，我们提出了Text 2Node，一个跨域映射系统，能够将医学短语映射到大型分类法（如SNOMED CT）中的概念。该系统被设计为从有限的训练样本集合进行概括，并将短语映射到未被训练数据覆盖的分类的元素。因此，我们的系统是可扩展的，强大的编码系统之间的措辞变体，并可以输出高度相关的概念时，没有确切的概念存在于目标分类。Text 2Node的操作主要分为三个阶段：首先，将词典映射到词嵌入;其次，使用节点嵌入对分类进行向量化;最后，训练映射函数以连接两个嵌入空间。我们比较了每个训练阶段的多种算法和架构，包括GloVe和FastText词嵌入，CNN和Bi-LSTM映射函数，以及节点嵌入的node 2 vec。我们通过将ICD-9-CM诊断短语映射到SNOMED CT并通过zero-shot训练以相当的准确度确认了Text 2Node的稳健性和泛化特性。该系统是一种新的方法学贡献的规范化和链接短语的分类，推进医疗保健中的数据可重复性的任务。当应用时，该系统可以使用电子健康记录来生成嵌入，该嵌入包含分类医学知识以改进临床预测模型。
2019-04-11 cs.CL cs.LG stat.ML
Unlocking Korean Verbs: A User-Friendly Exploration into the Verb Lexicon
Seoultech（首尔科技大学）；The University of British Columbia（不列颠哥伦比亚大学）；The Chinese University of Hong Kong（香港中文大学）；dot Inc.（42dot公司）；Seoul National University（首尔大学）；National Institute of Korean Language（韩国国立国语院）；KAIST（韩国科学技术院）；Anyang University（安阳大学）
本文介绍了一个用户友好的Web界面和Python库，用于收集整合韩语动词相关信息（如次范畴框架）并简化句法分析与语义角色标注，助力基于Sejong词典数据集的韩语处理应用开发。
2025-04-02 cs.CL
Are Representations Built from the Ground Up? An Empirical Examination of Local Composition in Language Models
Carnegie Mellon University（卡内基梅隆大学）
组合性是人类语言的一个重要特征，它是一个短语的意义可以从它的组成部分推导出来的现象。与此同时，许多短语是非合成的，其含义超出了孤立的每个部分。表示这两种类型的短语是语言理解的关键，但它是一个悬而未决的问题，现代语言模型（LM）是否学会这样做，在这项工作中，我们研究这个问题。首先，我们制定了一个问题，预测LM内部表示较长的短语给定的成分。我们发现，一个父短语的表示可以预测一定的准确性给出了仿射变换的孩子。虽然我们希望预测准确性与人类对语义组合性的判断相关，但我们发现情况在很大程度上并非如此，这表明LM可能无法准确区分成分和非成分短语。我们进行了各种分析，揭示了不同品种的LM做，不产生组成表示，并讨论了未来的建模工作的影响。
2022-10-22 cs.CL
SlangSD: Building and Using a Sentiment Dictionary of Slang Words for Short-Text Sentiment Classification
Arizona State University（亚利桑那州立大学）
社交媒体中的情绪越来越被认为是客户细分，市场理解和解决其他社会经济问题的重要资源。然而，社交媒体中的情绪很难衡量，因为用户生成的内容通常很短，而且不正式。虽然许多传统的情感分析方法已经被提出，识别俚语情感词仍然没有解决。原因之一是俚语情感词在现有的词典或情感词典中不可用。为此，我们建议建立第一个俚语情感词典，以帮助对社交媒体内容进行情感分析。收集和标注一个完整的俚语列表的情感极性是费力和耗时的。我们提出了一种方法，利用网络资源，构建一个广泛的俚语情感词词典（SlangSD），易于维护和扩展。SlangSD可公开用于研究目的。我们经验表明，使用SlangSD，新建成的俚语情感词词典的情感分类的优势，并提供的例子证明其易用性与现有的情感系统。
2016-08-17 cs.CL
CV-Probes: Studying the interplay of lexical and world knowledge in visually grounded verb understanding
Faculty of Informatics, Brno University of Technology（信息学院，布拉格技术大学）；Kempelen Institute of Intelligent Technologies（智能技术研究所）；Utrecht University（乌得勒支大学）
本文提出 CV-Probes 数据集，研究视觉-语言模型在动词短语 ground 中对上下文和世界知识的整合，发现模型在处理强依赖上下文的动词短语时存在困难且对动词 token 关注不足，指出需改进训练与评估方法。
2025-07-14 cs.CL
SimCLAD: A Simple Framework for Contrastive Learning of Acronym Disambiguation
College of Electrical and Information Engineering, Hunan University（湖南大学电气与信息工程学院）；National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
首字母缩略词消歧是指从词典中找到一个有歧义的首字母缩略词在给定句子中的正确含义，这是科学文档理解的关键点之一（SDU@AAAI-22）。最近，许多尝试试图通过微调预训练的掩蔽语言模型（MLM）来解决这个问题，以获得更好的首字母缩略词表示。然而，缩略词的意义在不同的上下文中是不同的，其对应的短语表示在不同的方向上映射在整个向量空间中缺乏区分。因此，预先训练的MLM的原始表示对于首字母缩略词消歧任务并不理想。在本文中，我们提出了一个简单的框架对比学习的首字母缩略词消歧（SimCLAD）方法，以更好地理解首字母缩略词的含义。具体来说，我们设计了一种持续对比的预训练方法，通过学习真实含义和歧义短语之间的短语级对比分布来增强预训练模型的泛化能力。对英文科技领域首字母缩略词的消歧实验结果表明，该方法优于所有其他竞争性最先进（SOTA）方法。
2021-12-09 cs.AI cs.CL
Resolving Out-of-Vocabulary Words with Bilingual Embeddings in Machine Translation
TALP Research Center（TALP研究中心）；Univesitat Politècnica de Catalunya（加泰罗尼亚理工大学）
词汇表外的单词在机器翻译系统中占很大比例的错误，特别是当系统在与训练它的领域不同的领域中使用时。为了缓解这个问题，我们建议使用一个基于对数双线性softmax的模型进行词汇扩展，这样，给定一个词汇外的源单词，该模型生成一个概率列表的可能的翻译在目标语言。我们的模型只使用在相当大的未标记单语语料库上训练的词嵌入，并在相当小的词到词的双语词典上训练。我们将此概率列表输入到标准的基于短语的统计机器翻译系统中，并在英语-西班牙语对上获得翻译质量的一致改进。特别是，我们得到了3.9 BLEU点的改进时，测试的域外测试集。
2016-08-05 cs.CL
Automatic Glossary of Clinical Terminology: a Large-Scale Dictionary of Biomedical Definitions Generated from Ontological Knowledge
IDLab（互联网与数据科学实验室）；Ghent University（根特大学）；imec（比利时微电子研究中心）
本文提出AGCT，利用SnomedCT关系言语化信息提示GPT 3.5变体，为422,070个临床概念自动生成可读定义，人工评估显示其质量较高。
2023-06-01 cs.CL
EfficientQA : a RoBERTa Based Phrase-Indexed Question-Answering System
DataLab Groupe, Crédit Agricole S.A（法国农业信贷集团数据实验室）
本文提出 EfficientQA，利用 RoBERTa 将候选答案编码为稠密向量，使问答转化为最近邻搜索，在 PIQA 上超越此前最优结果，证明稠密向量可承载丰富语义并提升资源效率。
2025-03-10 cs.CL
phi-LSTM: A Phrase-based Hierarchical LSTM Model for Image Captioning
University of Malaya（马来亚大学）
一张图片胜过千言万语。然而，直到最近，我们才注意到在理解视觉场景方面的一些成功案例：一个能够检测/命名对象，描述其属性并识别其关系/交互的模型。在本文中，我们提出了一个基于短语的分层长短期记忆（phi-LSTM）模型来生成图像描述。所提出的模型将句子编码为短语和单词的组合序列，而不是像传统解决方案中那样单独的单词序列。该模型的两个层次致力于i）学习生成图像相关名词短语，以及ii）从语料库中的短语和其他单词中产生适当的图像描述。采用卷积神经网络来学习图像特征，采用LSTM来学习句子中的单词序列，与Flickr 8 k和Flickr 30 k数据集上的最先进模型相比，该模型显示出更好或具有竞争力的结果。
2017-10-26 cs.CL cs.CV
Neural Based Statement Classification for Biased Language
L3S Research Center（L3S研究中心）；Leibniz University of Hannover（莱布尼茨汉诺威大学）
有偏见的语言通常发生在具有争议性的话题周围，从而在讨论的不同参与方之间引发分歧。这是因为语言及其使用，特别是短语的理解和使用，在特定群体中的立场是有凝聚力的。然而，这种凝聚力并不存在于群体之间。在协作环境或需要公正语言的环境中（例如维基百科，新闻媒体），声明和其中的语言应该平等地代表相关各方，并且措辞中立。有偏见的语言是通过煽动性的词语或短语，或可能不正确或片面的陈述，从而违反这种共识。在这项工作中，我们专注于措辞偏见的具体情况下，这可能是通过特定的煽动性词语或短语在声明中介绍。为此，我们提出了一种依赖于递归神经网络的方法，以捕获引入偏见的短语中单词之间的相互依赖关系。我们进行了全面的实验评估，在那里我们显示了基于神经的方法在检测有偏见的语言方面优于依赖单词词典和其他手工制作的功能的竞争对手。我们能够以P=0.92的精度区分有偏见的陈述，从而显著优于基线模型，提高了30%以上。最后，我们发布了最大的带有偏见语言注释的声明语料库。
2018-11-14 cs.CL
Lost without translation -- Can transformer (language models) understand mood states?
研究探讨了变压器模型在印度语言中理解不同情绪状态的能力，发现翻译方法显著提升性能，但本地语言模型仍需改进以适应全球心理健康需求。
2025-11-29 cs.CL
Benchmarking sentiment analysis methods for large-scale texts: A case for using continuum-scored words and word shift graphs
University of Vermont（佛蒙特大学）；The MITRE Corporation（MITRE公司）；University of California, Berkeley（加州大学伯克利分校）
社交媒体的出现和全球采用使得对人口规模情绪的实时估计成为可能，对我们理解人类行为产生了深远的影响。鉴于情绪测量工具的种类越来越多，显然需要对它们进行比较。在这里，我们进行了详细的测试6字典为基础的方法应用于4个不同的语料库，并简要地检查了进一步的20种方法。我们表明，一个基于字典的方法将只执行可靠和有意义的，如果（1）字典涵盖了足够大的足够大的一部分给定的文本的词典时，加权词的使用频率;和（2）的话，连续的规模评分。
2016-09-07 cs.CL
Towards Understanding Language through Perception in Situated Human-Robot Interaction: From Word Grounding to Grammar Induction
Ritsumeikan University（立命馆大学）
机器人在不同的任务中与人类用户广泛合作，这些任务需要高水平的认知功能，使它们能够发现周围的环境。我们在这篇短文中强调的一个困难的挑战是推断语言的潜在语法结构，其中包括基础词性（例如，动词、名词、形容词和介词），并对短语进行组合范畴语法（CCG）归纳。这为基础短语铺平了道路，以便使机器人能够在交互过程中适当地理解人类指令。
2020-03-13 cs.AI cs.CL
SentiBERT: A Transferable Transformer-Based Architecture for Compositional Sentiment Semantics
Peking University（北京大学）；University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了SentiBERT，一个变种的BERT，有效地捕捉成分的情感语义。该模型结合上下文表示和二元选区分析树来捕获语义组合。综合实验表明，SentiBERT在短语级情感分类上取得了有竞争力的性能。我们进一步证明了从SST上的短语级注释中学习到的情感成分可以转移到其他情感分析任务以及相关任务，例如情感分类任务。此外，我们进行消融研究和设计可视化方法来了解SentiBERT。我们表明，SentiBERT是优于基线方法在捕捉否定和对比关系和模型的成分情感语义。
2020-05-21 cs.CL
Word Embedding Visualization Via Dictionary Learning
UC Berkeley（加州大学伯克利分校）；Tsinghua University（清华大学）；Redwood Center for Theoretical Neuroscience, UC Berkeley（加州大学伯克利分校雷德伍德理论神经科学中心）；School of Optometry, UC Berkeley（加州大学伯克利分校视光学院）
基于共现统计的词嵌入技术已被证明是非常有用的提取词的语义和句法表示为低维连续向量。在这项工作中，我们发现字典学习可以将这些词向量作为更基本的词因子的线性组合。我们证明了许多学习的因素具有令人惊讶的强大的语义或语法意义，对应于以前通过人工检查确定的因素。因此，字典学习为理解词嵌入表示提供了强大的可视化工具。此外，我们表明，字的因素可以帮助识别关键的语义和句法差异，在词类比任务，并改善国家的最先进的词嵌入技术在这些任务中的大幅度。
2021-03-15 cs.CL cs.LG
IRB-NLP at SemEval-2022 Task 1: Exploring the Relationship Between Words and Their Semantic Representations
Ruđer Bošković Institute（鲁杰尔·博什科维奇研究所）
一个词和它的描述，或者一个词和它的嵌入之间的关系是什么？描述和嵌入都是词的语义表征。但是，在这些表征中保留了来自原始词的哪些信息呢？或者更重要的是，这两种表征共享了关于一个词的哪些信息？定义建模和反向词典是解决这些问题的两个相反的学习任务。定义建模任务的目标是研究隐藏在词嵌入中的信息的力量，以人类可理解的方式表达单词的含义-作为字典定义。相反，反向词典任务探索直接从定义预测词嵌入的能力。在本文中，通过处理这两个任务，我们正在探索词和它们的语义表征之间的关系。我们根据对CODWOE数据集进行的描述性、探索性和预测性数据分析提出了我们的研究结果。我们详细介绍了我们为定义建模和反向字典任务设计的系统，并在SemEval-2022 CODWOE挑战赛的几个子任务中获得了最高分。我们希望我们提供的有关预测模型和数据分析的实验结果将被证明对未来单词表示及其关系的探索有用。
2022-05-13 cs.CL
Transformer visualization via dictionary learning: contextualized embedding as a linear superposition of transformer factors
Facebook AI Research（脸书人工智能研究院）；Berkeley AI Research (BAIR), UC Berkeley（加州大学伯克利分校伯克利人工智能研究院（BAIR））；New York University（纽约大学）；Redwood Center for Theoretical Neuroscience, UC Berkeley（加州大学伯克利分校雷德伍德理论神经科学中心）
本文提出利用字典学习将Transformer的上下文嵌入表示为Transformer因子的线性叠加，通过可视化揭示其捕获的层次语义结构（如词级多义消歧、句级模式形成和长距离依赖），为理解Transformer网络内部机制提供了新见解。
2023-04-04 cs.CL cs.LG
Algorithms for certain classes of Tamil Spelling correction
泰米尔语有一个粘着的，双音的，字母音节的结构，提供了一个显着的组合爆炸形态所有这些都有效地用于泰米尔散文，诗歌从古代到现代的连续性链。然而，对于语言理解来说，拼写校正目的中的一些作为字典外的词而存在挑战。在本文中，作者提出的算法技术，以处理特定的问题，连接的话（字典外）（音译）[thendRalkattRu] = [thendRal]+[kattRu]时，部分单独存在于单词列表中的有效方式。泰米尔语的形态结构使得有必要依赖于综合分析方法，字典列表永远不足以真正捕捉语言。在本文中，我们试图作出总结的各种已知算法的特定类别的泰米尔语拼写错误。我们相信这一系列的建议，以改善未来的拼写检查。我们还注意到，没有涵盖许多重要的技术，如词缀删除和其他此类技术的关键重要性，在基于规则的拼写检查。
2019-09-22 cs.CL
Unsupervised Learning of Word-Sequence Representations from Scratch via Convolutional Tensor Decomposition
无监督文本嵌入提取是机器学习中文本理解的关键。Word 2 Vec及其变体在将具有相似句法或语义含义的词映射到彼此接近的向量方面取得了实质性的成功。然而，提取上下文感知的词序列嵌入仍然是一个具有挑战性的任务。在大型语料库上训练是困难的，因为标签很难获得。更重要的是，对于预训练的模型来说，要获得对所有下游任务或任何新数据集都通用的单词序列嵌入是一个挑战。我们提出了一个两阶段的ConvDic+DeconvDec框架来解决这个问题，通过结合词序列字典学习模型和词序列嵌入解码模型。我们提出了一种卷积张量分解机制，在学习阶段学习好的单词序列短语词典。它被证明是更准确，更有效地比流行的交替最小化方法。在解码阶段，我们引入了一个反卷积框架，它不受句子长度变化的影响。我们使用ConvDic+DeconvDec提取的单词序列嵌入对于我们测试的一些下游任务来说普遍很好。该框架既不需要预训练也不需要先验/外部信息。
2018-05-28 cs.CL cs.LG
Redefining <Creative> in Dictionary: Towards an Enhanced Semantic Understanding of Creative Generation
School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（教育部新一代人工智能技术及交叉应用重点实验室（东南大学））
本文提出 CreTok，将“创意”定义为新 token <CreTok>，并基于 CangJie 数据集优化自适应与限制性提示嵌入，使 T2I 扩散模型免训练生成组合创意。
2025-03-17 cs.CL cs.CV
Modeling Hierarchical Reasoning Chains by Linking Discourse Units and Key Phrases for Reading Comprehension
Shanghai Jiao Tong University（上海交通大学）
本文提出整体图网络（HGN），在话语和词级别建模层次关系，通过节点级和类型级交互机制提升机器阅读理解的逻辑推理能力，并在ReClor、LogiQA等数据集上验证了有效性。
2023-06-21 cs.CL cs.LG
Exploiting Task-Oriented Resources to Learn Word Embeddings for Clinical Abbreviation Expansion
Rensselaer Polytechnic Institute（伦斯勒理工学院）；Peking University（北京大学）；Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）
在医学领域，识别和扩展临床文本中的缩略语对于更好的人类和机器理解都是一项重要任务。这是一项具有挑战性的任务，因为许多缩写是模糊的，特别是重症监护医学文本，其中短语缩写经常使用。除了没有通用的临床缩略语词典和缩略语写作的通用规则之外，这样的文本很难获得，注释昂贵，甚至有时会让领域专家感到困惑。本文提出了一种新颖有效的方法--利用面向任务的资源来学习词嵌入，以扩展临床笔记中的缩略语。我们实现了82.27%的准确率，接近专家的人类表现。
2018-04-11 cs.AI cs.CL
Zur Darstellung eines mehrstufigen Prototypbegriffs in der multilingualen automatischen Sprachgenerierung: vom Korpus über word embeddings bis hin zum automatischen Wörterbuch
Universidade de Santiago de Compostela（圣地亚哥-德孔波斯特拉大学）
本文介绍基于 Portlex 词典开发的多语自动语言生成器 Xera 和 Combinatoria，通过原型概念与词嵌入等技术，实现名词短语的自动生成，为未来自动配价词典的开发提供新途径。
2023-12-26 cs.CL
Dict-BERT: Enhancing Language Model Pre-training with Dictionary
Microsoft Cognitive Services Research（微软认知服务研究院）；University of Notre Dame（圣母大学）；Carnegie Mellon University（卡内基梅隆大学）
预训练语言模型（PLM）旨在通过在大规模语料库上进行自我监督训练任务来学习通用语言表示。由于PLM在不同的上下文中捕获单词语义，单词表示的质量高度依赖于词频，其通常在预训练语料库中遵循重尾分布。因此，尾部的稀有词的嵌入通常优化得很差。在这项工作中，我们专注于通过利用字典中罕见单词的定义来增强语言模型预训练（例如，Wiktionary）。为了将一个罕见词的定义作为输入的一部分，我们从字典中获取它的定义，并将其附加到输入文本序列的末尾。除了使用掩蔽语言建模目标进行训练外，我们还提出了两个新的自监督预训练任务，用于输入文本序列和稀有词定义之间的词和词级对齐，以增强字典的语言建模表示。我们评估建议的Dict-BERT模型上的语言理解基准GLUE和八个专业领域的基准数据集。大量的实验表明，Dict-BERT可以显着提高对稀有词的理解，并提高各种NLP下游任务的模型性能。
2022-03-20 cs.AI cs.CL cs.LG
Generating Hierarchical Explanations on Text Classification via Feature Interaction Detection
University of Virginia（弗吉尼亚大学）
为神经网络生成解释对于它们在现实世界中的可靠性和可信度方面的应用已经变得至关重要。在自然语言处理中，现有的方法通常只提供从输入文本中选取的词或短语作为解释的重要特征，而忽略了它们之间的相互作用。它对人类解释解释并将其与模型预测联系起来提出了挑战。在这项工作中，我们通过检测功能的相互作用建立层次的解释。此类解释可视化了单词和短语如何在层次结构的不同级别组合，这可以帮助用户理解黑盒模型的决策。通过自动和人工评估，在两个基准数据集上使用三个神经文本分类器（LSTM，CNN和BERT）对所提出的方法进行了评估。实验表明，该方法在提供解释，既忠实于模型和人类可解释的有效性。
2020-05-18 cs.CL
SpaDeLeF: A Dataset for Hierarchical Classification of Lexical Functions for Collocations in Spanish
Instituto Politécnico Nacional (IPN)（墨西哥国立理工学院）；Centro de Investigación en Computación (CIC)（计算机研究中心）
本研究构建了西班牙语动词-名词搭配词汇功能层级分类数据集SpaDeLeF，含37类功能的树状层级结构，通过新闻依存分析匹配生成，提供基线与数据划分，填补相关标注数据缺口。
2023-11-07 cs.CL
Disambiguating Reference in Visually Grounded Dialogues through Joint Modeling of Textual and Multimodal Semantic Structures
Nara Institute of Science and Technology（奈良科学技術研究所）；Guardian Robot Project（守護機器人計劃）；RIKEN（理化学研究所）；Kyoto University（京都大學）；Institute of Science Tokyo（東京科學研究院）
本文提出一个统一文本和多模态指代消解的框架，通过将提及嵌入映射到对象嵌入并基于相似性进行选择，实验证明结合共指消解等文本指代关系能有效提升多模态指代消解性能，减少视觉基础对话中的歧义。
2025-06-01 cs.CL
Assessing the Bilingual Knowledge Learned by Neural Machine Translation Models
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
机器翻译（MT）系统通过从训练样本自动学习双语词典、语法和语义的深入知识来在不同语言之间翻译文本。虽然神经机器翻译（NMT）已经引领了机器翻译领域，但我们对它如何以及为什么工作的理解很差。在本文中，我们通过评估NMT模型与短语表（双语词典的可解释表）学习的双语知识来弥补这一差距。我们从NMT模型正确预测的训练样本中提取短语表。在广泛使用的数据集上的实验表明，该短语表是合理的，对语言对和随机种子是一致的。我们发现，NMT模型配备了可解释的短语表，学习模式从简单到复杂，并提取必要的双语知识的训练样本。我们还回顾了一些可能影响双语知识学习的进展（例如，翻译），并报告一些有趣的发现。我们相信，这项工作开辟了一个新的角度来解释NMT的统计模型，并提供了经验支持的最新进展，改进NMT模型。
2020-04-28 cs.CL cs.LG
The Two Word Test: A Semantic Benchmark for Large Language Models
University of South Carolina（南卡罗来纳大学）
本文提出开源双词语义基准TWT，通过1768个人类评分的名词组合测试LLM，发现GPT-4等模型仍显著落后于人类，提示其语义理解存在局限。
2023-06-07 cs.AI cs.CL
When Are Tree Structures Necessary for Deep Learning of Representations?
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
递归神经模型是一种流行的架构，它使用语法解析树自底向上递归地生成表示。但是还没有严格的评估来显示这种基于语法的方法到底适合哪些任务。在本文中，我们将{ \bf recursive}神经模型与顺序{ \bf recursive}神经模型（简单递归和LSTM模型）进行基准测试，尽可能地进行苹果对苹果的比较。我们调查了4个任务：（1）句子级和短语级的情感分类;（2）将问题与回答短语匹配;（3）话语解析;（4）语义关系抽取（例如，名词之间的{ \em component-whole}）。我们的目标是更好地理解递归模型何时以及为什么能够优于简单模型。我们发现，递归模型主要有助于任务（如语义关系抽取），需要关联的中心词在很长的距离，特别是在非常长的序列。然后，我们介绍了一种允许循环模型实现类似性能的方法：在标点符号处将长句分解为类似子句的单元，并在组合之前单独处理它们。因此，我们的研究结果有助于理解这两类模型的局限性，并提出改进经常性模型的方向。
2015-08-18 cs.AI cs.CL
Non-Gaussianity Reveals Interpretable Directions in Language Models
Independent Researcher（独立研究员）；University of Maryland（马里兰大学）
提出ICALens，基于独立成分分析（ICA）高效提取语言模型表示中可解释方向，无需训练稀疏自编码器，在SAEBench上表现竞争力。
2026-10-20 cs.AI cs.CL cs.LG
Understanding Composition of Word Embeddings via Tensor Decomposition
Duke University（杜克大学）
词嵌入是自然语言处理中的一个有力工具。在本文中，我们考虑的问题词嵌入合成\-给定向量表示的两个词，计算一个向量的整个短语。我们给出了一个生成模型，可以捕捉特定的句法关系的话。在我们的模型下，我们证明了三个词之间的相关性（由他们的PMI测量）形成一个张量，具有近似的低秩塔克分解。Tucker分解的结果给出了词嵌入以及核心张量，其可用于产生更好的词嵌入的组合。我们还补充了我们的理论结果与实验，验证我们的假设，并证明了新的组合方法的有效性。
2019-02-02 cs.CL cs.LG stat.ML
The Google Similarity Distance
单词和短语从它们在社会中的使用方式中获得意义，从它们与其他单词和短语的相关语义中获得意义。对于计算机来说，“社会”的等价物是“数据库”，而“使用”的等价物是“搜索数据库的方式”。“我们提出了一种基于信息距离和Kolmogorov复杂度的词和短语之间相似性的新理论。我们使用万维网作为数据库，谷歌作为搜索引擎来修复思想。该方法也适用于其他搜索引擎和数据库。然后，该理论被应用于构建一种方法来自动提取相似性，谷歌相似性距离，从万维网使用谷歌页面计数的单词和短语。万维网是地球上最大的数据库，数百万独立用户输入的上下文信息平均起来提供有用质量的自动语义。我们给出了层次聚类，分类和语言翻译中的应用。我们给出的例子来区分颜色和数字，集群名称的绘画由17世纪的荷兰大师和书籍的名称由英国小说家，理解紧急情况的能力，和素数，我们展示了做一个简单的自动英语-西班牙语翻译的能力。最后，我们使用WordNet数据库作为一个客观的基准，以判断我们的方法的性能。我们使用支持向量机在二进制分类中进行了大规模的随机试验，以根据Google距离学习类别，结果与专家制作的WordNet类别的平均一致率为87%。
2007-05-30 cs.AI cs.CL cs.DB
