Joint Learning of Word and Label Embeddings for Sequence Labelling in Spoken Language Understanding
Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）；Intapp Inc.（Intapp公司）
我们提出了一个架构，共同学习单词和标签嵌入槽填充口语语言理解。所提出的方法使用组合的词嵌入和直接的词标签关联从训练数据的标签编码。与最先进的方法相比，我们的方法不需要将标签嵌入作为输入的一部分，因此可以很好地适用于各种模型架构。此外，我们的架构计算单词和标签之间的上下文距离，以避免添加上下文窗口，从而减少内存占用。我们在已建立的口语对话数据集上验证了该方法，并表明它可以用更少的可训练参数实现最先进的性能。
2019-10-16 cs.AI cs.CL cs.LG
Analogies Explained: Towards Understanding Word Embeddings
University of Edinburgh（爱丁堡大学）
众所周知，由诸如word2vec（W2V）的神经网络方法生成的词嵌入表现出看似线性的行为，例如，类比“woman is to queen as man is to king”的嵌入近似地描述了一个单词。这个属性特别有趣，因为嵌入并没有经过训练来实现它。已经提出了几种解释，但每一种都引入了在实践中不成立的假设。我们得出一个概率接地释义，我们重新解释为词的转换，数学描述“$w_x$是$w_y$“的定义。从这些概念，我们证明存在的线性关系的W2V型嵌入的类比现象的基础，确定明确的错误条款。
2019-05-11 cs.CL cs.LG stat.ML
Out of Order: How Important Is The Sequential Order of Words in a Sentence in Natural Language Understanding Tasks?
Auburn University（奥本大学）；Adobe Research（奥多比研究院）
最先进的自然语言理解模型是否关心词序--序列最重要的特征之一？不总是这样！我们发现，在许多GLUE任务上训练的基于BERT的分类器的正确预测中，有75%到90%在输入单词随机洗牌后保持不变。尽管BERT嵌入是众所周知的上下文，每个单词对下游任务的贡献几乎没有变化，即使在单词的上下文被打乱之后。基于BERT的模型能够利用表面线索（例如，情感分析中的关键词的情感;或者自然语言推理中的序列对输入之间的单词相似性）来在令牌以随机顺序排列时做出正确的决策。鼓励分类器捕获词序信息可以提高大多数GLUE任务，SQuAD 2.0和样本外的性能。我们的工作表明，许多胶水任务并不是挑战机器理解句子的含义。
2021-07-26 cs.AI cs.CL cs.LG
Discrete Word Embedding for Logical Natural Language Understanding
MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室）；IBM Research（IBM研究院）
我们提出了一个无监督的神经模型，用于学习单词的离散嵌入。与现有的离散嵌入不同，我们的二进制嵌入支持类似于连续嵌入的向量算术运算。我们的嵌入表示每个词作为一组命题语句描述的过渡规则在经典/CIPPS规划形式主义。这使得嵌入直接兼容的象征性，国家的最先进的经典规划求解器。
2020-10-15 cs.AI cs.CL
Injecting Word Information with Multi-Level Word Adapter for Chinese Spoken Language Understanding
Harbin Institute of Technology（哈尔滨工业大学）
在本文中，我们提高汉语口语语言理解（SLU）的词信息注入。以往的汉语二语习得研究没有考虑词的信息，没有检测出有利于意图检测和槽填充的词边界。针对这一问题，本文提出了一种多级词适配器，用于为中文SLU注入词信息。该适配器由两部分组成：（1）词级词适配器，直接融合词信息和字符信息的句子表示来进行意图检测;（2）字符级词适配器，应用于每个字符，有选择地控制词信息和字符信息的权重。在两个中文SLU数据集上的实验结果表明，该模型能够有效地捕捉到有用的词汇信息，取得了较好的性能。
2022-03-28 cs.CL
Towards Understanding Neural Machine Translation with Word Importance
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯AI实验室）
虽然神经机器翻译（NMT）已经在各种语言对上取得了进步，但NMT的可解释性仍然不令人满意。在这项工作中，我们建议通过专注于理解NMT模型的输入-输出行为来解决这一差距。具体来说，我们通过基于梯度的方法将NMT输出归因于每个输入词来测量词的重要性。我们验证了一对夫妇的扰动操作，语言对，和模型架构的方法，证明了其优越性，识别输入的话，对翻译性能的影响更大。令人鼓舞的是，计算出的重要性可以作为NMT模型翻译不足的输入单词的指标。此外，我们的分析表明，某些句法类别的单词具有更高的重要性，而不同的语言对的类别，这可以启发更好的NMT架构的设计原则，多语言翻译。
2019-09-17 cs.CL cs.LG
Combining Word Feature Vector Method with the Convolutional Neural Network for Slot Filling in Spoken Language Understanding
CloudMinds Technology Inc.（达闼科技有限公司）
槽填充是口语语言理解（SLU）和自然语言处理（NLP）中的重要问题，其涉及识别用户的意图并将语义概念分配给句子中的每个词。本文提出了一种词特征向量的方法，并将其结合到卷积神经网络（CNN）中。我们考虑了18个单词特征，每个单词特征都是通过合并相似的单词标签来构建的。通过引入外部库的概念，我们提出了一种特征集的方法，这是有利于建立一个词从训练数据集和功能之间的关系。计算结果报告使用ATIS数据集和传统的CNN以及双向顺序CNN的比较也提出。
2018-06-18 cs.CL
Human-Level Performance on Word Analogy Questions by Latent Relational Analysis
本文介绍了潜在关系分析（LRA），一种测量关系相似性的方法。LRA在信息抽取、词义消歧、机器翻译、信息检索等领域有着广泛的应用前景。关系相似性是关系之间的对应关系，而属性相似性是属性之间的对应关系。当两个词的属性相似度很高时，我们称之为同义词。当两对词具有高度的关系相似性时，我们说它们的关系是相似的。例如，mason/stone这个词对就类似于carpenter/wood这个词对。过去的工作语义相似性的措施，主要是关注属性相似性。最近的向量空间模型（VSM）的信息检索已被改编为测量关系相似性的任务，实现了47%的分数上收集的374个大学水平的多项选择词类比问题。在VSM方法中，一对词之间的关系由大型语料库中预定义模式的频率向量来表征。LRA以三种方式扩展了VSM方法：（1）模式是从语料库中自动导出的（它们不是预定义的），（2）奇异值分解（SVD）用于平滑频率数据（在潜在语义分析中也以这种方式使用），以及（3）自动生成的同义词用于探索词对的重新表达。LRA在374个类比问题上的得分为56%，在统计学上相当于人类的平均得分57%。在分类名词修饰语关系的相关问题上，LRA在使用较小的语料库的同时实现了与VSM相似的增益。
2004-12-06 cs.CL cs.IR cs.LG
Towards Understanding the Word Sensitivity of Attention Layers: A Study via Random Features
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）
该研究聚焦NLP中注意力层的词敏感性特性，通过随机特征理论分析证明注意力层因softmax作用具备高词敏感性，泛化能力优于标准随机特征，并在imdb数据集的BERT-Base嵌入上验证了理论结论。
2024-05-17 cs.CL cs.LG stat.ML
Does He Wink or Does He Nod? A Challenging Benchmark for Evaluating Word Understanding of Language Models
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））
在大型语料库上预训练语言模型的最新进展已经在许多NLP任务上取得了很大的性能提升。这些大型模型在预训练期间获得语言知识，这有助于通过微调提高下游任务的性能。为了评估获得了什么样的知识，语言模型通常是通过“填空”式完形填空来查询的。现有的探测数据集主要集中在单词和实体之间的关系的知识。我们引入了WDLMPro（Word Definition语言模型Probing）来直接使用单词的字典定义来评估单词理解。在我们的实验中，三种流行的预训练语言模型很难匹配单词及其定义。这表明他们对许多单词的理解很差，我们的新探测任务是一个困难的挑战，可以帮助指导未来对LM的研究。
2021-02-06 cs.CL
The Corpus Replication Task
Technische Universität Berlin（柏林工业大学）；Telekom Innovation Laboratories（德国电信创新实验室）
在自然语言处理（NLP）领域，我们重新审视了著名的词嵌入算法word2vec。词嵌入通过向量来识别词，使得词的分布相似性被捕获。出乎意料的是，除了语义相似性，甚至关系相似性已被证明是捕获在由word2vec生成的词嵌入，由此产生两个问题。首先，在连续空间中，哪种关系是可表示的，其次，关系是如何建立的。为了解决这些问题，我们提出了一个自下而上的观点。我们称之为生成输入文本，word2vec输出目标关系，解决语料库复制任务。认为这种方法的任何可能的关系集的概括，我们希望解决语料库复制任务提供部分答案的问题。
2018-06-20 cs.CL cs.LG stat.ML
Towards Understanding Spontaneous Speech: Word Accuracy vs. Concept Accuracy
在本文中，我们描述了一种方法来自动评估的语音识别和理解能力的口语对话系统的训练时间表信息。我们使用单词准确度进行识别，使用概念准确度进行理解性能判断。这两个指标都是通过将这些模块的输出与正确的参考答案进行比较来计算的。我们报告的评价结果约10000话语的自发语音语料库。我们观察到单词准确性和概念准确性之间几乎呈线性关系。
1996-05-15 cmp-lg cs.CL
A Causal Inference Method for Reducing Gender Bias in Word Embedding Relations
City University of Hong Kong（香港城市大学）
词嵌入已经成为自然语言处理的关键，因为它提高了各种任务的经验表现。然而，最近的研究发现，性别偏见是纳入神经词嵌入，下游任务，依赖于这些偏见的词向量也产生性别偏见的结果。虽然已经开发了一些词嵌入性别去偏见的方法，这些方法主要集中在减少与性别方向相关的性别偏见，并未能减少词嵌入关系中呈现的性别偏见。在本文中，我们设计了一个因果和简单的方法来减轻性别偏见的词向量关系，利用性别定义的词嵌入和性别偏见的词嵌入之间的统计依赖关系。我们的方法在性别去偏见任务、词汇和词汇水平评估任务以及下游共指消解任务上都取得了最先进的结果。
2019-11-25 cs.CL cs.LG
Pretraining without Wordpieces: Learning Over a Vocabulary of Millions of Words
标准BERT采用基于子词的标记化，其可以将词分成两个或更多个词段（例如，将“无损”转换为“损失”和“较少”）。这将在以下情况下带来不便：（1）如何获得一个词被分成多个词块的上下文向量？(2)在不知道单词个数的情况下，如何通过完形填空预测单词？在这项工作中，我们探索了在单词词汇表而不是单词片段上开发BERT风格的预训练模型的可能性。我们把这种词级的BERT模型称为词级BERT。我们训练具有不同词汇大小、初始化配置和语言的模型。实验结果表明，与标准的基于词块的BERT相比，WordBERT在完形填空测试和机器阅读理解测试中有显著的提高。在许多其他自然语言理解任务中，包括POS标记，组块和NER，WordBERT始终比BERT表现得更好。模型分析表明，WordBERT相对于BERT的主要优势在于对低频词和生僻词的理解。此外，由于管道是独立于语言的，我们训练WordBERT中文语言，并获得五个自然语言理解数据集的显着收益。最后，通过对推理速度的分析，说明在自然语言理解任务中，WordBERT与BERT具有相当的时间开销。
2022-02-24 cs.CL
Understanding Early Word Learning in Situated Artificial Agents
DeepMind（深度思维）
基于神经网络的系统现在可以学习定位图像中单词和短语的引用，回答有关视觉场景的问题，并在部分可观察的世界中作为第一人称演员执行符号指令。为了实现这种所谓的基础语言学习，模型必须克服婴儿在学习第一个单词时面临的挑战。虽然值得注意的是，没有有意义的先验知识的模型克服了这些障碍，但研究人员目前缺乏对它们如何做到这一点的清晰理解，我们试图在本文中解决这个问题。为了最大限度地控制和通用性，我们专注于一个简单的基于神经网络的语言学习代理，通过策略梯度方法训练，它可以在模拟的3D世界中解释单字指令。虽然我们的目标不是明确地模拟婴儿的单词学习，我们从发展心理学的实验范式中获得灵感，并将其中一些应用于人工代理，探索建立人类偏见和学习效果出现的条件。我们进一步提出了一种新的方法，用于可视化的代理中的语义表示。
2019-10-01 cs.AI cs.CL cs.NE
Understanding and Improving Multi-Sense Word Embeddings via Extended Robust Principal Component Analysis
Peking University（北京大学）
由于无监督学习方法对上下文变化过于敏感，因此多义词的无监督学习表示产生了大量的伪多义。在本文中，我们解决了伪多义检测词嵌入的意义对降维。我们提出了一种新的主分析方法，称为前RPCA，旨在检测伪多感官和真正的多感官。与Ex-RPCA，我们的经验表明，伪多感官系统产生的无监督的方法。此外，多义词嵌入可以通过基于Ex-RPCA的简单线性变换来改进。我们改进的词嵌入在斯坦福大学上下文词相似度（SCWS）数据集上的性能比原来的提高了5.6个百分点。我们希望我们简单而有效的方法将有助于未来的多义词嵌入的语言分析。
2018-03-03 cs.CL
Learning Word Representations from Relational Graphs
The University of Liverpool（利物浦大学）；National Institute of Informatics（国立信息学研究所）；Preferred Infrastructure, Inc.（Preferred Infrastructure公司）
词的属性和两个词之间的关系是人工智能中许多任务的核心，例如知识表示，相似性度量和类比检测。当两个词有一个或多个共同的属性时，它们通常通过某种语义关系连接起来。另一方面，如果两个词之间有许多语义关系，我们可以预期其中一个词的某些属性会被另一个词继承。由于属性和关系之间的这种紧密联系，给定一个关系图，其中单词通过许多语义关系相互连接，我们提出了一种方法来学习单个单词的潜在表示。该方法不仅考虑了现有的词表示学习方法所做的词的共现，而且还考虑了两个词共现的语义关系。为了评估使用所提出的方法学习的单词表示的准确性，我们使用学习的单词表示来解决语义单词类比问题。我们的实验结果表明，它是可能的，以学习更好的词表示，通过使用词之间的语义语义。
2014-12-07 cs.CL
Contextual Augmentation: Data Augmentation by Words with Paradigmatic Relations
Preferred Networks, Inc.
我们提出了一种新的数据增强标记的句子称为上下文增强。我们假设一个不变性，即句子是自然的，即使句子中的词被替换为其他词与聚合关系。我们在单词位置随机地用由双向语言模型预测的其他单词替换单词。根据上下文预测的单词很多，但适合于增加原始单词。此外，我们改造了一个语言模型的标签条件架构，这使得该模型可以增加句子，而不破坏标签的兼容性。通过对六种不同文本分类任务的实验，我们证明了所提出的方法改进了基于卷积或循环神经网络的分类器。
2018-05-16 cs.CL cs.LG
Playing Codenames with Language Graphs and Word Embeddings
Department of Computer Science（计算机科学系）；Duke University（杜克大学）
尽管在人工智能研究中，棋盘游戏和视频游戏已经研究了几十年，但具有挑战性的文字游戏仍然相对未被探索。文字游戏不像国际象棋或扑克这样的游戏那样受限制。相反，文字游戏策略是由玩家对文字相互关系的理解来定义的。文字游戏Codenames提供了一个独特的机会来研究单词之间关系的常识理解，这是一个重要的开放式挑战。我们提出了一种算法，可以从语言图BabelNet或任何几种嵌入方法-word 2 vec，GloVe，fastText或BERT中生成代号线索。我们引入了一个新的评分函数，衡量线索的质量，我们提出了一个加权项称为检测，结合基于字典的单词表示和文档频率，以提高线索的选择。我们开发了BabelNet-Word选择框架（BabelNet-WSF），以提高BabelNet线索质量，并克服以前阻止利用语言图进行代码命名的计算障碍。与人类评估者的广泛实验表明，我们提出的创新产生了最先进的性能，在某些情况下，精度提高了102.8%@2。总体而言，这项工作推进了文字游戏的正式研究和常识语言理解的方法。
2021-05-12 cs.AI cs.CL cs.LG
Understanding the Downstream Instability of Word Embeddings
Stanford University（斯坦福大学）；SambaNova Systems（桑巴诺瓦系统公司）
许多工业机器学习（ML）系统需要频繁的再培训，以跟上不断变化的数据。这种再训练加剧了ML系统今天面临的一个巨大挑战：模型训练不稳定，即，训练数据中的小的变化可以引起模型预测中的显著变化。在本文中，我们致力于深入了解这种不稳定性，重点关注现代自然语言处理（NLP）管道的核心构建块-预训练的词嵌入-如何影响下游NLP模型的不稳定性。我们首先经验性地揭示了稳定性和内存之间的权衡：将嵌入内存增加2倍可以将由于训练数据的微小变化而导致的预测不一致减少5%至37%（相对）。为了从理论上解释这种权衡，我们引入了一个新的嵌入不稳定性的措施-本征空间不稳定性措施-我们证明界的下游预测的变化引入的词嵌入的分歧。实际上，我们证明了特征空间不稳定性测度可以是一种具有成本效益的方法来选择嵌入参数，以最大限度地减少不稳定性，而无需训练下游模型，优于其他嵌入距离测度，并与基于最近邻的测度竞争。最后，我们证明了所观察到的稳定性-记忆权衡也扩展到其他类型的嵌入，包括知识图谱和上下文词嵌入。
2020-02-29 cs.CL cs.LG stat.ML
From Characters to Words: Hierarchical Pre-trained Language Model for Open-vocabulary Language Understanding
Boston University（波士顿大学）；Microsoft（微软）
本文提出一种分层开放词汇语言模型，结合词内浅层Transformer和词间深层Transformer，直接基于字符序列建模并显式感知词边界，在多个下游任务上优于强基线，且对拼写错误和领域偏移更鲁棒。
2023-05-30 cs.CL
Compositional Approaches for Representing Relations Between Words: A Comparative Study
The University of Liverpool（利物浦大学）
识别词（或实体）之间存在的关系对于各种自然语言处理任务（诸如，关系搜索、名词修饰语分类和类比检测）是重要的。从语料库中提取词与词共现的模式，并为每个词对分配一个模式频率向量，是表示词对之间关系的一种流行方法。尽管这种方法很简单，但它存在数据稀疏性，信息可扩展性和语言创造性的问题，因为该模型无法处理语料库中以前未见过的单词对。相比之下，用于表示单词之间的关系的合成方法通过使用每个单独单词的属性来间接地组成两个单词之间的共同关系的表示来克服这些问题。本研究的目的是比较不同的操作创建关系表征的词级表示。我们调查的组合方法的性能，通过测量的关系相似性，使用几个基准数据集的词类比。此外，我们评估了不同的关系表示在知识库完成任务。
2017-09-04 cs.CL
Supervised Understanding of Word Embeddings
Siemens Medical Solutions USA（美国西门子医疗解决方案公司）
预训练的词嵌入被广泛用于自然语言处理中的迁移学习。嵌入是单词的连续和分布式表示，在紧凑的欧几里得空间中保持它们的相似性。然而，这些空间的尺寸并没有提供任何明确的解释。在这项研究中，我们已经获得了监督投影的形式线性关键字级分类器的词嵌入。我们已经表明，该方法创建原始嵌入尺寸的可解释的投影。经训练的分类器节点的激活对应于词汇表中的单词的子集。因此，它们的行为类似于字典特征，同时具有连续值输出的优点。此外，这样的字典可以通过将得分最高的单词上的专家标签添加到关键字的初始集合来迭代地增长多轮。此外，相同的分类器可以应用于其他语言中的对齐的词嵌入以获得对应的词典。在我们的实验中，我们已经证明，使用这些分类器权重初始化高阶网络可以为下游NLP任务提供更准确的模型。我们进一步证明了监督维度在揭示感兴趣的关键词的多义性质方面的有用性，通过在不同的子空间中使用学习的分类器来投影它的嵌入。
2020-06-23 cs.CL cs.LG
BERT & Family Eat Word Salad: Experiments with Text Understanding
University of Utah（犹他大学）
在本文中，我们研究了来自BERT家族的大型模型对不连贯输入的响应，这些不连贯输入会使任何声称理解自然语言的模型感到困惑。我们定义了简单的算法来构造这样的例子。我们的实验表明，最先进的模型始终无法识别它们是病态的，而是对它们进行高置信度的预测。由于这种现象，在具有随机排列词序的句子上训练的模型的性能接近最先进的模型。为了缓解这些问题，我们证明，如果模型被明确训练来识别无效输入，它们可以对此类攻击具有鲁棒性，而不会降低性能。
2021-03-17 cs.AI cs.CL
Neural Cross-Lingual Relation Extraction Based on Bilingual Word Embedding Mapping
IBM Research AI（IBM研究院人工智能部门）
关系抽取（RelationExtraction，RE）试图检测和分类实体之间的语义关系，这为许多自然语言处理应用提供了有用的信息。由于国家的最先进的RE模型需要大量的手动注释的数据和语言特定的资源，以达到高精度，这是非常具有挑战性的资源丰富的语言的RE模型，以资源贫乏的语言。本文提出了一种基于双语词嵌入映射的RE模型跨语言迁移方法。它将词嵌入从目标语言投影到源语言，使得经过良好训练的源语言神经网络RE模型可以直接应用于目标语言。实验结果表明，该方法在只有1K词对的小型双语词典上，对大量的目标语言，在内部数据集和开放数据集上都取得了很好的性能。
2019-10-31 cs.CL cs.IR cs.LG
Integrating Symbolic Natural Language Understanding and Language Models for Word Sense Disambiguation
Northwestern University（西北大学）
本文提出利用统计语言模型和符号NLU系统整合的方法，实现无需人工标注数据的词义消歧。
2025-11-20 cs.AI cs.CL
Similarity of Semantic Relations
至少有两种相似之处。关系相似性是关系之间的对应关系，而属性相似性是属性之间的对应关系。当两个词的属性相似度很高时，我们称之为同义词。当两对词具有高度的关系相似性时，我们说它们的关系是相似的。例如，单词对mason：stone类似于单词对carpenter：wood。本文介绍了潜在关系分析（LRA），一种测量关系相似性的方法。LRA在信息抽取、词义消歧、信息检索等领域有着广泛的应用前景。最近的向量空间模型（VSM）的信息检索已被用来衡量关系的相似性，取得了47%的分数上收集的374个大学水平的多项选择词类比问题。在VSM方法中，一对词之间的关系由大型语料库中预定义模式的频率向量来表征。LRA以三种方式扩展了VSM方法：（1）从语料库自动导出模式，（2）使用奇异值分解（SVD）来平滑频率数据，以及（3）自动生成的同义词用于探索单词对的变化。LRA在374个类比问题上的得分为56%，在统计学上相当于人类的平均得分57%。在分类语义关系的相关问题上，LRA比VSM获得了类似的收益。
2006-08-25 cs.CL cs.IR cs.LG
Task-Oriented Learning of Word Embeddings for Semantic Relation Classification
The University of Tokyo（东京大学）；University College London（伦敦大学学院）；Toyota Technological Institute（丰田工业大学）
我们提出了一种新的学习方法，词嵌入设计的关系分类。我们的词嵌入是通过在大型未标记语料库上使用词汇关系特定特征预测名词对之间的词来训练的。这使我们能够显式地将特定于关系的信息合并到词嵌入中。然后使用学习的词嵌入来构造用于关系分类模型的特征向量。在一个完善的语义关系分类任务，我们的方法显着优于基线的基础上，以前介绍的词嵌入方法，并比较有利的是以前的国家的最先进的模型，使用语法信息或手动构建的外部资源。
2015-06-22 cs.CL
Knowing Where and What: Unified Word Block Pretraining for Document Understanding
由于文档的复杂布局，为文档提取信息具有挑战性。以前的大多数研究都是以自我监督的方式开发多模态预训练模型。本文重点研究了包含文本和布局信息的词块的嵌入学习，提出了一种具有统一TExt和布局预训练的语言模型UTel。具体来说，我们提出了两个预训练任务：用于布局学习的周围词预测（SWP）和用于识别不同词块的词嵌入（CWE）的对比学习。此外，我们取代了常用的一维位置嵌入与一维裁剪的相对位置嵌入。通过这种方式，Masked Layout-Language Modeling（MLLM）和两个新提出的任务的联合训练能够以统一的方式实现语义和空间特征之间的交互。此外，建议的UTel可以处理任意长度的序列，通过删除1D位置嵌入，同时保持竞争力的性能。大量的实验结果表明，UTel学习更好的联合表示，并实现优于以前的方法在各种下游任务的性能，虽然不需要图像模态。代码可在\url{https://github.com/taosong2019/UTel}上获得。
2022-07-29 cs.AI cs.CL
Jointly Encoding Word Confusion Network and Dialogue Context with BERT for Spoken Language Understanding
Shanghai Jiao Tong University（上海交通大学）
口语语言理解（SLU）是将自动语音识别器（ASR）中的假设转换为结构化的语义表示。ASR识别错误会严重降低后续SLU模块的性能。为了解决这个问题，单词混淆网络（WCN）已被用来编码的输入SLU，它包含比1-最好或n-最好的假设列表更丰富的信息。为了进一步消除歧义，对话上下文的最后一个系统动作也被用作附加输入。本文提出了一种基于BERT的SLU模型（WCN-BERT SLU），用于对WCN和对话上下文进行联合编码。它可以在BERT架构中集成WCN的结构信息和ASR后验概率。在DSTC 2上的实验结果表明，该方法是有效的，可以显着优于以前的最先进的模型。
2020-09-08 cs.CL cs.LG
Embedding Semantic Relations into Word Representations
University of Liverpool（利物浦大学）；Shizuoka University（静冈大学）；National Institute of Informatics（国立信息学研究所）
学习语义关系的表示对于各种任务（例如类比检测、关系搜索和关系分类）都很重要。虽然已经有几个建议，学习表示为个别的话，学习词表示，明确捕捉词之间的语义关系仍然没有得到发展。我们提出了一种无监督的方法来学习向量表示的话，这样学习的表示是敏感的语义关系，存在于两个词之间。首先，我们从语料库中两个词的共现语境中提取词汇模式来表示这两个词之间存在的语义关系。其次，我们将词汇模式表示为与该词汇模式共现的词的表示的加权和。第三，我们训练一个二元分类器来检测关系相似与不相似的词汇模式对。所提出的方法是无监督的意义上说，词汇模式对，我们使用的训练数据是自动采样的语料库，而不需要任何人工干预。我们提出的方法在统计上显著优于目前最先进的词表示在三个基准数据集上进行比例类比检测，证明了它能够准确地捕捉词之间的语义关系。
2015-05-01 cs.CL
SeVeN: Augmenting Word Embeddings with Unsupervised Relation Vectors
Cardiff University（卡迪夫大学）
我们提出了SeVeN（语义向量网络），一种混合资源，以图形的形式编码单词之间的关系。与传统的语义网络不同，这些关系被表示为连续向量空间中的向量。我们提出了一个简单的管道学习这种关系向量，这是基于词向量平均结合一个特设的自动编码器。我们表明，通过显式编码的关系信息在一个专用的向量空间，我们可以捕捉到的单词的含义是互补的词嵌入所捕获的方面。例如，通过研究关系向量的集群，我们观察到，关系相似性可以在一个更抽象的层次上比传统的词向量差异。最后，我们在两个任务中测试了语义向量网络的有效性：词相似度测量和神经文本分类。SeVeN可在bitbucket.org/luisespinosa/seven上获得。
2018-08-18 cs.CL
TOE: A Grid-Tagging Discontinuous NER Model Enhanced by Embedding Tag/Word Relations and More Fine-Grained Tags
Wuhan University（武汉大学）；University of São Paulo（圣保罗大学）
目前，不连续命名实体识别（NER）受到了越来越多的关注，相关的方法如基于超图的方法、基于跨度的方法、序列到序列（Seq 2Seq）方法等层出不穷，但这些方法都或多或少地存在解码歧义和效率等问题，限制了它们的性能。近年来，网格标注方法由于标注系统和模型结构的灵活设计，在适应各种信息抽取任务方面显示出了优越性。在本文中，我们遵循这样的方法，并提出了一个竞争性的网格标记模型不连续NER。我们称我们的模型TOE，因为我们将两种面向标签的增强机制到一个国家的最先进的（SOTA）网格标记模型，将NER问题转化为词与词之间的关系预测。首先，我们设计了一个标签表示嵌入模块（TREM），以迫使我们的模型不仅考虑词-词的关系，但也词-标签和标签-标签的关系。具体地说，我们构造标记表示并将其嵌入到TREM中，以便TREM可以将标记和单词表示视为查询/键/值，并利用自我注意力来建模它们的关系。另一方面，受SOTA模型中的下一个相邻词（NNW）和尾首词（THW）标记的启发，我们添加了两个新的对称标记，即前一个相邻词（PNW）和头尾词（HTW），以建模更细粒度的词与词之间的关系，并减轻标记预测的错误传播。在CADEC、ShARe 13和ShARe 14三个基准数据集的实验中，我们的TOE模型在F1中将SOTA结果分别提高了0.83%、0.05%和0.66%，证明了它的有效性。
2022-11-01 cs.AI cs.CL
Why PairDiff works? -- A Mathematical Analysis of Bilinear Relational Compositional Operators for Analogy Detection
University of Liverpool（利物浦大学）；Japan Advanced Institute of Science and Technology（日本先端科学技术大学院大学）
表示两个给定单词（或实体）之间存在的语义关系是自然语言处理（NLP）广泛应用的重要第一步，如类比推理、知识库补全和关系信息检索。一种简单但精确得令人惊讶的表示两个词之间关系的方法是计算它们对应的词嵌入之间的向量偏移（\PairDiff）。尽管取得了经验上的成功，但仍然不清楚\PairDiff是否是从词嵌入中获得关系表示的最佳算子。我们进行了理论分析的广义双线性算子，可以用来衡量两个字对之间的$\ell_{2}$关系距离。我们表明，如果词嵌入是标准化的和不相关的，这样的操作将是独立的双线性项，并可以简化为一个线性形式，其中\PairDiff是一个特殊情况。对于众多的词嵌入类型，我们实证验证了不相关的假设，证明了我们的理论结果的普遍适用性。此外，我们实验发现\PairDiff从双线性关系复合算子在几个基准模拟数据集。
2017-12-15 cs.AI cs.CL cs.LG
Relational Word Embeddings
Cardiff University（卡迪夫大学）
虽然词嵌入已被证明可以隐式地编码各种形式的属性知识，但它们捕获关系信息的程度要有限得多。在以前的工作中，这个限制已经解决了从外部知识库的关系知识时，学习词嵌入。然而，这种战略可能不是最佳的，因为它们受到现有资源覆盖范围的限制，并将相似性与其他形式的相关性混为一谈。作为一种替代方案，在本文中，我们提出了一个单独的词嵌入，这是旨在补充一个给定的标准词嵌入编码的关系知识。这种关系词嵌入仍然是从共现统计学中学习的，因此即使在没有外部知识库可用时也可以使用。我们的分析表明，关系词向量确实捕获了与标准词嵌入中编码的信息互补的信息。
2019-06-04 cs.CL
Towards Understanding Linear Word Analogies
Vector Institute（向量研究所）；University of Toronto（多伦多大学）
该研究针对非线性SGNS词向量模型中向量运算可求解词类比的现象，在无强假设下给出形式化解释，证明关系比率猜想对SGNS成立，解释词向量加法的降权特性及欧氏距离的信息论意义。
2026-09-07 cs.CL
GroupLink: An End-to-end Multitask Method for Word Grouping and Relation Extraction in Form Understanding
University of California, San Diego（加利福尼亚大学圣地亚哥分校）；Sensetime Group Limited（商汤集团有限公司）；Beihang University（北京航空航天大学）
表单是现实生活中常见的文档类型，通过文本内容和组织结构承载着丰富的信息。在光学字符阅读机（OCR）的初步处理之后，要实现表格的自动处理，组词和关系抽取是两个基本而关键的步骤。词分组是对属于同一语义实体的词进行聚合，关系抽取是对语义实体之间的联系进行预测。现有的作品将它们视为两个独立的任务，但这两个任务是相互关联的，可以相互加强。分组过程将细化相应实体的集成表示，链接过程将对分组性能进行反馈。为此，我们从文本数据和布局信息中获取多模态特征，并通过多任务训练建立端到端模型，将单词分组和关系抽取相结合，以提高每个任务的性能。我们验证了我们提出的方法在现实世界中，完全注释，噪声扫描基准，FUNSD，和广泛的实验证明了我们的方法的有效性。
2021-05-10 cs.AI cs.CL
Towards Understanding Language through Perception in Situated Human-Robot Interaction: From Word Grounding to Grammar Induction
Ritsumeikan University（立命馆大学）
机器人在不同的任务中与人类用户广泛合作，这些任务需要高水平的认知功能，使它们能够发现周围的环境。我们在这篇短文中强调的一个困难的挑战是推断语言的潜在语法结构，其中包括基础词性（例如，动词、名词、形容词和介词），并对短语进行组合范畴语法（CCG）归纳。这为基础短语铺平了道路，以便使机器人能够在交互过程中适当地理解人类指令。
2020-03-13 cs.AI cs.CL
Overcoming Poor Word Embeddings with Word Definitions
NEC Laboratories America（美国 NEC 实验室）；Princeton（普林斯顿大学）
现代自然语言理解模型依赖于预训练的子词嵌入，但应用程序可能需要对预训练期间从未或很少看到的词进行推理。我们表明，严重依赖于一个罕见的词的例子是更具有挑战性的自然语言推理模型。然后，我们将探讨模型如何学习使用自然文本中提供的定义来克服这一障碍。我们的模型对定义的理解通常比良好建模的词嵌入弱，但它可以从使用完全未经训练的词中恢复大部分性能差距。
2021-03-05 cs.CL
An Investigation on Word Embedding Offset Clustering as Relationship Classification
Ritsumeikan University（立命馆大学）
本研究探索通过六种池化策略和多种聚类模型，利用词嵌入向量对间的关系进行分类，发现减法池化结合质心聚类效果最佳，为无监督关系识别提供方向。
2023-05-07 cs.CL
A Unified Understanding of Deep NLP Models for Text Classification
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Cardiff University（卡迪夫大学）
用于文本分类的深度自然语言处理（NLP）模型的快速发展导致了对单独提出的这些模型的统一理解的迫切需要。现有的方法不能满足在一个框架中理解不同模型的需要，这是由于缺乏一个统一的措施来解释低水平（例如，字）和高级（例如，短语）特征。我们开发了一个可视化分析工具DeepNLPVis，以实现对文本分类的NLP模型的统一理解。其核心思想是一个基于互信息的度量，它提供了关于模型的每一层如何保持样本中输入单词信息的定量解释。我们在每一层对词内和词间信息进行建模，以测量词对最终预测的重要性以及词之间的关系，例如短语的形成。一个多层次的可视化，它包括语料库级，样本级，和单词级的可视化，支持从整体训练集到单个样本的分析。两个关于分类任务和模型之间比较的案例研究表明，DeepNLPVis可以帮助用户有效地识别样本和模型架构引起的潜在问题，然后做出明智的改进。
2022-06-19 cs.CL cs.LG
The Acquisition of Semantic Relationships between words
University Ibn Khaldoun（伊本·赫勒敦大学）
本文研究词语语义关系与语言形态之间的动态联系，通过分析词的内部结构及其构成，揭示其对语言解释和理解的影响。
2023-07-12 cs.CL
Less is More: Understanding Word-level Textual Adversarial Attack via n-gram Frequency Descend
Southern University of Science and Technology（南方科技大学）；Hong Kong University of Science and Technology（香港科技大学）；Agency for Science, Technology and Research（新加坡科技研究局）；Tencent AI Lab（腾讯AI实验室）；OPPO Mobile Telecommunications Corp.（OPPO移动通信公司）
该研究通过分析词级文本对抗攻击的n-gram频率模式，发现约90%的攻击会产生n-gram频率下降的样本，据此提出用该类样本做对抗训练的方法，其提升模型鲁棒性的效果与梯度法相当。
2024-04-15 cs.AI cs.CL cs.CR
When do Words Matter? Understanding the Impact of Lexical Choice on Audience Perception using Individual Treatment Effect Estimation
Illinois Institute of Technology（伊利诺伊理工学院）
跨学科的研究表明，词汇选择会影响观众的感知。例如，用户在社交媒体资料中如何描述自己会影响他们的社会经济地位。然而，我们缺乏一般的方法来估计词汇选择对特定句子感知的因果效应。虽然随机对照试验可能提供了很好的估计，但它们并没有扩展到考虑所有词汇选择所需的潜在数百万次比较。相反，在本文中，我们首先提供了两类方法来估计在给定的句子中将一个词改为另一个词对感知的影响。第一类算法建立在准实验设计的基础上，根据观察数据估计个体治疗效果。第二类将治疗效果估计视为分类问题。我们使用三个数据源（Yelp，Twitter和Airbnb）进行实验，发现算法估计值与随机对照试验产生的结果一致。此外，我们发现，它是可能的跨域转移治疗效果分类器，仍然保持高精度。
2018-11-15 cs.CL cs.LG stat.ML
Incorporating Both Distributional and Relational Semantics in Word Representations
University of Arizona（亚利桑那大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
我们调查的假设，词表示应该将分布和关系语义。为此，我们采用交替方向乘法（ADMM），它灵活地优化了原始文本的分布目标和WordNet上的关系目标。知识库完成，类比测试和解析的初步结果表明，在这两个目标上训练的单词表示在某些情况下可以得到改善。
2015-03-21 cs.CL
Incorporating Both Distributional and Relational Semantics in Word Representations
University of Arizona（亚利桑那大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
我们调查的假设，词表示应该将分布和关系语义。为此，我们采用交替方向乘法（ADMM），它灵活地优化了原始文本的分布目标和WordNet上的关系目标。知识库完成，类比测试和解析的初步结果表明，在这两个目标上训练的单词表示在某些情况下可以得到改善。
2015-03-21 cs.CL
Multiplex Word Embeddings for Selectional Preference Acquisition
The Hong Kong University of Science and Technology（香港科技大学）；Sinovation Ventures（创新工场）；Tencent AI Lab（腾讯人工智能实验室）
传统的词嵌入用固定的向量表示词，这些向量通常基于词之间的共现模式来训练。然而，在这样做的时候，这种表征的能力是有限的，同一个词可能在不同的句法关系下被单独功能化。为了解决这个问题，一个解决方案是将不同单词的关系依赖性合并到它们的嵌入中。因此，本文提出了一种多元词嵌入模型，该模型可以根据词之间的各种关系轻松扩展。因此，每个单词都有一个中心嵌入来表示其整体语义，还有几个关系嵌入来表示其关系依赖性。与现有的模型相比，我们的模型可以有效地区分不同关系的单词，而不会引入不必要的稀疏。此外，为了适应各种关系，我们使用一个小的维度的关系嵌入和我们的模型是能够保持其有效性。选择性偏好获取和词相似度的实验证明了该模型的有效性，进一步的可扩展性研究也证明了我们的嵌入只需要原始嵌入大小的1/20就能达到更好的性能。
2020-01-09 cs.CL
An Evaluation Dataset for Legal Word Embedding: A Case Study On Chinese Codex
National Taiwan University（台湾大学）
词嵌入是一种现代的分布式词表示方法，广泛应用于许多自然语言处理任务中。将法律文档中的词汇转换为词嵌入模型有助于使法律文档经受机器学习、深度学习和其他算法，并且随后执行自然语言处理的下游任务，例如文档分类、合同审查和机器翻译。词嵌入模型的准确性评估的最常见和实用的方法是使用具有语言规则或词之间的关系的基准集，通过代数计算来执行类比推理。本文从2，388个中文法典语料库中提取5种法律关系，建立1，134个法律类比推理问题集（LARQS），并将其用于评估中文词嵌入模型的准确性。此外，我们发现法律关系可能是无处不在的词嵌入模型。
2022-03-29 cs.AI cs.CL cs.LG
Large Language Models Lack Understanding of Character Composition of Words
Faculty of Science and Technology, Keio University（庆应义塾大学理工学部）
本文考察了大型语言模型对单词字符组成的理解能力，发现大多数模型无法可靠执行人类可完美处理的简单字符任务，并通过与token级别性能对比分析了其行为，指出了未来研究方向。
2024-07-23 cs.CL
Understanding Undesirable Word Embedding Associations
Vector Institute（矢量研究院）；University of Toronto（多伦多大学）
本研究针对词嵌入捕捉不良关联的问题，证明子空间投影事后去偏见在特定条件下等价于无偏见语料库训练，发现WEAT高估偏见，提出RIPA度量，实验显示SGNS不放大多数词性别关联但会放大刻板印象词的性别关联。
2026-08-19 cs.CL
Sentence Structure and Word Relationship Modeling for Emphasis Selection
The Chinese University of Hong Kong（香港中文大学）
强调词选择是一项新提出的任务，主要研究短句中强调词的选择问题。传统的方法只考虑句子的顺序信息，而忽略了句子丰富的结构信息和词语关系信息。在本文中，我们提出了一个新的框架，认为句子结构通过句子结构图和词的关系，通过一个词的相似性图。句子结构图是从句子的分析树中导出的。单词相似度图允许节点与它们的邻居共享信息，因为我们认为在强调选择中，相似的单词更有可能被一起强调。采用图神经网络来学习这两个图的每个节点的表示。实验结果表明，我们的框架可以实现优越的性能。
2021-08-29 cs.CL
Derivational Morphological Relations in Word Embeddings
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
派生是一种通过增加、改变或删除词缀而从已有的词中创造新词的构词过程。在本文中，我们探讨了潜在的词嵌入，以确定在形态丰富的捷克语的词派生的属性。我们从DeriNet（一个捷克词汇网络）中提取词对之间的派生关系，DeriNet将近一百万个捷克词元组织成派生树。对于每个这样的对，我们计算两个词的嵌入的差异，并对所得向量进行无监督聚类。我们的研究结果表明，这些集群在很大程度上匹配手动注释的语义类别的派生关系（例如，关系'烤-面包师'属于类别'演员'，和一个正确的聚类把它放在同一个集群的'统治-总督'）。
2019-06-06 cs.CL
RWEN-TTS: Relation-aware Word Encoding Network for Natural Text-to-Speech Synthesis
Netmarble AI Center（网石AI中心）
随着深度学习的出现，出现了大量产生类人语音的文本到语音（TTS）模型。近年来，通过引入输入文本的句法和语义信息，人们提出了各种方法来丰富TTS模型的自然度和表达能力。虽然这些策略取得了令人瞩目的效果，但它们在利用语言信息方面仍存在一定的局限性。首先，大多数方法只使用图网络来利用句法和语义信息，而不考虑语言特征。其次，大多数以前的作品没有明确考虑相邻的词时，编码的句法和语义信息，即使它是显而易见的，相邻的词通常是有意义的编码时，当前的词。为了解决这些问题，我们提出了一种基于语义感知的单词编码网络（RWEN），它有效地允许基于两个模块（即，语义级关系编码和相邻词关系编码）。实验结果表明，与以前的作品相比，有很大的改进。
2022-12-15 cs.CL cs.LG cs.SD
Contextualized Word Embeddings Enhanced Event Temporal Relation Extraction for Story Understanding
University of Southern California（南加州大学）；Information Sciences Institute（信息科学研究所）
学习事件之间的因果关系和时间关系是深入了解故事和常识的重要一步。虽然有丰富的数据集与事件关系的故事理解，许多没有经验的结果与他们相关联。在这项工作中，我们建立了强大的基线事件的时间关系抽取两个欠开发的故事叙事数据集：丰富的事件描述（RED）和因果和时间关系计划（CaTeRS）。据我们所知，这是在这两个数据集上报告的第一个结果。我们证明了基于神经网络的模型可以优于一些强大的传统的基于语言特征的模型。我们还进行了比较研究，以显示的贡献，采用语境化的词嵌入（BERT）的事件时间关系抽取的故事。提供详细的分析，以更好地了解结果。
2019-04-26 cs.CL
