A General Framework for Implicit and Explicit Debiasing of Distributional Word Vector Spaces
University of Mannheim（曼海姆大学）；University of Cambridge（剑桥大学）
最近的研究表明，分布词向量编码了许多人类偏见，最明显的是性别和种族偏见，因此提出了减弱这种偏见的模型。然而，现有的模型和研究（1）在规定不足和相互不同的偏倚定义上操作，（2）针对特定偏倚（例如，性别偏见）和（3）的评价不一致和不严格。在这项工作中，我们介绍了一个通用的框架去偏置词嵌入。我们通过辨别两种类型的偏见规范：明确的和隐含的偏见的定义操作。然后，我们提出了三个去偏置模型，操作显式或隐式偏置规范，可以组成更强大的去偏置。最后，我们设计了一个成熟的评估框架，在其中我们耦合现有的偏见指标与新提出的。三种嵌入方法的实验结果表明，所提出的去偏置模型是鲁棒的和广泛适用的：它们通常完全消除隐式和显式的偏见，而不会降低任何输入分布空间中编码的语义信息。此外，我们成功地转移去偏置模型，通过跨语言的嵌入空间，并删除或减弱偏见的语言，缺乏现成的偏见规范的分布词向量空间。
2020-01-03 cs.AI cs.CL
Improving Unsupervised Word-by-Word Translation with Language Model and Denoising Autoencoder
RWTH Aachen University（亚琛工业大学）；Human Language Technology and Pattern Recognition Group（人类语言技术与模式识别小组）
跨语言词嵌入的无监督学习提供了跨语言的词的优雅匹配，但在翻译句子时有根本的局限性。在本文中，我们提出了简单而有效的方法来提高跨语言嵌入的逐字翻译，只使用单语语料库，但没有任何回译。我们集成了一个语言模型上下文感知搜索，并使用一种新的去噪自动编码器来处理重新排序。我们的系统超越了最先进的无监督神经翻译系统，无需昂贵的迭代训练。我们还分析了词汇量大小和去噪类型对翻译性能的影响，这为学习跨语言词嵌入及其在翻译中的使用提供了更好的理解。
2019-01-06 cs.CL cs.LG
Two Way Adversarial Unsupervised Word Translation
单词翻译是机器翻译中的一个问题，机器翻译试图构建恢复语言之间的单词级别对应的模型。最近对这个问题的研究表明，单词翻译模型可以通过非常小的种子词典来学习，甚至没有任何启动监督。在本文中，我们提出了一种方法来共同寻找一对语言之间的翻译。我们的方法不仅在两个方向上学习翻译，而且与过去的方法相比，它提高了这些翻译的准确性。
2019-12-12 cs.CL cs.LG stat.ML
Unsupervised Word Translation Pairing using Refinement based Point Set Registration
University of Edinburgh（爱丁堡大学）；Huawei Research Centre（华为研究中心）
词嵌入的跨语言对齐在跨语言知识传递中起着重要作用，用于改进机器翻译和其他多语言应用。目前的无监督方法依赖于跨语言的词嵌入空间的几何结构的相似性，使用对抗网络和细化策略来学习保持结构的线性变换。然而，在实践中，这样的技术往往遭受不稳定性和收敛问题，需要繁琐的微调精确的参数设置。本文提出了BioSpere，一种新的框架，用于无监督映射的双语词嵌入到一个共享的向量空间，通过结合对抗初始化和细化过程与点集配准算法用于图像处理。我们表明，我们的框架弥补了现有方法的缺点，并且对可变对抗学习性能相对不变，在参数选择和训练损失方面具有鲁棒性。并行词典归纳任务的实验评估表明，我们的框架在不同的语言对的最先进的结果。
2020-11-26 cs.AI cs.CL
Refinement of Unsupervised Cross-Lingual Word Embeddings
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
跨语言词嵌入旨在通过允许学习多语言词表示，即使不使用任何直接的双语信号，来弥合高资源和低资源语言之间的差距。最大的方法是基于投影的方法，将预先训练的嵌入映射到共享的潜在空间中。这些方法大多基于正交变换，它假设语言向量空间是同构的。然而，这个标准并不一定成立，特别是对于形态丰富的语言。在本文中，我们提出了一种自监督的方法来改善无监督的双语词嵌入的对齐。所提出的模型将单词的向量及其相应的翻译移动得更接近彼此，并强制执行长度和中心不变性，从而允许更好地对齐跨语言嵌入。实验结果表明，我们的方法的有效性，因为在大多数情况下，它优于国家的最先进的方法在双语词汇归纳任务。
2020-02-21 cs.CL cs.LG
MirrorAlign: A Super Lightweight Unsupervised Word Alignment Model via Cross-Lingual Contrastive Learning
Peking University（北京大学）；The University of Sydney（悉尼大学）；iFlytek Research（讯飞研究院）
词对齐对于下游跨语言语言理解和生成任务是必不可少的。最近，神经词对齐模型的性能已经超过了统计模型。然而，它们严重依赖复杂的翻译模型。在这项研究中，我们提出了一个超轻量级的无监督词对齐模型命名为对齐对齐，其中双向对称注意力训练的对比学习目标，并采用一致性损失绑定的注意地图，使对齐遵循镜像对称假设。在几个公共基准测试上的实验结果表明，与最先进的单词对齐技术相比，我们的模型即使没有更好的性能，也具有竞争力，同时显著减少了平均训练和解码时间。进一步的消融分析和案例研究表明，我们提出的ESTALIGN的优越性。值得注意的是，我们认为我们的模型是统一双语词嵌入和词对齐的先驱尝试。令人鼓舞的是，我们的方法相对于GIZA++实现了{16.4倍的加速比}，与基于transformer的对齐方法相比，实现了{50倍的参数压缩}。我们发布代码以方便社区：https://github.com/moore3930/MirrorAlign。
2022-05-10 cs.AI cs.CL
Semantic Specialisation of Distributional Word Vector Spaces using Monolingual and Cross-Lingual Constraints
University of Cambridge（剑桥大学）；Apple Inc.（苹果公司）；Technion, IIT（以色列理工学院）
我们提出了吸引排斥，一个算法，用于提高词向量的语义质量，通过注入从词汇资源中提取的约束。吸引-排斥促进了对来自单语言和跨语言资源的约束的使用，从而产生语义专业化的跨语言向量空间。我们的评估表明，该方法可以利用现有的跨语言的词典，构建高质量的向量空间，为过多的不同的语言，促进语义从高到低资源的转移。我们的方法的有效性证明了与国家的最先进的结果在六种语言的语义相似性数据集。接下来，我们展示了吸引-排斥-专用向量在跨多种语言的对话状态跟踪（DST）的下游任务中提高了性能。最后，我们表明，我们的算法产生的跨语言向量空间有利于多语言DST模型的训练，这带来了进一步的性能改进。
2017-06-01 cs.AI cs.CL cs.LG
Unsupervised Cross-lingual Word Embedding by Multilingual Neural Language Models
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；NTT Communication Science Laboratories（NTT通信科学实验室）
我们提出了一种无监督的方法来获得跨语言嵌入，而无需任何并行数据或预训练的词嵌入。我们称之为多语言神经语言模型的模型以多种语言的句子作为输入。该模型包含双向LSTM，作为前向和后向语言模型，这些网络在所有语言之间共享。其他参数，即词嵌入和隐藏状态与输出之间的线性变换，是特定于每种语言的。共享的LSTM可以捕获所有语言之间的共同句子结构。因此，每种语言的词嵌入被映射到公共潜在空间中，使得可以跨多种语言测量词的相似性。我们评估跨语言的词嵌入的词对齐任务的质量。我们的实验表明，我们的模型可以获得比现有的无监督模型更高质量的跨语言嵌入时，只有少量的单语数据（即50k句子），或单语数据的域是不同的语言。
2018-09-07 cs.AI cs.CL cs.LG
Unsupervised Word Segmentation from Speech with Attention
LIMSI（法国计算机科学与自动化研究所）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；LIG（格勒诺布尔信息学实验室）；UGA（格勒诺布尔阿尔卑斯大学）；G-INP（格勒诺布尔国立理工学院）；INRIA（法国国家信息与自动化研究所）；BUT（布尔诺理工大学）；University of Essex（埃塞克斯大学）；CRISTAL（里尔大学CRISTAL实验室）；Université de Lille（里尔大学）
我们提出了第一次尝试执行注意分词直接从语音信号，最终的目标是自动识别词汇单位在低资源，不成文的语言（UL）。我们的方法假设UL中的录音与资源丰富的语言中的翻译配对。它使用声学单元发现（AUD）将语音转换为伪音素序列，该序列使用神经机器翻译模型产生的神经软对齐进行分段。评估使用实际班图UL，Mboshi;比较单语和双语基线说明注意分词的语言文档的潜力。
2018-06-18 cs.AI cs.CL
A Robust Self-Learning Method for Fully Unsupervised Cross-Lingual Mappings of Word Embeddings: Making the Method Robustly Reproducible as Well
在本文中，我们重现了Artetxe等人的实验。（2018 b）关于词嵌入的完全无监督跨语言映射的鲁棒自学习方法。我们表明，他们的方法的复制确实是可行的一些小的假设。我们通过引入四种新的语言来进一步研究他们的模型的鲁棒性，这些语言与原始论文提出的语言相比与英语不太相似。为了评估他们的模型的稳定性，我们还对敏感的超参数进行了网格搜索。然后，我们提出适用于任何研究项目的关键建议，以提供完全可重复的研究。
2020-03-03 cs.CL cs.LG stat.ML
Spatial Concept Acquisition for a Mobile Robot that Integrates Self-Localization and Unsupervised Word Discovery from Spoken Sentences
Ritsumeikan University（立命馆大学）；National Institute of Informatics（国立信息学研究所）；The Graduate University for Advanced Studies（综合研究大学院大学）
在本文中，我们提出了一种新的无监督学习方法的词汇收购的机器人访问的地方，从人类连续语音信号。我们解决的问题，学习新的单词的机器人，除了一个原始的声学模型，这些话没有先验知识。此外，我们提出了一种方法，允许机器人有效地使用学习的单词及其含义的自我定位任务。该方法是一种非参数贝叶斯空间概念获取方法（SpCoA），该方法通过与空间概念相关的潜变量，将自定位生成模型和无监督分词方法相结合。我们实现了所提出的方法SpCoA上SIGVerse，这是一个仿真环境，和TurtleBot2，这是一个移动机器人在真实的环境。此外，我们进行了用于评估SpCoA性能的实验。实验结果表明，SpCoA使机器人能够从语音句子中获取地名。他们还表明，机器人可以有效地利用获得的空间概念，减少自我定位的不确定性。
2016-05-07 cs.AI cs.CL cs.RO
A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings
IXA NLP Group（IXA 自然语言处理研究组）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
最近的工作已经成功地学习跨语言的词嵌入没有并行数据映射单语嵌入到共享空间通过对抗训练。然而，他们的评估集中在有利的条件下，使用可比语料库或密切相关的语言，我们表明，他们往往在更现实的情况下失败。这项工作提出了一种替代方法的基础上，完全无监督的初始化，明确利用嵌入的结构相似性，和一个强大的自学习算法，迭代地改善这个解决方案。我们的方法在所有测试场景中都取得了成功，并在标准数据集中获得了最佳的结果，甚至超过了以前的监督系统。我们的实现作为一个开源项目发布在https://github.com/artetxem/vecmap上
2018-05-17 cs.AI cs.CL cs.LG
Distributional Analysis of Polysemous Function Words
University of Stuttgart（斯图加特大学）
本文对汉语中的虚词多义现象进行了研究。我们采用分布式语义学的框架，通过观察大语料库中的出现上下文来表征词义，原则上可以很好地模拟多义词。然而，由于虚词的高度灵活的使用模式，传统上被认为是不可能进行分布分析的。我们建立的语境化词嵌入，最新一代的分布方法，在这方面提供了希望。以德语反身代词“sich”为例，我们发现，语境化的词嵌入捕捉理论动机的词的意义“sich”的程度上，这些意义是反映系统的语言使用。
2021-01-27 cs.CL
Incorporating Both Distributional and Relational Semantics in Word Representations
University of Arizona（亚利桑那大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
我们调查的假设，词表示应该将分布和关系语义。为此，我们采用交替方向乘法（ADMM），它灵活地优化了原始文本的分布目标和WordNet上的关系目标。知识库完成，类比测试和解析的初步结果表明，在这两个目标上训练的单词表示在某些情况下可以得到改善。
2015-03-21 cs.CL
Incorporating Both Distributional and Relational Semantics in Word Representations
University of Arizona（亚利桑那大学）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
我们调查的假设，词表示应该将分布和关系语义。为此，我们采用交替方向乘法（ADMM），它灵活地优化了原始文本的分布目标和WordNet上的关系目标。知识库完成，类比测试和解析的初步结果表明，在这两个目标上训练的单词表示在某些情况下可以得到改善。
2015-03-21 cs.CL
Can Network Embedding of Distributional Thesaurus be Combined with Word Vectors for Better Representation?
IIT Kharagpur, India（印度理工学院卡格拉普尔分校（IIT Kharagpur））
近年来，从文本中学习的单词的分布式表示已被证明在各种自然语言处理任务中是成功的。虽然一些方法将单词表示为使用预测模型（Word2vec）或基于密集计数的模型（GloVe）从文本计算的向量，但其他方法试图在分布式词库网络结构中表示这些，其中单词的邻域是具有足够上下文重叠的单词集合。受最近网络嵌入技术（DeepWalk、LINE、node2vec等）研究激增的推动，我们把一个分布式词库网络转换成密集的词向量，并研究分布式词库嵌入在提高整体词表示方面的有用性。这是我们第一次尝试将分布式词库嵌入所获得的单词表示与最先进的单词表示相结合，有助于在针对单词相似性和相关性，同义词检测，类比检测等NLP任务进行评估时显着提高性能。此外，我们表明，即使不使用任何手工制作的词汇资源，我们可以拿出表示具有可比的性能在单词相似性和相关性的任务相比，表示的词汇资源已被使用。
2018-02-17 cs.CL
Non-distributional Word Vector Representations
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
数据驱动的词的表示学习是自然语言处理中的一项重要技术。虽然无可争议地有用的下游任务的功能来源，这些向量往往是由不可解释的组件，其关系的类别传统的词汇语义理论是脆弱的。我们提出了一种从手工制作的语言资源（如WordNet，FrameNet等）构建可解释的词向量的方法。这些向量是二进制的（即仅包含0和1），并且是99.9%稀疏的。我们分析了他们的表现国家的最先进的评估方法的分布模型的词向量，并发现他们是有竞争力的标准分布方法。
2015-06-17 cs.CL
Learning Word Embeddings for Hyponymy with Entailment-Based Distributional Semantics
Idiap Research Institute（伊迪亚普研究所）
词汇蕴涵是自然语言语义学中的一个基本问题。本文提出了分布式语义模型，有效地学习蕴涵的词嵌入，使用最近提出的框架，在向量空间建模蕴涵。这些模型假定一个潜在的向量包含两个相邻的词向量的伪短语。我们研究了两个建模词作为证据，他们对这个短语向量的贡献，或作为一个单词短语向量的后验分布，并发现后验向量表现更好。在无监督和半监督实验中，所得到的词嵌入在预测词之间的上下义关系方面优于先前的最佳结果。
2017-10-06 cs.CL
Improving Sparse Word Representations with Distributional Inference for Semantic Composition
University of Sussex（苏塞克斯大学）
分布模型来自语料库中的同现，其中只有一小部分可能的合理同现将被观察到。这导致非常稀疏的向量空间，需要用于推断缺失知识的机制。大多数方法都面临着这一挑战，使得最终的单词表示无法解释，其结果是语义组合变得难以建模。在本文中，我们探讨了一种替代方案，涉及明确推断未观察到的同现使用的分布邻域。我们发现，分布推理提高了稀疏词表示在几个词相似性基准，并证明我们的模型是有竞争力的形容词-名词，名词-名词和动词-对象组成的最先进的，同时是完全可解释的。
2016-08-24 cs.CL
Are distributional representations ready for the real world? Evaluating word vectors for grounded perceptual meaning
分布式单词表示方法利用单词共现来构建单词的紧凑向量编码。虽然这些表示在现代自然语言处理中得到广泛使用，但尚不清楚它们是否准确地编码了概念意义的所有必要方面。在本文中，我们评估如何以及这些表示可以预测具体概念的感知和概念特征，借鉴两个语义规范数据集来自人类参与者。我们发现，几个标准的单词表征未能编码概念的许多显着的感知特征，并表明这些赤字与单词相似性预测错误。我们的分析提供了接地和体现语言学习方法的动机，这可能有助于弥补这些缺陷。
2017-05-31 cs.CL
Integrating Distributional Lexical Contrast into Word Embeddings for Antonym-Synonym Distinction
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；Universität Stuttgart（斯图加特大学）
我们提出了一种新的矢量表示，将词汇对比度的分布向量，并加强了最显着的功能，以确定程度的单词相似性。改进后的向量显著优于标准模型，并区分反义词和同义词，在词类（形容词，名词，动词）中的平均精度为0.66-0.76。此外，我们将词汇对比度向量整合到跳跃语法模型的目标函数中。新的嵌入在SimLex-999中预测单词相似性以及区分反义词和同义词方面优于最先进的模型。
2016-05-25 cs.CL
Distributional Inclusion Vector Embedding for Unsupervised Hypernymy Detection
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Tsinghua University（清华大学）
对上位关系的建模，如poodle is-a dog，是许多自然语言处理任务的重要泛化辅助工具，如蕴涵、共指、关系抽取和问答。从标记的上位词源（如WordNet）进行的监督学习限制了这些模型的覆盖范围，这可以通过从未标记的文本中学习上位词来解决。现有的无监督方法要么不能扩展到大的词汇表，要么产生不可接受的低精度。本文介绍了分布式包含向量嵌入（DIVE），一个简单的实现无监督的上位词发现方法，通过每个词的非负向量嵌入，保持包含属性的词上下文在一个低维和可解释的空间。在实验评估更全面，比任何以前的文献，我们知道11个数据集使用多个现有的以及新提出的评分功能评估，我们发现，我们的方法提供了两倍的精度以前的无监督嵌入，和最高的平均性能，使用更紧凑的词表示，并产生许多新的国家的最先进的结果。
2018-05-29 cs.CL
Experiential, Distributional and Dependency-based Word Embeddings have Complementary Roles in Decoding Brain Activity
University of Amsterdam（阿姆斯特丹大学）
我们评估了8种不同的词嵌入模型对预测与具体名词相关的神经激活模式的有用性。我们考虑的模型包括基于众包关联数据的经验模型，几种流行的神经和分布模型，以及反映单词句法上下文的模型（基于依赖分析）。我们的目标是评估这些不同的嵌入模型的认知能力，并了解我们如何进一步改进解释大脑成像数据的方法。我们发现，神经词嵌入模型在我们考虑的任务上表现出优越的性能，击败经验词表征模型。当从词嵌入预测大脑激活模式时，句法信息模型给出了整体最佳性能;而当在相反方向（来自大脑图像的词向量）预测时，GloVe分布方法给出了整体最佳性能。然而，有趣的是，这些不同模型的错误模式明显不同。这可能支持大脑使用不同的系统来处理不同类型的单词的想法。此外，我们认为，考虑到不同的嵌入模型的相对优势，将导致更好的模型与文字相关的大脑活动。
2017-11-25 cs.CL
Distributional Modeling on a Diet: One-shot Word Learning from Text Only
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们测试了分布模型是否可以只从文本中一次性学习定义属性。使用贝叶斯模型，我们发现，第一次学习的总体结构在已知的数据中，在文本上下文和属性中，有助于一次性学习，并且个别上下文项可以是高度信息化的。我们的实验表明，我们的模型可以从一个单一的曝光时，给出了一个信息的话语学习属性。
2017-10-13 cs.CL
Where New Words Are Born: Distributional Semantic Analysis of Neologisms and Their Semantic Neighborhoods
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Department of Computer Science, University of Toronto（多伦多大学计算机科学系）；Computer Science and Engineering, University of California, San Diego（加利福尼亚大学圣地亚哥分校计算机科学与工程系）
我们使用大量的英语历时语料库对新词现象进行了统计分析。我们调查两个因素的重要性，语义稀疏性和频率增长率的语义邻居，形式化的分布语义范式。我们发现，这两个因素是预测的字出现，虽然我们发现更多的支持后一种假设。除了提出一个新的语言应用的分布语义学，这项研究解决的语言问题的语言内部因素的作用（在我们的情况下，稀疏）在语言变化的动机语言外部因素（反映在频率增长）。
2020-01-21 cs.CL
Efficient Graph-based Word Sense Induction by Distributional Inclusion Vector Embeddings
University of Massachusetts（马萨诸塞大学）；Lexalytics（Lexalytics公司）
词义归纳（WSI）通过无监督地发现多个词义来解决一词多义问题，解决了下游NLP任务的歧义问题，也使单词表示更具可解释性。本文提出了一种基于图的多义词语义集成方法，该方法构建了一个全局非负向量嵌入基（可解释性类似主题），并对每个多义词的自我网络中的基索引进行聚类。通过采用分布式包含向量嵌入作为我们的基础形成模型，我们避免了困扰其他基于图的方法的最近邻搜索的昂贵步骤，而不牺牲感簇的质量。在三个数据集上的实验表明，与以前的最先进的方法相比，我们提出的方法产生了类似或更好的意义聚类和嵌入，同时效率显着提高。
2018-05-29 cs.CL
Distributional Models and Deep Learning Embeddings: Combining the Best of Both Worlds
Center for Information and Language Processing（信息与语言处理中心）；University of Munich（慕尼黑大学）
单词的分布式表示主要有两种方法：低维深度学习嵌入和高维分布模型，其中每个维度对应于一个上下文单词。在本文中，我们结合了这两种方法，通过学习基于分布式模型向量的嵌入-而不是深度学习中通常使用的独热向量。我们发现，结合的方法有更好的表现在一个词的相关性判断任务。
2014-02-18 cs.CL
A Knowledge-Based Approach to Word Sense Disambiguation by distributional selection and semantic features
Aix-Marseille Université（艾克斯-马赛大学）
词义消歧改进了许多自然语言处理（NLP）应用，诸如信息检索、信息抽取、机器翻译或词汇简化。粗略地说，目的是为文本中的每个词选择最佳意义。其中最流行的方法之一是估计两个词义之间的局部语义相似度，然后将其扩展到文本中的所有单词。最直接的方法为每对词义计算一个粗略的分数，并选择具有最佳分数的词汇链（我们可以想象返回这种综合方法的指数复杂性）。在本文中，我们建议使用组合优化元启发式方法来选择通过单词周围的分布选择获得的最近邻居来消除歧义。我们的方法的测试和评估关注的语料库写在法国的语义网络BabelNet的手段。在所有被选的人名和动词上获得的准确率为78%。
2017-02-27 cs.CL
Using Known Words to Learn More Words: A Distributional Analysis of Child Vocabulary Development
为什么孩子会比别人先学会一些单词？了解儿童个体差异以及词汇差异，可能有助于了解语言学习过程。我们调查了基于项目的变化，在词汇发展中使用的词汇属性的分布统计数据来自一个大型语料库的儿童为导向的语音。与之前的分析不同，我们预测了横截面的单词轨迹，揭示了词汇发展的趋势，这些趋势在单个时间点可能并不明显。我们还表明，无论是在一个单一的年龄组或跨年龄作为一个整体，最好的分布预测一个孩子是否知道一个词是其他已知的单词的数量，该词往往共同出现。关键词：习得年龄;词汇发展;词汇多样性;儿童言语;
2021-11-21 cs.CL stat.OT
Unsupervised POS Induction with Word Embeddings
Carnegie Mellon University（卡内基梅隆大学）
无监督词嵌入已被证明是有价值的监督学习问题的功能，但是，他们在无监督的问题中的作用还没有彻底探讨。在本文中，我们表明，嵌入同样可以增加价值的问题，无监督POS归纳。在两个有代表性的模型的POS归纳，我们取代多项分布的词汇与多元高斯分布的词嵌入，并观察到一致的改进，在八种语言。我们还分析了诱导词嵌入时的各种选择对“下游”词性诱导结果的影响。
2015-03-23 cs.CL
Redefining part-of-speech classes with distributional semantic models
University of Oslo（奥斯陆大学）
本文研究了在英国国家语料库上训练的词嵌入如何与词性边界相互作用。我们的工作目标是通用PoS标签集，该标签集目前正积极用于一系列语言的注释。我们尝试训练分类器，根据它们的嵌入来预测单词的PoS标签。结果表明，PoS隶属关系的分布向量中所包含的信息，使我们能够发现与其他词的相同的词性的分布模式，不同的字组。这些数据经常揭示注释过程或指南中隐藏的不一致性。与此同时，它支持“软”或“分级”的词性归属的概念。最后，我们证明了关于PoS的信息分布在几十个向量分量中，而不仅仅限于一两个特征。
2016-08-12 cs.CL
What do you mean, BERT? Assessing BERT as a Distributional Semantics Model
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Utrecht University（乌得勒支大学）
语境化的词嵌入，即词在语境中的向量表示，自然被看作是以前的非语境分布语义模型的扩展。在这项工作中，我们专注于BERT，一个深度神经网络，产生语境化的嵌入，并设置了最先进的几个语义任务，并研究其嵌入空间的语义一致性。虽然表现出一致性的趋势，但BERT并不完全符合语义向量空间的自然期望。特别是，我们发现，一个词出现的句子的位置，而没有意义的相关性，留下了显着的痕迹上的词嵌入和干扰相似性关系。
2020-05-08 cs.CL
Unsupervised Multilingual Word Embeddings
多语言词嵌入（MWE）在单个分布向量空间中表示来自多种语言的词。无监督MWE（UMWE）方法在没有跨语言监督的情况下获得多语言嵌入，这比传统的监督方法具有显着优势，并为低资源语言开辟了许多新的可能性。然而，用于学习UMWE的现有技术仅仅依赖于多个独立训练的无监督双语词嵌入（UBWE）来获得多语言嵌入。这些方法无法利用许多语言之间存在的相互依赖性。为了解决这个缺点，我们提出了一个完全无监督的框架，用于学习MWE，直接利用所有语言对之间的关系。我们的模型大大优于以前的方法在实验中的多语言单词翻译和跨语言单词相似性。此外，我们的模型甚至击败了使用跨语言资源训练的监督方法。
2018-09-06 cs.CL
Cross-topic distributional semantic representations via unsupervised mappings
University of Maryland, College Park（马里兰大学帕克分校）；National Technical University of Athens（雅典国立技术大学）
在传统的分布式语义模型（DSM）中，一个多义词的多个意义被合并到一个单一的向量空间表示。在这项工作中，我们提出了一个DSM，学习一个词的多个分布表示基于不同的主题。首先，为每个主题训练单独的DSM，然后将每个基于主题的DSM对齐到公共向量空间。我们的无监督映射方法的动机的假设，保持他们的相对距离在不同的主题语义子空间的话构成强大的\textit{semantic anchors}，定义它们之间的映射。对齐的跨主题表示实现了上下文单词相似性任务的最先进的结果。此外，对NLP下游任务的评估表明，多个基于主题的嵌入优于单原型模型。
2019-04-11 cs.CL cs.LG
Incremental Learning for Fully Unsupervised Word Segmentation Using Penalized Likelihood and Model Selection
National Taiwan University（国立台湾大学）
我们提出了一种新的增量学习方法，结合概率建模和模型选择的功能，无监督分词。这包括用于解决长词形成所造成的认知负担的超加性惩罚，以及基于高阶生成假设的新模型选择标准。我们的方法是完全无监督的;它依赖于少量的参数，允许灵活的建模和自动从数据中学习参数的机制。通过实验，我们表明，这种复杂的设计，导致顶级性能在音素和正字法分词。
2016-09-23 cs.CL
Feature2Vec: Distributional semantic modelling of human property knowledge
Queen’s University Belfast（贝尔法斯特女王大学）
人类概念知识的特征规范数据集，在人类志愿者的调查中收集，产生高度可解释的词义模型，并在语义认知的神经语言学研究中发挥重要作用。然而，这些数据集在大小上是有限的，这是由于与详尽地列出大量单词的属性相关联的实际障碍。相比之下，分布式建模技术的发展和大量文本语料库的可用性使研究人员能够在大型词典上构建有效的词义向量空间模型。然而，这是以可解释的、类似人类的关于词义的信息为代价的。我们提出了一种方法，将人类财产的知识映射到一个分布式的语义空间，它适应word2vec架构的任务建模的概念功能。我们的方法给出了一个单一的语义空间中的概念和特征的亲和力的措施，这使得容易和有效的候选人的人类派生的语义属性的任意单词的排名。我们将我们的模型与以前的方法进行比较，并表明它在几个评估任务上表现更好。最后，我们讨论了如何使用我们的方法来开发有效的采样技术，以可靠的方式扩展现有的特征范数数据集。
2019-08-29 cs.CL
Unsupervised Training for Large Vocabulary Translation Using Sparse Lexicon and Word Classes
RWTH Aachen University（亚琛工业大学）
我们第一次解决了具有数十万词汇的翻译任务的无监督训练。我们扩大了期望最大化（EM）算法，以学习一个大型的翻译表，没有任何并行文本或种子词典。首先，我们解决了内存瓶颈，并执行稀疏与一个简单的阈值计划的词典。其次，我们用词类初始化词汇训练，这有效地提高了性能。我们的方法在两个大规模的无监督翻译任务上产生了有希望的结果。
2019-01-06 cs.CL
Distributional Part-of-Speech Tagging
本文提出了一种词性未知词的自动标注算法。与以前的工作不同，该算法在上下文中而不是在单词类型中对单词标记进行分类。该算法的评估布朗语料库。
1995-03-08 cmp-lg cs.CL
Unsupervised Morphological Expansion of Small Datasets for Improving Word Embeddings
Kohli Center On Intelligent Systems (KCIS)（科利智能系统中心）；International Institute of Information Technology Hyderabad (IIIT-H)（海得拉巴国际信息技术学院）
我们提出了一种独立于语言的，无监督的方法来构建词嵌入使用形态扩展的文本。我们的模型处理数据稀疏的问题，并通过依赖于人工生成的句子上的训练词嵌入来产生改进的词嵌入。我们评估我们的方法使用小规模的训练集11个测试集的词相似性任务在七种语言。此外，对于英语，我们使用三个标准测试集的大型训练集评估了我们的方法的影响。我们的方法改进了所有语言的结果。
2017-11-15 cs.CL
Distributional Clustering of English Words
我们描述和实验评估的方法自动聚类的话，根据其分布在特定的句法环境。确定性退火是用来找到最低失真集的集群。随着退火参数的增加，现有的聚类变得不稳定并细分，产生数据的分层“软”聚类。聚类被用来作为单词共现类模型的基础，并根据测试数据对模型进行评估。
1994-08-22 cmp-lg cs.CL
Unsupervised Separation of Transliterable and Native Words for Malayalam
Queen’s University Belfast（贝尔法斯特女王大学）
区分固有语言词和可译词是辅助涉及不同自然语言的文本处理任务的关键步骤。我们考虑的问题，无监督的分离的可音译的话，从母语的文字在马拉雅拉姆语。概述了一个关键的观察字符的多样性超出词干，我们开发了一种优化方法来评分的基础上，他们的原生词。我们的方法依赖于使用的概率分布在字符n-gram中，在迭代优化公式中与原生评分的步骤中进行细化。使用实证评估，我们说明，我们的方法，DTIM，提供了显着的改善，马拉雅拉姆语的本土得分，建立DTIM作为任务的首选方法。
2018-03-26 cs.CL
Investigating Antigram Behaviour using Distributional Semantics
The Pennsylvania State University（宾夕法尼亚州立大学）
本文利用GloVe词嵌入和基于规则的可解释算法，从给定单词生成变位词并检测反义变位词关系，在12个样本上取得39%准确率，揭示了该任务的挑战性。
2023-10-25 cs.CL
Using dependency parsing for few-shot learning in distributional semantics
University College London（伦敦大学学院）；University of Cambridge（剑桥大学）
在这项工作中，我们探讨了新的想法，采用依存句法分析信息的上下文中的少样本学习，学习一个罕见的单词的意义上的有限数量的上下文句子的任务。首先，我们使用基于依赖关系的词嵌入模型作为背景空间进行少样本学习。其次，我们介绍了两种少样本学习方法，通过使用依赖关系来增强加性基线模型。
2022-05-12 cs.CL
Unsupervised word segmentation and lexicon discovery using acoustic word embeddings
University of Edinburgh（爱丁堡大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在只有未标记语音数据可用的环境中，语音技术需要在没有翻译、发音词典或语言建模文本的情况下开发。模拟婴儿语言习得时也面临类似的问题。在这些情况下，需要直接从语音音频中发现类别语言结构。我们提出了一种新的无监督贝叶斯模型，分割未标记的语音和集群的段到假设的单词组。结果是根据发现的词类型对输入语音进行完全无监督的标记化。在我们的方法中，一个潜在的词段（任意长度）嵌入在一个固定维的声学向量空间。该模型作为Gibbs采样器实现，然后在该空间中构建全词声学模型，同时联合执行分割。我们报告的字出错率在一个小词汇量的连接数字识别任务，通过映射的无监督解码输出到地面真值transmittance。该模型实现了约20%的出错率，优于以前的HMM为基础的系统约10%的绝对。此外，与基线相比，我们的模型不需要预先指定的词汇量。
2016-03-09 cs.CL
Unsupervised Lemmatization as Embeddings-Based Word Clustering
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
我们专注于无监督的词元化的任务，即在一个标签（词元）下将一个词的变形形式分组在一起，而不使用带注释的训练数据。我们提出了一种新的距离度量进行凝聚聚类的单词形式。我们的距离测量是基于观察，即同一个词的词形变化往往是相似的字符串和意义。因此，我们结合词嵌入余弦相似性，作为一个代理的意义相似性，与Jaro-Winkler编辑距离。我们对23种语言的实验表明，我们的方法是有前途的，超过了28个评估数据集中的23个基线。
2019-08-22 cs.CL
Creation and Evaluation of Datasets for Distributional Semantics Tasks in the Digital Humanities Domain
ITMO University（圣彼得堡国立信息技术机械与光学大学）
本文针对数字人文领域，基于两部奇幻小说系列训练并比较多种词嵌入模型，联合专家构建术语类比与词语侵入数据集，证明小语料嵌入亦可表现良好。
2019-03-07 cs.CL
Contrastive Unsupervised Word Alignment with Non-Local Features
Tsinghua University（清华大学）
词对齐是一项重要的自然语言处理任务，它反映了自然语言之间的对应关系。近年来，基于对数线性模型的词对齐的无监督学习由于结合了生成式和判别式方法的优点而受到广泛关注。然而，一个主要的挑战仍然存在：它是难以计算的非本地功能，这是至关重要的捕捉自然语言之间的分歧的期望。我们提出了一种对比的方法，旨在区分观察到的训练样本从噪音。它不仅引入了先验知识来指导无监督学习，而且取消了分区函数。基于观察到的概率质量的对数线性模型的字对齐通常是高度集中的，我们建议使用前n对齐来近似的期望后验分布。这允许有效且准确地计算非局部特征的期望。实验表明，我们的方法取得了显着的改进，国家的最先进的无监督字对齐方法。
2014-10-10 cs.CL
Neural Unsupervised Reconstruction of Protolanguage Word Forms
University of California, Berkeley（加州大学伯克利分校）
我们提出了一种最先进的神经方法来无监督地重建古老的单词形式。在这一领域的先前工作使用期望最大化来预测古代词形式和它们在现代语言中的同源词之间的简单语音变化。我们扩展这项工作的神经模型，可以捕捉更复杂的语音和形态的变化。同时，我们通过在模型中建立单调对齐约束并在最大化步骤中故意欠拟合来保留经典方法的归纳偏差。我们评估了我们的表现重建拉丁语从数据集的同源词在五个浪漫的语言，实现了显着减少编辑距离与以前的方法相比，从目标词的形式。
2022-11-16 cs.CL
Seed Word Selection for Weakly-Supervised Text Classification with Unsupervised Error Estimation
Chulalongkorn University（朱拉隆功大学）；Knorex
弱监督文本分类的目标是从用户提供的少量种子词中归纳出文本分类器。绝大多数以前的工作假设高质量的种子词。然而，专家注释的种子词有时是不平凡的。此外，在弱监督学习环境中，我们没有任何标记文档来衡量种子词的功效，使得种子词选择过程“在黑暗中行走”。在这项工作中，我们删除了专家策划的种子词的需要，首先挖掘（噪声）与类别名称相关的候选种子词。然后，我们用单个候选种子词训练临时模型。最后，我们以无监督的方式估计中间模型的出错率。将产生最低估计出错率的种子字添加到最终种子字集合。在四个流行的数据集上对六个二进制分类任务进行的综合评估表明，所提出的方法优于仅使用类别名称种子词的基线，并且与使用专家注释的种子词的方法具有可比性。
2021-04-20 cs.CL
Unsupervised Learning of Style-sensitive Word Vectors
Tohoku University（东北大学）；National Institute of Advanced Industrial Science and Technology (AIST)（国立研究开发法人产业技术综合研究所（AIST））；Preferred Networks, Inc.（优选网络公司）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出了第一个研究，旨在捕捉文体相似的词在无监督的方式。我们建议扩展连续词袋（CBOW）模型（Mikolov等人，2013）来在假设话语中所有单词的风格一致的情况下使用更宽的上下文窗口来学习风格敏感的单词向量。此外，我们还引入了一个新的任务来预测词汇风格相似性，并为这个任务创建了一个基准数据集。我们的实验与此数据集支持我们的假设，并表明，所提出的扩展有助于收购风格敏感的词嵌入。
2018-05-15 cs.CL
Aff2Vec: Affect--Enriched Distributional Word Representations
Big Data Experience Lab（大数据体验实验室）；Adobe Research（奥多比研究院）
人际沟通包括信息、意见和反应。人们的反应往往是通过书面和口头交流中的情感信息来捕捉的。虽然在情感建模和一定程度上的情感内容生成方面已经有了一些工作，但情感词分布的研究还不够深入。同义词集和词汇表捕捉词之间的语义关系。然而，这些模型缺乏编码情感或情绪的词的解释。我们提出的模型，Aff 2 Vec提供了一种方法，丰富的词嵌入是情感的解释的话的代表。Aff 2 Vec在内在单词相似性任务中的表现优于最先进的水平。此外，Aff 2 Vec表示的使用在下游自然语言理解任务（包括情感分析、个性检测和挫折预测）中优于基线嵌入。
2018-05-21 cs.AI cs.CL
Integrating Multiplicative Features into Supervised Distributional Methods for Lexical Entailment
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Bar-Ilan University（巴伊兰大学）
监督分布方法在词汇蕴涵中得到了成功的应用，但最近的工作质疑这些方法是否真的学习了两个词之间的关系。具体来说，Levy等人（2015）声称线性分类器只学习每个单词的单独属性。我们提出了一种廉价而简单的方法来提高这些方法的性能，将乘法功能集成到常用的表示。我们提供了一个广泛的评估与不同的分类器和评估设置，并建议一个合适的评估设置的任务，消除偏见存在于以前的。
2018-04-24 cs.CL
An Unsupervised Method for Uncovering Morphological Chains
Massachusetts Institute of Technology（麻省理工学院）
当今大多数最先进的系统仅基于正交模式产生形态分析。相比之下，我们提出了一个无监督的形态分析模型，整合了词的正字法和语义视图。我们建模构词的形态链，从基础词观察到的话，打破链成亲子关系。我们使用具有词素和词级特征的对数线性模型来预测每个词的可能的父母，包括他们的修饰。每个词的候选父母的有限集合使得对比估计是可行的。我们的模型在阿拉伯语、英语和土耳其语方面始终与五个最先进的系统相匹配或优于它们。
2015-03-08 cs.CL
Bilingual Lexicon Induction via Unsupervised Bitext Construction and Word Alignment
TTI-Chicago（丰田工业大学芝加哥分校）；University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
双语词典将一种语言中的单词映射到另一种语言中的翻译，并且通常通过学习线性投影来对齐单语词嵌入空间来诱导。在本文中，我们展示了结合（1）无监督的双文本挖掘和（2）无监督的单词对齐的方法可以产生更高质量的词典。直接应用一个管道，使用最近的算法，这两个子问题显着提高了诱导的词典质量和进一步的收益是可能的，通过学习过滤产生的词汇条目，无监督和半监督的计划。我们的最终模型在BUCC 2020共享任务上的表现优于最先进的12种语言对的平均14个$F_1$点，同时还提供了一种更可解释的方法，可以在上下文中进行丰富的词义推理。对我们的产出和标准参考词典的进一步分析表明，它们的质量相当，可能需要新的基准来衡量这项任务的进一步进展。
2021-06-12 cs.CL
