Assessing the Bilingual Knowledge Learned by Neural Machine Translation Models
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
机器翻译（MT）系统通过从训练样本自动学习双语词典、语法和语义的深入知识来在不同语言之间翻译文本。虽然神经机器翻译（NMT）已经引领了机器翻译领域，但我们对它如何以及为什么工作的理解很差。在本文中，我们通过评估NMT模型与短语表（双语词典的可解释表）学习的双语知识来弥补这一差距。我们从NMT模型正确预测的训练样本中提取短语表。在广泛使用的数据集上的实验表明，该短语表是合理的，对语言对和随机种子是一致的。我们发现，NMT模型配备了可解释的短语表，学习模式从简单到复杂，并提取必要的双语知识的训练样本。我们还回顾了一些可能影响双语知识学习的进展（例如，翻译），并报告一些有趣的发现。我们相信，这项工作开辟了一个新的角度来解释NMT的统计模型，并提供了经验支持的最新进展，改进NMT模型。
2020-04-28 cs.CL cs.LG
Unsupervised Alignment of Distributional Word Embeddings
University College London（伦敦大学学院）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
跨领域对齐在从机器翻译到迁移学习的各种任务中起着关键作用。最近，纯无监督的方法操作单语嵌入已成功地用于推断双语词典，而不依赖于监督。然而，目前的最先进的方法只关注点向量，虽然分布式嵌入已被证明嵌入更丰富的语义信息时，表示的话。在本文中，我们提出了随机优化方法对齐概率嵌入。最后，我们通过对齐在单语数据上训练的词嵌入来评估我们在无监督词翻译问题上的方法。我们表明，所提出的方法在双语词典归纳任务上取得了良好的性能，在几种语言对，并表现得比基于点向量的方法。
2022-09-21 cs.CL
Bridging Neural Machine Translation and Bilingual Dictionaries
University of Chinese Academy of Sciences（中国科学院大学）；National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
神经机器翻译（NMT）已经成为几种语言对的最新技术。然而，如何将NMT与主要包含在双语训练数据中很少或从未见过的词的双语词典集成仍然是一个具有挑战性的问题。在本文中，我们提出了两种方法来桥接NMT和双语词典。其核心思想是设计新的模型，将双语词典转换为适当的句子对，以便NMT可以从大量和重复的现象中排除潜在的双语映射。一种方法利用混合的单词/字符模型，另一种方法尝试合成平行句子，保证翻译词典的大量出现。大量的实验表明，所提出的方法可以显著提高翻译质量，测试句子中的大多数生僻词如果被词典覆盖，都可以得到正确的翻译。
2016-10-24 cs.CL
Bi-Lexical Rules for Multi-Lexeme Translation in Lexicalist MT
本文提出了一个原型词典机器翻译系统（基于Whitelock（1992）的所谓的“摇烤”方法，包括一个分析组件，一个动态双语词典，和一个生成组件，并显示了它是如何应用到一系列的MT问题。多词汇翻译是通过双词汇规则来处理的，双词汇规则将双语词汇符号映射成新的双语词汇符号。有人认为，许多翻译可以处理等同的词汇符号，无论是直接在双语词典，或通过双词汇的规则推导出他们的等效列表。组织为Qualia结构的词汇语义信息（Pustejovsky 1991）被用作限制规则域的机制。
1995-08-12 cmp-lg cs.CL
Bilingual Sentiment Embeddings: Joint Projection of Sentiment Across Languages
Institut für Maschinelle Sprachverarbeitung（机械语言处理研究所）；University of Stuttgart（斯图加特大学）
低资源语言中的情感分析缺乏注释语料库来估计高性能模型。机器翻译和双语词嵌入通过跨语言情感方法提供了一些缓解。然而，它们要么需要大量的并行数据，要么不能充分捕获情感信息。我们引入双语情感嵌入（BLSE），共同代表情感信息的源和目标语言。该模型只需要一个小的双语词典，一个源语言语料库注释的情绪，和每种语言的单语词嵌入。我们对三种语言组合（西班牙语、加泰罗尼亚语、巴斯克语）进行了句子级跨语言情感分类实验，发现我们的模型在六个实验设置中的四个上显着优于最先进的方法，并且捕获了补充信息到机器翻译。我们对所得到的嵌入空间的分析提供了证据，证明它代表了资源贫乏的目标语言中的情感信息，而没有该语言中的任何注释数据。
2018-05-23 cs.CL
Learning Crosslingual Word Embeddings without Bilingual Corpora
IBM Research - Tokyo（IBM 东京研究院）；University of Melbourne（墨尔本大学）；National ICT Australia（澳大利亚国家信息通信技术研究院）；International Computer Science Institute（国际计算机科学研究所）
跨语言词嵌入在同一向量空间中表示来自不同语言的词汇项，从而实现NLP工具的传输。然而，以前的尝试有昂贵的资源需求，难以纳入单语数据或无法处理一词多义。我们解决这些缺点，在我们的方法中，利用高覆盖率的字典在EM风格的训练算法在两种语言的单语语料库。我们的模型实现了最先进的性能双语词汇归纳任务超过模型使用大型双语语料库，单语词相似性和跨语言文档分类任务的竞争结果。
2016-06-30 cs.AI cs.CL
Data Augmentation and Terminology Integration for Domain-Specific Sinhala-English-Tamil Statistical Machine Translation
University of Moratuwa（莫拉图瓦大学）
词汇不足是低资源语言的机器翻译中的一个问题。当源语言和/或目标语言在形态上丰富时，情况会变得更糟。双语列表集成是解决OOV问题的一种方法。这允许翻译比训练数据中更多的单词。然而，由于双语列表包含基本形式的单词，因此它不会翻译形态丰富的语言（如僧伽罗语和泰米尔语）的屈折形式。本文主要研究统计机器翻译中的数据增强技术，即基于格标记对双语词汇进行扩充以生成新词。字典术语的这种数据增强技术显示僧伽罗语-英语SMT的BLEU分数得到改善。
2021-02-03 cs.CL
Head Automata and Bilingual Tiling: Translation with Minimal Representations
我们提出了一个语言模型，由一个与短语的中心词相关的双向有限状态自动机的集合组成。该模型适用于词汇关联的增量应用，在动态规划搜索最佳依赖树派生。我们还提出了一个机器翻译的模型和算法，涉及最佳的“平铺”的依赖树与成本双语词典的条目。实验结果报告比较分配成本函数，这些模型的方法。最后，我们讨论了带注释的语言字符串作为机器翻译表示的充分性。
1996-07-03 cmp-lg cs.CL
A Morphologically-Aware Dictionary-based Data Augmentation Technique for Machine Translation of Under-Represented Languages
George Mason University（乔治梅森大学）；University of Zurich（苏黎世大学）；RC Athena（希腊雅典娜研究中心）；Archimedes AI Research Unit（阿基米德人工智能研究单元）
针对低资源语言机器翻译数据稀缺问题，提出利用形态句法信息与双语词典合成平行数据的方法，在14种语言上稳定提升翻译性能。
2024-02-02 cs.CL
Unsupervised Bilingual Lexicon Induction Across Writing Systems
University of Rochester（罗切斯特大学）；Department of Computer Science（计算机科学系）
最近在无监督双语词典归纳中基于嵌入的方法已经显示出良好的效果，但通常没有利用拼写（拼写）信息，这对相关语言对是有帮助的。这项工作增强了具有正字法特征的最先进的方法，并通过提出即使在具有不同脚本的语言之间也可以学习和利用正字法对应关系的方法来扩展该领域的先前工作。我们证明了这一点，通过实验三种语言对不同的脚本和不同程度的词汇相似性。
2020-01-31 cs.CL
Cross-Lingual Sentiment Analysis Without (Good) Translation
University of Toronto（多伦多大学）
目前的跨语言情感分析方法试图利用双语词典、双语向量空间嵌入或机器翻译系统来利用大量的标记英语数据。在这里，我们表明，它是可以使用一个单一的线性变换，少至2000字对，捕捉细粒度的情感关系，在跨语言设置的话。我们将这些跨语言情感模型应用到一组不同的任务中，以证明它们在非英语环境中的功能。通过有效地利用英语情感知识，而不需要准确的翻译，我们可以以非常低的成本从其他语言中分析和提取具有稀缺数据的特征，从而使许多语言的情感和相关分析变得廉价。
2017-10-24 cs.CL
Duality Regularization for Unsupervised Bilingual Lexicon Induction
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Harbin Institute of Technology（哈尔滨工业大学）
无监督的双语词典归纳自然具有二重性，这是由回译的对称性造成的。例如，EN-IT和IT-EN归纳可以是相互的原始和对偶问题。然而，当前最先进的方法独立地考虑这两个任务。在本文中，我们建议联合训练原始和对偶模型，使用正则化器来鼓励反向翻译周期的一致性。在6种语言对上的实验表明，该方法的性能明显优于竞争基线，在标准基准测试中获得了最佳结果。
2022-10-06 cs.CL
Word Embedding Transformation for Robust Unsupervised Bilingual Lexicon Induction
Harbin Institute of Technology（哈尔滨工业大学）
无监督双语词典归纳（UBLI）通过对齐在单语语料库上独立训练的源和目标词嵌入，取得了很大的进展。大多数UBLI模型的共同假设是两种语言的嵌入空间近似同构。因此，性能受到同构程度的约束，特别是在词源和类型学上遥远的语言上。为了解决这个问题，我们提出了一种基于变换的方法来增加同构。通过旋转和缩放使两种语言的嵌入相互匹配。该方法不需要任何形式的监督，可以应用于任何语言对。在双语词典归纳的基准数据集上，与最先进的方法相比，我们的方法可以实现具有竞争力或优越的性能，在遥远的语言上发现了特别强大的结果。
2021-05-26 cs.CL
Low-resource bilingual lexicon extraction using graph based word embeddings
UNAM（墨西哥国立自治大学）
在这项工作中，我们专注于自动提取双语词典的语言对西班牙语-纳瓦特尔语的任务。这是一个低资源设置，只有少量的并行语料库可用。大多数下游方法在低资源条件下不能很好地工作。这对于使用矢量表示的方法（如Word 2 Vec）尤其如此。我们的建议是从图中构造双语词向量。该图是使用从无监督单词对齐方法获得的翻译对生成的。我们表明，在低资源的设置，这些类型的向量是成功的，在双语语义空间中表示的话。此外，当应用线性变换将单词从一种语言翻译成另一种语言时，我们基于图形的表示大大优于使用Word 2 Vec的流行设置。
2017-10-06 cs.CL
Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation
LMU Munich（慕尼黑大学）
无监督神经机器翻译（UNMT）的成功方法是通过自我监督进行跨语言预训练，通常以掩蔽语言建模或序列生成任务的形式进行，这需要模型对齐两种语言的词汇和高级表示。虽然跨语言预训练适用于具有丰富语料库的相似语言，但它在低资源和遥远的语言中表现不佳。以前的研究表明，这是因为表征没有充分对齐。在本文中，我们加强双语掩蔽语言模型预训练与词汇级信息，通过使用类型级跨语言子词嵌入。实证结果表明，使用我们的方法与UNMT基线相比，UNMT（高达4.5 BLEU）和双语词典归纳的性能都有所改善。
2021-04-14 cs.CL
Unsupervised Bilingual Lexicon Induction for Low Resource Languages
University of Moratuwa（莫拉图瓦大学）；Central Scientific Instruments Organisation（中央科学仪器组织）；Massey University（梅西大学）
本文研究了同时使用多种基于结构的无监督双语词典归纳（UBLI）改进技术是否能带来同等收益，通过VecMap框架在多个低资源语言对上实验确定了最佳扩展组合，并发布了相应双语词典。
2024-12-22 cs.CL
Density Matching for Bilingual Word Embedding
Carnegie Mellon University（卡内基梅隆大学）
最近的跨语言词嵌入方法通常基于两种语言中的嵌入向量集之间的线性变换。在本文中，我们提出了一种方法，而不是表示两个单语嵌入空间的概率密度定义的高斯混合模型，并匹配两个密度使用一种方法称为归一化流。该方法不需要明确的监督，并且可以仅使用具有相同字符串的单词的种子字典来学习。我们认为，这种提法有几个直观的吸引力的属性，特别是在提高鲁棒性和泛化困难的语言对或词对之间的映射。在双语词典归纳和跨语言单词相似性的基准数据集上，与最先进的已发表结果相比，我们的方法可以实现具有竞争力或优越的性能，在词源遥远和/或形态丰富的语言上发现了特别强大的结果。
2019-04-30 cs.CL cs.LG
Bilingual Lexicon Induction via Unsupervised Bitext Construction and Word Alignment
TTI-Chicago（丰田工业大学芝加哥分校）；University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
双语词典将一种语言中的单词映射到另一种语言中的翻译，并且通常通过学习线性投影来对齐单语词嵌入空间来诱导。在本文中，我们展示了结合（1）无监督的双文本挖掘和（2）无监督的单词对齐的方法可以产生更高质量的词典。直接应用一个管道，使用最近的算法，这两个子问题显着提高了诱导的词典质量和进一步的收益是可能的，通过学习过滤产生的词汇条目，无监督和半监督的计划。我们的最终模型在BUCC 2020共享任务上的表现优于最先进的12种语言对的平均14个$F_1$点，同时还提供了一种更可解释的方法，可以在上下文中进行丰富的词义推理。对我们的产出和标准参考词典的进一步分析表明，它们的质量相当，可能需要新的基准来衡量这项任务的进一步进展。
2021-06-12 cs.CL
Don't Forget the Long Tail! A Comprehensive Analysis of Morphological Generalization in Bilingual Lexicon Induction
University of Cambridge（剑桥大学）；National University of Ireland（爱尔兰国立大学）；Facebook AI Research（Facebook AI研究院）
由于语言中单词的齐普菲分布，人类翻译人员通常必须翻译罕见的单词变化。当从西班牙语翻译时，一个好的翻译人员可以毫不费力地识别出统计上罕见的词形变化，如habláramos。注意词素本身，hablar，是相对常见的。在这项工作中，我们调查是否国家的最先进的双语词汇诱导器能够学习这种泛化。我们介绍了40个形态完整的字典在10种语言和评估三个国家的最先进的模型上的任务，不太频繁的形态形式的翻译。我们证明了最先进的模型的性能大大下降时，评估不频繁的形态变化，然后表明，在训练时添加一个简单的形态约束提高了性能，证明双语词典诱导器可以受益于更好的编码形态。
2019-10-22 cs.CL
Extracting Bilingual Persian Italian Lexicon from Comparable Corpora Using Different Types of Seed Dictionaries
Institute for Advanced Studies in Basic Sciences（基础科学高等研究院）；Charles University（查理大学）；Shiraz University（设拉子大学）；University of Calabria（卡拉布里亚大学）
双语词典在自然语言处理的各个领域都有着非常重要的作用。近年来，从非平行（可比）语料库中提取新的双语词典的研究已经被提出。几乎所有都使用一个小的现有字典或其他资源来创建一个称为“种子字典”的初始列表。在本文中，我们讨论了使用不同类型的词典作为初始的起始列表创建一个双语波斯语-意大利语词汇从可比语料库。我们的实验适用于三个不同的种子字典的最先进的技术;现有的字典，字典创建的基于XML的模式，并从一个小的波斯语-意大利语平行文本中提取的字典。我们的方法的有趣的挑战是找到一种方法来结合不同的字典在一起，以产生一个更好，更准确的词典。为了结合种子词典，我们提出了两种不同的组合模型，并检查我们的新的组合模型的效果，各种可比语料库，具有不同程度的可比性。最后，我们提出了一个新的加权系统，以提高提取的词汇。我们的实施所产生的实验结果表明，我们提出的模型的效率。
2019-09-20 cs.CL
Learning to Represent Bilingual Dictionaries
University of California, Los Angeles（加州大学洛杉矶分校）；The State University of New York, Stony Brook（纽约州立大学石溪分校）
双语词嵌入已被广泛用于捕捉不同人类语言中词汇语义的相似性。然而，许多应用，如跨语言语义搜索和问答，可以很大程度上受益于句子和词汇之间的跨语言对应。为了弥合这一差距，我们提出了一个利用双语词典的神经嵌入模型。该模型经过训练，将字面词定义映射到跨语言目标词，我们使用不同的句子编码技术进行了探索。为了提高有限资源的学习过程中，我们的模型采用了几个关键的学习策略，包括多任务学习不同的桥梁的语言，和联合学习的词典模型与双语词嵌入模型。实验评估侧重于两个应用程序。跨语言反向字典检索任务的结果表明，我们的模型的理解双语概念的描述的基础上，有前途的能力，并突出了所提出的学习策略在提高性能的有效性。同时，我们的模型有效地解决了双语释义识别问题，并显着优于以往的方法。
2019-09-06 cs.AI cs.CL cs.LG
Low-resource Bilingual Dialect Lexicon Induction with Large Language Models
LMU Munich（慕尼黑大学）
本文研究德语与巴伐利亚语、阿勒曼尼语之间的低资源双语词典归纳，分析基于 LLM 的无监督流程，并从词频和编辑距离评估输出，发布人工判定的句对与词对评测集。
2023-04-19 cs.CL
How Lexical is Bilingual Lexicon Induction?
The Ohio State University（俄亥俄州立大学）；Amazon（亚马逊公司）
针对低资源双语词典归纳难题，本文在检索并排序框架中引入额外词汇信息，并在 XLING 上实现较此前最优方法平均 2% 的提升。
2024-04-05 cs.CL
Bilingual Lexicon Induction for Low-Resource Languages using Graph Matching via Optimal Transport
Johns Hopkins University（约翰斯·霍普金斯大学）
双语词典形成了各种自然语言处理应用的关键组成部分，包括无监督和半监督机器翻译以及跨语言信息检索。我们提高双语词典归纳性能在40个语言对的图形匹配方法的基础上最佳运输。这种方法特别强大，但监督力度很小。
2022-10-25 cs.CL cs.LG
Inverted Bilingual Topic Models for Lexicon Extraction from Non-parallel Data
IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；IBM Research-Tokyo（IBM东京研究中心）
主题模型已经成功地应用于词典抽取。但是，以前的大多数方法仅限于文档对齐的数据。在本文中，我们试图解决两个挑战，将主题模型应用于非并行数据中的词汇提取：1）难以建模的单词关系和2）噪声种子字典。为了解决这两个挑战，我们提出了两个新的双语主题模型，以更好地捕捉每个单词的语义信息，同时区分在一个嘈杂的种子字典的多个翻译。我们通过颠倒“单词”和“文档”的角色来扩展主题模型的范围。此外，为了解决种子词典中的噪声问题，我们在模型中加入了翻译选择的概率。此外，我们还提出了一个有效的措施，以评估在不同的语言中的词的相似性，并选择最佳的翻译对。使用真实世界数据的实验结果表明，所提出的模型的实用性和有效性。
2017-06-21 cs.CL
Combining Static Word Embeddings and Contextual Representations for Bilingual Lexicon Induction
Soochow University（苏州大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
双语词汇归纳（BLI）旨在将一种语言中的单词映射到另一种语言中的翻译，通常通过学习线性投影来对齐单语单词表示空间。BLI的词汇表征分为静态词嵌入和语境表征两类，但还没有将两者结合起来的研究。在本文中，我们提出了一个简单而有效的机制，结合静态词嵌入和上下文表示，利用这两种范式的优点。我们测试的组合机制在各种语言对下的监督和无监督BLI基准设置。实验表明，我们的机制在所有语言对上的鲁棒BLI基线上持续提高性能，在监督设置中平均提高3.2点，在无监督设置中平均提高3.1点。
2021-06-10 cs.CL
An Analysis of Euclidean vs. Graph-Based Framing for Bilingual Lexicon Induction from Word Embedding Spaces
Center for Imaging Science（影像科学中心）；Human Language Technology Center of Excellence（人类语言技术卓越中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
双语词典归纳（BLI）的许多最新研究将词嵌入视为欧几里得空间中的向量。因此，BLI通常通过找到将嵌入映射到公共空间的线性变换来解决。或者，词嵌入可以被理解为加权图中的节点。这种框架使我们能够检查节点的图形邻域，而无需假设线性变换，并利用图形匹配优化文献中的新技术。迄今为止，BLI尚未对这些对比鲜明的方法进行比较。在这项工作中，我们研究的行为，欧几里德与图形为基础的方法，BLI在不同的数据条件下，并表明，它们相互补充时，结合起来。我们在https://github.com/kellymarchisio/euc-v-graph-bli上发布代码。
2021-09-26 cs.CL
Semi-Supervised Bilingual Lexicon Induction with Two-way Interaction
Tsinghua University（清华大学）；HKUST（香港科技大学）
半监督法是一种很有前途的双语词汇归纳方法。然而，以前的半监督方法没有充分利用隐藏在注释和非注释数据中的知识，这阻碍了其性能的进一步提高。在本文中，我们提出了一个新的半监督BLI框架，鼓励监督信号和无监督对齐之间的相互作用。我们设计了两种消息传递机制，分别命名为先验最优传输和双向词典更新，在注释和非注释数据之间传递知识。然后，我们执行半监督学习的基础上，循环或并行参数喂养例程更新我们的模型。我们的框架是一个通用框架，可以结合任何基于最优传输的监督和无监督BLI方法。在MUSE和VecMap数据集上的实验结果表明，我们的模型有显着的改善。消融研究也证明了监督信号和非监督对准之间的双向相互作用占整体性能的增益。远距离语言对的结果进一步说明了我们所提出的方法的优点和鲁棒性。
2020-10-14 cs.CL
Learning Multilingual Word Embeddings in Latent Metric Space: A Geometric Approach
Microsoft（微软）；IIT Madras（印度理工学院马德拉斯分校）
我们提出了一种新的几何方法学习双语映射单语嵌入和双语字典。我们的方法将学习从源语言到目标语言的转换分为（a）学习特定语言嵌入的旋转以将它们对齐到公共空间，以及（b）学习公共空间中的相似性度量以模拟嵌入之间的相似性。我们将双语映射问题建模为光滑黎曼流形上的优化问题。我们表明，我们的方法优于以前的方法在双语词汇归纳和跨语言词相似性任务。我们还概括了我们的框架，以表示在一个共同的潜在空间的多种语言。特别是，几种语言的潜在空间表示联合学习，给出多语言对的双语词典。我们说明了联合学习的有效性，为多种语言在zero-shot单词翻译设置。我们的实现可以在https://github.com/anoopkunchukuttan/geomm上获得。
2018-12-18 cs.AI cs.CL cs.LG
Bilingual Lexicon Induction with Semi-supervision in Non-Isometric Embedding Spaces
Carnegie Mellon University（卡内基梅隆大学）
最近的双语词典归纳（BLI）的工作经常依赖于对齐的双语词典或分布匹配，往往与两个空间的等距假设。我们提出了一种技术来定量估计这两个嵌入空间之间的等距的假设，并根据经验表明，这种假设减弱的语言问题变得越来越词源遥远。然后，我们提出了双语词汇归纳与半监督（BLISS）-一个半监督的方法，放松等距假设，同时利用有限的对齐双语词典和一个更大的一组未对齐的词嵌入，以及一个新的hubness过滤技术。我们提出的方法在MUSE数据集上的18种语言对中的15种上获得了最先进的结果，并且在嵌入空间似乎不是等距的情况下表现得特别好。此外，我们还表明，增加监督稳定的学习过程，是有效的，即使在最小的监督。
2019-08-19 cs.CL cs.LG
When your Cousin has the Right Connections: Unsupervised Bilingual Lexicon Induction for Related Data-Imbalanced Languages
Inria（法国国家信息与自动化研究所）；Saarland University（萨尔大学）；DFKI GmbH（德国人工智能研究中心）
针对相关高低资源语言间数据不平衡导致无监督双语词典归纳性能极差的问题，提出仅需在高资源语言掩码模型上推理的新方法，在多种印度低资源语言上验证了有效性并发布词典。
2024-03-25 cs.CL
Extraction of domain-specific bilingual lexicon from comparable corpora: compositional translation and ranking
UNIVERSITÉ DE NANTES – LINA UMR 6241（南特大学）；UNIVERSITÉ STENDHAL – GRENOBLE 3（司汤达大学 – 格勒诺布尔第三大学）；LINGUA ET MACHINA（Lingua et Machina公司）
本文提出了一种从可比语料库中抽取词形结构术语译文的方法。该方法是基于合成翻译和利用翻译等价在词素水平，这允许生成“肥沃”的翻译（翻译对，其中目标术语有更多的话比源术语）。采用基于语料库和基于语义的特征排序方法来选择最佳候选译文。我们在Top1候选翻译上获得了91%的平均精度。该方法在两种语言对（英语-法语和英语-德语）和一个小的专业可比语料库（每种语言40万字）上进行了测试。
2012-10-21 cs.CL
Refinement of Unsupervised Cross-Lingual Word Embeddings
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
跨语言词嵌入旨在通过允许学习多语言词表示，即使不使用任何直接的双语信号，来弥合高资源和低资源语言之间的差距。最大的方法是基于投影的方法，将预先训练的嵌入映射到共享的潜在空间中。这些方法大多基于正交变换，它假设语言向量空间是同构的。然而，这个标准并不一定成立，特别是对于形态丰富的语言。在本文中，我们提出了一种自监督的方法来改善无监督的双语词嵌入的对齐。所提出的模型将单词的向量及其相应的翻译移动得更接近彼此，并强制执行长度和中心不变性，从而允许更好地对齐跨语言嵌入。实验结果表明，我们的方法的有效性，因为在大多数情况下，它优于国家的最先进的方法在双语词汇归纳任务。
2020-02-21 cs.CL cs.LG
Cross-Domain Bilingual Lexicon Induction via Pretrained Language Models
Harbin Institute of Technology（哈尔滨工业大学）
本文提出跨领域双语词典归纳新任务，通过引入Code Switch方法结合预训练模型优化词嵌入，在医学等三个专业领域平均提升0.78分，解决了静态词嵌入在专业领域表现不佳的问题。
2025-05-29 cs.CL
Discovering Bilingual Lexicons in Polyglot Word Embeddings
Carnegie Mellon University（卡内基梅隆大学）；Onai
双语词典和短语表是现代机器翻译系统的重要资源。虽然最近的研究结果表明，没有任何种子词典或平行数据，高度准确的双语词典可以使用无监督的方法来学习，这种方法依赖于大型，干净的单语语料库的存在。在这项工作中，我们利用一个单一的跳过语法模型训练的多语种语料库产生多语种词嵌入，并提出了一个新的发现，一个令人惊讶的简单的约束最近邻采样技术在这个嵌入空间可以检索双语词典，即使在苛刻的社会媒体数据集主要是写在英语和罗马印地语，并经常表现出代码切换。我们的方法不需要单语语料库，种子词典，或任何其他此类资源。此外，在三个欧洲语言对，我们观察到，多语词嵌入确实学习了丰富的语义表示的单词和大量的双语词典可以检索使用我们的约束最近邻抽样。我们调查潜在的原因和下游应用程序的设置跨越干净的文本和嘈杂的社交媒体数据集，并在资源丰富和资源不足的语言对。
2020-08-31 cs.CL cs.CY cs.LG
Non-native English lexicon creation for bilingual speech synthesis
Zapr Media Labs (Red Brick Lane Marketing Solutions Pvt. Ltd.)（Zapr媒体实验室（红砖巷营销解决方案私人有限公司））
双语英语者把英语作为他们的语言之一。他们的英语是一种非母语的，他们的谈话是一种代码混合的方式。双语文本到语音（TTS）系统的可理解性，这样的非英语母语的人依赖于一个词汇，捕捉非母语的人使用的音素序列。然而，由于缺乏非母语英语词汇，现有的双语TTS系统采用母语英语词汇，广泛使用，除了他们的母语词汇。由于音频中的非母语英语发音和文本中的母语英语词汇之间的不一致，在这种TTS系统中合成语音的可懂度显著降低。本论文的研究动机是：说话者的母语对非母语英语发音有很大的影响。我们提出了一个通用的方法来获得规则的基础上，字母音素对齐映射母语英语词汇到他们的非母语版本。这种映射的有效性进行了研究，通过比较双语（印度英语和印地语）TTS系统训练和不建议的规则。主观评价表明，与建议的非母语英语词汇规则训练的双语TTS系统获得了6%的绝对改善的偏好。
2021-06-21 cs.CL cs.SD eess.AS
LexC-Gen: Generating Data for Extremely Low-Resource Languages with Large Language Models and Bilingual Lexicons
Brown University（布朗大学）；Data Science Institute, Brown University（布朗大学数据科学学院）
本文提出 LexC-Gen，通过先生成与双语词典兼容的高资源语言任务数据再逐词翻译，为极低资源语言构建分类数据，并显著提升情感分析和主题分类性能。
2024-10-28 cs.AI cs.CL cs.LG
Bilex Rx: Lexical Data Augmentation for Massively Multilingual Machine Translation
Google Research（谷歌研究院）
神经机器翻译（NMT）在过去几年中发展迅速，现代模型能够仅使用单语文本数据实现相对较高的质量，这种方法被称为无监督机器翻译（UNMT）。然而，这些模型仍然在各种各样的方面挣扎，包括对人类来说最简单的翻译方面-例如，正确翻译普通名词。这项工作探索了一种廉价而丰富的资源来解决这个问题：双语词汇。我们在真实世界的设置中测试了双语词典的功效，在网络抓取文本上训练了200种语言的翻译模型。我们提出了几个发现：（1）使用词汇数据增强，我们证明了无监督翻译的可观性能增益;（2）我们比较了几个数据增强家族，证明它们产生了类似的改进，并且可以组合以获得更大的改进;（3）我们证明了精心策划的词汇相对于更大，更嘈杂的词汇的重要性，特别是对于更大的模型;（4）比较了多语种词典数据和人工翻译的平行数据的有效性。最后，我们开源了GATITOS（可在https：//github.com/google-research/url-nlp/tree/main/gatitos获得），这是一个新的多语言词典，适用于26种低资源语言，在我们的实验中，它在所有词典中表现最好。
2023-03-27 cs.AI cs.CL cs.LG
A Discriminative Latent-Variable Model for Bilingual Lexicon Induction
Insight Research Centre, National University of Ireland, Galway（爱尔兰国立高威大学Insight研究中心）；Aylien Ltd.（Aylien有限公司）；The Computer Laboratory, University of Cambridge（剑桥大学计算机实验室）；Department of Computer Science, Johns Hopkins University（约翰霍普金斯大学计算机科学系）；Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
提出结合二分匹配词典先验与基于表示方法的新型判别式隐变量模型，推导高效Viterbi EM算法，经6种语言对实验验证其先验可提升双语词典质量，且可将过往相关研究归为同类结构的隐变量模型。
2026-08-26 cs.CL cs.LG stat.ML
Semi-Supervised Learning for Bilingual Lexicon Induction
MINES Paristech（巴黎高等矿业学院）；PSL - Research University（巴黎文理研究大学）
本文提出一种半监督双语词典归纳方法，通过整合已知语言知识并引入排序问题形式化，在无平行数据的情况下实现了优于现有技术的跨语言对齐效果。
2024-02-10 cs.CL cs.LG
LNMap: Departures from Isomorphic Assumption in Bilingual Lexicon Induction Through Non-Linear Mapping in Latent Space
Nanyang Technological University（南洋理工大学）；Salesforce Research（Salesforce研究院）
大多数成功的和占主导地位的双语词典归纳（BLI）方法都是基于映射的，其中在假设不同语言的词嵌入空间表现出相似的几何结构（即，近似同构）。然而，最近的一些研究批评了这种简化的假设，表明即使对于密切相关的语言，它也不适用。在这项工作中，我们提出了一种新的半监督方法来学习跨语言的词嵌入的BLI。我们的模型独立于同构假设，并在两个独立训练的自动编码器的潜在空间中使用非线性映射。通过对来自两个不同数据集的15种不同语言对（双向）（包括资源丰富和资源不足的语言）进行广泛的实验，我们证明了我们的方法优于现有模型。消融研究显示了不同模型组件的重要性和非线性映射的必要性。
2020-10-22 cs.CL cs.LG
DepecheMood++: a Bilingual Emotion Lexicon Built Through Simple Yet Powerful Techniques
Universidad Politécnica de Madrid（马德里理工大学）；University of Twente（特文特大学）；reciTAL（reciTAL公司）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
NLP社区已经开发了几个用于情感分析的词汇。虽然大多数这些都带有单词极性注释（例如积极/消极），但为更细粒度的情感分析（例如幸福，悲伤）构建词汇的尝试最近引起了极大的关注。这样的词汇通常被用作开发需要情感识别的学习模型的过程中的构建块，和/或用作比较模型性能的基线。在这项工作中，我们贡献了两个新的资源社区：a）现有的和广泛使用的英语情感词汇的扩展;和b）一个新版本的词汇针对意大利语。此外，我们还展示了如何在监督和无监督的实验环境中使用简单的技术来提高不同领域特异性程度的数据集和任务的性能。
2018-10-08 cs.CL cs.CY
ProMap: Effective Bilingual Lexicon Induction via Language Model Prompting
College of Computing, Mohammed VI Polytechnic University（穆罕默德六世理工大学计算学院）；Deep Learning & Natural Language Processing Group, The University of British Columbia（不列颠哥伦比亚大学深度学习与自然语言处理组）；Department of Natural Language Processing & Department of Machine Learning, MBZUAI（穆罕默德·本·扎耶德人工智能大学自然语言处理系与机器学习系）；Department of Electrical & Computer Engineering, University of Sherbrooke（舍布鲁克大学电气与计算机工程系）
ProMap利用预训练多语言模型的提示方法，通过种子词典填充提示和结果重排序，在资源丰富与低资源语言的双语词典归纳任务中取得最先进性能，并支持少样本场景。
2023-10-28 cs.CL
Building a Large-Scale Knowledge Base for Machine Translation
基于知识的机器翻译（KBMT）系统在受限领域取得了很好的效果，但尚未扩展到报纸文本。原因是知识资源（词汇、语法规则、世界模型）必须从头开始精心制作。在PANGLOSS机器翻译项目中测试的假设之一是这些资源是否可以大规模半自动获取。本文的重点是构建一个大型的本体（或知识库，或世界模型），以支持KBMT。它包含了大约70，000个常见的对象，过程，质量和关系的表示。本体的构建是通过合并各种在线词典，语义网络和双语资源，通过半自动的方法。这些方法中的一些（例如，语义分类的概念匹配）广泛地适用于从一个KB到另一个KB的知识导入/导出问题。其它方法（例如，双语匹配）允许知识工程师建立对第二语言（例如西班牙语或日语）KB的索引。
1994-07-29 cmp-lg cs.CL
Unwritten Languages Demand Attention Too! Word Discovery with Encoder-Decoder Models
Laboratoire d'Informatique de Grenoble, Univ. Grenoble Alpes (UGA)（格勒诺布尔阿尔卑斯大学格勒诺布尔信息学实验室）；Institute of Informatics, UFRGS（南里奥格兰德联邦大学信息学研究所）
单词发现是从未分割的文本中提取单词的任务。在本文中，我们研究在何种程度上神经网络可以应用到这个任务中的一个现实的非书面语言的情况下，只有小语料库和有限的注释。我们调查了两种情况：一种是没有监督，另一种是有限制的监督，可以访问最频繁的单词。获得的结果表明，通过仅用5，157个句子训练编码器-解码器神经机器翻译系统，可以检索至少27%的金标准词汇。这一结果与特定任务贝叶斯非参数模型的结果接近。此外，我们的方法具有生成翻译对齐的优点，可以用来创建双语词典。从未来的角度来看，这种方法也非常适合直接从语音中工作。
2017-09-19 cs.CL
RAPO: An Adaptive Ranking Paradigm for Bilingual Lexicon Induction
Microsoft（微软）
双语词典归纳通过对齐两种语言中独立训练的词嵌入来归纳词的翻译。现有的方法通常集中在最小化对齐对中的单词之间的距离，同时遭受区分正候选者和负候选者之间的相对顺序的低辨别能力。此外，映射功能是全局共享的所有的话，其性能可能会受到不同语言的分布偏差。在这项工作中，我们提出了一种新的面向排名的归纳模型RAPO学习个性化的映射功能，为每个字。RAPO能够同时享受单个词的独特性和跨语言同构的优点。在公共数据集上的大量实验结果表明了该方法的优越性。我们的代码在\url{https://github.com/Jlfj345wf/RAPO}中公开提供。
2022-10-18 cs.AI cs.CL cs.LG
Unsupervised Bilingual Lexicon Induction from Mono-lingual Multimodal Data
Renmin University of China（中国人民大学）；Carnegie Mellon University（卡内基梅隆大学）
双语词汇归纳是将源语言中的词汇翻译成目标语言的过程，是一项长期存在的自然语言处理任务。近年来的研究表明，在不依赖平行语料库的情况下，以图像为中心进行词汇归纳是一种很有前途的方法。然而，这些基于视觉的方法简单地将单词与整个图像相关联，这被限制为翻译具体的单词并且需要以对象为中心的图像。我们人类可以更好地理解单词时，他们在一个句子的上下文。因此，在本文中，我们建议利用图像及其相关的字幕，以解决以前的方法的局限性。我们提出了一个多语言字幕模型，用不同的单语言多模态数据训练，将不同语言的单词映射到联合空间。从多语言字幕模型中归纳出两种类型的词语表示：语言特征和本地化视觉特征。从具有视觉语义约束的句子上下文中学习语言特征，这有利于学习视觉相关性较低的单词的翻译。局部视觉特征关注图像中与词相关的区域，从而消除了图像对显著视觉表征的限制。这两类特征在词汇翻译中是互补的。多语言对的实验结果表明，我们所提出的方法的有效性，大大优于以前的基于视觉的方法，而不使用任何平行的句子或种子词对的监督。
2019-06-02 cs.CL cs.CV
A Novel Bilingual Word Embedding Method for Lexical Translation Using Bilingual Sense Clique
Shanghai Jiao Tong University（上海交通大学）；Centre National de la Recherche Scientifique（法国国家科学研究中心）；National Institute of Information and Communications Technology（信息通信研究机构）
现有的双语词嵌入方法大多只考虑了浅上下文或简单的共现信息。本文提出了一种潜在双语语义单元（Bilingual Sense Clique，BSC），它是由双语语料库上基于逐点互信息的图的最大完全子图导出的。这样，我们平等地对待源和目标词，并且不再需要在大多数现有作品中必须使用的单独的双语投影处理。几种降维方法进行评估，总结BSC的字的关系。在双语词典翻译任务上对所提出的方法进行了评估，实验结果表明，双语意义嵌入方法优于现有的双语词嵌入方法。
2016-08-02 cs.CL
A New NMT Model for Translating Clinical Texts from English to Spanish
College of Information and Computer Science, University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特信息与计算机科学学院）；Department of Computer Sciences, University of Massachusetts Lowell（马萨诸塞大学洛约拉计算机科学系）；Department of Quantitative Health Sciences, University of Massachusetts Medical School（马萨诸塞大学医学学院定量健康科学系）；Bedford VAMC and CHOIR（贝德福德退伍军人医疗中心和CHOIR）
针对英语到西班牙语临床文本翻译因缺乏平行语料库和未知词多而困难的问题，提出仅需少量域内平行语料库训练的NOOV系统，通过集成双语词典和生物医学短语查询表提升翻译准确性与流畅性。
2025-08-26 cs.CL
Automatic Evaluation and Uniform Filter Cascades for Inducing N-Best Translation Lexicons
本文展示了如何从双语文本语料库中归纳出一个N-最佳翻译词典，利用语料库的统计特性以及四个外部知识源。知识源被转换为过滤器，以便它们的任何子集都可以在统一的框架中级联。提出了一种新的客观评价方法，用于比较不同过滤级联所产生的词典质量。最好的过滤器级联将词典质量提高了137%，超过了普通的统计方法，并接近人类的表现。当使用这些知识源时，减少训练语料库的大小对词典质量的影响要小得多。这使得在大型双语语料库不可用的情况下，在小型手工构建的语料库上进行语言对的训练变得切实可行。此外，四个过滤器中的三个即使在使用大型训练语料库时也是有用的。
1995-05-25 cmp-lg cs.CL
Why Overfitting Isn't Always Bad: Retrofitting Cross-Lingual Word Embeddings to Dictionaries
University of Maryland（马里兰大学）；University of Colorado（科罗拉多大学）；Google Research Zürich（谷歌苏黎世研究中心）
跨语言词嵌入（CLWE）通常在双语词典归纳（BLI）中进行评估。最近的CLWE方法使用线性投影，这不适合训练字典，推广BLI。然而，欠拟合可能会阻碍泛化到依赖于训练字典中的单词的其他下游任务。我们通过将CLWE改造为训练字典来解决这个限制，这使得训练翻译对在嵌入空间中更接近，并过度拟合训练字典。这个简单的后处理步骤通常可以提高两个下游任务的准确性，尽管会降低BLI测试的准确性。我们还改进了训练字典和CLWE诱导的合成字典，这有时在下游任务上更好地推广。我们的研究结果证实了在下游任务中充分利用训练字典的重要性，并解释了为什么BLI是一个有缺陷的CLWE评估。
2020-05-01 cs.CL cs.LG
On Bilingual Lexicon Induction with Large Language Models
University of Cambridge（剑桥大学）
本文系统研究了利用多语言大语言模型进行双语词典归纳，发现基于最近邻上下文示例的少样本提示效果最佳，在多个语言对上取得了新的最优结果。
2024-02-25 cs.AI cs.CL cs.IR
A Generalized Constraint Approach to Bilingual Dictionary Induction for Low-Resource Language Families
Kyoto University（京都大学）；Universitas Islam Riau（伊斯兰廖内大学）
双语词典的抽取是一项针对低资源语言的困难任务。事实证明，枢纽语言和同源识别方法对于归纳此类语言的双语词典非常有用。我们提出了基于约束的双语词典归纳密切相关的语言，从最近的基于语义的归纳技术，并进一步使多个对称性假设循环，以达到更多的同源词transgraph的扩展约束。我们进一步确定同源同义词，以获得多对多的翻译对。本文使用了四个数据集：一个南岛语低资源语言和三个印欧语高资源语言。我们使用三个基于约束的方法，从我们以前的工作，逆咨询方法和翻译对从输入字典的笛卡尔积作为基线。我们使用精确度，召回率和F分数的指标来评估我们的结果。我们的可定制方法允许用户进行交叉验证，以预测最佳超参数（同源阈值和同源同义词阈值），并使用不同的对称性假设循环组合和数量，以获得最高的F分数。我们提出的方法有统计上显着的改善精度和F分数相比，我们以前的约束为基础的方法。结果表明，我们的方法证明了补充其他双语词典创建方法的潜力，如使用并行语料库的高资源语言的单词对齐模型，同时很好地处理低资源语言。
2020-10-05 cs.AI cs.CL
IsoVec: Controlling the Relative Isomorphism of Word Embedding Spaces
Johns Hopkins University（约翰斯·霍普金斯大学）
IsoVec通过将同构性全局度量直接纳入Skip-gram损失函数，提升词嵌入空间的相对同构性，从而改善跨语言映射与双语词典归纳性能。
2023-07-04 cs.CL cs.LG
