A Discriminative Latent-Variable Model for Bilingual Lexicon Induction
Insight Research Centre, National University of Ireland, Galway（爱尔兰国立高威大学Insight研究中心）；Aylien Ltd.（Aylien有限公司）；The Computer Laboratory, University of Cambridge（剑桥大学计算机实验室）；Department of Computer Science, Johns Hopkins University（约翰霍普金斯大学计算机科学系）；Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
提出结合二分匹配词典先验与基于表示方法的新型判别式隐变量模型，推导高效Viterbi EM算法，经6种语言对实验验证其先验可提升双语词典质量，且可将过往相关研究归为同类结构的隐变量模型。
2026-08-26 cs.CL cs.LG stat.ML
Bilingual Lexicon Induction through Unsupervised Machine Translation
IXA NLP Group（IXA自然语言处理研究组）；University of the Basque Country (UPV/EHU)（巴斯克大学）
最近的一项研究在双语词典归纳方面取得了很好的成果，即通过对齐两种语言中独立训练的词嵌入，并使用所得到的跨语言嵌入通过最近邻或相关检索方法来归纳词翻译对。在本文中，我们提出了一种替代方法，这个问题的基础上，最近的工作无监督机器翻译。这种方式，而不是直接从跨语言嵌入中诱导双语词典，我们使用它们来构建短语表，将其与语言模型相结合，并使用由此产生的机器翻译系统来生成一个合成的平行语料库，从其中我们使用统计词对齐技术提取双语词典。因此，我们的方法可以与任何词嵌入和跨语言映射技术，它不需要任何额外的资源，除了用于训练嵌入的单语语料库。当在完全相同的跨语言嵌入上进行评估时，我们提出的方法比最近邻平均提高了6个精度点，比CSLS检索平均提高了4个精度点，在标准MUSE数据集中建立了一个新的最先进的技术。
2019-07-24 cs.AI cs.CL cs.LG
Unsupervised Bilingual Lexicon Induction Across Writing Systems
University of Rochester（罗切斯特大学）；Department of Computer Science（计算机科学系）
最近在无监督双语词典归纳中基于嵌入的方法已经显示出良好的效果，但通常没有利用拼写（拼写）信息，这对相关语言对是有帮助的。这项工作增强了具有正字法特征的最先进的方法，并通过提出即使在具有不同脚本的语言之间也可以学习和利用正字法对应关系的方法来扩展该领域的先前工作。我们证明了这一点，通过实验三种语言对不同的脚本和不同程度的词汇相似性。
2020-01-31 cs.CL
Duality Regularization for Unsupervised Bilingual Lexicon Induction
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Harbin Institute of Technology（哈尔滨工业大学）
无监督的双语词典归纳自然具有二重性，这是由回译的对称性造成的。例如，EN-IT和IT-EN归纳可以是相互的原始和对偶问题。然而，当前最先进的方法独立地考虑这两个任务。在本文中，我们建议联合训练原始和对偶模型，使用正则化器来鼓励反向翻译周期的一致性。在6种语言对上的实验表明，该方法的性能明显优于竞争基线，在标准基准测试中获得了最佳结果。
2022-10-06 cs.CL
Pointer-based Fusion of Bilingual Lexicons into Neural Machine Translation
Simon Fraser University（西蒙弗雷泽大学）
神经机器翻译（NMT）系统需要大量高质量的域内并行语料库进行训练。最先进的NMT系统仍然面临着与词汇表外单词和处理低资源语言对相关的挑战。在本文中，我们提出并比较了几种模型的融合双语词典的端到端训练序列到序列模型的机器翻译。其结果是一个融合模型与两个信息源的解码器：神经条件语言模型和双语词典。该融合模型学习如何结合两种信息源，以产生更高质量的翻译输出。我们的实验表明，我们提出的模型在相对低资源的情况下工作得很好，也有效地减少了NMT的参数大小和训练成本，而不牺牲性能。
2019-09-17 cs.CL
Word Embedding Transformation for Robust Unsupervised Bilingual Lexicon Induction
Harbin Institute of Technology（哈尔滨工业大学）
无监督双语词典归纳（UBLI）通过对齐在单语语料库上独立训练的源和目标词嵌入，取得了很大的进展。大多数UBLI模型的共同假设是两种语言的嵌入空间近似同构。因此，性能受到同构程度的约束，特别是在词源和类型学上遥远的语言上。为了解决这个问题，我们提出了一种基于变换的方法来增加同构。通过旋转和缩放使两种语言的嵌入相互匹配。该方法不需要任何形式的监督，可以应用于任何语言对。在双语词典归纳的基准数据集上，与最先进的方法相比，我们的方法可以实现具有竞争力或优越的性能，在遥远的语言上发现了特别强大的结果。
2021-05-26 cs.CL
word2word: A Collection of Bilingual Lexicons for 3,564 Language Pairs
Kakao Brain
我们提出了word 2 word，一个公开的数据集和一个开源的Python包，用于从并行语料库中提取的跨语言单词翻译。我们的数据集在OpenSubtitles 2018中提供了62种语言的3，564（定向）语言对中的前k个单词翻译（Lison等人，2018年）。为了获得这个数据集，我们使用基于计数的双语词典提取模型的基础上观察，不仅源和目标词，而且源词本身可以高度相关。我们说明，由此产生的双语词典有很高的覆盖率，并达到竞争力的翻译质量的几种语言对。我们将数据集和模型包装在一个易于使用的Python库中，该库支持下载和检索任何支持的语言对中的前k个单词翻译，以及计算自定义并行语料库的前k个单词翻译。
2019-11-27 cs.CL
Low-resource bilingual lexicon extraction using graph based word embeddings
UNAM（墨西哥国立自治大学）
在这项工作中，我们专注于自动提取双语词典的语言对西班牙语-纳瓦特尔语的任务。这是一个低资源设置，只有少量的并行语料库可用。大多数下游方法在低资源条件下不能很好地工作。这对于使用矢量表示的方法（如Word 2 Vec）尤其如此。我们的建议是从图中构造双语词向量。该图是使用从无监督单词对齐方法获得的翻译对生成的。我们表明，在低资源的设置，这些类型的向量是成功的，在双语语义空间中表示的话。此外，当应用线性变换将单词从一种语言翻译成另一种语言时，我们基于图形的表示大大优于使用Word 2 Vec的流行设置。
2017-10-06 cs.CL
Unsupervised Bilingual Lexicon Induction for Low Resource Languages
University of Moratuwa（莫拉图瓦大学）；Central Scientific Instruments Organisation（中央科学仪器组织）；Massey University（梅西大学）
本文研究了同时使用多种基于结构的无监督双语词典归纳（UBLI）改进技术是否能带来同等收益，通过VecMap框架在多个低资源语言对上实验确定了最佳扩展组合，并发布了相应双语词典。
2024-12-22 cs.CL
Non-native English lexicon creation for bilingual speech synthesis
Zapr Media Labs (Red Brick Lane Marketing Solutions Pvt. Ltd.)（Zapr媒体实验室（红砖巷营销解决方案私人有限公司））
双语英语者把英语作为他们的语言之一。他们的英语是一种非母语的，他们的谈话是一种代码混合的方式。双语文本到语音（TTS）系统的可理解性，这样的非英语母语的人依赖于一个词汇，捕捉非母语的人使用的音素序列。然而，由于缺乏非母语英语词汇，现有的双语TTS系统采用母语英语词汇，广泛使用，除了他们的母语词汇。由于音频中的非母语英语发音和文本中的母语英语词汇之间的不一致，在这种TTS系统中合成语音的可懂度显著降低。本论文的研究动机是：说话者的母语对非母语英语发音有很大的影响。我们提出了一个通用的方法来获得规则的基础上，字母音素对齐映射母语英语词汇到他们的非母语版本。这种映射的有效性进行了研究，通过比较双语（印度英语和印地语）TTS系统训练和不建议的规则。主观评价表明，与建议的非母语英语词汇规则训练的双语TTS系统获得了6%的绝对改善的偏好。
2021-06-21 cs.CL cs.SD eess.AS
Bilingual Lexicon Induction via Unsupervised Bitext Construction and Word Alignment
TTI-Chicago（丰田工业大学芝加哥分校）；University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
双语词典将一种语言中的单词映射到另一种语言中的翻译，并且通常通过学习线性投影来对齐单语词嵌入空间来诱导。在本文中，我们展示了结合（1）无监督的双文本挖掘和（2）无监督的单词对齐的方法可以产生更高质量的词典。直接应用一个管道，使用最近的算法，这两个子问题显着提高了诱导的词典质量和进一步的收益是可能的，通过学习过滤产生的词汇条目，无监督和半监督的计划。我们的最终模型在BUCC 2020共享任务上的表现优于最先进的12种语言对的平均14个$F_1$点，同时还提供了一种更可解释的方法，可以在上下文中进行丰富的词义推理。对我们的产出和标准参考词典的进一步分析表明，它们的质量相当，可能需要新的基准来衡量这项任务的进一步进展。
2021-06-12 cs.CL
Don't Forget the Long Tail! A Comprehensive Analysis of Morphological Generalization in Bilingual Lexicon Induction
University of Cambridge（剑桥大学）；National University of Ireland（爱尔兰国立大学）；Facebook AI Research（Facebook AI研究院）
由于语言中单词的齐普菲分布，人类翻译人员通常必须翻译罕见的单词变化。当从西班牙语翻译时，一个好的翻译人员可以毫不费力地识别出统计上罕见的词形变化，如habláramos。注意词素本身，hablar，是相对常见的。在这项工作中，我们调查是否国家的最先进的双语词汇诱导器能够学习这种泛化。我们介绍了40个形态完整的字典在10种语言和评估三个国家的最先进的模型上的任务，不太频繁的形态形式的翻译。我们证明了最先进的模型的性能大大下降时，评估不频繁的形态变化，然后表明，在训练时添加一个简单的形态约束提高了性能，证明双语词典诱导器可以受益于更好的编码形态。
2019-10-22 cs.CL
RAPO: An Adaptive Ranking Paradigm for Bilingual Lexicon Induction
Microsoft（微软）
双语词典归纳通过对齐两种语言中独立训练的词嵌入来归纳词的翻译。现有的方法通常集中在最小化对齐对中的单词之间的距离，同时遭受区分正候选者和负候选者之间的相对顺序的低辨别能力。此外，映射功能是全局共享的所有的话，其性能可能会受到不同语言的分布偏差。在这项工作中，我们提出了一种新的面向排名的归纳模型RAPO学习个性化的映射功能，为每个字。RAPO能够同时享受单个词的独特性和跨语言同构的优点。在公共数据集上的大量实验结果表明了该方法的优越性。我们的代码在\url{https://github.com/Jlfj345wf/RAPO}中公开提供。
2022-10-18 cs.AI cs.CL cs.LG
Extracting Bilingual Persian Italian Lexicon from Comparable Corpora Using Different Types of Seed Dictionaries
Institute for Advanced Studies in Basic Sciences（基础科学高等研究院）；Charles University（查理大学）；Shiraz University（设拉子大学）；University of Calabria（卡拉布里亚大学）
双语词典在自然语言处理的各个领域都有着非常重要的作用。近年来，从非平行（可比）语料库中提取新的双语词典的研究已经被提出。几乎所有都使用一个小的现有字典或其他资源来创建一个称为“种子字典”的初始列表。在本文中，我们讨论了使用不同类型的词典作为初始的起始列表创建一个双语波斯语-意大利语词汇从可比语料库。我们的实验适用于三个不同的种子字典的最先进的技术;现有的字典，字典创建的基于XML的模式，并从一个小的波斯语-意大利语平行文本中提取的字典。我们的方法的有趣的挑战是找到一种方法来结合不同的字典在一起，以产生一个更好，更准确的词典。为了结合种子词典，我们提出了两种不同的组合模型，并检查我们的新的组合模型的效果，各种可比语料库，具有不同程度的可比性。最后，我们提出了一个新的加权系统，以提高提取的词汇。我们的实施所产生的实验结果表明，我们提出的模型的效率。
2019-09-20 cs.CL
Low-resource Bilingual Dialect Lexicon Induction with Large Language Models
LMU Munich（慕尼黑大学）
本文研究德语与巴伐利亚语、阿勒曼尼语之间的低资源双语词典归纳，分析基于 LLM 的无监督流程，并从词频和编辑距离评估输出，发布人工判定的句对与词对评测集。
2023-04-19 cs.CL
How Lexical is Bilingual Lexicon Induction?
The Ohio State University（俄亥俄州立大学）；Amazon（亚马逊公司）
针对低资源双语词典归纳难题，本文在检索并排序框架中引入额外词汇信息，并在 XLING 上实现较此前最优方法平均 2% 的提升。
2024-04-05 cs.CL
Neural Machine Translation for Low Resource Languages using Bilingual Lexicon Induced from Comparable Corpora
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
非英语语言的资源是稀缺的，本文解决了这个问题的背景下，机器翻译，自动提取平行的句子对多语种的文章在互联网上。在本文中，我们使用了一个端到端的Siamese双向递归神经网络来从维基百科中的可比多语言文章中生成并行句子。随后，我们已经表明，使用收获的数据集提高了低资源语言对的NMT和基于短语的SMT系统的BLEU分数：英语-印地语和英语-泰米尔语，与专门在为这些语言对收集的有限双语语料库上进行训练相比。
2018-06-25 cs.CL
Inverted Bilingual Topic Models for Lexicon Extraction from Non-parallel Data
IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；IBM Research-Tokyo（IBM东京研究中心）
主题模型已经成功地应用于词典抽取。但是，以前的大多数方法仅限于文档对齐的数据。在本文中，我们试图解决两个挑战，将主题模型应用于非并行数据中的词汇提取：1）难以建模的单词关系和2）噪声种子字典。为了解决这两个挑战，我们提出了两个新的双语主题模型，以更好地捕捉每个单词的语义信息，同时区分在一个嘈杂的种子字典的多个翻译。我们通过颠倒“单词”和“文档”的角色来扩展主题模型的范围。此外，为了解决种子词典中的噪声问题，我们在模型中加入了翻译选择的概率。此外，我们还提出了一个有效的措施，以评估在不同的语言中的词的相似性，并选择最佳的翻译对。使用真实世界数据的实验结果表明，所提出的模型的实用性和有效性。
2017-06-21 cs.CL
Combining Static Word Embeddings and Contextual Representations for Bilingual Lexicon Induction
Soochow University（苏州大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
双语词汇归纳（BLI）旨在将一种语言中的单词映射到另一种语言中的翻译，通常通过学习线性投影来对齐单语单词表示空间。BLI的词汇表征分为静态词嵌入和语境表征两类，但还没有将两者结合起来的研究。在本文中，我们提出了一个简单而有效的机制，结合静态词嵌入和上下文表示，利用这两种范式的优点。我们测试的组合机制在各种语言对下的监督和无监督BLI基准设置。实验表明，我们的机制在所有语言对上的鲁棒BLI基线上持续提高性能，在监督设置中平均提高3.2点，在无监督设置中平均提高3.1点。
2021-06-10 cs.CL
Bilingual Dictionary Induction for Bantu Languages
University of California, San Diego（加州大学圣地亚哥分校）
我们提出了一种学习英语和班图语之间的双语翻译词典的方法。我们发现，利用班图语的语法结构，使双语词典归纳语言的训练数据是不可用的。
2019-07-17 cs.CL
An Analysis of Euclidean vs. Graph-Based Framing for Bilingual Lexicon Induction from Word Embedding Spaces
Center for Imaging Science（影像科学中心）；Human Language Technology Center of Excellence（人类语言技术卓越中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
双语词典归纳（BLI）的许多最新研究将词嵌入视为欧几里得空间中的向量。因此，BLI通常通过找到将嵌入映射到公共空间的线性变换来解决。或者，词嵌入可以被理解为加权图中的节点。这种框架使我们能够检查节点的图形邻域，而无需假设线性变换，并利用图形匹配优化文献中的新技术。迄今为止，BLI尚未对这些对比鲜明的方法进行比较。在这项工作中，我们研究的行为，欧几里德与图形为基础的方法，BLI在不同的数据条件下，并表明，它们相互补充时，结合起来。我们在https://github.com/kellymarchisio/euc-v-graph-bli上发布代码。
2021-09-26 cs.CL
Semi-Supervised Bilingual Lexicon Induction with Two-way Interaction
Tsinghua University（清华大学）；HKUST（香港科技大学）
半监督法是一种很有前途的双语词汇归纳方法。然而，以前的半监督方法没有充分利用隐藏在注释和非注释数据中的知识，这阻碍了其性能的进一步提高。在本文中，我们提出了一个新的半监督BLI框架，鼓励监督信号和无监督对齐之间的相互作用。我们设计了两种消息传递机制，分别命名为先验最优传输和双向词典更新，在注释和非注释数据之间传递知识。然后，我们执行半监督学习的基础上，循环或并行参数喂养例程更新我们的模型。我们的框架是一个通用框架，可以结合任何基于最优传输的监督和无监督BLI方法。在MUSE和VecMap数据集上的实验结果表明，我们的模型有显着的改善。消融研究也证明了监督信号和非监督对准之间的双向相互作用占整体性能的增益。远距离语言对的结果进一步说明了我们所提出的方法的优点和鲁棒性。
2020-10-14 cs.CL
On the Limitations of Unsupervised Bilingual Dictionary Induction
University of Copenhagen（哥本哈根大学）；National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校）；Aylien Ltd.（艾利恩有限公司）；University of Cambridge（剑桥大学）
无监督机器翻译-即，不假设任何跨语言的监督信号，无论是字典、翻译还是可比语料库-似乎是不可能的，但尽管如此，Lample等人（2018）最近提出了一个完全无监督的机器翻译（MT）模型。该模型严重依赖于用于双语词典归纳的词嵌入空间的对抗性、无监督对齐（Conneau等人，2018年，我们在这里进行了研究。我们的研究结果确定了当前无监督MT的局限性：当使用来自不同领域或不同嵌入算法的单语语料库时，无监督双语词典归纳在形态丰富的语言上表现得更差。我们表明，一个简单的技巧，利用弱监督信号从相同的话，使更强大的感应，并建立一个近乎完美的相关性无监督双语词典的诱导性能和以前未探索的图形相似性度量。
2018-05-09 cs.CL cs.LG stat.ML
When your Cousin has the Right Connections: Unsupervised Bilingual Lexicon Induction for Related Data-Imbalanced Languages
Inria（法国国家信息与自动化研究所）；Saarland University（萨尔大学）；DFKI GmbH（德国人工智能研究中心）
针对相关高低资源语言间数据不平衡导致无监督双语词典归纳性能极差的问题，提出仅需在高资源语言掩码模型上推理的新方法，在多种印度低资源语言上验证了有效性并发布词典。
2024-03-25 cs.CL
Extraction of domain-specific bilingual lexicon from comparable corpora: compositional translation and ranking
UNIVERSITÉ DE NANTES – LINA UMR 6241（南特大学）；UNIVERSITÉ STENDHAL – GRENOBLE 3（司汤达大学 – 格勒诺布尔第三大学）；LINGUA ET MACHINA（Lingua et Machina公司）
本文提出了一种从可比语料库中抽取词形结构术语译文的方法。该方法是基于合成翻译和利用翻译等价在词素水平，这允许生成“肥沃”的翻译（翻译对，其中目标术语有更多的话比源术语）。采用基于语料库和基于语义的特征排序方法来选择最佳候选译文。我们在Top1候选翻译上获得了91%的平均精度。该方法在两种语言对（英语-法语和英语-德语）和一个小的专业可比语料库（每种语言40万字）上进行了测试。
2012-10-21 cs.CL
Cross-Domain Bilingual Lexicon Induction via Pretrained Language Models
Harbin Institute of Technology（哈尔滨工业大学）
本文提出跨领域双语词典归纳新任务，通过引入Code Switch方法结合预训练模型优化词嵌入，在医学等三个专业领域平均提升0.78分，解决了静态词嵌入在专业领域表现不佳的问题。
2025-05-29 cs.CL
DepecheMood++: a Bilingual Emotion Lexicon Built Through Simple Yet Powerful Techniques
Universidad Politécnica de Madrid（马德里理工大学）；University of Twente（特文特大学）；reciTAL（reciTAL公司）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
NLP社区已经开发了几个用于情感分析的词汇。虽然大多数这些都带有单词极性注释（例如积极/消极），但为更细粒度的情感分析（例如幸福，悲伤）构建词汇的尝试最近引起了极大的关注。这样的词汇通常被用作开发需要情感识别的学习模型的过程中的构建块，和/或用作比较模型性能的基线。在这项工作中，我们贡献了两个新的资源社区：a）现有的和广泛使用的英语情感词汇的扩展;和b）一个新版本的词汇针对意大利语。此外，我们还展示了如何在监督和无监督的实验环境中使用简单的技术来提高不同领域特异性程度的数据集和任务的性能。
2018-10-08 cs.CL cs.CY
Learning Bilingual Word Embeddings Using Lexical Definitions
University of California, Los Angeles（加州大学洛杉矶分校）；Stony Brook University（石溪大学）
双语词嵌入是在一个共享的嵌入空间中表示不同语言的词汇，在各种跨语言自然语言处理任务中支持语义和知识转移是必不可少的。现有的训练双语词嵌入的方法通常需要预先定义的种子词典，这些种子词典的获取成本很高，或者需要包含粗糙和噪声对齐的平行句子。相反，我们提出了BilLex，利用公开可用的词汇定义进行双语词嵌入学习。在不需要预先定义种子词典的情况下，BilLex采用了一种新的词对策略，自动识别和传播词汇定义中精确的细粒度词对齐。我们在词级和句子级的翻译任务中对BilLex进行了评估，发现BilLex在这两个任务中的表现都明显优于以往的嵌入方法。
2019-06-21 cs.AI cs.CL cs.LG
Generalizing Procrustes Analysis for Better Bilingual Dictionary Induction
University of Copenhagen（哥本哈根大学）；Insight Research Centre, National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校洞察研究中心）；Aylien Ltd.（Aylien有限公司）；University of Cambridge（剑桥大学）
最新的双语词典归纳方法发现两种语言的词向量空间之间存在线性对齐。我们表明，投影到第三个，潜在的空间，而不是直接到对方的两种语言，而在表现力方面等同，使它更容易学习近似对齐。我们修改后的方法还允许将支持语言包括在对齐过程中，以在低资源设置中获得更好的性能。
2020-01-08 cs.CL
On Bilingual Lexicon Induction with Large Language Models
University of Cambridge（剑桥大学）
本文系统研究了利用多语言大语言模型进行双语词典归纳，发现基于最近邻上下文示例的少样本提示效果最佳，在多个语言对上取得了新的最优结果。
2024-02-25 cs.AI cs.CL cs.IR
Unsupervised Bilingual Lexicon Induction from Mono-lingual Multimodal Data
Renmin University of China（中国人民大学）；Carnegie Mellon University（卡内基梅隆大学）
双语词汇归纳是将源语言中的词汇翻译成目标语言的过程，是一项长期存在的自然语言处理任务。近年来的研究表明，在不依赖平行语料库的情况下，以图像为中心进行词汇归纳是一种很有前途的方法。然而，这些基于视觉的方法简单地将单词与整个图像相关联，这被限制为翻译具体的单词并且需要以对象为中心的图像。我们人类可以更好地理解单词时，他们在一个句子的上下文。因此，在本文中，我们建议利用图像及其相关的字幕，以解决以前的方法的局限性。我们提出了一个多语言字幕模型，用不同的单语言多模态数据训练，将不同语言的单词映射到联合空间。从多语言字幕模型中归纳出两种类型的词语表示：语言特征和本地化视觉特征。从具有视觉语义约束的句子上下文中学习语言特征，这有利于学习视觉相关性较低的单词的翻译。局部视觉特征关注图像中与词相关的区域，从而消除了图像对显著视觉表征的限制。这两类特征在词汇翻译中是互补的。多语言对的实验结果表明，我们所提出的方法的有效性，大大优于以前的基于视觉的方法，而不使用任何平行的句子或种子词对的监督。
2019-06-02 cs.CL cs.CV
Loss in Translation: Learning Bilingual Word Mapping with a Retrieval Criterion
Facebook AI Research（脸书人工智能研究院）
在不同语言中分别学习的连续单词表示可以对齐，以便它们的单词在共同的空间中具有可比性。现有的作品通常解决一个最小二乘回归问题，学习旋转对齐一个小的双语词典，并使用检索标准进行推理。在本文中，我们提出了一个统一的配方，直接优化检索标准的端到端的方式。我们在标准基准测试上的实验表明，我们的方法在单词翻译上的表现优于最先进的技术，对于遥远的语言对，如英语-汉语，我们观察到了最大的改进。
2018-09-05 cs.CL cs.LG
Inducing a Semantically Annotated Lexicon via EM-Based Clustering
我们提出了一种技术，用于自动感应槽注释的次范畴化框架，基于感应的EM框架中的统计估计的隐藏类。通过一般决策测试对模型进行了经验评估。归纳槽标签的次范畴化框架的进一步应用EM完成，并实验应用于框架观察来自大型语料库解析。我们概述了理论语言学分解词条的学习表示的解释。
1999-05-19 cs.AI cs.CL cs.LG
Plan Optimization to Bilingual Dictionary Induction for Low-Resource Language Families
Ritsumeikan University（立命馆大学）；Waseda University（早稻田大学）
针对低资源语系双语词典创建成本优化难题，提出基于马尔可夫决策过程的规划优化方法，通过beta分布建模精度与成本，实验实现最高61.5%的成本降低，效果优于基线。
2020-10-05 cs.AI cs.CL cs.LG
Improving Bilingual Lexicon Induction with Cross-Encoder Reranking
University of Cambridge（剑桥大学）
本文提出BLICEr方法，通过从多语言预训练模型中提取词汇知识并以交叉编码器重排序，增强任意跨语言词嵌入空间的双语词典归纳能力，在多个标准基准上取得最优结果。
2024-10-17 cs.AI cs.CL cs.IR
A Simple and Effective Approach to Robust Unsupervised Bilingual Dictionary Induction
Northeastern University（东北大学）；NiuTrans Research（小牛翻译研究院）；Nanjing University（南京大学）
基于初始化和自学习的无监督双语词典归纳方法在相似语言对中取得了很大的成功，例如，英语-西班牙语。但它们仍然失败，在许多遥远的语言对中的准确率为0%，例如，英日混血在这项工作中，我们表明，这种失败的结果之间的差距实际初始化性能和最低初始化性能的自学习成功。我们提出迭代降维来弥补这一差距。实验结果表明，该方法不影响相似语言对的识别性能，在英语与四种远距离语言（即汉语、汉语、英语、汉语）之间的识别准确率为13.64~55.53%，中文、日文、越南文和泰文。
2020-11-30 cs.CL
Don't Forget Cheap Training Signals Before Building Unsupervised Bilingual Word Embeddings
双语词嵌入是自然语言处理模型中跨语言迁移的基石之一。它们可以只使用单语语料库构建，而无需监督，从而导致许多工作集中在无监督的BWE上。然而，目前大多数构建无监督BWE的方法都没有将其结果与基于易于访问的跨语言信号的方法进行比较。在本文中，我们认为，这种信号时，应始终考虑开发无监督斗轮挖掘机的方法。我们发现最有效的两种方法是：1）使用相同的单词作为种子词典（无监督方法错误地假设不适用于正字法不同的语言对）和2）将这些词典与通过将单词的罗马化版本与编辑距离阈值匹配而提取的对相结合。我们在13种非拉丁语言（和英语）上进行了实验，结果表明，这种廉价的信号效果很好，并且在遥远的语言对（如中文、日语、卡纳达语、泰米尔语和泰语）上使用更复杂的无监督方法时表现更好。此外，它们甚至可以与监督方法中使用的高质量词典竞争。我们的研究结果表明，这些训练信号不应该被忽视时，建立BWE，即使是遥远的语言。
2022-05-31 cs.CL
Domain Adaptation of Neural Machine Translation by Lexicon Induction
Language Technologies Institute（语言技术研究所）；School of Computer Science（计算机学院）；Carnegie Mellon University（卡内基梅隆大学）
先前已经注意到，神经机器翻译（NMT）对域移位非常敏感。在本文中，我们认为，这是一个双重影响的高度词汇化的性质，NMT，导致失败的句子与大量的未知词，缺乏监督的领域特定的词。为了解决这个问题，我们提出了一种无监督自适应方法，该方法使用伪域内语料库对预训练的域外NMT模型进行微调。具体来说，我们进行词汇归纳提取领域内的词汇，并通过执行字对字的回译的单语领域内的目标句子构建一个伪并行的领域内语料库。在五个领域超过20个成对适应设置和两个模型架构中，我们的方法实现了一致的改进，而不使用任何域内并行语句，在未适应的模型上提高了14个BLEU，在强反向翻译基线上提高了2个BLEU。
2019-06-02 cs.CL
ProMap: Effective Bilingual Lexicon Induction via Language Model Prompting
College of Computing, Mohammed VI Polytechnic University（穆罕默德六世理工大学计算学院）；Deep Learning & Natural Language Processing Group, The University of British Columbia（不列颠哥伦比亚大学深度学习与自然语言处理组）；Department of Natural Language Processing & Department of Machine Learning, MBZUAI（穆罕默德·本·扎耶德人工智能大学自然语言处理系与机器学习系）；Department of Electrical & Computer Engineering, University of Sherbrooke（舍布鲁克大学电气与计算机工程系）
ProMap利用预训练多语言模型的提示方法，通过种子词典填充提示和结果重排序，在资源丰富与低资源语言的双语词典归纳任务中取得最先进性能，并支持少样本场景。
2023-10-28 cs.CL
Resource-Lean Lexicon Induction for German Dialects
MaiNLP, Center for Information and Language Processing, LMU Munich, Germany（MaiNLP，信息与语言处理中心，慕尼黑大学，德国）；Munich Center for Machine Learning (MCML), Munich, Germany（慕尼黑机器学习中心（MCML），慕尼黑，德国）
本文提出利用统计模型诱导德语方言词典，优于大语言模型，实现跨方言迁移，提供轻量数据驱动方案，实验显示在双语词典诱导和方言信息检索中表现优异。
2026-04-26 cs.CL
Inducing lexicons of in-group language with socio-temporal context
University of Melbourne（墨尔本大学）
本文提出融合社会-时间语境的群体内语言词典诱导方法，利用动态词与用户嵌入在反女性社区数据上超越现有方法，并构建了经专家验证的男圈语言词典。
2025-06-05 cs.CL cs.SI
A Generalized Constraint Approach to Bilingual Dictionary Induction for Low-Resource Language Families
Kyoto University（京都大学）；Universitas Islam Riau（伊斯兰廖内大学）
双语词典的抽取是一项针对低资源语言的困难任务。事实证明，枢纽语言和同源识别方法对于归纳此类语言的双语词典非常有用。我们提出了基于约束的双语词典归纳密切相关的语言，从最近的基于语义的归纳技术，并进一步使多个对称性假设循环，以达到更多的同源词transgraph的扩展约束。我们进一步确定同源同义词，以获得多对多的翻译对。本文使用了四个数据集：一个南岛语低资源语言和三个印欧语高资源语言。我们使用三个基于约束的方法，从我们以前的工作，逆咨询方法和翻译对从输入字典的笛卡尔积作为基线。我们使用精确度，召回率和F分数的指标来评估我们的结果。我们的可定制方法允许用户进行交叉验证，以预测最佳超参数（同源阈值和同源同义词阈值），并使用不同的对称性假设循环组合和数量，以获得最高的F分数。我们提出的方法有统计上显着的改善精度和F分数相比，我们以前的约束为基础的方法。结果表明，我们的方法证明了补充其他双语词典创建方法的潜力，如使用并行语料库的高资源语言的单词对齐模型，同时很好地处理低资源语言。
2020-10-05 cs.AI cs.CL
Lost in Evaluation: Misleading Benchmarks for Bilingual Dictionary Induction
University of Copenhagen（哥本哈根大学）
双语词典归纳（BDI）任务通常用于跨语言词嵌入的内在评价。BDI最大的数据集是自动生成的，因此其质量值得怀疑。我们研究了来自该数据集的五种不同语言的测试集的组成和质量，并得出了相关的发现：（1）四分之一的数据由专有名词组成，这很难表明BDI的性能，（2）在黄金标准目标中存在普遍的差距。这些问题似乎会影响跨语言嵌入系统在不同语言上的排名，以及系统性能差异的总体程度。从数据中删除专有名词后，研究中包括的前两个系统之间的差距从3.4%增长到17.2%。另一方面，对预测的人工验证表明，金本位目标的差距人为地将两个系统之间的英国与保加利亚BDI之间的差额从0.1%扩大到6.7%。因此，我们建议未来的研究要么避免从BDI数据集的定量结果中得出结论，要么伴随着严格的误差分析进行评估。
2019-09-18 cs.CL
Modelling the Lexicon in Unsupervised Part of Speech Induction
University of Oxford（牛津大学）
自动归纳文本中词的句法词性是计算语言学的一项基本任务。虽然无监督标记模型的性能一直在缓慢提高，但当前最先进的系统做出了明显错误的假设，即给定单词类型的所有标记必须共享单个词性标记。这种每种类型一个标签的启发式方法可以对抗基于隐马尔可夫模型的标签器为给定的单词类型过度生成标签的趋势。然而，它显然与基本句法理论不相容。在本文中，我们扩展了一个国家的最先进的Pitman-Yor隐马尔可夫模型标记与明确的模型的词汇。在这样做的时候，我们能够引入一个软偏置，以诱导每种类型的几个标签。我们开发了一个粒子滤波器，用于从我们的模型的后验中抽取样本，并给出了经验结果，表明我们的模型具有竞争力，并且比最先进的模型更快，而没有任何不切实际的限制。
2014-02-26 cs.CL
Density Matching for Bilingual Word Embedding
Carnegie Mellon University（卡内基梅隆大学）
最近的跨语言词嵌入方法通常基于两种语言中的嵌入向量集之间的线性变换。在本文中，我们提出了一种方法，而不是表示两个单语嵌入空间的概率密度定义的高斯混合模型，并匹配两个密度使用一种方法称为归一化流。该方法不需要明确的监督，并且可以仅使用具有相同字符串的单词的种子字典来学习。我们认为，这种提法有几个直观的吸引力的属性，特别是在提高鲁棒性和泛化困难的语言对或词对之间的映射。在双语词典归纳和跨语言单词相似性的基准数据集上，与最先进的已发表结果相比，我们的方法可以实现具有竞争力或优越的性能，在词源遥远和/或形态丰富的语言上发现了特别强大的结果。
2019-04-30 cs.CL cs.LG
A Novel Bilingual Word Embedding Method for Lexical Translation Using Bilingual Sense Clique
Shanghai Jiao Tong University（上海交通大学）；Centre National de la Recherche Scientifique（法国国家科学研究中心）；National Institute of Information and Communications Technology（信息通信研究机构）
现有的双语词嵌入方法大多只考虑了浅上下文或简单的共现信息。本文提出了一种潜在双语语义单元（Bilingual Sense Clique，BSC），它是由双语语料库上基于逐点互信息的图的最大完全子图导出的。这样，我们平等地对待源和目标词，并且不再需要在大多数现有作品中必须使用的单独的双语投影处理。几种降维方法进行评估，总结BSC的字的关系。在双语词典翻译任务上对所提出的方法进行了评估，实验结果表明，双语意义嵌入方法优于现有的双语词嵌入方法。
2016-08-02 cs.CL
Bi-Lexical Rules for Multi-Lexeme Translation in Lexicalist MT
本文提出了一个原型词典机器翻译系统（基于Whitelock（1992）的所谓的“摇烤”方法，包括一个分析组件，一个动态双语词典，和一个生成组件，并显示了它是如何应用到一系列的MT问题。多词汇翻译是通过双词汇规则来处理的，双词汇规则将双语词汇符号映射成新的双语词汇符号。有人认为，许多翻译可以处理等同的词汇符号，无论是直接在双语词典，或通过双词汇的规则推导出他们的等效列表。组织为Qualia结构的词汇语义信息（Pustejovsky 1991）被用作限制规则域的机制。
1995-08-12 cmp-lg cs.CL
A multimodal multiplex of the mental lexicon for multilingual individuals
Utrecht University（乌得勒支大学）
本研究将多模态视觉输入层引入心理词库多重网络模型，结合BIA+框架，探究传承语对多语者学习新语言的影响，并检验视觉输入是否比纯文本条件更能提升翻译任务的熟练度和准确率。
2025-11-07 cs.AI cs.CL
Learning to Represent Bilingual Dictionaries
University of California, Los Angeles（加州大学洛杉矶分校）；The State University of New York, Stony Brook（纽约州立大学石溪分校）
双语词嵌入已被广泛用于捕捉不同人类语言中词汇语义的相似性。然而，许多应用，如跨语言语义搜索和问答，可以很大程度上受益于句子和词汇之间的跨语言对应。为了弥合这一差距，我们提出了一个利用双语词典的神经嵌入模型。该模型经过训练，将字面词定义映射到跨语言目标词，我们使用不同的句子编码技术进行了探索。为了提高有限资源的学习过程中，我们的模型采用了几个关键的学习策略，包括多任务学习不同的桥梁的语言，和联合学习的词典模型与双语词嵌入模型。实验评估侧重于两个应用程序。跨语言反向字典检索任务的结果表明，我们的模型的理解双语概念的描述的基础上，有前途的能力，并突出了所提出的学习策略在提高性能的有效性。同时，我们的模型有效地解决了双语释义识别问题，并显着优于以往的方法。
2019-09-06 cs.AI cs.CL cs.LG
Unsupervised Alignment of Distributional Word Embeddings
University College London（伦敦大学学院）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
跨领域对齐在从机器翻译到迁移学习的各种任务中起着关键作用。最近，纯无监督的方法操作单语嵌入已成功地用于推断双语词典，而不依赖于监督。然而，目前的最先进的方法只关注点向量，虽然分布式嵌入已被证明嵌入更丰富的语义信息时，表示的话。在本文中，我们提出了随机优化方法对齐概率嵌入。最后，我们通过对齐在单语数据上训练的词嵌入来评估我们在无监督词翻译问题上的方法。我们表明，所提出的方法在双语词典归纳任务上取得了良好的性能，在几种语言对，并表现得比基于点向量的方法。
2022-09-21 cs.CL
Learning Crosslingual Word Embeddings without Bilingual Corpora
IBM Research - Tokyo（IBM 东京研究院）；University of Melbourne（墨尔本大学）；National ICT Australia（澳大利亚国家信息通信技术研究院）；International Computer Science Institute（国际计算机科学研究所）
跨语言词嵌入在同一向量空间中表示来自不同语言的词汇项，从而实现NLP工具的传输。然而，以前的尝试有昂贵的资源需求，难以纳入单语数据或无法处理一词多义。我们解决这些缺点，在我们的方法中，利用高覆盖率的字典在EM风格的训练算法在两种语言的单语语料库。我们的模型实现了最先进的性能双语词汇归纳任务超过模型使用大型双语语料库，单语词相似性和跨语言文档分类任务的竞争结果。
2016-06-30 cs.AI cs.CL
Bridging Neural Machine Translation and Bilingual Dictionaries
University of Chinese Academy of Sciences（中国科学院大学）；National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
神经机器翻译（NMT）已经成为几种语言对的最新技术。然而，如何将NMT与主要包含在双语训练数据中很少或从未见过的词的双语词典集成仍然是一个具有挑战性的问题。在本文中，我们提出了两种方法来桥接NMT和双语词典。其核心思想是设计新的模型，将双语词典转换为适当的句子对，以便NMT可以从大量和重复的现象中排除潜在的双语映射。一种方法利用混合的单词/字符模型，另一种方法尝试合成平行句子，保证翻译词典的大量出现。大量的实验表明，所提出的方法可以显著提高翻译质量，测试句子中的大多数生僻词如果被词典覆盖，都可以得到正确的翻译。
2016-10-24 cs.CL
Head Automata and Bilingual Tiling: Translation with Minimal Representations
我们提出了一个语言模型，由一个与短语的中心词相关的双向有限状态自动机的集合组成。该模型适用于词汇关联的增量应用，在动态规划搜索最佳依赖树派生。我们还提出了一个机器翻译的模型和算法，涉及最佳的“平铺”的依赖树与成本双语词典的条目。实验结果报告比较分配成本函数，这些模型的方法。最后，我们讨论了带注释的语言字符串作为机器翻译表示的充分性。
1996-07-03 cmp-lg cs.CL
Refinement of Unsupervised Cross-Lingual Word Embeddings
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
跨语言词嵌入旨在通过允许学习多语言词表示，即使不使用任何直接的双语信号，来弥合高资源和低资源语言之间的差距。最大的方法是基于投影的方法，将预先训练的嵌入映射到共享的潜在空间中。这些方法大多基于正交变换，它假设语言向量空间是同构的。然而，这个标准并不一定成立，特别是对于形态丰富的语言。在本文中，我们提出了一种自监督的方法来改善无监督的双语词嵌入的对齐。所提出的模型将单词的向量及其相应的翻译移动得更接近彼此，并强制执行长度和中心不变性，从而允许更好地对齐跨语言嵌入。实验结果表明，我们的方法的有效性，因为在大多数情况下，它优于国家的最先进的方法在双语词汇归纳任务。
2020-02-21 cs.CL cs.LG
