Bilingual Lexicon Induction through Unsupervised Machine Translation
IXA NLP Group（IXA自然语言处理研究组）；University of the Basque Country (UPV/EHU)（巴斯克大学）
最近的一项研究在双语词典归纳方面取得了很好的成果，即通过对齐两种语言中独立训练的词嵌入，并使用所得到的跨语言嵌入通过最近邻或相关检索方法来归纳词翻译对。在本文中，我们提出了一种替代方法，这个问题的基础上，最近的工作无监督机器翻译。这种方式，而不是直接从跨语言嵌入中诱导双语词典，我们使用它们来构建短语表，将其与语言模型相结合，并使用由此产生的机器翻译系统来生成一个合成的平行语料库，从其中我们使用统计词对齐技术提取双语词典。因此，我们的方法可以与任何词嵌入和跨语言映射技术，它不需要任何额外的资源，除了用于训练嵌入的单语语料库。当在完全相同的跨语言嵌入上进行评估时，我们提出的方法比最近邻平均提高了6个精度点，比CSLS检索平均提高了4个精度点，在标准MUSE数据集中建立了一个新的最先进的技术。
2019-07-24 cs.AI cs.CL cs.LG
Unsupervised Bilingual Lexicon Induction Across Writing Systems
University of Rochester（罗切斯特大学）；Department of Computer Science（计算机科学系）
最近在无监督双语词典归纳中基于嵌入的方法已经显示出良好的效果，但通常没有利用拼写（拼写）信息，这对相关语言对是有帮助的。这项工作增强了具有正字法特征的最先进的方法，并通过提出即使在具有不同脚本的语言之间也可以学习和利用正字法对应关系的方法来扩展该领域的先前工作。我们证明了这一点，通过实验三种语言对不同的脚本和不同程度的词汇相似性。
2020-01-31 cs.CL
Semi-Supervised Learning for Bilingual Lexicon Induction
MINES Paristech（巴黎高等矿业学院）；PSL - Research University（巴黎文理研究大学）
本文提出一种半监督双语词典归纳方法，通过整合已知语言知识并引入排序问题形式化，在无平行数据的情况下实现了优于现有技术的跨语言对齐效果。
2024-02-10 cs.CL cs.LG
Duality Regularization for Unsupervised Bilingual Lexicon Induction
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Harbin Institute of Technology（哈尔滨工业大学）
无监督的双语词典归纳自然具有二重性，这是由回译的对称性造成的。例如，EN-IT和IT-EN归纳可以是相互的原始和对偶问题。然而，当前最先进的方法独立地考虑这两个任务。在本文中，我们建议联合训练原始和对偶模型，使用正则化器来鼓励反向翻译周期的一致性。在6种语言对上的实验表明，该方法的性能明显优于竞争基线，在标准基准测试中获得了最佳结果。
2022-10-06 cs.CL
LNMap: Departures from Isomorphic Assumption in Bilingual Lexicon Induction Through Non-Linear Mapping in Latent Space
Nanyang Technological University（南洋理工大学）；Salesforce Research（Salesforce研究院）
大多数成功的和占主导地位的双语词典归纳（BLI）方法都是基于映射的，其中在假设不同语言的词嵌入空间表现出相似的几何结构（即，近似同构）。然而，最近的一些研究批评了这种简化的假设，表明即使对于密切相关的语言，它也不适用。在这项工作中，我们提出了一种新的半监督方法来学习跨语言的词嵌入的BLI。我们的模型独立于同构假设，并在两个独立训练的自动编码器的潜在空间中使用非线性映射。通过对来自两个不同数据集的15种不同语言对（双向）（包括资源丰富和资源不足的语言）进行广泛的实验，我们证明了我们的方法优于现有模型。消融研究显示了不同模型组件的重要性和非线性映射的必要性。
2020-10-22 cs.CL cs.LG
Pointer-based Fusion of Bilingual Lexicons into Neural Machine Translation
Simon Fraser University（西蒙弗雷泽大学）
神经机器翻译（NMT）系统需要大量高质量的域内并行语料库进行训练。最先进的NMT系统仍然面临着与词汇表外单词和处理低资源语言对相关的挑战。在本文中，我们提出并比较了几种模型的融合双语词典的端到端训练序列到序列模型的机器翻译。其结果是一个融合模型与两个信息源的解码器：神经条件语言模型和双语词典。该融合模型学习如何结合两种信息源，以产生更高质量的翻译输出。我们的实验表明，我们提出的模型在相对低资源的情况下工作得很好，也有效地减少了NMT的参数大小和训练成本，而不牺牲性能。
2019-09-17 cs.CL
Non-native English lexicon creation for bilingual speech synthesis
Zapr Media Labs (Red Brick Lane Marketing Solutions Pvt. Ltd.)（Zapr媒体实验室（红砖巷营销解决方案私人有限公司））
双语英语者把英语作为他们的语言之一。他们的英语是一种非母语的，他们的谈话是一种代码混合的方式。双语文本到语音（TTS）系统的可理解性，这样的非英语母语的人依赖于一个词汇，捕捉非母语的人使用的音素序列。然而，由于缺乏非母语英语词汇，现有的双语TTS系统采用母语英语词汇，广泛使用，除了他们的母语词汇。由于音频中的非母语英语发音和文本中的母语英语词汇之间的不一致，在这种TTS系统中合成语音的可懂度显著降低。本论文的研究动机是：说话者的母语对非母语英语发音有很大的影响。我们提出了一个通用的方法来获得规则的基础上，字母音素对齐映射母语英语词汇到他们的非母语版本。这种映射的有效性进行了研究，通过比较双语（印度英语和印地语）TTS系统训练和不建议的规则。主观评价表明，与建议的非母语英语词汇规则训练的双语TTS系统获得了6%的绝对改善的偏好。
2021-06-21 cs.CL cs.SD eess.AS
Word Embedding Transformation for Robust Unsupervised Bilingual Lexicon Induction
Harbin Institute of Technology（哈尔滨工业大学）
无监督双语词典归纳（UBLI）通过对齐在单语语料库上独立训练的源和目标词嵌入，取得了很大的进展。大多数UBLI模型的共同假设是两种语言的嵌入空间近似同构。因此，性能受到同构程度的约束，特别是在词源和类型学上遥远的语言上。为了解决这个问题，我们提出了一种基于变换的方法来增加同构。通过旋转和缩放使两种语言的嵌入相互匹配。该方法不需要任何形式的监督，可以应用于任何语言对。在双语词典归纳的基准数据集上，与最先进的方法相比，我们的方法可以实现具有竞争力或优越的性能，在遥远的语言上发现了特别强大的结果。
2021-05-26 cs.CL
word2word: A Collection of Bilingual Lexicons for 3,564 Language Pairs
Kakao Brain
我们提出了word 2 word，一个公开的数据集和一个开源的Python包，用于从并行语料库中提取的跨语言单词翻译。我们的数据集在OpenSubtitles 2018中提供了62种语言的3，564（定向）语言对中的前k个单词翻译（Lison等人，2018年）。为了获得这个数据集，我们使用基于计数的双语词典提取模型的基础上观察，不仅源和目标词，而且源词本身可以高度相关。我们说明，由此产生的双语词典有很高的覆盖率，并达到竞争力的翻译质量的几种语言对。我们将数据集和模型包装在一个易于使用的Python库中，该库支持下载和检索任何支持的语言对中的前k个单词翻译，以及计算自定义并行语料库的前k个单词翻译。
2019-11-27 cs.CL
Low-resource bilingual lexicon extraction using graph based word embeddings
UNAM（墨西哥国立自治大学）
在这项工作中，我们专注于自动提取双语词典的语言对西班牙语-纳瓦特尔语的任务。这是一个低资源设置，只有少量的并行语料库可用。大多数下游方法在低资源条件下不能很好地工作。这对于使用矢量表示的方法（如Word 2 Vec）尤其如此。我们的建议是从图中构造双语词向量。该图是使用从无监督单词对齐方法获得的翻译对生成的。我们表明，在低资源的设置，这些类型的向量是成功的，在双语语义空间中表示的话。此外，当应用线性变换将单词从一种语言翻译成另一种语言时，我们基于图形的表示大大优于使用Word 2 Vec的流行设置。
2017-10-06 cs.CL
Unsupervised Bilingual Lexicon Induction for Low Resource Languages
University of Moratuwa（莫拉图瓦大学）；Central Scientific Instruments Organisation（中央科学仪器组织）；Massey University（梅西大学）
本文研究了同时使用多种基于结构的无监督双语词典归纳（UBLI）改进技术是否能带来同等收益，通过VecMap框架在多个低资源语言对上实验确定了最佳扩展组合，并发布了相应双语词典。
2024-12-22 cs.CL
Bilingual Lexicon Induction via Unsupervised Bitext Construction and Word Alignment
TTI-Chicago（丰田工业大学芝加哥分校）；University of Washington（华盛顿大学）；Facebook AI Research（脸书人工智能研究院）
双语词典将一种语言中的单词映射到另一种语言中的翻译，并且通常通过学习线性投影来对齐单语词嵌入空间来诱导。在本文中，我们展示了结合（1）无监督的双文本挖掘和（2）无监督的单词对齐的方法可以产生更高质量的词典。直接应用一个管道，使用最近的算法，这两个子问题显着提高了诱导的词典质量和进一步的收益是可能的，通过学习过滤产生的词汇条目，无监督和半监督的计划。我们的最终模型在BUCC 2020共享任务上的表现优于最先进的12种语言对的平均14个$F_1$点，同时还提供了一种更可解释的方法，可以在上下文中进行丰富的词义推理。对我们的产出和标准参考词典的进一步分析表明，它们的质量相当，可能需要新的基准来衡量这项任务的进一步进展。
2021-06-12 cs.CL
Don't Forget the Long Tail! A Comprehensive Analysis of Morphological Generalization in Bilingual Lexicon Induction
University of Cambridge（剑桥大学）；National University of Ireland（爱尔兰国立大学）；Facebook AI Research（Facebook AI研究院）
由于语言中单词的齐普菲分布，人类翻译人员通常必须翻译罕见的单词变化。当从西班牙语翻译时，一个好的翻译人员可以毫不费力地识别出统计上罕见的词形变化，如habláramos。注意词素本身，hablar，是相对常见的。在这项工作中，我们调查是否国家的最先进的双语词汇诱导器能够学习这种泛化。我们介绍了40个形态完整的字典在10种语言和评估三个国家的最先进的模型上的任务，不太频繁的形态形式的翻译。我们证明了最先进的模型的性能大大下降时，评估不频繁的形态变化，然后表明，在训练时添加一个简单的形态约束提高了性能，证明双语词典诱导器可以受益于更好的编码形态。
2019-10-22 cs.CL
RAPO: An Adaptive Ranking Paradigm for Bilingual Lexicon Induction
Microsoft（微软）
双语词典归纳通过对齐两种语言中独立训练的词嵌入来归纳词的翻译。现有的方法通常集中在最小化对齐对中的单词之间的距离，同时遭受区分正候选者和负候选者之间的相对顺序的低辨别能力。此外，映射功能是全局共享的所有的话，其性能可能会受到不同语言的分布偏差。在这项工作中，我们提出了一种新的面向排名的归纳模型RAPO学习个性化的映射功能，为每个字。RAPO能够同时享受单个词的独特性和跨语言同构的优点。在公共数据集上的大量实验结果表明了该方法的优越性。我们的代码在\url{https://github.com/Jlfj345wf/RAPO}中公开提供。
2022-10-18 cs.AI cs.CL cs.LG
Extracting Bilingual Persian Italian Lexicon from Comparable Corpora Using Different Types of Seed Dictionaries
Institute for Advanced Studies in Basic Sciences（基础科学高等研究院）；Charles University（查理大学）；Shiraz University（设拉子大学）；University of Calabria（卡拉布里亚大学）
双语词典在自然语言处理的各个领域都有着非常重要的作用。近年来，从非平行（可比）语料库中提取新的双语词典的研究已经被提出。几乎所有都使用一个小的现有字典或其他资源来创建一个称为“种子字典”的初始列表。在本文中，我们讨论了使用不同类型的词典作为初始的起始列表创建一个双语波斯语-意大利语词汇从可比语料库。我们的实验适用于三个不同的种子字典的最先进的技术;现有的字典，字典创建的基于XML的模式，并从一个小的波斯语-意大利语平行文本中提取的字典。我们的方法的有趣的挑战是找到一种方法来结合不同的字典在一起，以产生一个更好，更准确的词典。为了结合种子词典，我们提出了两种不同的组合模型，并检查我们的新的组合模型的效果，各种可比语料库，具有不同程度的可比性。最后，我们提出了一个新的加权系统，以提高提取的词汇。我们的实施所产生的实验结果表明，我们提出的模型的效率。
2019-09-20 cs.CL
Low-resource Bilingual Dialect Lexicon Induction with Large Language Models
LMU Munich（慕尼黑大学）
本文研究德语与巴伐利亚语、阿勒曼尼语之间的低资源双语词典归纳，分析基于 LLM 的无监督流程，并从词频和编辑距离评估输出，发布人工判定的句对与词对评测集。
2023-04-19 cs.CL
How Lexical is Bilingual Lexicon Induction?
The Ohio State University（俄亥俄州立大学）；Amazon（亚马逊公司）
针对低资源双语词典归纳难题，本文在检索并排序框架中引入额外词汇信息，并在 XLING 上实现较此前最优方法平均 2% 的提升。
2024-04-05 cs.CL
Neural Machine Translation for Low Resource Languages using Bilingual Lexicon Induced from Comparable Corpora
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
非英语语言的资源是稀缺的，本文解决了这个问题的背景下，机器翻译，自动提取平行的句子对多语种的文章在互联网上。在本文中，我们使用了一个端到端的Siamese双向递归神经网络来从维基百科中的可比多语言文章中生成并行句子。随后，我们已经表明，使用收获的数据集提高了低资源语言对的NMT和基于短语的SMT系统的BLEU分数：英语-印地语和英语-泰米尔语，与专门在为这些语言对收集的有限双语语料库上进行训练相比。
2018-06-25 cs.CL
Inverted Bilingual Topic Models for Lexicon Extraction from Non-parallel Data
IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；IBM Research-Tokyo（IBM东京研究中心）
主题模型已经成功地应用于词典抽取。但是，以前的大多数方法仅限于文档对齐的数据。在本文中，我们试图解决两个挑战，将主题模型应用于非并行数据中的词汇提取：1）难以建模的单词关系和2）噪声种子字典。为了解决这两个挑战，我们提出了两个新的双语主题模型，以更好地捕捉每个单词的语义信息，同时区分在一个嘈杂的种子字典的多个翻译。我们通过颠倒“单词”和“文档”的角色来扩展主题模型的范围。此外，为了解决种子词典中的噪声问题，我们在模型中加入了翻译选择的概率。此外，我们还提出了一个有效的措施，以评估在不同的语言中的词的相似性，并选择最佳的翻译对。使用真实世界数据的实验结果表明，所提出的模型的实用性和有效性。
2017-06-21 cs.CL
Combining Static Word Embeddings and Contextual Representations for Bilingual Lexicon Induction
Soochow University（苏州大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
双语词汇归纳（BLI）旨在将一种语言中的单词映射到另一种语言中的翻译，通常通过学习线性投影来对齐单语单词表示空间。BLI的词汇表征分为静态词嵌入和语境表征两类，但还没有将两者结合起来的研究。在本文中，我们提出了一个简单而有效的机制，结合静态词嵌入和上下文表示，利用这两种范式的优点。我们测试的组合机制在各种语言对下的监督和无监督BLI基准设置。实验表明，我们的机制在所有语言对上的鲁棒BLI基线上持续提高性能，在监督设置中平均提高3.2点，在无监督设置中平均提高3.1点。
2021-06-10 cs.CL
Bilingual Dictionary Induction for Bantu Languages
University of California, San Diego（加州大学圣地亚哥分校）
我们提出了一种学习英语和班图语之间的双语翻译词典的方法。我们发现，利用班图语的语法结构，使双语词典归纳语言的训练数据是不可用的。
2019-07-17 cs.CL
An Analysis of Euclidean vs. Graph-Based Framing for Bilingual Lexicon Induction from Word Embedding Spaces
Center for Imaging Science（影像科学中心）；Human Language Technology Center of Excellence（人类语言技术卓越中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
双语词典归纳（BLI）的许多最新研究将词嵌入视为欧几里得空间中的向量。因此，BLI通常通过找到将嵌入映射到公共空间的线性变换来解决。或者，词嵌入可以被理解为加权图中的节点。这种框架使我们能够检查节点的图形邻域，而无需假设线性变换，并利用图形匹配优化文献中的新技术。迄今为止，BLI尚未对这些对比鲜明的方法进行比较。在这项工作中，我们研究的行为，欧几里德与图形为基础的方法，BLI在不同的数据条件下，并表明，它们相互补充时，结合起来。我们在https://github.com/kellymarchisio/euc-v-graph-bli上发布代码。
2021-09-26 cs.CL
Semi-Supervised Bilingual Lexicon Induction with Two-way Interaction
Tsinghua University（清华大学）；HKUST（香港科技大学）
半监督法是一种很有前途的双语词汇归纳方法。然而，以前的半监督方法没有充分利用隐藏在注释和非注释数据中的知识，这阻碍了其性能的进一步提高。在本文中，我们提出了一个新的半监督BLI框架，鼓励监督信号和无监督对齐之间的相互作用。我们设计了两种消息传递机制，分别命名为先验最优传输和双向词典更新，在注释和非注释数据之间传递知识。然后，我们执行半监督学习的基础上，循环或并行参数喂养例程更新我们的模型。我们的框架是一个通用框架，可以结合任何基于最优传输的监督和无监督BLI方法。在MUSE和VecMap数据集上的实验结果表明，我们的模型有显着的改善。消融研究也证明了监督信号和非监督对准之间的双向相互作用占整体性能的增益。远距离语言对的结果进一步说明了我们所提出的方法的优点和鲁棒性。
2020-10-14 cs.CL
When your Cousin has the Right Connections: Unsupervised Bilingual Lexicon Induction for Related Data-Imbalanced Languages
Inria（法国国家信息与自动化研究所）；Saarland University（萨尔大学）；DFKI GmbH（德国人工智能研究中心）
针对相关高低资源语言间数据不平衡导致无监督双语词典归纳性能极差的问题，提出仅需在高资源语言掩码模型上推理的新方法，在多种印度低资源语言上验证了有效性并发布词典。
2024-03-25 cs.CL
DepecheMood++: a Bilingual Emotion Lexicon Built Through Simple Yet Powerful Techniques
Universidad Politécnica de Madrid（马德里理工大学）；University of Twente（特文特大学）；reciTAL（reciTAL公司）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
NLP社区已经开发了几个用于情感分析的词汇。虽然大多数这些都带有单词极性注释（例如积极/消极），但为更细粒度的情感分析（例如幸福，悲伤）构建词汇的尝试最近引起了极大的关注。这样的词汇通常被用作开发需要情感识别的学习模型的过程中的构建块，和/或用作比较模型性能的基线。在这项工作中，我们贡献了两个新的资源社区：a）现有的和广泛使用的英语情感词汇的扩展;和b）一个新版本的词汇针对意大利语。此外，我们还展示了如何在监督和无监督的实验环境中使用简单的技术来提高不同领域特异性程度的数据集和任务的性能。
2018-10-08 cs.CL cs.CY
Extraction of domain-specific bilingual lexicon from comparable corpora: compositional translation and ranking
UNIVERSITÉ DE NANTES – LINA UMR 6241（南特大学）；UNIVERSITÉ STENDHAL – GRENOBLE 3（司汤达大学 – 格勒诺布尔第三大学）；LINGUA ET MACHINA（Lingua et Machina公司）
本文提出了一种从可比语料库中抽取词形结构术语译文的方法。该方法是基于合成翻译和利用翻译等价在词素水平，这允许生成“肥沃”的翻译（翻译对，其中目标术语有更多的话比源术语）。采用基于语料库和基于语义的特征排序方法来选择最佳候选译文。我们在Top1候选翻译上获得了91%的平均精度。该方法在两种语言对（英语-法语和英语-德语）和一个小的专业可比语料库（每种语言40万字）上进行了测试。
2012-10-21 cs.CL
Cross-Domain Bilingual Lexicon Induction via Pretrained Language Models
Harbin Institute of Technology（哈尔滨工业大学）
本文提出跨领域双语词典归纳新任务，通过引入Code Switch方法结合预训练模型优化词嵌入，在医学等三个专业领域平均提升0.78分，解决了静态词嵌入在专业领域表现不佳的问题。
2025-05-29 cs.CL
Learning Bilingual Word Embeddings Using Lexical Definitions
University of California, Los Angeles（加州大学洛杉矶分校）；Stony Brook University（石溪大学）
双语词嵌入是在一个共享的嵌入空间中表示不同语言的词汇，在各种跨语言自然语言处理任务中支持语义和知识转移是必不可少的。现有的训练双语词嵌入的方法通常需要预先定义的种子词典，这些种子词典的获取成本很高，或者需要包含粗糙和噪声对齐的平行句子。相反，我们提出了BilLex，利用公开可用的词汇定义进行双语词嵌入学习。在不需要预先定义种子词典的情况下，BilLex采用了一种新的词对策略，自动识别和传播词汇定义中精确的细粒度词对齐。我们在词级和句子级的翻译任务中对BilLex进行了评估，发现BilLex在这两个任务中的表现都明显优于以往的嵌入方法。
2019-06-21 cs.AI cs.CL cs.LG
On Bilingual Lexicon Induction with Large Language Models
University of Cambridge（剑桥大学）
本文系统研究了利用多语言大语言模型进行双语词典归纳，发现基于最近邻上下文示例的少样本提示效果最佳，在多个语言对上取得了新的最优结果。
2024-02-25 cs.AI cs.CL cs.IR
Generalizing Procrustes Analysis for Better Bilingual Dictionary Induction
University of Copenhagen（哥本哈根大学）；Insight Research Centre, National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校洞察研究中心）；Aylien Ltd.（Aylien有限公司）；University of Cambridge（剑桥大学）
最新的双语词典归纳方法发现两种语言的词向量空间之间存在线性对齐。我们表明，投影到第三个，潜在的空间，而不是直接到对方的两种语言，而在表现力方面等同，使它更容易学习近似对齐。我们修改后的方法还允许将支持语言包括在对齐过程中，以在低资源设置中获得更好的性能。
2020-01-08 cs.CL
Unsupervised Bilingual Lexicon Induction from Mono-lingual Multimodal Data
Renmin University of China（中国人民大学）；Carnegie Mellon University（卡内基梅隆大学）
双语词汇归纳是将源语言中的词汇翻译成目标语言的过程，是一项长期存在的自然语言处理任务。近年来的研究表明，在不依赖平行语料库的情况下，以图像为中心进行词汇归纳是一种很有前途的方法。然而，这些基于视觉的方法简单地将单词与整个图像相关联，这被限制为翻译具体的单词并且需要以对象为中心的图像。我们人类可以更好地理解单词时，他们在一个句子的上下文。因此，在本文中，我们建议利用图像及其相关的字幕，以解决以前的方法的局限性。我们提出了一个多语言字幕模型，用不同的单语言多模态数据训练，将不同语言的单词映射到联合空间。从多语言字幕模型中归纳出两种类型的词语表示：语言特征和本地化视觉特征。从具有视觉语义约束的句子上下文中学习语言特征，这有利于学习视觉相关性较低的单词的翻译。局部视觉特征关注图像中与词相关的区域，从而消除了图像对显著视觉表征的限制。这两类特征在词汇翻译中是互补的。多语言对的实验结果表明，我们所提出的方法的有效性，大大优于以前的基于视觉的方法，而不使用任何平行的句子或种子词对的监督。
2019-06-02 cs.CL cs.CV
Improving Bilingual Lexicon Induction with Cross-Encoder Reranking
University of Cambridge（剑桥大学）
本文提出BLICEr方法，通过从多语言预训练模型中提取词汇知识并以交叉编码器重排序，增强任意跨语言词嵌入空间的双语词典归纳能力，在多个标准基准上取得最优结果。
2024-10-17 cs.AI cs.CL cs.IR
Inducing a Semantically Annotated Lexicon via EM-Based Clustering
我们提出了一种技术，用于自动感应槽注释的次范畴化框架，基于感应的EM框架中的统计估计的隐藏类。通过一般决策测试对模型进行了经验评估。归纳槽标签的次范畴化框架的进一步应用EM完成，并实验应用于框架观察来自大型语料库解析。我们概述了理论语言学分解词条的学习表示的解释。
1999-05-19 cs.AI cs.CL cs.LG
Plan Optimization to Bilingual Dictionary Induction for Low-Resource Language Families
Ritsumeikan University（立命馆大学）；Waseda University（早稻田大学）
针对低资源语系双语词典创建成本优化难题，提出基于马尔可夫决策过程的规划优化方法，通过beta分布建模精度与成本，实验实现最高61.5%的成本降低，效果优于基线。
2020-10-05 cs.AI cs.CL cs.LG
A Simple and Effective Approach to Robust Unsupervised Bilingual Dictionary Induction
Northeastern University（东北大学）；NiuTrans Research（小牛翻译研究院）；Nanjing University（南京大学）
基于初始化和自学习的无监督双语词典归纳方法在相似语言对中取得了很大的成功，例如，英语-西班牙语。但它们仍然失败，在许多遥远的语言对中的准确率为0%，例如，英日混血在这项工作中，我们表明，这种失败的结果之间的差距实际初始化性能和最低初始化性能的自学习成功。我们提出迭代降维来弥补这一差距。实验结果表明，该方法不影响相似语言对的识别性能，在英语与四种远距离语言（即汉语、汉语、英语、汉语）之间的识别准确率为13.64~55.53%，中文、日文、越南文和泰文。
2020-11-30 cs.CL
Don't Forget Cheap Training Signals Before Building Unsupervised Bilingual Word Embeddings
双语词嵌入是自然语言处理模型中跨语言迁移的基石之一。它们可以只使用单语语料库构建，而无需监督，从而导致许多工作集中在无监督的BWE上。然而，目前大多数构建无监督BWE的方法都没有将其结果与基于易于访问的跨语言信号的方法进行比较。在本文中，我们认为，这种信号时，应始终考虑开发无监督斗轮挖掘机的方法。我们发现最有效的两种方法是：1）使用相同的单词作为种子词典（无监督方法错误地假设不适用于正字法不同的语言对）和2）将这些词典与通过将单词的罗马化版本与编辑距离阈值匹配而提取的对相结合。我们在13种非拉丁语言（和英语）上进行了实验，结果表明，这种廉价的信号效果很好，并且在遥远的语言对（如中文、日语、卡纳达语、泰米尔语和泰语）上使用更复杂的无监督方法时表现更好。此外，它们甚至可以与监督方法中使用的高质量词典竞争。我们的研究结果表明，这些训练信号不应该被忽视时，建立BWE，即使是遥远的语言。
2022-05-31 cs.CL
Domain Adaptation of Neural Machine Translation by Lexicon Induction
Language Technologies Institute（语言技术研究所）；School of Computer Science（计算机学院）；Carnegie Mellon University（卡内基梅隆大学）
先前已经注意到，神经机器翻译（NMT）对域移位非常敏感。在本文中，我们认为，这是一个双重影响的高度词汇化的性质，NMT，导致失败的句子与大量的未知词，缺乏监督的领域特定的词。为了解决这个问题，我们提出了一种无监督自适应方法，该方法使用伪域内语料库对预训练的域外NMT模型进行微调。具体来说，我们进行词汇归纳提取领域内的词汇，并通过执行字对字的回译的单语领域内的目标句子构建一个伪并行的领域内语料库。在五个领域超过20个成对适应设置和两个模型架构中，我们的方法实现了一致的改进，而不使用任何域内并行语句，在未适应的模型上提高了14个BLEU，在强反向翻译基线上提高了2个BLEU。
2019-06-02 cs.CL
ProMap: Effective Bilingual Lexicon Induction via Language Model Prompting
College of Computing, Mohammed VI Polytechnic University（穆罕默德六世理工大学计算学院）；Deep Learning & Natural Language Processing Group, The University of British Columbia（不列颠哥伦比亚大学深度学习与自然语言处理组）；Department of Natural Language Processing & Department of Machine Learning, MBZUAI（穆罕默德·本·扎耶德人工智能大学自然语言处理系与机器学习系）；Department of Electrical & Computer Engineering, University of Sherbrooke（舍布鲁克大学电气与计算机工程系）
ProMap利用预训练多语言模型的提示方法，通过种子词典填充提示和结果重排序，在资源丰富与低资源语言的双语词典归纳任务中取得最先进性能，并支持少样本场景。
2023-10-28 cs.CL
Resource-Lean Lexicon Induction for German Dialects
MaiNLP, Center for Information and Language Processing, LMU Munich, Germany（MaiNLP，信息与语言处理中心，慕尼黑大学，德国）；Munich Center for Machine Learning (MCML), Munich, Germany（慕尼黑机器学习中心（MCML），慕尼黑，德国）
本文提出利用统计模型诱导德语方言词典，优于大语言模型，实现跨方言迁移，提供轻量数据驱动方案，实验显示在双语词典诱导和方言信息检索中表现优异。
2026-04-26 cs.CL
Inducing lexicons of in-group language with socio-temporal context
University of Melbourne（墨尔本大学）
本文提出融合社会-时间语境的群体内语言词典诱导方法，利用动态词与用户嵌入在反女性社区数据上超越现有方法，并构建了经专家验证的男圈语言词典。
2025-06-05 cs.CL cs.SI
A Generalized Constraint Approach to Bilingual Dictionary Induction for Low-Resource Language Families
Kyoto University（京都大学）；Universitas Islam Riau（伊斯兰廖内大学）
双语词典的抽取是一项针对低资源语言的困难任务。事实证明，枢纽语言和同源识别方法对于归纳此类语言的双语词典非常有用。我们提出了基于约束的双语词典归纳密切相关的语言，从最近的基于语义的归纳技术，并进一步使多个对称性假设循环，以达到更多的同源词transgraph的扩展约束。我们进一步确定同源同义词，以获得多对多的翻译对。本文使用了四个数据集：一个南岛语低资源语言和三个印欧语高资源语言。我们使用三个基于约束的方法，从我们以前的工作，逆咨询方法和翻译对从输入字典的笛卡尔积作为基线。我们使用精确度，召回率和F分数的指标来评估我们的结果。我们的可定制方法允许用户进行交叉验证，以预测最佳超参数（同源阈值和同源同义词阈值），并使用不同的对称性假设循环组合和数量，以获得最高的F分数。我们提出的方法有统计上显着的改善精度和F分数相比，我们以前的约束为基础的方法。结果表明，我们的方法证明了补充其他双语词典创建方法的潜力，如使用并行语料库的高资源语言的单词对齐模型，同时很好地处理低资源语言。
2020-10-05 cs.AI cs.CL
Lost in Evaluation: Misleading Benchmarks for Bilingual Dictionary Induction
University of Copenhagen（哥本哈根大学）
双语词典归纳（BDI）任务通常用于跨语言词嵌入的内在评价。BDI最大的数据集是自动生成的，因此其质量值得怀疑。我们研究了来自该数据集的五种不同语言的测试集的组成和质量，并得出了相关的发现：（1）四分之一的数据由专有名词组成，这很难表明BDI的性能，（2）在黄金标准目标中存在普遍的差距。这些问题似乎会影响跨语言嵌入系统在不同语言上的排名，以及系统性能差异的总体程度。从数据中删除专有名词后，研究中包括的前两个系统之间的差距从3.4%增长到17.2%。另一方面，对预测的人工验证表明，金本位目标的差距人为地将两个系统之间的英国与保加利亚BDI之间的差额从0.1%扩大到6.7%。因此，我们建议未来的研究要么避免从BDI数据集的定量结果中得出结论，要么伴随着严格的误差分析进行评估。
2019-09-18 cs.CL
Bi-Lexical Rules for Multi-Lexeme Translation in Lexicalist MT
本文提出了一个原型词典机器翻译系统（基于Whitelock（1992）的所谓的“摇烤”方法，包括一个分析组件，一个动态双语词典，和一个生成组件，并显示了它是如何应用到一系列的MT问题。多词汇翻译是通过双词汇规则来处理的，双词汇规则将双语词汇符号映射成新的双语词汇符号。有人认为，许多翻译可以处理等同的词汇符号，无论是直接在双语词典，或通过双词汇的规则推导出他们的等效列表。组织为Qualia结构的词汇语义信息（Pustejovsky 1991）被用作限制规则域的机制。
1995-08-12 cmp-lg cs.CL
Modelling the Lexicon in Unsupervised Part of Speech Induction
University of Oxford（牛津大学）
自动归纳文本中词的句法词性是计算语言学的一项基本任务。虽然无监督标记模型的性能一直在缓慢提高，但当前最先进的系统做出了明显错误的假设，即给定单词类型的所有标记必须共享单个词性标记。这种每种类型一个标签的启发式方法可以对抗基于隐马尔可夫模型的标签器为给定的单词类型过度生成标签的趋势。然而，它显然与基本句法理论不相容。在本文中，我们扩展了一个国家的最先进的Pitman-Yor隐马尔可夫模型标记与明确的模型的词汇。在这样做的时候，我们能够引入一个软偏置，以诱导每种类型的几个标签。我们开发了一个粒子滤波器，用于从我们的模型的后验中抽取样本，并给出了经验结果，表明我们的模型具有竞争力，并且比最先进的模型更快，而没有任何不切实际的限制。
2014-02-26 cs.CL
Learning Multilingual Word Embeddings in Latent Metric Space: A Geometric Approach
Microsoft（微软）；IIT Madras（印度理工学院马德拉斯分校）
我们提出了一种新的几何方法学习双语映射单语嵌入和双语字典。我们的方法将学习从源语言到目标语言的转换分为（a）学习特定语言嵌入的旋转以将它们对齐到公共空间，以及（b）学习公共空间中的相似性度量以模拟嵌入之间的相似性。我们将双语映射问题建模为光滑黎曼流形上的优化问题。我们表明，我们的方法优于以前的方法在双语词汇归纳和跨语言词相似性任务。我们还概括了我们的框架，以表示在一个共同的潜在空间的多种语言。特别是，几种语言的潜在空间表示联合学习，给出多语言对的双语词典。我们说明了联合学习的有效性，为多种语言在zero-shot单词翻译设置。我们的实现可以在https://github.com/anoopkunchukuttan/geomm上获得。
2018-12-18 cs.AI cs.CL cs.LG
Unsupervised Alignment of Distributional Word Embeddings
University College London（伦敦大学学院）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
跨领域对齐在从机器翻译到迁移学习的各种任务中起着关键作用。最近，纯无监督的方法操作单语嵌入已成功地用于推断双语词典，而不依赖于监督。然而，目前的最先进的方法只关注点向量，虽然分布式嵌入已被证明嵌入更丰富的语义信息时，表示的话。在本文中，我们提出了随机优化方法对齐概率嵌入。最后，我们通过对齐在单语数据上训练的词嵌入来评估我们在无监督词翻译问题上的方法。我们表明，所提出的方法在双语词典归纳任务上取得了良好的性能，在几种语言对，并表现得比基于点向量的方法。
2022-09-21 cs.CL
Learning and Evaluating Emotion Lexicons for 91 Languages
Friedrich-Schiller-Universität Jena（耶拿弗里德里希·席勒大学）
情感词汇描述了词语的情感意义，因此构成了高级情感和情感分析的核心。然而，手动编辑的词典只适用于少数几种语言，世界上大多数语言都没有这样一个宝贵的资源用于下游应用程序。更糟糕的是，它们的覆盖范围往往是有限的，无论是在词汇单位，他们包含的情感变量的功能。为了打破这一瓶颈，我们在这里介绍一种方法来创建几乎任意大的情感词汇的任何目标语言。我们的方法只需要一个源语言情感词典，双语单词翻译模型，和一个目标语言嵌入模型。满足91种语言的这些要求，我们能够生成代表性丰富的高覆盖率的词汇，包括8个情感变量，每个超过10万个词汇条目。我们评估了来自26个数据集的自动生成的词典，涵盖12种类型多样的语言，并发现我们的方法产生的结果与最先进的单语词典创建方法一致，甚至超过了某些语言和变量的人类可靠性。代码和数据可在www.example.com上获得，并存档在DOI https://doi.org/10.5281/zenodo.3779901下。https://github.com/JULIELab/MEmoLon
2020-05-12 cs.AI cs.CL
Learning Translations via Matrix Completion
University of Pennsylvania（宾夕法尼亚大学）；LIMSI, CNRS, Université Paris-Saclay（法国国家科学研究中心LIMSI实验室、巴黎-萨克雷大学）
针对无需平行语料的双语词典归纳任务，将其建模为矩阵补全问题，提出利用多种不完整或带噪的双语、单语信号的有效可扩展框架，在高低资源语言上均达SOTA性能。
2024-06-19 cs.CL
A Morphologically-Aware Dictionary-based Data Augmentation Technique for Machine Translation of Under-Represented Languages
George Mason University（乔治梅森大学）；University of Zurich（苏黎世大学）；RC Athena（希腊雅典娜研究中心）；Archimedes AI Research Unit（阿基米德人工智能研究单元）
针对低资源语言机器翻译数据稀缺问题，提出利用形态句法信息与双语词典合成平行数据的方法，在14种语言上稳定提升翻译性能。
2024-02-02 cs.CL
Should All Cross-Lingual Embeddings Speak English?
Carnegie Mellon University（卡内基梅隆大学）
大多数最近的跨语言词嵌入的工作是严重的盎格鲁中心。绝大多数的词典归纳评价词典都是在英语和另一种语言之间，在多语言环境下学习时，默认选择英语嵌入空间作为枢纽。然而，通过这项工作，我们对这些做法提出了挑战。首先，我们表明，枢纽语言的选择可以显着影响下游的词汇归纳性能。其次，我们都扩展了当前的评估字典集合，以包括使用三角测量的所有语言对，并为代表性不足的语言创建新的字典。评估所有这些语言对的既定方法揭示了它们的适用性，并为该领域提出了新的挑战。最后，在我们的分析中，我们确定了强跨语言嵌入基线的一般指导方针，不仅仅是基于盎格鲁中心的实验。
2020-04-05 cs.CL
Annotating Cognates and Etymological Origin in Turkic Languages
University of Maryland, College Park（马里兰大学帕克分校）
突厥语族语言的词汇之间存在着广泛而多样的词源关系。这些关系使得突厥语有希望探索利用同源和其他词源信息的自动翻译词典归纳。然而，由于词与词之间的关系类型的广泛性和多样性，如何注释这些信息还不清楚。在本文中，我们提出了一种方法来注释同源词和词源来源的突厥语。我们的方法努力平衡的研究工作量的注释者花费的效用的注释支持研究，以提高自动翻译词典归纳。
2015-01-13 cs.CL
To Word Senses and Beyond: Inducing Concepts with Contextualized Language Models
University of Lille（里尔大学）；Inria（法国国家信息与自动化技术研究院）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；UMR 9189 - CRIStAL
本文提出概念归纳任务，通过结合局部词元视角和全局跨词表视角的双层无监督方法，从数据中学习词间软聚类以定义概念，并在SemCor和Word-in-Context任务上验证了其有效性。
2025-11-07 cs.CL
Improved Latent Tree Induction with Distant Supervision via Span Constraints
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
三十多年来，研究人员已经开发和分析了潜在树归纳方法作为无监督句法分析的一种方法。尽管如此，与有监督的对应系统相比，现代系统的性能仍然不够好，无法作为文本的结构化注释。在这项工作中，我们提出了一种技术，使用远程监督的形式跨度约束（即短语括号），以提高性能，在无监督选区解析。使用相对较少的跨度约束，我们可以大大提高DIORA，已经有竞争力的无监督解析系统的输出。与完整的解析树注释相比，可以以最小的努力获得跨度约束，例如使用来自维基百科的词典，以找到精确的文本匹配。我们的实验表明，基于实体的跨度约束提高了英语WSJ Penn Treebank上的选区解析超过5个F1。此外，我们的方法扩展到任何领域的跨度约束是很容易实现的，作为一个案例研究，我们证明了它的有效性，从CRAFT数据集解析生物医学文本。
2021-11-01 cs.CL
