Bridging Neural Machine Translation and Bilingual Dictionaries
University of Chinese Academy of Sciences（中国科学院大学）；National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
神经机器翻译（NMT）已经成为几种语言对的最新技术。然而，如何将NMT与主要包含在双语训练数据中很少或从未见过的词的双语词典集成仍然是一个具有挑战性的问题。在本文中，我们提出了两种方法来桥接NMT和双语词典。其核心思想是设计新的模型，将双语词典转换为适当的句子对，以便NMT可以从大量和重复的现象中排除潜在的双语映射。一种方法利用混合的单词/字符模型，另一种方法尝试合成平行句子，保证翻译词典的大量出现。大量的实验表明，所提出的方法可以显著提高翻译质量，测试句子中的大多数生僻词如果被词典覆盖，都可以得到正确的翻译。
2016-10-24 cs.CL
Assessing the Bilingual Knowledge Learned by Neural Machine Translation Models
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
机器翻译（MT）系统通过从训练样本自动学习双语词典、语法和语义的深入知识来在不同语言之间翻译文本。虽然神经机器翻译（NMT）已经引领了机器翻译领域，但我们对它如何以及为什么工作的理解很差。在本文中，我们通过评估NMT模型与短语表（双语词典的可解释表）学习的双语知识来弥补这一差距。我们从NMT模型正确预测的训练样本中提取短语表。在广泛使用的数据集上的实验表明，该短语表是合理的，对语言对和随机种子是一致的。我们发现，NMT模型配备了可解释的短语表，学习模式从简单到复杂，并提取必要的双语知识的训练样本。我们还回顾了一些可能影响双语知识学习的进展（例如，翻译），并报告一些有趣的发现。我们相信，这项工作开辟了一个新的角度来解释NMT的统计模型，并提供了经验支持的最新进展，改进NMT模型。
2020-04-28 cs.CL cs.LG
Look It Up: Bilingual Dictionaries Improve Neural Machine Translation
University of Notre Dame（圣母大学）
尽管神经机器翻译（NMT）的质量有所提高，但生僻词仍然存在问题。对于人类来说，解决罕见词问题的方法一直是字典，但字典不能直接纳入NMT。在本文中，我们描述了一种将字典定义“附加”到稀有单词的新方法，以便网络可以学习使用它们的最佳方式。我们展示了高达1.8 BLEU使用双语词典的改进。
2022-01-28 cs.AI cs.CL cs.LG
Source and Target Bidirectional Knowledge Distillation for End-to-end Speech Translation
Kyoto University（京都大学）；Johns Hopkins University（约翰霍普金斯大学）
提高端到端语音翻译（E2 E-ST）模型的性能的常规方法是经由预训练和与自动语音识别（ASR）和神经机器翻译（NMT）任务的联合训练来利用源转录。然而，由于输入方式不同，很难成功地利用源语言文本。在这项工作中，我们专注于序列级知识蒸馏（SeqKD）从外部基于文本的NMT模型。为了充分利用源语言信息的全部潜力，我们提出了后向SeqKD，SeqKD来自目标到源的后向NMT模型。为此，我们训练一个双语E2 E-ST模型，以预测释义transmittance作为一个辅助任务与单个解码器。通过回译从双文本中的译文生成释义。我们进一步提出了双向SeqKD，其中组合了来自前向和后向NMT模型的SeqKD。在自回归和非自回归模型上的实验评估表明，SeqKD在每个方向上都一致地提高了翻译性能，并且无论模型容量如何，其有效性都是互补的。
2021-04-13 cs.CL cs.SD eess.AS
Computerization of African languages-French dictionaries
Laboratoire LINA（LINA实验室）；Laboratoire GETALP-LIG（GETALP-LIG实验室）
本文介绍了DiLAF项目期间所做的工作。它包括按照LMF模型将5本最初为Word格式的非洲语-法语双语词典转换为XML。所处理的语言是班巴拉语、豪萨语、卡努里语、塔玛雅克语和桑海-扎马语，这些语言在自然语言处理工具方面仍被视为资源不足的语言。一旦转换，字典可以在Jibiki平台上在线查找和修改。首先介绍了DiLAF项目。以下是对每本词典的描述。在此基础上，给出了.doc格式到XML文件的转换方法。下面是关于Unicode使用的一个具体问题。然后，详细介绍了转换为XML和LMF的每个步骤。最后一部分介绍了本项目所使用的Jibiki词汇资源管理平台。
2014-05-22 cs.CL
Unsupervised Bilingual Lexicon Induction for Low Resource Languages
University of Moratuwa（莫拉图瓦大学）；Central Scientific Instruments Organisation（中央科学仪器组织）；Massey University（梅西大学）
本文研究了同时使用多种基于结构的无监督双语词典归纳（UBLI）改进技术是否能带来同等收益，通过VecMap框架在多个低资源语言对上实验确定了最佳扩展组合，并发布了相应双语词典。
2024-12-22 cs.CL
Pointer-based Fusion of Bilingual Lexicons into Neural Machine Translation
Simon Fraser University（西蒙弗雷泽大学）
神经机器翻译（NMT）系统需要大量高质量的域内并行语料库进行训练。最先进的NMT系统仍然面临着与词汇表外单词和处理低资源语言对相关的挑战。在本文中，我们提出并比较了几种模型的融合双语词典的端到端训练序列到序列模型的机器翻译。其结果是一个融合模型与两个信息源的解码器：神经条件语言模型和双语词典。该融合模型学习如何结合两种信息源，以产生更高质量的翻译输出。我们的实验表明，我们提出的模型在相对低资源的情况下工作得很好，也有效地减少了NMT的参数大小和训练成本，而不牺牲性能。
2019-09-17 cs.CL
From Priest to Doctor: Domain Adaptation for Low-Resource Neural Machine Translation
University of Colorado Boulder（科罗拉多大学博尔德分校）；Indiana University Bloomington（印第安纳大学伯明顿分校）；Johannes Gutenberg University Mainz（美因茨约翰内斯·古滕贝格大学）
针对低资源语言NMT领域自适应研究不足、仅能获取宗教文本等有限数据的问题，本文在真实场景下评估多种方法，发现最简单的DALI效果最优，同时人工评估显示该方向仍需深入研究。
2025-02-21 cs.CL cs.LG
Unsupervised Neural Machine Translation Initialized by Unsupervised Statistical Machine Translation
National Institute of Information and Communications Technology（国立信息通信技术研究所）
最近的工作在以完全无监督的方式训练神经机器翻译（NMT）系统方面取得了显着的成果，该系统具有仅依赖于单语语料库的新的专用架构。在这项工作中，我们建议将无监督NMT（UNMT）定义为在合成双语数据的监督下训练的NMT。我们的方法直接支持使用最先进的架构，通过用合成双语数据代替人工双语数据进行训练，提出了监督NMT。我们建议用无监督统计机器翻译（USMT）生成的合成双语数据初始化UNMT的训练。然后，利用反向翻译，逐步改进联合国地雷行动组系统。我们的初步实验表明，我们的方法实现了一个新的国家的最先进的无监督机器翻译的WMT 16德-英新闻翻译任务，两个翻译方向。
2018-10-30 cs.CL
Verdi: Quality Estimation and Error Detection for Bilingual Corpora
University of Alberta（阿尔伯塔大学）；Tencent（腾讯）
翻译质量评估对于减少机器翻译中的后期编辑工作和跨语言语料库清理至关重要。作为一个研究问题，质量评估（QE）的目的是直接估计翻译的质量在一个给定的对源和目标的句子，并突出需要更正的单词，而不参考黄金翻译。在本文中，我们提出了威尔第，一个新的框架，词级和双语语料库的编辑后工作量估计。Verdi采用了两个词预测器来从一对句子中提取不同的特征，用于后续的质量估计，包括基于变换器的神经机器翻译（NMT）模型和预训练的跨语言语言模型（XLM）。我们利用双语语料库的对称性，并在NMT预测器中应用模型级双重学习，该预测器同时处理原始任务和双重任务，并进行权重共享，从而比单向NMT模型具有更强的上下文预测能力。通过利用双重学习方案，我们进一步设计了一个新的功能，直接编码翻译的目标信息，而不依赖于源上下文。在WMT20 QE任务上进行的大量实验表明，我们的方法击败了竞争对手，并大大优于其他基线方法。我们进一步使用Verdi提供的分级分数来清理并行语料库，并观察模型性能和训练效率的好处。
2021-09-03 cs.AI cs.CL
Iterative Domain-Repaired Back-Translation
Machine Intelligence Technology Lab（机器智能技术实验室）；Alibaba Group（阿里巴巴集团）
在本文中，我们专注于特定领域的翻译资源少，在领域内的平行语料库是稀缺的或根本不存在。对于这种情况，一种常见且有效的策略是使用反向翻译方法来利用域内单语数据。然而，合成的并行数据是非常嘈杂的，因为它们是由不完善的域外系统产生的，导致领域自适应的性能差。为了解决这个问题，我们提出了一种新的迭代域修复回翻译框架，它引入域修复（DR）模型来改进合成双语数据中的翻译。为此，我们通过对单语句子进行往返翻译，构建相应的数据用于DR模型训练，然后设计统一的训练框架，对配对的DR和NMT模型进行联合优化。在特定域之间以及从一般域到特定域之间调整NMT模型的实验证明了我们所提出的方法的有效性，与未调整的模型和反向翻译相比，平均实现了15.79和4.47的BLEU改进。
2020-10-06 cs.CL
Shared-Private Bilingual Word Embeddings for Neural Machine Translation
Northeastern University（东北大学）；University of Macau（澳门大学）；Tsinghua University（清华大学）
词嵌入是神经机器翻译的核心内容，近年来引起了广泛的研究兴趣。在NMT中，源嵌入扮演入口的角色，而目标嵌入扮演终端的角色。这些层占据了表示学习的大部分模型参数。此外，它们通过软注意力机制间接地相互作用，这使得它们相对孤立。在本文中，我们提出了共享私有的双语词嵌入，它给出了一个更密切的关系之间的源和目标嵌入，也减少了模型参数的数量。对于相似的源词和目标词，它们的嵌入倾向于共享一部分特征，并且它们合作学习这些共同的表征单元。在属于6个不同语系的5个语言对上进行的实验表明，该模型在使用更少的模型参数的情况下，在强基线上提供了显着的性能提升。
2019-06-07 cs.AI cs.CL
Merging External Bilingual Pairs into Neural Machine Translation
Soochow University（苏州大学）；University of Lisbon（里斯本大学）
由于神经机器翻译（NMT）不容易明确纠正错误，因此将预先指定的翻译合并到NMT中被广泛认为是一个不平凡的挑战。在本文中，我们提出并探讨了三种方法来赋予NMT与预先指定的双语对。例如，在解码过程中修改束搜索算法或对注意力机制进行复杂的修改-解决这一挑战的主流方法-，我们对训练数据进行了适当的预处理，以添加有关预先指定的翻译的信息。额外的嵌入也用于区分预先指定的令牌和其他令牌。大量的实验和分析表明，超过99%的预先指定的短语被成功翻译（给定85%的基线），并且使用本文探讨的方法，翻译质量也有实质性的提高。
2019-12-02 cs.CL
Bilingual Dictionary Induction for Bantu Languages
University of California, San Diego（加州大学圣地亚哥分校）
我们提出了一种学习英语和班图语之间的双语翻译词典的方法。我们发现，利用班图语的语法结构，使双语词典归纳语言的训练数据是不可用的。
2019-07-17 cs.CL
Creating Reverse Bilingual Dictionaries
University of Colorado（科罗拉多大学）
双语词典是昂贵的资源，当其中一种语言资源贫乏时，可用的词典并不多。在本文中，我们提出了算法，从现有的双语词典，其中英语是两种语言之一，创建新的反向双语词典。我们的算法利用词概念对之间的相似性，使用英语Wordnet产生反向字典条目。由于我们的算法依赖于可用的双语词典，它们适用于任何双语词典，只要两种语言之一具有Wordnet类型的词汇本体。
2022-08-08 cs.CL
Modeling Bilingual Conversational Characteristics for Neural Chat Translation
Beijing Jiaotong University（北京交通大学）；Tencent Inc（腾讯公司）
神经聊天翻译旨在翻译双语会话文本，在国际交流与合作中有着广泛的应用。尽管基于语义和上下文感知的神经机器翻译（NMT）具有令人印象深刻的性能，但由于双语会话文本的角色偏好、对话连贯性和翻译一致性等固有特征，其翻译仍然存在挑战。在本文中，我们的目标是提高翻译质量的会话文本通过建模上述属性。具体而言，我们设计了三个潜在的变分模块来学习双语会话特征的分布。通过从这些学习到的分布中取样，为角色偏好、对话连贯性和翻译一致性量身定制的潜变量被纳入NMT模型中，以更好地进行翻译。我们评估我们的方法上的基准数据集BConTrasT（英语-德语）和一个自我收集的双语对话语料库，命名为BMELD（英语-汉语）。大量的实验表明，我们的方法显着提高了性能超过强基线的大幅度，并显着超过一些国家的最先进的上下文感知NMT模型的BLEU和TER。此外，我们将BMELD数据集公开提供给研究社区。
2021-07-23 cs.CL
MotàMot project: conversion of a French-Khmer published dictionary for building a multilingual lexical system
GETALP-LIG Laboratory（GETALP-LIG实验室）
与信息处理技术有关的经济问题非常重要。这些技术的发展是柬埔寨和老挝等发展中国家以及越南、马来西亚和泰国等新兴国家的重要资产。MotAMot项目的目的是计算一种资源不足的语言：高棉语，主要在柬埔寨使用。该项目的主要目标是开发一个针对高棉语的多语种词汇系统。宏观结构是一个枢纽结构，每种语言的每个词义都与一个枢纽轴相连。微观结构来源于解释性和组合性词典的简化。词汇系统已经初始化，数据主要来自Denis Richer的法语-高棉语双语词典从Word格式到XML格式的转换。法语部分的发音和词性来自FEM法语-英语-马来语词典。在Richer词典中以IPA标注的高棉语词目用OpenFST（一种有限状态转换器工具）转换为高棉语书写。由此产生的资源可通过Jibiki平台上的REST API在线查找，编辑，下载和远程编程。
2014-05-22 cs.CL
Neural Machine Translation with Monolingual Translation Memory
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
先前的工作已经证明，翻译记忆（TM）可以提高神经机器翻译（NMT）的性能。在现有的工作，使用双语语料库TM和采用源端相似性搜索的记忆检索相比，我们提出了一个新的框架，使用单语记忆，并进行可学习的记忆检索在跨语言的方式。我们的框架具有独特的优势。首先，跨语言记忆检索器允许大量的单语数据被TM。第二，记忆检索器和NMT模型可以联合优化最终的翻译目标。实验结果表明，该方法具有明显的改进效果.值得注意的是，它甚至优于使用双语TM的强大TM增强NMT基线。由于能够利用单语数据，我们的模型还在低资源和领域自适应场景中表现出有效性。
2021-06-02 cs.AI cs.CL
Embedding Initialization for Unseen Low-resource Languages in Multilingual NMT: A Case Study on Limbum-English Translation
Ruzivo Research Lab（鲁齐沃研究实验室）；African Leadership University（非洲领导力大学）
本研究针对NLLB-200等多语言NMT模型未见低资源语言的代理token选择问题，提出多语言词嵌入初始化策略，在林布语-英语翻译上取得与最佳单语言代理相当的性能，消除了启发式选择需求，但存在声调变音符号保留的挑战。
2026-08-11 cs.CL cs.LG
Data Augmentation With Back translation for Low Resource languages: A case of English and Luganda
Mbarara University of Science and Technology, Dept. of Information Technology（马拉拉大学科学与技术学院）；Handong Global University, Dept. of Computer Science and Electrical Engineering（汉东全球大学计算机科学与电气工程学院）
本文以英语-卢干达语为例，研究利用回译生成合成数据缓解低资源语言双语数据稀缺问题，通过迭代与增量回译技术提升神经机器翻译性能，超过先前基准10个以上BLEU分数。
2025-05-05 cs.CL
Learning to Represent Bilingual Dictionaries
University of California, Los Angeles（加州大学洛杉矶分校）；The State University of New York, Stony Brook（纽约州立大学石溪分校）
双语词嵌入已被广泛用于捕捉不同人类语言中词汇语义的相似性。然而，许多应用，如跨语言语义搜索和问答，可以很大程度上受益于句子和词汇之间的跨语言对应。为了弥合这一差距，我们提出了一个利用双语词典的神经嵌入模型。该模型经过训练，将字面词定义映射到跨语言目标词，我们使用不同的句子编码技术进行了探索。为了提高有限资源的学习过程中，我们的模型采用了几个关键的学习策略，包括多任务学习不同的桥梁的语言，和联合学习的词典模型与双语词嵌入模型。实验评估侧重于两个应用程序。跨语言反向字典检索任务的结果表明，我们的模型的理解双语概念的描述的基础上，有前途的能力，并突出了所提出的学习策略在提高性能的有效性。同时，我们的模型有效地解决了双语释义识别问题，并显着优于以往的方法。
2019-09-06 cs.AI cs.CL cs.LG
Improving Back-Translation with Uncertainty-based Confidence Estimation
ESTATES PTE LTD（六境私人有限公司）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Advanced Innovation Center for Language Resources（北京语言资源高精尖创新中心）
虽然回译在利用丰富的单语语料库来改进低资源神经机器翻译（NMT）方面简单有效，但由有限真实双语数据训练的NMT模型生成的合成双语语料库不可避免地存在噪声。在这项工作中，我们建议量化的信心NMT模型预测模型的不确定性的基础上。通过基于不确定性的词级和词级置信度度量，回译可以更好地应对合成双语语料库中的噪声。在汉英和英德翻译任务上的实验表明，基于不确定性的置信度估计显著提高了回译的性能。
2019-08-31 cs.CL
Construction of a Bilingual Dictionary Intermediated by a Third Language
在使用第三语言编制双语词典时，有必要区分对等词和因第三语言歧义而产生的不适当词。我们提出了一种方法来处理这一问题，利用字典的结构来衡量的接近的含义。由此产生的词典是一个词到词的名词双语词典，并可用于改进已出版的双语词典中的条目和等价物。
1994-10-24 cmp-lg cs.CL
Data Synthesis and Parameter-Efficient Fine-Tuning for Low-Resource NMT: A Case Study on Q'eqchi' Mayan
University of Houston（休斯顿大学）；MasterWord Services, Inc.（MasterWord Services公司）；University of Washington（华盛顿大学）
针对低资源土著语言，提出数据合成方法（利用社区词典生成合成语料）结合LoRA参数高效微调，在Q'eqchi'玛雅语上实现高结构习得（BLEU 42.02），但存在结构-语义差距，需结合真实数据进行课程学习。
2026-06-08 cs.AI cs.CL cs.LG
Bilingual Dictionary Based Neural Machine Translation without Using Parallel Sentences
Soochow University（苏州大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Westlake University（西湖大学）
在本文中，我们提出了一个新的任务机器翻译（MT），这是基于没有平行的句子，但可以参考地面真理双语词典。受单语者通过查找双语词典学习翻译的能力的启发，我们提出了一个任务，看看有多大的潜力，MT系统可以实现使用双语词典和大规模单语语料库，而独立于平行句子。我们建议锚定训练（AT）来解决这个问题。AT使用双语词典来建立锚点，以缩小源语言和目标语言之间的差距。在不同语言对上的实验表明，我们的方法明显优于各种基线，包括基于词典的逐字翻译，词典监督的跨语言词嵌入转换和无监督的MT。在无监督MT很难表现良好的远距离语言对上，AT表现得更好，达到了与在超过400万个并行句子上训练的有监督SMT相当的性能。
2020-07-06 cs.CL
The CQC Algorithm: Cycling in Graphs to Semantically Enrich and Enhance a Bilingual Dictionary
Sapienza University of Rome（罗马大学）
双语机器可读词典是许多自动任务中有用的知识资源。然而，与WordNet等单语计算词典相比，双语词典通常提供较少量的结构化信息，例如词汇和语义关系，并且通常不涵盖感兴趣单词的整个可能翻译范围。在本文中，我们提出了循环和准循环（CQC），一种新的算法自动消歧的歧义翻译的词汇条目的双语机器可读词典。词典被表示为图，并且在图中寻找循环模式以向词条中的每个翻译分配适当的意义标签。此外，我们使用算法输出来提高字典本身的质量，通过建议准确的解决方案的结构问题，如错位，部分对齐和丢失的条目。最后，我们成功地将CQC应用到同义词抽取的任务中。
2014-01-18 cs.CL
ProMap: Effective Bilingual Lexicon Induction via Language Model Prompting
College of Computing, Mohammed VI Polytechnic University（穆罕默德六世理工大学计算学院）；Deep Learning & Natural Language Processing Group, The University of British Columbia（不列颠哥伦比亚大学深度学习与自然语言处理组）；Department of Natural Language Processing & Department of Machine Learning, MBZUAI（穆罕默德·本·扎耶德人工智能大学自然语言处理系与机器学习系）；Department of Electrical & Computer Engineering, University of Sherbrooke（舍布鲁克大学电气与计算机工程系）
ProMap利用预训练多语言模型的提示方法，通过种子词典填充提示和结果重排序，在资源丰富与低资源语言的双语词典归纳任务中取得最先进性能，并支持少样本场景。
2023-10-28 cs.CL
Incorporating Bilingual Dictionaries for Low Resource Semi-Supervised Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）
我们探索了结合双语词典来实现半监督神经机器翻译的方法。传统的反向翻译方法已经在利用目标侧单语数据方面取得了成功。然而，由于回译模型的质量与可用并行语料库的大小有关，因此这可能会对低资源设置中的合成生成的句子产生不利影响。我们提出了一个简单的数据增强技术来解决这两个缺点。我们将广泛使用的双语词典，产生逐字翻译生成合成句子。这会自动扩展模型的词汇表，同时保持高质量的内容。我们的方法在强基线上显示出明显的性能改善。
2020-04-05 cs.CL
Extracting Synonyms from Bilingual Dictionaries
Birzeit University（比尔宰特大学）；Cairo University（开罗大学）；The British University in Dubai（迪拜英国大学）
我们提出了我们的进展，在开发一种新的算法，从双语词典中提取同义词。同义词的识别和使用在提高信息访问应用程序的性能方面起着重要的作用。其思想是从翻译对中构造一个翻译图，然后提取和合并循环路径，形成双语同义词集。该算法的初步评价表明，在提取阿拉伯语-英语双语同义词有希望的结果。在评估中，我们首先将阿拉伯语WordNet中的同义词集转换为翻译对（即，失去词义成员资格）。接下来，我们应用我们的算法来重建这些同义词集。我们比较了原始的和提取的同义词集获得阿拉伯语和英语的同义词集提取，分别为82.3%和82.1%的F-措施。
2020-12-01 cs.AI cs.CL cs.IR
Phrase translation using a bilingual dictionary and n-gram data: A case study from Vietnamese to English
University of Colorado, Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
过去使用基于词典的方法将L1语言中的短语翻译成L2语言的方法需要语法规则来重构初始翻译。本文介绍了一种新的方法，不使用任何语法规则，翻译一个给定的短语在母语中，这是不存在的字典，到二语。我们需要至少一个L1-L2双语词典和L2中的n-gram数据。我们翻译的平均人工评估分数为4.29/5.00，这意味着非常高的质量。
2022-08-05 cs.CL
Generalizing Procrustes Analysis for Better Bilingual Dictionary Induction
University of Copenhagen（哥本哈根大学）；Insight Research Centre, National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校洞察研究中心）；Aylien Ltd.（Aylien有限公司）；University of Cambridge（剑桥大学）
最新的双语词典归纳方法发现两种语言的词向量空间之间存在线性对齐。我们表明，投影到第三个，潜在的空间，而不是直接到对方的两种语言，而在表现力方面等同，使它更容易学习近似对齐。我们修改后的方法还允许将支持语言包括在对齐过程中，以在低资源设置中获得更好的性能。
2020-01-08 cs.CL
Extracting Bilingual Persian Italian Lexicon from Comparable Corpora Using Different Types of Seed Dictionaries
Institute for Advanced Studies in Basic Sciences（基础科学高等研究院）；Charles University（查理大学）；Shiraz University（设拉子大学）；University of Calabria（卡拉布里亚大学）
双语词典在自然语言处理的各个领域都有着非常重要的作用。近年来，从非平行（可比）语料库中提取新的双语词典的研究已经被提出。几乎所有都使用一个小的现有字典或其他资源来创建一个称为“种子字典”的初始列表。在本文中，我们讨论了使用不同类型的词典作为初始的起始列表创建一个双语波斯语-意大利语词汇从可比语料库。我们的实验适用于三个不同的种子字典的最先进的技术;现有的字典，字典创建的基于XML的模式，并从一个小的波斯语-意大利语平行文本中提取的字典。我们的方法的有趣的挑战是找到一种方法来结合不同的字典在一起，以产生一个更好，更准确的词典。为了结合种子词典，我们提出了两种不同的组合模型，并检查我们的新的组合模型的效果，各种可比语料库，具有不同程度的可比性。最后，我们提出了一个新的加权系统，以提高提取的词汇。我们的实施所产生的实验结果表明，我们提出的模型的效率。
2019-09-20 cs.CL
DICTDIS: Dictionary Constrained Disambiguation for Improved NMT
Indian Institute of Technology Bombay（印度理工学院孟买分校）
提出DictDis，一个具备词汇约束的NMT系统，通过在训练数据中扩充多个词典候选词并隐式对齐来促进多候选翻译消歧，在多领域翻译任务中实现了更优的约束复制与消歧性能及流畅度提升。
2024-09-27 cs.CL cs.LG
Monolingual and Parallel Corpora for Kangri Low Resource Language
National Institute of Technology, Hamirpur（哈米尔普尔国家理工学院）
本文介绍了联合国教科文组织（UNESCO）收录的喜马偕尔邦低资源濒危语言康日语（ISO 639-3xnr）的数据集。由于数字化资源的缺乏，康日语料库的编纂一直是一项具有挑战性的工作。语料库包含1，81，552个单语语料库和27，362个印地语-康日语平行语料库。我们分享了预先训练好的kangri词嵌入。我们还报告了语料库的统计机器翻译（SMT）和神经机器翻译（NMT）结果的双语评估替补（BLEU）评分和翻译评估指标（METEOR）评分。该语料库可免费用于非商业用途和研究。据我们所知，这是第一个喜马偕尔邦低资源濒危语言语料库。这些资源可在（https：//github.com/chauhanshweta/Kangri_corpus）获得
2021-03-22 cs.CL
Bilingual Dictionary-based Language Model Pretraining for Neural Machine Translation
Univ. of Maryland（马里兰大学）
最近的研究表明，通过应用跨语言语言模型预训练（Lample和Conneau，2019），特别是翻译语言模型（TLM），神经机器翻译的性能得到了明显的改善。为了减轻TLM对昂贵的并行语料库的需求，在这项工作中，我们将词典中的翻译信息纳入预训练过程，并提出了一种新的基于双语词典的语言模型（BDLM）。我们评估我们的BDLM中文，英语和罗马尼亚语。对于中文-英文，我们在WMT-News 19（Tiedemann，2012）上获得了55.0 BLEU，在WMT 20新闻评论上获得了24.3 BLEU，优于Vanilla Transformer（Vaswani et al.，2017年）分别超过8.4 BLEU和2.3 BLEU。根据我们的实验结果，BDLM在收敛速度和预测生僻字方面也有优势。WMT 16罗马尼亚语-英语BLEU的增加也表明了其在低资源语言翻译中的有效性。
2021-03-12 cs.AI cs.CL cs.LG
Direct Neural Machine Translation with Task-level Mixture of Experts models
Boston University（波士顿大学）；Google（谷歌）
针对非英语语言对平行数据稀缺导致直接神经机器翻译性能受限的问题，本研究探索任务级混合专家（Task-level MoE）模型的适用性，提出高性能训练评估配置，在多数语言对和翻译方向上超越双语与枢轴翻译模型。
2024-05-19 cs.CL
Disambiguating bilingual nominal entries against WordNet
本文探讨了从双语词典（法语/英语，西班牙语/英语和英语/西班牙语）使用预先存在的广泛覆盖的词汇知识库（LKB）WordNet的概念知识的收购。双语名词性条目在WordNet上消歧，因此将双语词典链接到WordNet产生多语言LKB（MLKB）。产生的MLKB具有与WordNet相同的结构，但一些节点附加到其他语言的消歧词汇表。两种不同的，互补的方法进行了探讨。在一种方法中，字典的每个条目都被轮流使用，利用条目本身中的信息。消除翻译歧义的推理能力由WordNet上的语义密度给出。在另一种方法中，双语词典与WordNet合并，主要利用同义关系。每一种方法都在不同的字典中使用。这两种方法都能达到很高的精度，这表明消除双语名词性条目的歧义，从而将双语词典与WordNet联系起来是一项可行的任务。
1995-10-04 cmp-lg cs.CL
Measuring Semantic Abstraction of Multilingual NMT with Paraphrase Recognition and Generation Tasks
Department of Digital Humanities / HELDIG（数字人文系 / HELDIG）；University of Helsinki（赫尔辛基大学）
在本文中，我们研究了多语言神经翻译模型是否比双语模型学习更强的句子语义抽象。我们通过测量这些模型在应用于源语言的释义时的困惑度来测试这一假设。直觉是，如果解码器能够识别同一语言中的同义句，即使模型从未受过训练，编码器也会产生更好的表示。在我们的设置中，我们将16种不同的辅助语言添加到双向双语基线模型（英语-法语）中，并使用英语的域内和域外释义对其进行测试。结果表明，在每一种情况下，困惑都显着减少，这表明意义可以在翻译中扎根。这是进一步支持的释义生成的研究，我们也包括在论文的最后。
2019-05-03 cs.CL
Continuous Learning in Neural Machine Translation using Bilingual Dictionaries
Maastricht University（马斯特里赫特大学）
虽然深度学习的最新进展导致机器翻译的显著改进，但神经机器翻译通常仍然无法持续适应环境。对于人类和机器翻译来说，双语词典是一个有前途的知识来源，可以不断地整合新知识。然而，它们的开发带来了一些挑战：系统需要能够执行一次性学习，以及对源语言和目标语言的形态进行建模。在这项工作中，我们提出了一个评估框架来评估神经机器翻译不断学习新短语的能力。我们将神经机器翻译的一次性学习方法与不同的单词表示相结合，并表明为了成功地使用双语词典，解决这两个问题是很重要的。通过解决这两个挑战，我们能够将新的、罕见的单词和短语的翻译能力从30%提高到70%。正确的引理甚至超过90%。
2021-02-12 cs.CL
On the Limitations of Unsupervised Bilingual Dictionary Induction
University of Copenhagen（哥本哈根大学）；National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校）；Aylien Ltd.（艾利恩有限公司）；University of Cambridge（剑桥大学）
无监督机器翻译-即，不假设任何跨语言的监督信号，无论是字典、翻译还是可比语料库-似乎是不可能的，但尽管如此，Lample等人（2018）最近提出了一个完全无监督的机器翻译（MT）模型。该模型严重依赖于用于双语词典归纳的词嵌入空间的对抗性、无监督对齐（Conneau等人，2018年，我们在这里进行了研究。我们的研究结果确定了当前无监督MT的局限性：当使用来自不同领域或不同嵌入算法的单语语料库时，无监督双语词典归纳在形态丰富的语言上表现得更差。我们表明，一个简单的技巧，利用弱监督信号从相同的话，使更强大的感应，并建立一个近乎完美的相关性无监督双语词典的诱导性能和以前未探索的图形相似性度量。
2018-05-09 cs.CL cs.LG stat.ML
A Simple and Effective Approach to Robust Unsupervised Bilingual Dictionary Induction
Northeastern University（东北大学）；NiuTrans Research（小牛翻译研究院）；Nanjing University（南京大学）
基于初始化和自学习的无监督双语词典归纳方法在相似语言对中取得了很大的成功，例如，英语-西班牙语。但它们仍然失败，在许多遥远的语言对中的准确率为0%，例如，英日混血在这项工作中，我们表明，这种失败的结果之间的差距实际初始化性能和最低初始化性能的自学习成功。我们提出迭代降维来弥补这一差距。实验结果表明，该方法不影响相似语言对的识别性能，在英语与四种远距离语言（即汉语、汉语、英语、汉语）之间的识别准确率为13.64~55.53%，中文、日文、越南文和泰文。
2020-11-30 cs.CL
Multilingual Neural Machine Translation for Zero-Resource Languages
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；MMT Srl（MMT有限公司）
近年来，神经机器翻译（NMT）已被证明比基于短语的统计方法更有效，从而迅速成为机器翻译（MT）的最新技术。然而，NMT系统在翻译低资源语言方面受到限制，因为需要大量的并行数据来学习语言之间的有用映射。在这项工作中，我们展示了所谓的多语言NMT如何帮助解决与低资源语言翻译相关的挑战。多语言NMT的基本原理是在跨多种语言的共享语义空间中强制创建隐藏的单词表示，从而实现跨语言的正参数传输。沿着这个方向，我们提出了多语种翻译实验，三种语言（英语，意大利语，罗马尼亚语），涵盖六个翻译方向，利用循环神经网络和Transformer（或自我关注）神经网络。然后，我们专注于zero-shot翻译问题，即如何利用多语言数据来学习可用培训材料未涵盖的翻译方向。为此，我们引入了我们最近提出的迭代自训练方法，该方法仅依赖于单语数据，在zero-shot方向上逐步改进多语言NMT。我们对TED演讲数据的研究结果表明，多语言NMT优于传统的双语NMT，Transformer NMT优于递归NMT，zero-shot NMT优于传统的旋转方法，甚至与经过充分训练的双语系统的性能相匹配。
2019-09-16 cs.CL
Bilingual Embeddings with Random Walks over Multilingual Wordnets
UPV/EHU（巴斯克地区大学）
双语词嵌入在同一空间中表示两种语言的单词，并且允许在没有机器翻译的情况下将知识从一种语言转移到另一种语言。主要方法是首先训练单语嵌入，然后使用双语词典映射它们。在这项工作中，我们提出了一种新的方法来学习双语嵌入基于多语言知识库（KB），如WordNet。我们的方法通过随机游走从多语言词网中提取双语信息，并一次性学习联合嵌入空间。我们在流行的skipgram模型的损失函数中添加双语约束，进一步加强跨语言等效性。我们的实验涉及12个跨语言词汇相似度和相关度数据集，包括4种语言的6个语言对，实验结果表明：1）多语言词网的随机游走比仅使用词典的搜索结果有所改善; 2）多语言词网本身在相似度数据集上比基于文本的系统有所改善; 3）对于大的字网，（如英文、西班牙文）、较小的字网（例如巴斯克语）或松散对齐的词网（例如意大利语）; 4）词网和文本的组合产生最佳结果，高于基于映射的方法。我们的方法可以应用于更丰富的知识库，如DBpedia或Babel-Net，并可以很容易地扩展到多语言嵌入。所有软件和资源都是开源的。
2018-04-23 cs.AI cs.CL
Dual Learning for Machine Translation
University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；Microsoft Research（微软研究院）
虽然神经机器翻译（NMT）在过去两年取得了良好的进展，但它的训练需要数千万个双语句子对。然而，人类标签是非常昂贵的。为了解决这个训练数据瓶颈，我们开发了一种双重学习机制，它可以使NMT系统通过双重学习游戏从未标记的数据中自动学习。该机制受到以下观察的启发：任何机器翻译任务都具有双重任务，例如，英语到法语翻译（原始）与法语到英语翻译（双重）;原始任务和双重任务可以形成闭环，并生成信息反馈信号来训练翻译模型，即使没有人工标注器的参与。在双重学习机制中，我们使用一个代理来表示原始任务的模型，另一个代理来表示双重任务的模型，然后要求他们通过强化学习过程来相互教导。基于在该过程期间生成的反馈信号（例如，模型输出的语言模型似然性，以及原始和对偶翻译之后的原始句子的重构误差），我们可以迭代地更新两个模型直到收敛（例如，使用策略梯度方法）。我们将神经机器翻译的相应方法称为\emph{dual-NMT}。实验表明，双NMT在英语$\leftrightarrow$法语翻译上效果非常好;特别是，通过从单语数据（10%的双语数据用于热启动）学习，对于法语到英语翻译任务，它实现了与从全双语数据训练的NMT相当的准确性。
2016-11-01 cs.CL
Dictionary-based Data Augmentation for Cross-Domain Neural Machine Translation
Artificial Intelligence Application Research Center, Huawei Technologies（华为技术有限公司人工智能应用研究中心）；Beijing University of Posts and Telecommunications（北京邮电大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
现有的神经机器翻译（NMT）数据增强方法主要依赖于域内（IND）单语语料库的回译。这些方法遭受与域信息差距相关的问题，这导致低频和词汇表外术语的翻译错误。提出了一种基于字典的跨域NMT数据增强方法。DDA将领域词典与通用领域语料库相结合，自动生成大规模的伪IND并行语料库。生成的伪IND数据可用于增强一般领域训练的基线。实验表明，DDA增强的NMT模型表现出一致的显着改善，优于基线模型3.75-11.53 BLEU。所提出的方法也能够进一步提高性能的反向平移和IND微调的NMT模型。这种改进与DDA产生的增强域覆盖有关。
2020-04-06 cs.CL
DICT-MLM: Improved Multilingual Pre-Training using Bilingual Dictionaries
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
预训练的多语言模型，如mBERT，在几个自然语言处理（NLP）任务中表现出巨大的收益，特别是在zero-shot跨语言设置中。这些预先训练的模型中的大多数（如果不是全部）依赖于掩蔽语言建模（MLM）目标作为关键语言学习目标。这些方法背后的原理是，在周围文本的帮助下预测被屏蔽的单词有助于学习有效的上下文表征。尽管强大的表示学习能力，使MLM，我们表现出固有的限制MLM多语言表示学习。特别是，通过要求模型预测特定于语言的标记，MLM目标抑制了学习与语言无关的表示-这是多语言预训练的关键目标。因此，为了鼓励更好的跨语言表示学习，我们提出了DICT-MLM方法。DICT-MLM的工作原理是激励模型不仅能够预测原始掩码词，而且还能够预测其任何跨语言同义词。我们对30多种语言的多个下游任务的实证分析表明，所提出的方法的有效性及其学习更好的多语言表示的能力。
2020-10-23 cs.CL
Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）；University of Zurich（苏黎世大学）
神经机器翻译（NMT）的大规模多语言模型在理论上很有吸引力，但通常表现不佳的双语模型，并且提供较差的zero-shot翻译。在本文中，我们将探讨如何改善它们。我们认为，多语言NMT需要更强的建模能力，以支持不同类型特征的语言对，并通过语言特定的组件和深化NMT架构克服这一瓶颈。我们确定脱靶翻译问题（即翻译成错误的目标语言）作为低zero-shot性能的主要来源，并提出随机在线回译，以强制翻译看不见的训练语言对。在OPUS-100（一种包含100种语言的新型多语言数据集）上的实验表明，我们的方法在一对多和多对多设置中大大缩小了与双语模型的性能差距，并将zero-shot性能提高了约10 BLEU，接近传统的基于XML的方法。
2020-04-24 cs.CL
Generating bilingual example sentences with large language models as lexicography assistants
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）
本文研究大语言模型为不同资源水平语言生成双语词典例句的能力，发现其在低资源语言上表现下降，并提出用上下文学习对齐个体标注者偏好及用困惑度自动评分，同时贡献了600条评分数据集。
2024-11-19 cs.AI cs.CL
Unsupervised Word Mapping Using Structural Similarities in Monolingual Embeddings
The George Washington University（乔治华盛顿大学）
现有的大多数双语词典自动归纳方法依赖于源语言和目标语言之间的先验对齐，例如平行语料库或种子词典。对于许多语言对，这种监督对齐并不容易获得。我们提出了一种无监督的方法来学习一对语言的双语词典，因为它们是独立学习的单语词嵌入。该方法利用单语向量空间中的局部和全局结构来对齐它们，从而将相似的单词映射到彼此。我们的经验表明，使用我们提出的无监督的方法学习的双语通讯员的性能是相媲美的，使用监督的双语通讯员从种子字典。
2018-01-29 cs.CL
Diving Deep into Context-Aware Neural Machine Translation
eBay, Inc.（易趣公司）；RWTH Aachen University（亚琛工业大学）；Human Language Technology and Pattern Recognition GroupRWTH Aachen University（亚琛工业大学人类语言技术与模式识别小组）
上下文感知的神经机器翻译（NMT）是利用附加上下文（例如，文档级翻译，或具有元信息。虽然有各种各样的架构和分析，不同的上下文感知NMT模型的有效性还没有得到很好的探讨。本文分析了文档级NMT模型在四个不同领域的性能与不同数量的并行文档级双语数据。我们进行了一组全面的实验，以调查文档级NMT的影响。我们发现，文档级NMT没有单一的最佳方法，而是不同的架构在不同的任务中脱颖而出。看看特定于任务的问题，如代词解析或标题翻译，我们发现上下文感知系统的改进，即使在像BLEU这样的语料库级别指标没有显着改善的情况下。我们还表明，文档级回译显着有助于弥补缺乏文档级的双文本。
2020-10-19 cs.AI cs.CL
General2Specialized LLMs Translation for E-commerce
Alibaba Group（阿里巴巴集团）
针对电商文本术语多、语法问题多导致通用NMT效果差的问题，本文构建双语术语与平行语料，并提出自对比语义增强的G2ST两步微调范式，使通用LLM翻译模型适配电商领域且优于多种强基线。
2024-04-06 cs.AI cs.CL
A Probabilistic Translation Method for Dictionary-based Cross-lingual Information Retrieval in Agglutinative Languages
University of Tehran（德黑兰大学）
双语词典中的翻译歧义、词汇表外的词和漏译等问题使得基于词典的跨语言信息检索（CLIR）成为一项具有挑战性的任务。此外，在没有可靠词干的黏着语言中，双语词典中缺少各种词汇构成会降低CLIR的性能。本文的目的是引入一个概率翻译模型来解决歧义问题，并提供最可能的形式的字典候选。我们提出了最小编辑支持候选（MESC）方法，利用单语语料库和双语词典翻译用户的母语查询文档的语言。我们的实验表明，该方法优于最先进的基于字典的英语-波斯语CLIR。
2014-11-05 cs.CL cs.IR
Lost in Evaluation: Misleading Benchmarks for Bilingual Dictionary Induction
University of Copenhagen（哥本哈根大学）
双语词典归纳（BDI）任务通常用于跨语言词嵌入的内在评价。BDI最大的数据集是自动生成的，因此其质量值得怀疑。我们研究了来自该数据集的五种不同语言的测试集的组成和质量，并得出了相关的发现：（1）四分之一的数据由专有名词组成，这很难表明BDI的性能，（2）在黄金标准目标中存在普遍的差距。这些问题似乎会影响跨语言嵌入系统在不同语言上的排名，以及系统性能差异的总体程度。从数据中删除专有名词后，研究中包括的前两个系统之间的差距从3.4%增长到17.2%。另一方面，对预测的人工验证表明，金本位目标的差距人为地将两个系统之间的英国与保加利亚BDI之间的差额从0.1%扩大到6.7%。因此，我们建议未来的研究要么避免从BDI数据集的定量结果中得出结论，要么伴随着严格的误差分析进行评估。
2019-09-18 cs.CL
Learning Crosslingual Word Embeddings without Bilingual Corpora
IBM Research - Tokyo（IBM 东京研究院）；University of Melbourne（墨尔本大学）；National ICT Australia（澳大利亚国家信息通信技术研究院）；International Computer Science Institute（国际计算机科学研究所）
跨语言词嵌入在同一向量空间中表示来自不同语言的词汇项，从而实现NLP工具的传输。然而，以前的尝试有昂贵的资源需求，难以纳入单语数据或无法处理一词多义。我们解决这些缺点，在我们的方法中，利用高覆盖率的字典在EM风格的训练算法在两种语言的单语语料库。我们的模型实现了最先进的性能双语词汇归纳任务超过模型使用大型双语语料库，单语词相似性和跨语言文档分类任务的竞争结果。
2016-06-30 cs.AI cs.CL
