Continuous Learning in Neural Machine Translation using Bilingual Dictionaries
Maastricht University（马斯特里赫特大学）
虽然深度学习的最新进展导致机器翻译的显著改进，但神经机器翻译通常仍然无法持续适应环境。对于人类和机器翻译来说，双语词典是一个有前途的知识来源，可以不断地整合新知识。然而，它们的开发带来了一些挑战：系统需要能够执行一次性学习，以及对源语言和目标语言的形态进行建模。在这项工作中，我们提出了一个评估框架来评估神经机器翻译不断学习新短语的能力。我们将神经机器翻译的一次性学习方法与不同的单词表示相结合，并表明为了成功地使用双语词典，解决这两个问题是很重要的。通过解决这两个挑战，我们能够将新的、罕见的单词和短语的翻译能力从30%提高到70%。正确的引理甚至超过90%。
2021-02-12 cs.CL
Bilingual Synchronization: Restoring Translational Relationships with Editing Operations
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（跨学科数字科学实验室）；SYSTRAN（思迪翻译）
机器翻译（MT）通常被视为一个一次性的过程，从零开始生成与源文本等价的目标语言。我们在这里考虑一个更一般的设置，它假设一个初始的目标序列，必须转换成一个有效的翻译的来源，从而恢复源和目标之间的并行性。对于这个双语同步任务，我们考虑了几种架构（自回归和非自回归）和训练机制，并尝试了多种实际设置，如模拟交互式MT，翻译记忆库（TM）和TM清理。我们的研究结果表明，一个单一的通用编辑为基础的系统，一旦微调，可以比较，甚至优于，专门为这些任务训练的专用系统。
2022-10-24 cs.CL
Bilingual Dictionary Based Neural Machine Translation without Using Parallel Sentences
Soochow University（苏州大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；Westlake University（西湖大学）
在本文中，我们提出了一个新的任务机器翻译（MT），这是基于没有平行的句子，但可以参考地面真理双语词典。受单语者通过查找双语词典学习翻译的能力的启发，我们提出了一个任务，看看有多大的潜力，MT系统可以实现使用双语词典和大规模单语语料库，而独立于平行句子。我们建议锚定训练（AT）来解决这个问题。AT使用双语词典来建立锚点，以缩小源语言和目标语言之间的差距。在不同语言对上的实验表明，我们的方法明显优于各种基线，包括基于词典的逐字翻译，词典监督的跨语言词嵌入转换和无监督的MT。在无监督MT很难表现良好的远距离语言对上，AT表现得更好，达到了与在超过400万个并行句子上训练的有监督SMT相当的性能。
2020-07-06 cs.CL
Automatically Creating Bilingual Lexicons for Machine Translation from Bilingual Text
提出了一种通过从对齐的双语文本中提取双语条目来自动扩充现有机器翻译系统的双语词典的方法。所提出的方法仅依赖于MT系统本身中已经可用的资源。它是基于双语词汇模板的使用，以匹配在对齐的句子的分析中的终端符号。
1998-07-20 cmp-lg cs.CL
Unsupervised Neural Machine Translation Initialized by Unsupervised Statistical Machine Translation
National Institute of Information and Communications Technology（国立信息通信技术研究所）
最近的工作在以完全无监督的方式训练神经机器翻译（NMT）系统方面取得了显着的成果，该系统具有仅依赖于单语语料库的新的专用架构。在这项工作中，我们建议将无监督NMT（UNMT）定义为在合成双语数据的监督下训练的NMT。我们的方法直接支持使用最先进的架构，通过用合成双语数据代替人工双语数据进行训练，提出了监督NMT。我们建议用无监督统计机器翻译（USMT）生成的合成双语数据初始化UNMT的训练。然后，利用反向翻译，逐步改进联合国地雷行动组系统。我们的初步实验表明，我们的方法实现了一个新的国家的最先进的无监督机器翻译的WMT 16德-英新闻翻译任务，两个翻译方向。
2018-10-30 cs.CL
word2word: A Collection of Bilingual Lexicons for 3,564 Language Pairs
Kakao Brain
我们提出了word 2 word，一个公开的数据集和一个开源的Python包，用于从并行语料库中提取的跨语言单词翻译。我们的数据集在OpenSubtitles 2018中提供了62种语言的3，564（定向）语言对中的前k个单词翻译（Lison等人，2018年）。为了获得这个数据集，我们使用基于计数的双语词典提取模型的基础上观察，不仅源和目标词，而且源词本身可以高度相关。我们说明，由此产生的双语词典有很高的覆盖率，并达到竞争力的翻译质量的几种语言对。我们将数据集和模型包装在一个易于使用的Python库中，该库支持下载和检索任何支持的语言对中的前k个单词翻译，以及计算自定义并行语料库的前k个单词翻译。
2019-11-27 cs.CL
Resolving Out-of-Vocabulary Words with Bilingual Embeddings in Machine Translation
TALP Research Center（TALP研究中心）；Univesitat Politècnica de Catalunya（加泰罗尼亚理工大学）
词汇表外的单词在机器翻译系统中占很大比例的错误，特别是当系统在与训练它的领域不同的领域中使用时。为了缓解这个问题，我们建议使用一个基于对数双线性softmax的模型进行词汇扩展，这样，给定一个词汇外的源单词，该模型生成一个概率列表的可能的翻译在目标语言。我们的模型只使用在相当大的未标记单语语料库上训练的词嵌入，并在相当小的词到词的双语词典上训练。我们将此概率列表输入到标准的基于短语的统计机器翻译系统中，并在英语-西班牙语对上获得翻译质量的一致改进。特别是，我们得到了3.9 BLEU点的改进时，测试的域外测试集。
2016-08-05 cs.CL
Neural Machine Translation for Low Resource Languages using Bilingual Lexicon Induced from Comparable Corpora
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
非英语语言的资源是稀缺的，本文解决了这个问题的背景下，机器翻译，自动提取平行的句子对多语种的文章在互联网上。在本文中，我们使用了一个端到端的Siamese双向递归神经网络来从维基百科中的可比多语言文章中生成并行句子。随后，我们已经表明，使用收获的数据集提高了低资源语言对的NMT和基于短语的SMT系统的BLEU分数：英语-印地语和英语-泰米尔语，与专门在为这些语言对收集的有限双语语料库上进行训练相比。
2018-06-25 cs.CL
"Bilingual Expert" Can Find Translation Errors
Alibaba Group Inc.（阿里巴巴集团）
通过采用神经序列到序列模型，统计机器翻译的最新进展使端到端系统能够在许多WMT基准测试中达到最先进的水平。当提供黄金参考用于验证时，这种机器翻译（MT）系统的性能通常通过自动度量BLEU来评估。然而，对于模型推理或生产部署，黄金参考是禁止的，或者需要昂贵的人工注释和双语专业知识。为了解决质量评估（QE）的问题，没有参考，我们提出了一个通用的框架，自动评估的翻译输出的大多数WMT质量评估任务。我们首先建立了一个条件目标语言模型，一个新的双向Transformer，命名为神经双语专家模型，这是预先训练的大型并行语料库的特征提取。对于QE推理，双语专家模型可以同时产生源和翻译之间的联合潜在表示，以及基于从并行数据中学习的先验知识的可能错误的标记的实值测量。随后，这些特征将被进一步输入到一个简单的Bi-LSTM预测模型中进行质量评估。实验结果表明，我们的方法在WMT 2017/2018的质量估计跟踪中达到了最先进的性能。
2018-11-16 cs.CL
Exploring Representational Disparities Between Multilingual and Bilingual Translation Models
Center for Language and Speech Processing（语言与语音处理中心）；Human Language Technology Center of Excellence（卓越人类语言技术中心）
本文通过内在维度和IsoScore分析双语与多语言翻译模型的表征几何差异，发现多语言解码器表征各向同性更低且占用维度更少，其各向异性源于建模特定语言信息，进而限制了表征容量。
2024-03-26 cs.CL
Neural Machine Translation for Bilingually Scarce Scenarios: A Deep Multi-task Learning Approach
Faculty of Information Technology, Monash University（莫纳什大学信息技术学院）
神经机器翻译需要大量的并行训练文本来学习质量合理的翻译模型。这对于没有足够的平行文本的语言对来说尤其不方便。在本文中，我们使用单语的语言资源在源端来解决这个具有挑战性的问题的基础上的多任务学习方法。更具体地说，我们支架机器翻译任务的辅助任务，包括语义解析，句法分析，和命名实体识别。这有效地将语义和/或句法知识注入到翻译模型中，否则这将需要大量的训练双文本。我们实证评估，并显示我们的多任务学习方法的有效性三个翻译任务：英语到法语，英语到波斯语，英语到越南语。
2018-05-11 cs.CL
From Bilingual to Multilingual Neural Machine Translation by Incremental Training
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
多语言神经机器翻译方法基于特定任务模型的使用，并且只能通过重新训练整个系统来添加一种语言。在这项工作中，我们提出了一个新的训练计划，允许系统扩展到更多的语言，而无需修改以前的组件的基础上联合训练和语言独立的编码器/解码器模块，允许zero-shot翻译。这项正在进行的工作显示出与WMT任务最先进水平接近的结果。
2019-07-11 cs.CL
DiaBLa: A Corpus of Bilingual Spontaneous Written Dialogues for Machine Translation
University of Edinburgh（爱丁堡大学）；LIMSI（法国计算机科学与自动化研究所）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；Univ. Paris-Sud（巴黎南大学）
我们提出了一个新的英语-法语测试集的评估机器翻译（MT）的非正式，书面双语对话。测试集包含144个英语和法语母语者之间的自发对话（5，700多个句子），由两个神经MT系统之一在一系列角色扮演设置中进行调解。对话伴随着由对话参与者自己产生的对MT质量的细粒度级别判断，以及手动规范化版本和后验产生的参考翻译。语料库的动机是双重的：提供（i）一个独特的资源，用于评估机器翻译模型，和（ii）一个语料库的分析MT介导的通信。我们提供了一个初步的语料库分析，以确认参与者的判断揭示了两个MT系统之间的MT质量的可察觉的差异。
2019-05-30 cs.CL
Bilingual Mutual Information Based Adaptive Training for Neural Machine Translation
Beijing Jiaotong University（北京交通大学）；Tencent Inc（腾讯公司）；Institute of Automation, CAS（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近，令牌级自适应训练在机器翻译中取得了有希望的改进，其中通过为不同的令牌分配不同的训练权重来调整交叉熵损失函数，以减轻令牌不平衡问题。然而，以前的方法只使用目标语言中的静态词频信息，而不考虑源语言，这对于像机器翻译这样的双语任务是不够的。在本文中，我们提出了一种新的双语互信息（BMI）为基础的自适应目标，从双语的角度来衡量每个目标令牌的学习难度，并相应地分配一个自适应权重，以提高令牌级自适应训练。该方法将较大的训练权值分配给BMI值较高的标记，使得容易的标记以粗粒度更新，而困难的标记以细粒度更新。在WMT 14英-德和WMT 19中-英两种语言上的实验结果表明，与Transformer基线和以往的标记级自适应训练方法相比，该方法具有更好的性能。进一步的分析表明，该方法可以提高词汇的多样性。
2021-05-27 cs.CL
Assamese-English Bilingual Machine Translation
Gauhati University（高哈蒂大学）
机器翻译是将文本从一种语言翻译成另一种语言的过程。本文利用阿萨姆语和英语的平行语料库，对阿萨姆语和英语进行了统计机器翻译。这里使用了一个基于统计短语的翻译工具包Moses。为了开发语言模型和对齐单词，我们分别使用了另外两个工具IRSTLM和GIZA。BLEU评分用于检查我们的翻译系统性能，它有多好。在BLEU分数的差异，而获得翻译句子从阿萨姆语到英语，反之亦然。由于印度语言在形态上非常丰富，因此从英语到阿萨姆语的翻译相对较难，导致BLEU分数较低。我们的翻译系统还引入了一个统计音译系统，基本上处理专有名词，OOV（词汇表外）的话，这是不存在于我们的语料库。
2014-07-08 cs.CL
A Bilingual Parallel Corpus with Discourse Annotations
ETH Zürich（苏黎世联邦理工学院）；Microsoft Research Asia（微软亚洲研究院）
机器翻译（MT）几乎已经实现了人类翻译水平的平等。作为回应，机器翻译界部分地将其重点转移到了文档级翻译上。然而，文档级机器翻译系统的开发受到缺乏平行文档语料库的阻碍。本文介绍了BWB，一个大型并行语料库首次在Jiang et al.（2022）中引入，以及一个注释的测试集。BWB语料库由专家翻译成英文的中文小说组成，标注测试集旨在探索机器翻译系统对各种语篇现象建模的能力。我们的资源是免费提供的，我们希望它能为文档级机器翻译的更多工作提供指导和灵感。
2022-10-26 cs.CL
Fused Acoustic and Text Encoding for Multimodal Bilingual Pretraining and Speech Translation
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
近年来，文本和语音的表示学习已经成功地改善了许多与语言相关的任务。然而，所有现有的方法都受到两个限制：（a）它们仅从一种输入模态学习，而诸如端到端语音翻译的任务需要语音和文本的统一表示，并且因此，（b）它们不能利用各种大规模文本和语音数据，并且它们的性能受到并行语音翻译数据的稀缺性的限制。我们提出了一种融合的声学和文本掩蔽语言模型（FAT-MLM），其从各种类型的语料库（包括用于语音识别和机器翻译的并行数据，甚至纯语音和文本数据）联合学习声学和文本输入的统一表示。在此跨模态表示学习框架内，我们进一步提出了一个融合声学和文本语音翻译（FAT-ST）的端到端模型。三个翻译方向的实验表明，通过FAT-MLM的微调，我们提出的语音翻译模型大大提高了翻译质量，最高可达+5.9 BLEU。
2021-09-14 cs.CL
Improving Back-Translation with Uncertainty-based Confidence Estimation
ESTATES PTE LTD（六境私人有限公司）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Advanced Innovation Center for Language Resources（北京语言资源高精尖创新中心）
虽然回译在利用丰富的单语语料库来改进低资源神经机器翻译（NMT）方面简单有效，但由有限真实双语数据训练的NMT模型生成的合成双语语料库不可避免地存在噪声。在这项工作中，我们建议量化的信心NMT模型预测模型的不确定性的基础上。通过基于不确定性的词级和词级置信度度量，回译可以更好地应对合成双语语料库中的噪声。在汉英和英德翻译任务上的实验表明，基于不确定性的置信度估计显著提高了回译的性能。
2019-08-31 cs.CL
Log-linear Combinations of Monolingual and Bilingual Neural Machine Translation Models for Automatic Post-Editing
Adam Mickiewicz University in Poznań（波兹南亚当·密茨凯维奇大学）
本文介绍了AMU（亚当密茨凯维奇大学）团队提交的WMT 2016自动后期编辑（APE）任务。我们探索了神经翻译模型在APE问题中的应用，并通过将不同的模型视为对数线性模型中的组件来实现良好的结果，允许将多个输入（MT输出和源）解码为相同的目标语言（编辑后的翻译）。一个简单的字符串匹配惩罚集成在对数线性模型用于控制更高的忠实度方面的原始机器翻译输出。为了克服训练数据太少的问题，我们生成大量的人工数据。我们的提交在看不见的测试集上比未校正的基线提高了-3.2\% TER和+5.5\% BLEU，并且比提交给共享任务的任何其他系统都要好。
2016-06-23 cs.CL
Contextual Neural Model for Translating Bilingual Multi-Speaker Conversations
Monash University（莫纳什大学）；Unbabel
神经机器翻译的最新工作已经开始探索文档翻译。然而，在线多人对话的翻译仍然是一个悬而未决的问题。在这项工作中，我们提出了翻译双语多说话者对话的任务，并探讨神经架构，利用源和目标方的会话历史，这项任务。为了启动此任务的评估，我们引入了从Europarl v7和OpenSubtitles2016中提取的数据集。我们对四种语言对的实验证实了利用对话历史的重要性，无论是在BLEU还是手动评估方面。
2018-09-02 cs.CL
Neural machine translation, corpus and frugality
CNRS-CRLAO（法国国家科学研究中心-东亚语言研究中心）
在机器翻译领域，学术界和工业界都对越来越强大的系统越来越感兴趣，使用数亿到数十亿个示例的语料库。这些系统代表了最先进的技术水平。在这里，我们捍卫开发并行<<frugal>>双语翻译系统的想法，并使用相对较小的语料库进行训练。基于标准人类专业翻译的观察，我们估计语料库最多应由源语言的7500万个示例的单语子语料库、目标语言的600万个示例的第二单语子语料库和600万个双示例的对齐双语子语料库组成。一个不太理想的替代方案是一个4750万双示例的对齐双语语料库。
2021-01-26 cs.CL
Assessing the Bilingual Knowledge Learned by Neural Machine Translation Models
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
机器翻译（MT）系统通过从训练样本自动学习双语词典、语法和语义的深入知识来在不同语言之间翻译文本。虽然神经机器翻译（NMT）已经引领了机器翻译领域，但我们对它如何以及为什么工作的理解很差。在本文中，我们通过评估NMT模型与短语表（双语词典的可解释表）学习的双语知识来弥补这一差距。我们从NMT模型正确预测的训练样本中提取短语表。在广泛使用的数据集上的实验表明，该短语表是合理的，对语言对和随机种子是一致的。我们发现，NMT模型配备了可解释的短语表，学习模式从简单到复杂，并提取必要的双语知识的训练样本。我们还回顾了一些可能影响双语知识学习的进展（例如，翻译），并报告一些有趣的发现。我们相信，这项工作开辟了一个新的角度来解释NMT的统计模型，并提供了经验支持的最新进展，改进NMT模型。
2020-04-28 cs.CL cs.LG
Head Automata and Bilingual Tiling: Translation with Minimal Representations
我们提出了一个语言模型，由一个与短语的中心词相关的双向有限状态自动机的集合组成。该模型适用于词汇关联的增量应用，在动态规划搜索最佳依赖树派生。我们还提出了一个机器翻译的模型和算法，涉及最佳的“平铺”的依赖树与成本双语词典的条目。实验结果报告比较分配成本函数，这些模型的方法。最后，我们讨论了带注释的语言字符串作为机器翻译表示的充分性。
1996-07-03 cmp-lg cs.CL
Data Augmentation and Terminology Integration for Domain-Specific Sinhala-English-Tamil Statistical Machine Translation
University of Moratuwa（莫拉图瓦大学）
词汇不足是低资源语言的机器翻译中的一个问题。当源语言和/或目标语言在形态上丰富时，情况会变得更糟。双语列表集成是解决OOV问题的一种方法。这允许翻译比训练数据中更多的单词。然而，由于双语列表包含基本形式的单词，因此它不会翻译形态丰富的语言（如僧伽罗语和泰米尔语）的屈折形式。本文主要研究统计机器翻译中的数据增强技术，即基于格标记对双语词汇进行扩充以生成新词。字典术语的这种数据增强技术显示僧伽罗语-英语SMT的BLEU分数得到改善。
2021-02-03 cs.CL
Toward Machine Translation Literacy: How Lay Users Perceive and Rely on Imperfect Translations
University of Maryland, College Park（马里兰大学帕克分校）
本研究通过公共博物馆的人类研究（n=452），揭示了非双语用户因缺乏评估策略而过度依赖不完美机器翻译，强调需通过MT评估与NLP解释技术提升用户MT素养。
2025-10-11 cs.CL
Conditional Bilingual Mutual Information Based Adaptive Training for Neural Machine Translation
Beijing Jiaotong University（北京交通大学）；Tencent Inc（腾讯公司）
令牌级自适应训练方法可以缓解令牌不平衡问题，从而通过基于特定统计度量（例如，令牌频率或互信息）。鉴于标准的翻译模型预测的条件下，以前的目标上下文，我们认为，上述统计指标忽略了目标上下文信息，并可能分配不适当的权重目标令牌。虽然一种可能的解决方案是直接将目标上下文纳入这些统计度量中，但目标上下文感知统计计算是极其昂贵的，并且相应的存储开销是不现实的。为了解决上述问题，我们提出了一个目标上下文感知的度量，命名为条件双语互信息（CBMI），这使得它可行的补充目标上下文信息的统计度量。特别地，我们的CBMI可以通过分解条件联合分布形式化为翻译模型概率和语言模型概率的对数商。因此，CBMI可以在模型训练期间有效地计算，而无需任何预先特定的统计计算和大量的存储开销。此外，我们提出了一个有效的自适应训练方法的基础上的令牌和令牌级CBMI。在WMT 14英-德和WMT 19中-英任务上的实验结果表明，该方法的性能明显优于Transformer基线和其他相关方法。
2022-03-06 cs.CL
Can Synthetic Translations Improve Bitext Quality?
University of Maryland（马里兰大学）
合成翻译已被广泛用于NLP任务，主要作为数据增强的一种手段。相反，这项工作探讨了如何合成翻译可以用来修改潜在的不完善的参考翻译挖掘的bitext。我们发现，合成样本可以提高bitext的质量，而无需任何额外的双语监督时，他们取代原来的语义等价分类，有助于减轻NMT噪声的基础上。通过人工评估和双语归纳和机器翻译任务的提取，从本质上证实了修改后的双语文本质量的提高。
2022-03-15 cs.CL
Bilingual Terminology Extraction from Comparable E-Commerce Corpora
Soochow University（苏州大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
双语术语是电子商业领域中重要的机器翻译资源，通常采用人工翻译或从并行数据中自动提取的方式。人工翻译成本高，而电子商业平行语料库又非常缺乏。但是，同一商品领域的不同语言的可比数据是丰富的。在本文中，我们提出了一个新的框架提取电子商务双语术语可比数据。得益于电子商业中的跨语言预训练，该框架能够充分利用源端术语和目标端句子之间的深层语义关系，提取出相应的目标术语。对不同语言对的实验结果表明，我们的方法比各种强基线实现了更好的性能。
2022-07-29 cs.CL
Look It Up: Bilingual Dictionaries Improve Neural Machine Translation
University of Notre Dame（圣母大学）
尽管神经机器翻译（NMT）的质量有所提高，但生僻词仍然存在问题。对于人类来说，解决罕见词问题的方法一直是字典，但字典不能直接纳入NMT。在本文中，我们描述了一种将字典定义“附加”到稀有单词的新方法，以便网络可以学习使用它们的最佳方式。我们展示了高达1.8 BLEU使用双语词典的改进。
2022-01-28 cs.AI cs.CL cs.LG
Bilingual is At Least Monolingual (BALM): A Novel Translation Algorithm that Encodes Monolingual Priors
University of Pennsylvania（宾夕法尼亚大学）
最先进的机器翻译（MT）模型不使用任何单一语言结构的知识;这相当于要求某人在不懂任何语言的情况下从英语翻译成德语。BALM是一个框架，它将单语先验知识整合到MT管道中;通过使用BERT将输入和输出语言转换到嵌入式空间中，我们可以用更简单的模型解决机器翻译。我们发现，Multi 30 k数据集上的英语到德语的翻译可以在BALM框架下用一个简单的前馈网络来解决，其分数接近SOTA BLEU。
2019-08-30 cs.CL cs.LG
Effective Parallel Corpus Mining using Bilingual Sentence Embeddings
Google AI（谷歌人工智能）；Carnegie Mellon University（卡内基梅隆大学）
提出了一种基于双语句子嵌入的并行语料挖掘方法。我们的嵌入模型经过训练，专门为相互翻译的双语句子对生成类似的表示。这是使用一种新的训练方法来实现的，该方法引入了由不是翻译但具有一定程度语义相似性的句子组成的硬否定。通过并行语料库重建和评估在黄金句子对与挖掘句子对上训练的机器翻译系统来评估所得到的嵌入的质量。我们发现，句子嵌入可以用来重建联合国平行语料库在句子层面上的准确率为48.9%的en-fr和54.9%的en-es。当适应文档级匹配时，我们实现了与[Jakob 2010]的计算密集型方法相当的并行文档匹配精度。使用重建的并行数据，我们能够训练NMT模型，这些模型的性能几乎与在原始数据上训练的模型一样好（在1-2 BLEU内）。
2018-08-02 cs.CL
SAHAAYAK 2023 -- the Multi Domain Bilingual Parallel Corpus of Sanskrit to Hindi for Machine Translation
Asha M. Tarsadia Institute of Computer Science and Technology（阿莎·M·塔萨迪亚计算机科学与技术学院）；Uka Tarsadia University（乌卡·塔萨迪亚大学）
本文提出了名为 SAHAAYAK 2023 的大型多领域梵语-印地语双语平行语料库，包含 1.5M 句对，通过三步挖掘与规范化流程构建，可直接用于机器翻译算法。
2023-06-27 cs.CL
Bilingual Words and Phrase Mappings for Marathi and Hindi SMT
Indian Institute of Technology (IIT) Bombay（印度理工学院孟买分校）
缺乏合适的语言资源是机器翻译系统在处理资源贫乏语言时面临的主要挑战。在本文中，我们描述了有效的方法来利用词汇资源，以提高质量的统计机器翻译。我们对词汇资源使用的研究主要集中在两个方面，如：增加平行语料库的词汇量和提供多样化的词形。我们增加了各种词汇资源，如词汇词，功能词，kridanta对和动词短语的训练语料库。我们已经描述了马拉地语到印地语和印地语到马拉地语机器翻译系统的案例研究、评估和详细的错误分析。从评估中我们观察到，随着各种词汇资源使用的增加，机器翻译的质量也在不断提高。此外，在平行语料库有限的情况下，使用各种词汇资源有助于提高机器翻译的覆盖率和质量。
2017-11-10 cs.CL
Bilingual Sentiment Embeddings: Joint Projection of Sentiment Across Languages
Institut für Maschinelle Sprachverarbeitung（机械语言处理研究所）；University of Stuttgart（斯图加特大学）
低资源语言中的情感分析缺乏注释语料库来估计高性能模型。机器翻译和双语词嵌入通过跨语言情感方法提供了一些缓解。然而，它们要么需要大量的并行数据，要么不能充分捕获情感信息。我们引入双语情感嵌入（BLSE），共同代表情感信息的源和目标语言。该模型只需要一个小的双语词典，一个源语言语料库注释的情绪，和每种语言的单语词嵌入。我们对三种语言组合（西班牙语、加泰罗尼亚语、巴斯克语）进行了句子级跨语言情感分类实验，发现我们的模型在六个实验设置中的四个上显着优于最先进的方法，并且捕获了补充信息到机器翻译。我们对所得到的嵌入空间的分析提供了证据，证明它代表了资源贫乏的目标语言中的情感信息，而没有该语言中的任何注释数据。
2018-05-23 cs.CL
A Deep Reinforced Model for Zero-Shot Cross-Lingual Summarization with Bilingual Semantic Similarity Rewards
Carnegie Mellon University（卡内基梅隆大学）
跨语言文本摘要的目的是在一种语言输入的情况下生成另一种语言的文档摘要。这是一项具有实际意义的重要任务，但尚未得到充分探讨，主要原因是缺乏可用数据。现有的方法求助于机器翻译来合成训练数据，但是这样的流水线方法遭受错误传播。在这项工作中，我们提出了一个端到端的跨语言文本摘要模型。该模型使用强化学习来直接优化以目标语言生成的摘要与以源语言生成的黄金摘要之间的双语语义相似性度量。我们还介绍了利用单语摘要和机器翻译目标对模型进行预训练的技术。在英汉和英德两种跨语言摘要环境下的实验结果证明了本文方法的有效性。此外，我们发现，以双语语义相似度作为奖励的强化学习模型比强基线生成更流畅的句子。
2020-06-27 cs.CL
Bilingual Corpus Mining and Multistage Fine-Tuning for Improving Machine Translation of Lecture Transcripts
NICT（日本国立信息通信技术研究所）；Kyoto University（京都大学）；NII（日本国立信息学研究所）
针对课堂讲稿翻译缺乏公开平行语料的问题，提出基于动态规划的句子对齐算法从Coursera挖掘平行语料，结合多阶段微调提升翻译质量，还公开了语料与代码。
2023-11-07 cs.CL
Bi-Lexical Rules for Multi-Lexeme Translation in Lexicalist MT
本文提出了一个原型词典机器翻译系统（基于Whitelock（1992）的所谓的“摇烤”方法，包括一个分析组件，一个动态双语词典，和一个生成组件，并显示了它是如何应用到一系列的MT问题。多词汇翻译是通过双词汇规则来处理的，双词汇规则将双语词汇符号映射成新的双语词汇符号。有人认为，许多翻译可以处理等同的词汇符号，无论是直接在双语词典，或通过双词汇的规则推导出他们的等效列表。组织为Qualia结构的词汇语义信息（Pustejovsky 1991）被用作限制规则域的机制。
1995-08-12 cmp-lg cs.CL
Bilingual Lexicon Induction through Unsupervised Machine Translation
IXA NLP Group（IXA自然语言处理研究组）；University of the Basque Country (UPV/EHU)（巴斯克大学）
最近的一项研究在双语词典归纳方面取得了很好的成果，即通过对齐两种语言中独立训练的词嵌入，并使用所得到的跨语言嵌入通过最近邻或相关检索方法来归纳词翻译对。在本文中，我们提出了一种替代方法，这个问题的基础上，最近的工作无监督机器翻译。这种方式，而不是直接从跨语言嵌入中诱导双语词典，我们使用它们来构建短语表，将其与语言模型相结合，并使用由此产生的机器翻译系统来生成一个合成的平行语料库，从其中我们使用统计词对齐技术提取双语词典。因此，我们的方法可以与任何词嵌入和跨语言映射技术，它不需要任何额外的资源，除了用于训练嵌入的单语语料库。当在完全相同的跨语言嵌入上进行评估时，我们提出的方法比最近邻平均提高了6个精度点，比CSLS检索平均提高了4个精度点，在标准MUSE数据集中建立了一个新的最先进的技术。
2019-07-24 cs.AI cs.CL cs.LG
Bilingual Dictionary-based Language Model Pretraining for Neural Machine Translation
Univ. of Maryland（马里兰大学）
最近的研究表明，通过应用跨语言语言模型预训练（Lample和Conneau，2019），特别是翻译语言模型（TLM），神经机器翻译的性能得到了明显的改善。为了减轻TLM对昂贵的并行语料库的需求，在这项工作中，我们将词典中的翻译信息纳入预训练过程，并提出了一种新的基于双语词典的语言模型（BDLM）。我们评估我们的BDLM中文，英语和罗马尼亚语。对于中文-英文，我们在WMT-News 19（Tiedemann，2012）上获得了55.0 BLEU，在WMT 20新闻评论上获得了24.3 BLEU，优于Vanilla Transformer（Vaswani et al.，2017年）分别超过8.4 BLEU和2.3 BLEU。根据我们的实验结果，BDLM在收敛速度和预测生僻字方面也有优势。WMT 16罗马尼亚语-英语BLEU的增加也表明了其在低资源语言翻译中的有效性。
2021-03-12 cs.AI cs.CL cs.LG
English2Gbe: A multilingual machine translation model for {Fon/Ewe}Gbe
Masakhane NLP；Ai4Innov
语言是解放的一个重要因素。不幸的是，在2,000多种非洲语言中，大多数都是低资源的。该社区最近使用机器翻译来复兴和加强几种非洲语言。然而，经训练的模型通常是双语的，导致潜在指数数量的模型要训练和维护以覆盖所有可能的翻译方向。此外，双语模型没有利用某些语言之间的相似性。因此，多语言神经机器翻译（NMT）获得了相当大的兴趣，特别是对于低资源的语言。然而，社区的采用仍然有限。本文介绍了English 2Gbe，一个多语种的NMT模型，能够从英语翻译到Ewe或Fon。使用Sacrebleu（Post，2018）软件包计算的BLEU，CHRF和TER分数进行再现性分析，我们表明English 2Gbe优于双语模型（英语到Ewe和英语到Fon），并在Nekoto等人建立的Fon JW 300基准上给出了最先进的结果。我们希望这项工作将有助于社区内多语言模型的大规模采用。我们的代码可以从Github访问。
2021-12-13 cs.CL
Cross-Lingual Sentiment Analysis Without (Good) Translation
University of Toronto（多伦多大学）
目前的跨语言情感分析方法试图利用双语词典、双语向量空间嵌入或机器翻译系统来利用大量的标记英语数据。在这里，我们表明，它是可以使用一个单一的线性变换，少至2000字对，捕捉细粒度的情感关系，在跨语言设置的话。我们将这些跨语言情感模型应用到一组不同的任务中，以证明它们在非英语环境中的功能。通过有效地利用英语情感知识，而不需要准确的翻译，我们可以以非常低的成本从其他语言中分析和提取具有稀缺数据的特征，从而使许多语言的情感和相关分析变得廉价。
2017-10-24 cs.CL
Shared-Private Bilingual Word Embeddings for Neural Machine Translation
Northeastern University（东北大学）；University of Macau（澳门大学）；Tsinghua University（清华大学）
词嵌入是神经机器翻译的核心内容，近年来引起了广泛的研究兴趣。在NMT中，源嵌入扮演入口的角色，而目标嵌入扮演终端的角色。这些层占据了表示学习的大部分模型参数。此外，它们通过软注意力机制间接地相互作用，这使得它们相对孤立。在本文中，我们提出了共享私有的双语词嵌入，它给出了一个更密切的关系之间的源和目标嵌入，也减少了模型参数的数量。对于相似的源词和目标词，它们的嵌入倾向于共享一部分特征，并且它们合作学习这些共同的表征单元。在属于6个不同语系的5个语言对上进行的实验表明，该模型在使用更少的模型参数的情况下，在强基线上提供了显着的性能提升。
2019-06-07 cs.AI cs.CL
Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）；University of Zurich（苏黎世大学）
神经机器翻译（NMT）的大规模多语言模型在理论上很有吸引力，但通常表现不佳的双语模型，并且提供较差的zero-shot翻译。在本文中，我们将探讨如何改善它们。我们认为，多语言NMT需要更强的建模能力，以支持不同类型特征的语言对，并通过语言特定的组件和深化NMT架构克服这一瓶颈。我们确定脱靶翻译问题（即翻译成错误的目标语言）作为低zero-shot性能的主要来源，并提出随机在线回译，以强制翻译看不见的训练语言对。在OPUS-100（一种包含100种语言的新型多语言数据集）上的实验表明，我们的方法在一对多和多对多设置中大大缩小了与双语模型的性能差距，并将zero-shot性能提高了约10 BLEU，接近传统的基于XML的方法。
2020-04-24 cs.CL
Controlling Neural Machine Translation Formality with Synthetic Supervision
Amazon AWS AI（亚马逊AWS人工智能）；University of Maryland（马里兰大学）
这项工作的目的是产生翻译，传达源语言内容在正式的水平，是适合特定的观众。将这个问题框架为神经序列到序列任务，理想情况下需要训练由标有目标语言形式的双语句子对组成的三元组。然而，在实践中，现有的训练样本仅限于不同风格的英语句子对和形式不明的双语平行句。我们为多任务模型引入了一种新的训练方案，该方案通过动态推断缺失的元素来自动生成合成训练三元组，从而实现端到端训练。全面的自动和人工评估表明，我们的最佳模型通过生成更好地匹配所需正式级别的翻译，同时保留源含义，从而优于现有模型。
2019-11-28 cs.CL
Advancing Multilingual Pre-training: TRIP Triangular Document-level Pre-training for Multilingual Language Models
The Chinese University of Hong Kong（香港中文大学）；Microsoft Corporation（微软公司）
针对多语言预训练依赖单语和双语语料而限制文档级跨语言任务性能的问题，提出TRIP方法，利用三语平行语料并通过Grafting方法将预训练目标加速为三语目标，在多个基准上取得SOTA结果。
2023-05-13 cs.CL
Multitask Finetuning for Improving Neural Machine Translation in Indian Languages
Savitribai Phule Pune University（萨维特里拜·普纳大学）
基于Transformer的语言模型在自然语言处理的所有领域都取得了令人印象深刻的结果。在语言建模任务上对这些模型进行预训练，并在文本分类、问答和神经机器翻译等下游任务上对它们进行微调，一直显示出示范性的结果。在这项工作中，我们提出了一个多任务微调方法，它结合了双语机器翻译任务与辅助因果语言建模任务，以提高性能的前一个任务上的印度语言。我们对三种语言对进行了实证研究，马拉地语-印地语，马拉地语-英语和印地语-英语，在那里我们将多任务微调方法与标准微调方法进行了比较，为此我们使用了mBART 50模型。我们的研究表明，多任务微调方法可能是一种比标准微调更好的技术，可以提高跨语言对的双语机器翻译。
2021-12-03 cs.CL
Joint Pre-Training with Speech and Bilingual Text for Direct Speech to Speech Translation
Microsoft Research Asia（微软亚洲研究院）
直接语音到语音翻译（S2 ST）是一个有吸引力的研究课题，与级联S2 ST相比具有许多优点。然而，直接S2 ST遭受数据稀缺的问题，因为从源语言的语音到目标语言的语音的语料库是非常稀少的。为了解决这个问题，我们在本文中提出了一个Speech 2S模型，该模型使用未配对的语音和双语文本数据进行联合预训练，用于直接语音到语音翻译任务。通过有效地利用成对的文本数据，Speech 2S能够建模从源语言到目标语言的跨语言语音转换。我们在Europarl-ST和VoxPopuli数据集上验证了所提出的Speech 2S的性能。实验结果表明，与仅编码器的预训练模型相比，Speech 2S的BLEU分数提高了约5分，并且比现有的最先进的模型1具有竞争力甚至更好的性能。
2022-10-31 cs.CL cs.SD eess.AS
Multilingual Neural Machine Translation with Deep Encoder and Multiple Shallow Decoders
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI（脸书人工智能研究院）
最近在多语言翻译方面的工作使用具有更大容量的深度Transformer模型，提高了翻译质量，超过了双语基线。然而，这种方法引入的额外延迟和存储器成本可能使其对于效率受限的应用不可接受。最近有研究表明，双语翻译使用深度编码器和浅层解码器（DESD）可以减少推理延迟，同时保持翻译质量，因此我们研究了多语言翻译的类似速度-准确性权衡。我们发现，对于多对一的翻译，我们确实可以使用这种方法在不牺牲质量的情况下提高解码器速度，但对于一对多的翻译，浅解码器会导致明显的质量下降。为了改善这种下降，我们提出了一个深编码器与多个浅解码器（DEMSD），其中每个浅解码器负责目标语言的不相交子集。具体而言，与标准Transformer模型相比，具有2层解码器的DEMSD模型能够获得平均1.8倍的加速，而不会降低翻译质量。
2022-06-05 cs.CL
Training a Bilingual Language Model by Mapping Tokens onto a Shared Character Space
Reichman University（赖希曼大学）
本文通过将阿拉伯语文本转写为希伯来文字，在共享字符空间上训练双语语言模型，以较小数据集在阿-希双向机器翻译中取得与更大模型可比的效果。
2024-02-25 cs.CL cs.LG
On the Limitations of Unsupervised Bilingual Dictionary Induction
University of Copenhagen（哥本哈根大学）；National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校）；Aylien Ltd.（艾利恩有限公司）；University of Cambridge（剑桥大学）
无监督机器翻译-即，不假设任何跨语言的监督信号，无论是字典、翻译还是可比语料库-似乎是不可能的，但尽管如此，Lample等人（2018）最近提出了一个完全无监督的机器翻译（MT）模型。该模型严重依赖于用于双语词典归纳的词嵌入空间的对抗性、无监督对齐（Conneau等人，2018年，我们在这里进行了研究。我们的研究结果确定了当前无监督MT的局限性：当使用来自不同领域或不同嵌入算法的单语语料库时，无监督双语词典归纳在形态丰富的语言上表现得更差。我们表明，一个简单的技巧，利用弱监督信号从相同的话，使更强大的感应，并建立一个近乎完美的相关性无监督双语词典的诱导性能和以前未探索的图形相似性度量。
2018-05-09 cs.CL cs.LG stat.ML
Dual Learning for Machine Translation
University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；Microsoft Research（微软研究院）
虽然神经机器翻译（NMT）在过去两年取得了良好的进展，但它的训练需要数千万个双语句子对。然而，人类标签是非常昂贵的。为了解决这个训练数据瓶颈，我们开发了一种双重学习机制，它可以使NMT系统通过双重学习游戏从未标记的数据中自动学习。该机制受到以下观察的启发：任何机器翻译任务都具有双重任务，例如，英语到法语翻译（原始）与法语到英语翻译（双重）;原始任务和双重任务可以形成闭环，并生成信息反馈信号来训练翻译模型，即使没有人工标注器的参与。在双重学习机制中，我们使用一个代理来表示原始任务的模型，另一个代理来表示双重任务的模型，然后要求他们通过强化学习过程来相互教导。基于在该过程期间生成的反馈信号（例如，模型输出的语言模型似然性，以及原始和对偶翻译之后的原始句子的重构误差），我们可以迭代地更新两个模型直到收敛（例如，使用策略梯度方法）。我们将神经机器翻译的相应方法称为\emph{dual-NMT}。实验表明，双NMT在英语$\leftrightarrow$法语翻译上效果非常好;特别是，通过从单语数据（10%的双语数据用于热启动）学习，对于法语到英语翻译任务，它实现了与从全双语数据训练的NMT相当的准确性。
2016-11-01 cs.CL
Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation
LMU Munich（慕尼黑大学）
无监督神经机器翻译（UNMT）的成功方法是通过自我监督进行跨语言预训练，通常以掩蔽语言建模或序列生成任务的形式进行，这需要模型对齐两种语言的词汇和高级表示。虽然跨语言预训练适用于具有丰富语料库的相似语言，但它在低资源和遥远的语言中表现不佳。以前的研究表明，这是因为表征没有充分对齐。在本文中，我们加强双语掩蔽语言模型预训练与词汇级信息，通过使用类型级跨语言子词嵌入。实证结果表明，使用我们的方法与UNMT基线相比，UNMT（高达4.5 BLEU）和双语词典归纳的性能都有所改善。
2021-04-14 cs.CL
Don't Go Far Off: An Empirical Study on Neural Poetry Translation
Columbia University（哥伦比亚大学）
尽管机器翻译质量不断提高，但由于缺乏开源的并行诗歌语料库，以及保留诗歌的语义，风格和比喻性质所涉及的内在复杂性，自动诗歌翻译仍然是一个具有挑战性的问题。我们从几个方面对诗歌翻译进行了实证研究：1）训练数据的大小和风格（诗歌与非诗歌），包括zero-shot设置; 2）双语与多语言学习;以及3）特定于语言家族的模型与混合多语言模型。为了实现这一点，我们贡献了一个并行数据集的诗歌翻译几种语言对。我们的研究结果表明，多语言微调的诗歌文本显着优于多语言微调的非诗歌文本是35倍大的大小，无论是在自动指标（BLEU，BERTScore）和人类的评价指标，如忠诚度（意义和诗歌风格）。此外，对诗歌数据的多语言微调优于对诗歌数据的\emph{bilingual}微调。
2021-09-10 cs.CL
Word and Phrase Translation with word2vec
单词和短语表是机器翻译的关键输入，但制作成本很高。新的无监督学习方法在高维向量空间中表示单词和短语，这些单语嵌入已被证明可以编码语言元素之间的句法和语义关系。这些嵌入捕获的信息可以通过学习转换矩阵来用于双语翻译，该转换矩阵允许在两个单语向量空间中匹配相对位置。该方法旨在从未标记的数据中更经济有效地识别高质量的单词和短语翻译候选。本文将以前的双语翻译尝试的范围扩大到四种语言（英语，德语，西班牙语和法语）。它展示了如何处理源数据，训练一个神经网络来学习各个语言的高维嵌入，并扩展了测试英语之外的质量的框架。此外，它还展示了如何学习双语转换矩阵，获得单词和短语翻译的候选项，并评估其质量。
2018-04-24 cs.AI cs.CL
