A Novel Chinese Dialect TTS Frontend with Non-Autoregressive Neural Machine Translation
Bytedance AI-Lab（字节跳动人工智能实验室）
汉语方言是汉语的不同变体，与普通话同属一个语系。虽然它们都使用汉字，但发音、语法和成语可能差异很大，即使是当地人也很难输入正确的方言书面形式。此外，使用普通话文本作为文本到语音输入将生成自然度较差的语音。本文提出了一种新的带有翻译模块的汉语方言TTS前端，将普通话文本转换为方言表达，以提高合成语音的可懂度和自然度。提出了一种具有多种技巧的非自回归神经机器翻译模型。这是第一个已知的工作，将翻译与TTS前端。在粤语和普通话输入下的实验结果表明，该模型的BLEU提高了2.56，TTS提高了0.27 MOS。
2022-12-12 cs.CL cs.SD eess.AS
Incorporating Structural Alignment Biases into an Attentional Neural Translation Model
University of Melbourne（墨尔本大学）；Microsoft Research（微软研究院）；Carnegie Mellon University（卡内基梅隆大学）；Monash University（莫纳什大学）
机器翻译的神经编码器-解码器模型已经取得了令人印象深刻的结果，可以与传统的翻译模型相媲美。然而，他们的建模公式过于简单化，并省略了传统模型中内置的几个关键归纳偏差。在本文中，我们扩展了注意力神经翻译模型，以包括基于单词的对齐模型的结构偏差，包括位置偏差、马尔科夫条件反射、繁殖力和翻译方向的一致性。我们显示了基线注意力模型和基于短语的标准模型在几种语言对上的改进，在低资源环境下对困难的语言进行评估。
2016-01-06 cs.CL
When do Contrastive Word Alignments Improve Many-to-many Neural Machine Translation?
Kyoto University（京都大学）；NICT（日本信息通信研究机构）
单词对齐已被证明有利于多对多神经机器翻译（NMT）。然而，在以前的方法中，高质量的地面实况双语词典被用于预编辑，这对于大多数语言对是不可用的。同时，对比目标可以隐含地利用自动学习的词对齐，这在多对多NMT中还没有被探索。这项工作提出了一个词级的对比目标，利用词对齐多对多NMT。实证结果表明，这导致了0.8 BLEU增益为几个语言对。分析表明，在多对多NMT中，编码器的句子检索性能与翻译质量高度相关，这解释了所提出的方法何时影响翻译。这激发了未来对多对多NMT的探索，以提高编码器的句子检索性能。
2022-04-26 cs.CL
Saliency-driven Word Alignment Interpretation for Neural Machine Translation
Center for Language and Speech Processing（语言与语音处理中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
尽管其最初的目标是共同学习对齐和翻译，但神经机器翻译（NMT）模型，特别是Transformer，通常被认为不学习可解释的单词对齐。在本文中，我们证明了NMT模型确实学习了可解释的词对齐，这只能通过适当的解释方法来揭示。我们提出了一系列这样的方法，是模型不可知的，能够应用于离线或在线，并且不需要参数更新或架构更改。我们表明，在强制解码设置下，我们的解释方法引起的对齐比快速对齐的一些系统的质量更好，当执行自由解码，他们同意以及自动对齐工具引起的对齐。
2019-06-27 cs.CL
Jointly Learning to Align and Translate with Transformer Models
Apple Inc.（苹果公司）
机器翻译（MT）的现有技术由神经方法控制，神经方法通常提供优于统计方法的翻译准确性。然而，在密切相关的词对齐任务上，传统的统计词对齐模型往往仍然是首选的解决方案。在本文中，我们提出了一种方法来训练一个Transformer模型，以产生准确的平移和对齐。我们从常规神经机器翻译模型训练期间学习的注意力概率中提取离散对齐，并在多任务框架中利用它们来优化翻译和对齐目标。我们证明，我们的方法产生竞争力的结果相比，GIZA++训练的IBM对齐模型，而不牺牲翻译的准确性和优于以前的尝试基于Transformer模型的单词对齐。最后，通过将IBM模型对齐纳入我们的多任务训练，我们报告了在三个公开数据集上与GIZA++相比显著更好的对齐精度。
2019-09-04 cs.CL
Adding Interpretable Attention to Neural Translation Models Improves Word Alignment
Lilt, Inc.（Lilt公司）
与更简单和更浅的模型相比，每层具有多个注意力头的多层模型提供了更好的翻译质量，但因此确定什么源上下文与每个目标词最相关更具挑战性。因此，从最先进的神经机器翻译模型的激活中获得高精度的单词对齐是一个开放的挑战。我们提出了一个简单的模型扩展的Transformer架构，利用其隐藏的表示，并仅限于参加编码器信息预测下一个字。它可以在没有单词对齐信息的双语数据上训练。我们进一步引入了一种新的对齐推理过程，该过程应用随机梯度下降来直接优化对给定目标词的注意激活。由此产生的对齐显着优于天真的方法来解释Transformer的注意力激活，并与吉萨++在两个公开的数据集。
2019-01-31 cs.CL
STAR : Sentence Translation Alignment Rate for Document-to-Document Machine Translation
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Alibaba Group（阿里巴巴集团）
该研究针对文档到文档机器翻译的结构对齐问题，提出STAR指标与StarPO框架，实验显示StarPO可提升翻译质量与结构完整性，还能让小型模型超越GPT-4o等大型系统并保持更优令牌效率。
2026-08-28 cs.CL
Cross-lingual Human-Preference Alignment for Neural Machine Translation with Direct Quality Optimization
LILT；Amazon（亚马逊）
本文提出DQO方法，用预训练翻译质量估计模型替代人类偏好，并将DPO式对齐用于NMT，仅在部分语言上训练即可提升多语言模型的整体翻译质量。
2025-09-29 cs.CL
Sentence Alignment with Parallel Documents Facilitates Biomedical Machine Translation
Tsinghua University（清华大学）；Chinese Academy of Medical Sciences/Peking Union Medical College（中国医学科学院/北京协和医学院）
目的：当今的神经机器翻译（NMT）可以达到接近人类水平的翻译质量，并极大地促进了国际交流，但缺乏平行语料库是开发高度专业化领域（如生物医学）翻译系统的关键问题。这项工作提出了一个无监督的算法，通过使用句子对齐从文档级翻译中获得并行语料库，并探讨了训练材料如何影响生物医学NMT系统的性能。材料与方法：通过混合文档级翻译来训练双语词嵌入（BWEs）以评估跨语言词相似度，并通过结合句子的语义和位置相似度来定义句子距离。句子的对齐被公式化为一个扩展的推土机距离问题。利用UpToDate中的双语文章和PubMed摘要的译文，利用该算法构建了一个汉英生物医学平行语料库，并将其用于NMT的训练和评估。结果如下：在两个手动对齐的翻译数据集上，该算法在1对1的情况下实现了准确的句子对齐，在多对多的情况下优于竞争算法。针对生物医学数据进行微调的NMT模型显著提高了域内翻译质量（zh-en：+17.72 BLEU; en-zh：+17.02 BLEU）。训练数据的大小和不同语料库的组合都会显著影响模型的性能。结论：该算法放松了句子对齐的假设，有效地生成准确的翻译对，有利于训练高质量的生物医学NMT模型。
2022-02-07 cs.CL
Supervised Attentions for Neural Machine Translation
T.J. Watson Research Center（沃森研究中心）；IBM
在本文中，我们通过利用训练句子对的对齐来提高神经机器翻译的注意力或对齐精度。我们简单地计算机器注意力和“真实”对齐之间的距离，并在训练过程中最小化此成本。我们在大规模汉英翻译任务上的实验表明，我们的模型比大词汇量神经机器翻译系统显著提高了翻译和对齐质量，甚至击败了最先进的传统基于语法的系统。
2016-07-30 cs.CL
What does Attention in Neural Machine Translation Pay Attention to?
Informatics Institute, University of Amsterdam（阿姆斯特丹大学信息学研究所）
神经机器翻译中的注意力提供了在每个翻译步骤对源句子的相关部分进行编码的可能性。因此，注意力也被认为是一个对齐模型。然而，还没有专门研究注意力的工作，并提供注意力模型所学到的东西的分析。因此，问题仍然是，如何注意力是相似或不同的传统对齐。在本文中，我们提供了详细的分析注意力，并比较它与传统的对齐。我们回答的问题是，注意力是否只能模拟翻译等价物或它捕获更多的信息。我们表明，注意力是不同的对齐在某些情况下，捕捉有用的信息以外的对齐。
2017-10-09 cs.CL
Fuzzy Alignments in Directed Acyclic Graph for Non-Autoregressive Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
针对非自回归翻译中有向无环图严格对齐导致多模态建模受限的问题，提出最大化图路径与参考句模糊对齐分数的训练方法，显著提升性能并刷新WMT基准。
2023-07-17 cs.CL
Neural Simultaneous Speech Translation Using Alignment-Based Chunking
Applications Technology (AppTek)（应用技术公司（AppTek））
在同步机器翻译中，目标是确定在给定连续的源单词流的情况下何时产生部分翻译，并在延迟和质量之间进行权衡。我们提出了一个神经机器翻译（NMT）模型，该模型可以动态决定何时继续输入或生成输出单词。该模型由两个主要组件组成：一个用于动态决定结束源块，另一个用于翻译已使用的块。我们以与推理条件一致的方式联合训练组件。为了生成分块的训练数据，我们提出了一种方法，利用词对齐，同时也保留了足够的上下文。我们比较模型与双向和单向编码器的不同深度，无论是在真实的语音和文本输入。我们的结果在2020年的IWITH2020英语到德语的任务优于等待k基线2.6至3.7% BLEU绝对。
2020-05-29 cs.CL
End-to-End Neural Word Alignment Outperforms GIZA++
Lilt, Inc.（Lilt公司）
单词对齐曾经是自然语言处理中的核心无监督学习任务，因为它在训练统计机器翻译（MT）模型中起着至关重要的作用。虽然词对齐对于训练神经机器翻译模型是不必要的，但是词对齐在神经机器翻译的交互式应用中仍然起着重要的作用，例如注释转移和词典注入。虽然统计机器翻译方法已经被性能优越的神经方法所取代，但二十年前的GIZA++工具包仍然是最先进的单词对齐系统的关键组成部分。之前关于神经单词对齐的工作只能通过在训练过程中使用其输出来超越GIZA++。我们提出了第一个端到端神经单词对齐方法，该方法在三个数据集上的性能始终优于GIZA++。我们的方法重新使用了一个为监督翻译训练的Transformer模型，以一种紧密集成且不影响翻译质量的方式作为一个无监督的单词对齐模型。
2020-04-30 cs.CL
Songs Across Borders: Singable and Controllable Neural Lyric Translation
National University of Singapore（新加坡国立大学）
本文将歌词翻译形式化为约束翻译问题，结合翻译学理论与提示驱动NMT方法构建英汉歌词翻译系统，在长度、押韵和词边界指标上均超过95%，整体质量较朴素微调提升75%。
2023-05-26 cs.CL
Sub-Word Alignment Is Still Useful: A Vest-Pocket Method for Enhancing Low-Resource Machine Translation
Soochow University（苏州大学）
我们利用对齐子词之间的嵌入重复来扩展父子迁移学习方法，从而改进低资源机器翻译。我们在My-En，Id-En和Tr-En翻译场景的基准数据集上进行实验。测试结果表明，我们的方法产生了实质性的改善，实现的BLEU分数分别为22.5，28.0和18.1。此外，该方法计算效率高，将训练时间消耗减少了63.8%，在Tesla 16 GB P100 GPU上训练时达到1.6小时。实验中的所有模型和源代码都将公开，以支持可重复的研究。
2022-05-09 cs.CL
Neural Machine Translation with Supervised Attention
National Institute of Information and Communications Technology (NICT)（国立情报学研究所）
注意机制对于神经机器翻译是有吸引力的，因为它能够通过在目标词和源词之间生成对齐来动态地编码源句子。然而，它在对准精度上比传统的对准模型要差。在本文中，我们分析和解释这个问题的角度来看，重新排序，并提出了一个监督的注意，这是学习的指导下，从传统的对齐模型。在两个汉英翻译任务上的实验表明，监督注意力机制产生了更好的对齐，从而大大提高了基于标准注意力的NMT。
2016-09-14 cs.CL
The Effect of Alignment Objectives on Code-Switching Translation
African Institute for Mathematical Sciences（非洲数学科学研究所）
本文提出一种单一机器翻译模型训练方法，通过生成合成语码转换数据并在编码器上应用对齐损失，实现单语与语码转换句子的双向翻译，在WMT14英法数据集上显著优于基线。
2023-09-10 cs.CL
Neural Name Translation Improves Neural Machine Translation
为了控制计算复杂性，神经机器翻译（NMT）系统将词汇表之外的所有罕见单词转换为单个未知符号。先前的解决方案（Luong等人，2015）采取使用多个编号的unk来学习源和目标稀有词之间的对应关系。然而，这种方法不能处理训练语料库中未发现的测试词。而且它还受到单词对齐噪音的影响。本文针对稀有词的一种主要类型--命名实体，提出了用字符级序列到序列模型的翻译方法。NE翻译模型进一步用于在双语训练语料库中导出高质量的NE对齐。通过整合NE翻译和对齐模块，我们的NMT系统在中文到英文的任务中能够超过基线系统2.9 BLEU点。
2016-07-07 cs.CL
Specification-Aware Machine Translation and Evaluation for Purpose Alignment
The Graduate University for Advanced Studies (SOKENDAI)（高级研究大学（SOKENDAI））；National Institute of Informatics（信息研究所）
本文提出规范感知机器翻译与评估框架，通过在33家公司投资者关系文本上的实验证明，规范指导的LLM翻译在人工评估中优于官方人工翻译，表明整合规范可提升专业翻译质量。
2025-09-22 cs.CL
Streaming Translation and Transcription Through Speech-to-Text Causal Alignment
Hikari通过概率WAIT令牌机制实现流式语音到文本翻译与转录，引入解码器时间扩张减少自回归开销，并采用监督微调策略提升质量-延迟权衡，取得多项语言任务的最新BLEU分数。
2026-09-11 cs.CL
Bi-Text Alignment of Movie Subtitles for Spoken English-Arabic Statistical Machine Translation
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；School of Computing Sciences, University of East Anglia（东英吉利大学计算科学学院）
我们描述了为获取更好的口语文本英语-阿拉伯语机器翻译资源所做的努力。特别是，我们将电影字幕视为一种独特而丰富的资源，因为一种语言的字幕经常被翻译成其他语言。电影字幕作为一种资源并不新鲜，在以前的研究中已经探索过;然而，在这里，我们创建了一个更大的双文本（迄今为止最大的），我们进一步为其生成更好的质量对齐。给定不同语言的同一部电影的字幕，一个关键问题是如何在片段级别对齐它们。通常，这是使用基于长度的对齐来完成的，但是对于电影字幕，还有时间信息。在这里，我们利用这些信息来开发一种原始算法，该算法优于当前最好的字幕对齐工具subalign。评估结果表明，将我们的bitext添加到IWITORY训练bitext中，可以产生超过两个BLEU点的绝对改进。
2016-09-05 cs.CL
Low-resource Neural Machine Translation with Cross-modal Alignment
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
如何用有限的并行数据实现神经机器翻译？现有的技术往往依赖于大规模的单语语料库，这是不切实际的一些低资源的语言。在本文中，我们转向连接几个低资源的语言，以一个特定的高资源的额外的视觉模态。具体来说，我们提出了一个跨模态的对比学习方法来学习所有语言的共享空间，其中既有一个粗粒度的符号级目标和细粒度的令牌级。实验结果和进一步分析表明，该方法可以有效地学习跨模态和跨语言对齐与少量的图像-文本对，并取得了显着的改善在zero-shot和Few-Shot场景下的纯文本基线.
2022-10-13 cs.CL
Cross-lingual Entity Alignment with Adversarial Kernel Embedding and Adversarial Knowledge Translation
University of Oregon（俄勒冈大学）；Auburn University（奥本大学）；Peking University（北京大学）
跨语言实体对齐的目标是将不同单语知识库（KBs）中的相同实体精确地连接在一起，其经常遭受来自特征不一致和序列上下文不知晓的挑战。本文提出了一个用于跨语言实体对齐的双对抗学习框架DAEA，其中有两个原创性贡献。首先，针对两个知识图谱中实体之间结构和属性特征不一致的问题，提出了一种对抗性核嵌入技术，以无监督的方式提取图不变信息，并将两个知识图谱投影到公共嵌入空间中.其次，为了进一步提高实体对齐的成功率，我们提出了通过每个待对齐的实体产生多个随机游走，并在随机游走中屏蔽这些实体。在多个随机游走的背景下，在已知对齐实体的指导下，开发了一个对抗性知识翻译模型，以填充和翻译来自两个KG的成对随机游走中的掩蔽实体。在真实世界数据集上进行的大量实验表明，DAEA可以很好地解决特征不一致和序列上下文未知问题，并显着优于13个最先进的实体比对方法。
2021-04-16 cs.CL
Predicting Multilingual Classification and Translation Performance of LLMs with Cross-Lingual Alignment -- Is English Enough?
该研究对比分析27种跨语言对齐分数变体，提出基于PMI的翻译指标，发现用英语的跨语言对齐可相当或更好预测LLMs翻译性能，为LLMs以英语为内部枢纽语言提供新证据。
2026-08-25 cs.CL
Word Alignment in the Era of Deep Learning: A Tutorial
The University of Pennsylvania（宾夕法尼亚大学）
单词对齐任务，尽管在统计机器翻译（SMT）时代很突出，但在今天是利基和未充分开发的。在这个由两部分组成的教程中，我们将讨论单词对齐的持续相关性。第一部分介绍了作为传统SMT流水线核心组件的单词对齐的历史背景。我们瞄准了GIZA++，这是一个无监督的统计单词对齐器，寿命惊人。跳跃到神经机器翻译（NMT）时代，我们展示了单词对齐的见解如何启发了当今NMT的基本注意力机制。第二部分转向调查方法。我们涵盖了神经单词对齐器，显示了超越GIZA++性能的缓慢但稳定的进展。最后，我们涵盖了词对齐的当前应用，从跨语言注释投影到改进翻译。
2022-11-30 cs.CL
Evaluating and Preserving Lexical Stress in English-to-Chinese Speech-to-Speech Translation
The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））；Shenzhen Loop Area Institute, China（深圳环域研究所）
针对英汉语音翻译中词汇重音跨语言传递不足的问题，构建重音标注数据集和普通话重音检测器，提出跨语言重音评估指标，并微调CosyVoice3构建重音感知S2ST系统，实验表明该系统在重音翻译能力上显著优于现有系统。
2026-06-16 cs.CL
Pre-training Multilingual Neural Machine Translation by Leveraging Alignment Information
ByteDance AI Lab（字节跳动人工智能实验室）；Fudan University（复旦大学）
我们研究以下问题的机器翻译（MT）：我们可以开发一个单一的通用MT模型作为共同的种子，并获得衍生和改进的模型上的任意语言对？我们提出了mRASP，一种预训练通用多语言神经机器翻译模型的方法。我们在mRASP中的关键思想是其随机对齐替换的新技术，它使多种语言中具有相似含义的单词和短语在表示空间中更接近。我们在32种语言对上预训练mRASP模型，只使用公共数据集。然后在下游语言对上对模型进行微调，以获得专门的MT模型。我们在不同的环境中对42个翻译方向进行了广泛的实验，包括低，中，丰富的资源，以及转移到异国情调的语言对。实验结果表明，mRASP实现了显着的性能改善相比，直接训练这些目标对。这是第一次验证，多个低资源的语言对可以利用来提高丰富的资源机器翻译。令人惊讶的是，mRASP甚至能够提高预训练语料库中从未出现过的外来语言的翻译质量。代码、数据和预训练模型可在https://github.com/linzehui/mRASP上获得。
2021-01-22 cs.CL
AligNART: Non-autoregressive Neural Machine Translation by Jointly Learning to Estimate Alignment and Translate
Seoul National University（首尔大学）；Kakao Enterprise
非自回归神经机器翻译（NART）模型存在多模态问题，导致翻译不一致，如标记重复。最近的方法试图解决这个问题，隐式建模之间的依赖关系的输出。在本文中，我们介绍了AlignART，它利用完整的对齐信息来显式地减少目标分布的模态。AlignART将机器翻译任务划分为$(i)$对齐估计和具有对齐的解码器输入的$(ii)$翻译，引导解码器专注于简化的一对一翻译。为了缓解对齐估计问题，我们进一步提出了一种新的对齐分解方法。我们的实验表明，AlignNART优于以前的非迭代NART模型，这些模型专注于WMT 14 En $\leftrightarrow$ De和WMT 16 Ro $\rightarrow$ En上的显式模态减少。此外，AlignART在WMT 14 En $\leftrightarrow$ De上实现了与最先进的基于连接主义时间分类的模型相当的BLEU分数。我们还观察到，即使没有序列级知识蒸馏，AlignART也有效地解决了令牌重复问题。
2021-09-14 cs.AI cs.CL
Generating Adversarial Texts for Machine Translation via GRPO
ETH Zurich（苏黎世联邦理工学院）
提出基于GRPO强化学习的方法，通过微调大语言模型重写源文本，生成更难翻译的对抗样本，显著降低翻译质量并保持可读性。
2026-09-09 cs.CL
Can Latent Alignments Improve Autoregressive Machine Translation?
The Blavatnik School of Computer Science（布拉瓦特尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
潜在的对齐目标，如CTC和AXE显着改善非自回归机器翻译模型。他们也能改进自回归模型吗？我们探讨了训练具有潜在对齐目标的自回归机器翻译模型的可能性，并观察到，在实践中，这种方法会导致退化模型。我们为这些实证结果提供了一个理论解释，并证明潜在的对齐目标是不相容的教师强迫。
2021-04-19 cs.AI cs.CL cs.LG
Modeling Coverage for Neural Machine Translation
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
注意力机制通过联合学习对齐和翻译，增强了最先进的神经机器翻译（NMT）。然而，它往往会忽略过去的对齐信息，这往往会导致过度翻译和翻译不足。为了解决这个问题，本文提出了基于覆盖的NMT。我们维护一个覆盖向量来跟踪注意力历史。覆盖向量被输入到注意力模型中，以帮助调整未来的注意力，这使得NMT系统能够更多地考虑未翻译的源词。实验表明，该方法显着提高了翻译质量和对齐质量比标准的注意力为基础的NMT。
2016-08-06 cs.CL
Agreement-based Joint Training for Bidirectional Attention-based Neural Machine Translation
Baidu Inc.（百度公司）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Tsinghua University（清华大学）
注意机制已被证明是有效的，在改善端到端的神经机器翻译。然而，由于自然语言之间复杂的结构差异，单向的基于注意力的模型可能只能捕获注意力的部分方面。我们提出了基于协议的双向注意力端到端神经机器翻译的联合训练。我们的方法不是独立地训练源到目标和目标到源翻译模型，而是鼓励这两个互补的模型在相同的训练数据上就单词对齐矩阵达成一致。在汉英和英法翻译任务上的实验表明，基于一致性的联合训练比独立训练显著提高了对齐和翻译质量。
2016-04-22 cs.CL
HELFI: a Hebrew-Greek-Finnish Parallel Bible Corpus with Cross-Lingual Morpheme Alignment
University of Helsinki（赫尔辛基大学）；Raamatun Tietokirja, Aika[media] Oy（Raamatun Tietokirja Aika[media]公司）
25年前，为了创建分析一致性，手动构建了形态上对齐的希伯来语-芬兰语和希腊语-芬兰语双文本（文本伴随翻译）（Luoto等人，1997年，《圣经》芬兰语译本出版。双文本的创建者最近获得了出版商的许可，可以发布其细粒度的对齐，但对齐仍然依赖于专有的第三方资源，例如受版权保护的文本版本和源文本的专有形态分析。在本文中，我们描述了一个不平凡的编辑过程，从创建原始的一个目的的数据库，并结束其重建只使用免费提供的文本版本和注释。这一过程产生了一个公开可用的数据集，其中包含（i）源文本及其翻译，（ii）形态分析，（iii）跨语言语素对齐。
2020-03-16 cs.CL
Non-Autoregressive Machine Translation with Latent Alignments
Google Research（谷歌研究院）
本文提出了两种强有力的方法，CTC和输入，非自回归机器翻译模型潜在的对齐与动态规划。我们重新CTC的机器翻译，并证明了一个简单的CTC模型可以实现最先进的单步非自回归机器翻译，与以前的工作表明。此外，我们还将Imputer模型用于非自回归机器翻译，并证明了只有4个生成步骤的Imputer可以匹配自回归Transformer基线的性能。我们的潜在对齐模型比许多现有的非自回归翻译基线更简单;例如，我们不需要使用自回归模型进行目标长度预测或重新评分。在竞争性的WMT'14 En $\rightarrow$ De任务中，我们的CTC模型使用单个生成步骤实现了25.7 BLEU，而Imputer使用2个生成步骤实现了27.5 BLEU，使用4个生成步骤实现了28.0 BLEU。这与27.8 BLEU的自回归Transformer基线相比具有优势。
2020-11-16 cs.CL cs.LG
Graph Algorithms for Multiparallel Word Alignment
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）；Université Paris-Saclay, CNRS, LISN（巴黎萨克雷大学、法国国家科学研究中心、计算机科学与数字技术实验室）
随着机器翻译中端到端深度学习方法的出现，对单词对齐的兴趣最初有所下降;然而，它们最近再次成为研究的焦点。对齐对于类型学研究很有用，可以将标记等格式转换为翻译文本，并且可以用于机器翻译系统的解码。与此同时，大规模多语言处理正在成为一个重要的NLP场景，并提出了真正多语言的预训练语言和机器翻译模型。然而，大多数对齐算法仅依赖于双文本，并且不利用许多并行语料库是多并行的这一事实。在这项工作中，我们利用语料库的多重并行性表示为一个图形的双语对齐的初始集合，然后预测在图中的额外的边缘。我们提出了两个图的边缘预测算法：一个是受推荐系统的启发，一个是基于网络链接预测。我们的实验结果表明，在不同的数据集上，$F_1$的绝对改善高达28%以上的基线双语单词对齐。
2021-09-13 cs.CL
Leveraging Neural Machine Translation for Word Alignment
Charles University（查理大学）
最常见的单词对齐工具依赖于大量的平行句子，然后通常根据IBM模型算法之一进行处理。然而，训练数据与机器翻译（MT）系统相同，特别是对于神经MT（NMT），其本身能够使用训练的注意力头部产生单词对齐。这很方便，因为词对齐理论上是任何基于注意力的NMT的可行副产品，它也能够为翻译的句子对提供解码器评分。我们总结了如何从对齐分数中提取单词对齐的不同方法，然后探索了从NMT中提取分数的方法，重点是基于输出句子和令牌概率推断单词对齐分数。我们将此与从注意力中提取对齐分数进行比较。最后，我们将所有对齐分数的来源聚合到一个简单的前馈网络中，当使用组合对齐提取器时，该网络可以获得最佳结果。
2021-03-31 cs.CL cs.LG
From Speech-to-Speech Translation to Automatic Dubbing
Amazon（亚马逊）
我们提出了增强语音到语音翻译管道，以执行自动配音。我们的架构具有神经机器翻译生成首选长度的输出，翻译与原始语音片段的韵律对齐，神经文本到语音与每个话语的持续时间的微调，最后，音频渲染以丰富文本到语音输出与从原始音频中提取的背景噪声和混响。我们报告的自动配音的摘录TED演讲从英语到意大利语，这措施的自动配音的感知自然度和每个建议的增强的相对重要性的主观评价。
2020-02-02 cs.CL cs.SD eess.AS
Six Challenges for Neural Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）
我们探讨了神经机器翻译的六个挑战：领域不匹配、训练数据量、稀有词、长句、词对齐和束搜索。我们显示了基于短语的统计机器翻译的质量的不足和改进。
2017-06-12 cs.CL
Efficient Monotonic Multihead Attention
FAIR at Meta（Meta 基础人工智能研究）；UC Santa Barbara（加州大学圣巴巴拉分校）
本文提出EMMA同声传译模型，通过稳定无偏的单调对齐估计及改进训练推理策略，在西英语音到文本同传任务中实现最先进性能。
2023-12-07 cs.CL
StressTransfer: Stress-Aware Speech-to-Speech Translation with Emphasis Preservation
The Chinese University of Hong Kong, China（香港中文大学）；Nara Institute of Science and Technology（奈良科学技術大学）
提出StressTransfer系统，利用LLM将源语言词级压力转为目标语言标签以指导TTS，通过自动数据生成和LLM-as-Judge评估，在保留强调的同时维持翻译质量与自然度。
2025-10-15 cs.AI cs.CL
Ladders in Chaos: When, How, (and Perhaps Why) Does Test-Time Scaling Improve LLM Machine Translation
University of Amsterdam（阿姆斯特丹大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本研究探究LLM的序列式与并行式测试时缩放在机器翻译中的特性，发现序列式采样性能上限更高，可提升翻译流畅度但在大推理预算下会降准，还分析了其机制与鲁棒性。
2026-09-01 cs.CL
Guided Alignment Training for Topic-Aware Neural Machine Translation
RWTH Aachen University（亚琛工业大学）；eBay, Inc.（eBay公司）
在本文中，我们提出了一种有效的方法，使序列到序列神经机器翻译（NMT）模型的注意力机制偏向于研究得很好的统计词对齐模型。我们发现，我们新的引导对齐训练方法提高了由产品标题和描述组成的真实电子商务文本的翻译质量，克服了许多未知词和大的类型/标记比率所带来的问题。我们还表明，与输入文本相关的元数据，如主题或类别信息，可以显着提高翻译质量时，作为一个额外的信号，以解码器的网络部分。通过这两个新功能，NMT系统对产品标题集的BLEU评分从18.6%提高到21.3%。通过一般领域NMT系统对电子商务数据的领域自适应，获得甚至更大的MT质量增益。所开发的NMT系统在IWITOS语音翻译任务上也表现良好，其中四个变体系统的集合超过基于短语的基线2.1%BLEU绝对值。
2016-07-06 cs.CL cs.NE
Gaussian Multi-head Attention for Simultaneous Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
同步机器翻译（SiMT）在接收流源输入的同时输出翻译，因此需要策略来确定从哪里开始翻译。目标词和源词之间的对齐通常意味着每个目标词的信息量最大的源词，因此提供了对翻译质量和延迟的统一控制，但遗憾的是，现有的SiMT方法没有明确地对对齐进行建模以执行控制。在本文中，我们提出了高斯多头注意力（GMA）开发一个新的SiMT政策建模对齐和翻译在一个统一的方式。对于SiMT策略，GMA对每个目标词的对齐源位置进行建模，并相应地等待直到其对齐位置才开始翻译。为了将对齐的学习集成到翻译模型中，引入了以预测对齐位置为中心的高斯分布作为与对齐相关的先验，它与与对齐相关的软注意力合作来确定最终的注意力。在En-Vi和De-En任务上的实验表明，我们的方法在翻译和延迟之间的权衡上优于强基线。
2022-03-17 cs.AI cs.CL
Accurate Online Posterior Alignments for Principled Lexically-Constrained Decoding
IIT Bombay（印度理工学院孟买分校）
机器翻译中的在线对齐是指当目标序列仅被部分解码时将目标词与源词对齐的任务。良好的在线对齐有助于重要的应用程序，例如词汇约束翻译，其中用户定义的字典用于将词汇约束注入翻译模型。我们提出了一种新的后对齐技术，是真正的在线执行和优越的对齐出错率相比，现有的方法。我们提出的推理技术联合考虑对齐和令牌概率的原则性方式，可以无缝集成在现有的约束波束搜索解码算法。在五个语言对，包括两个遥远的语言对，我们实现了一致的下降对齐出错率。当部署在七个词汇约束的翻译任务，我们实现了显着的改进，特别是在BLEU的约束位置。
2022-04-02 cs.CL cs.LG
Inferring Shallow-Transfer Machine Translation Rules from Small Parallel Corpora
本文描述了一种从小型平行语料库中自动推理结构迁移规则的方法，该方法可用于浅迁移机器翻译（MT）系统。结构转移规则基于比对模板，如在统计MT中使用的那些。对齐模板是从对齐的平行语料库中提取的，并扩展了一组限制，这些限制来自于MT系统的双语词典，并控制它们的应用程序作为传输规则。在免费/开源MT平台Atrium中使用三种不同的语言对进行的实验表明，与逐字翻译相比（当不使用转换规则时），翻译质量得到了提高，并且最终的翻译质量接近使用手工编码的转换规则获得的翻译质量。我们提出的方法是完全无监督的，并受益于MT系统的其余模块中的信息，其中应用推断的规则。
2014-01-15 cs.CL
Learning aligned embeddings for semi-supervised word translation using Maximum Mean Discrepancy
Interdepartmental Neuroscience Program（跨系神经科学项目）；Yale School of Medicine（耶鲁医学院）
词汇翻译是语言翻译的一个组成部分。在机器翻译中，每种语言都被认为是一个域，具有自己的词嵌入。词嵌入之间的对齐允许在多语言上下文中链接语义上等同的词。此外，它提供了一种方法来推断跨语言意义的话，没有直接翻译。用于词嵌入对齐的当前方法是有监督的，即它们需要已知的词对，或者以无监督的方式学习固定嵌入上的跨域变换。在这里，我们提出了一个端到端的词嵌入对齐方法，不需要已知的词对。我们的方法称为通过MMD（WAM）进行单词对齐，它使用嵌入之间的本地化最大平均离散度（MMD）约束来学习在句子翻译训练期间对齐的嵌入。我们表明，我们的方法不仅优于无监督的方法，但也有监督的方法，训练已知的单词翻译。
2020-06-20 cs.CL cs.LG
SimAlign: High Quality Word Alignments without Parallel Training Data using Static and Contextualized Embeddings
LMU Munich（慕尼黑大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
单词对齐对于统计和神经机器翻译（NMT）以及跨语言注释投影等任务非常有用。统计单词对齐器表现良好，NMT中提取对齐与翻译的方法也是如此。然而，大多数方法需要并行的训练数据，并且质量随着可用的训练数据的减少而降低。我们提出了不需要并行数据的单词对齐方法。关键思想是利用静态和上下文化的多语言词嵌入来进行词对齐。我们的多语言嵌入仅从单语数据创建，而不依赖于任何并行数据或字典。我们发现，与传统统计对齐器产生的对齐相比，从嵌入创建的对齐对于四种语言对是优越的，并且对于两种语言对是可比的，即使具有丰富的并行数据;例如，语境化嵌入实现了英语-德语的单词对齐F1，比在10万个平行句子上训练的高质量统计对齐器eflomal高5个百分点。
2021-04-16 cs.CL
The Highs and Lows of Simple Lexical Domain Adaptation Approaches for Neural Machine Translation
University of Edinburgh（爱丁堡大学）
机器翻译系统易受域不匹配的影响，特别是在资源不足的情况下。由于暴露偏差和充当语言模型的解码器，域外翻译通常质量差并且容易产生幻觉。我们采用两种方法来缓解这个问题：受IBM统计对齐限制的词汇入围，以及基于相似性的假设重新排名。这些方法在计算上是便宜的，广为人知的，但没有广泛的实验上的领域自适应。我们证明了成功的低资源域外测试集，但是，当有足够的数据或太大的域不匹配的方法是无效的。这是由于IBM模型失去了其相对于隐式学习的神经对齐的优势，以及域外词的子词切分的问题。
2021-09-21 cs.CL
ClinicalAligner26AM: A Cross-Lingual Aligner for Dataset Translation; Evidences from the MultiClinCorpus Shared Task
Parallia Healthcare AI（Parallia医疗人工智能）
提出ClinicalAligner26AM，一种基于ClinicalEncoder26AM初始化的生物医学临床文本多语言对齐模型，通过Sinkhorn-Knop最优传输融合多级信号构建软对齐目标，在MultiClinCorpus任务中跨语言投影实体标注，字符加权F1超0.95。
2026-06-07 cs.CL
Gromov-Wasserstein Alignment of Word Embedding Spaces
MIT（麻省理工学院）
跨语言或跨域对应在从机器翻译到迁移学习的任务中起着关键作用。最近，在单语嵌入上操作的纯无监督方法已经成为有效的对齐工具。然而，当前最先进的方法涉及多个步骤，包括启发式事后细化策略。在本文中，我们铸造的对应问题直接作为一个最佳运输（OT）的问题，建立在词嵌入产生的度量恢复算法的想法。事实上，我们利用Gromov-Wasserstein距离来衡量不同语言中单词对之间的相似性。我们表明，我们的OT目标可以有效地估计，需要很少或根本没有调整，并导致性能与国家的最先进的各种无监督单词翻译任务。
2018-08-31 cs.CL
The Devil Is in the Word Alignment Details: On Translation-Based Cross-Lingual Transfer for Token Classification Tasks
University of Würzburg Center for Artificial Intelligence and Data Science (CAIDAS)（乌尔姆大学人工智能与数据科学中心）
本文系统研究了词对齐器在基于翻译的跨语言迁移标签投影中的底层设计决策，发现优化算法、过滤和预分词可使其媲美基于标记的方法，并提出集成translate-train和translate-test预测的新策略，显著提升性能与鲁棒性。
2025-08-08 cs.CL
Unsupervised Alignment of Distributional Word Embeddings
University College London（伦敦大学学院）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
跨领域对齐在从机器翻译到迁移学习的各种任务中起着关键作用。最近，纯无监督的方法操作单语嵌入已成功地用于推断双语词典，而不依赖于监督。然而，目前的最先进的方法只关注点向量，虽然分布式嵌入已被证明嵌入更丰富的语义信息时，表示的话。在本文中，我们提出了随机优化方法对齐概率嵌入。最后，我们通过对齐在单语数据上训练的词嵌入来评估我们在无监督词翻译问题上的方法。我们表明，所提出的方法在双语词典归纳任务上取得了良好的性能，在几种语言对，并表现得比基于点向量的方法。
2022-09-21 cs.CL
Tuning LLMs with Contrastive Alignment Instructions for Machine Translation in Unseen, Low-resource Languages
Apple（苹果公司）；Sony Group Corporation（索尼集团公司）
本文提出对比对齐指令AlignInstruct，通过跨语言判别器增强跨语言监督，微调BLOOMZ模型，在24种未见语言和48个翻译方向上显著提升机器翻译质量，并改善零样本性能。
2024-07-20 cs.AI cs.CL
