Learning Bilingual Word Representations by Marginalizing Alignments
University of Oxford（牛津大学）
我们提出了一个概率模型，同时学习双语数据的对齐和分布式表示。通过边缘化词对齐，该模型捕获了一个更大的语义上下文比以前的工作依赖于硬对齐。这种方法的优势在跨语言分类任务中得到了证明，在该任务中，我们的表现优于先前发表的最新技术水平。
2014-05-05 cs.CL
SimAlign: High Quality Word Alignments without Parallel Training Data using Static and Contextualized Embeddings
LMU Munich（慕尼黑大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
单词对齐对于统计和神经机器翻译（NMT）以及跨语言注释投影等任务非常有用。统计单词对齐器表现良好，NMT中提取对齐与翻译的方法也是如此。然而，大多数方法需要并行的训练数据，并且质量随着可用的训练数据的减少而降低。我们提出了不需要并行数据的单词对齐方法。关键思想是利用静态和上下文化的多语言词嵌入来进行词对齐。我们的多语言嵌入仅从单语数据创建，而不依赖于任何并行数据或字典。我们发现，与传统统计对齐器产生的对齐相比，从嵌入创建的对齐对于四种语言对是优越的，并且对于两种语言对是可比的，即使具有丰富的并行数据;例如，语境化嵌入实现了英语-德语的单词对齐F1，比在10万个平行句子上训练的高质量统计对齐器eflomal高5个百分点。
2021-04-16 cs.CL
Adding Interpretable Attention to Neural Translation Models Improves Word Alignment
Lilt, Inc.（Lilt公司）
与更简单和更浅的模型相比，每层具有多个注意力头的多层模型提供了更好的翻译质量，但因此确定什么源上下文与每个目标词最相关更具挑战性。因此，从最先进的神经机器翻译模型的激活中获得高精度的单词对齐是一个开放的挑战。我们提出了一个简单的模型扩展的Transformer架构，利用其隐藏的表示，并仅限于参加编码器信息预测下一个字。它可以在没有单词对齐信息的双语数据上训练。我们进一步引入了一种新的对齐推理过程，该过程应用随机梯度下降来直接优化对给定目标词的注意激活。由此产生的对齐显着优于天真的方法来解释Transformer的注意力激活，并与吉萨++在两个公开的数据集。
2019-01-31 cs.CL
Word Alignment by Fine-tuning Embeddings on Parallel Corpora
Carnegie Mellon University（卡内基梅隆大学）
平行语料库上的词对齐具有广泛的应用，包括学习翻译词典、语言处理工具的跨语言迁移以及翻译输出的自动评估或分析。过去绝大多数关于单词对齐的工作都是通过对平行文本进行无监督学习来实现的。然而，最近，其他工作表明，来自多语言训练的语言模型（LM）的预训练的上下文化词嵌入证明是一个有吸引力的替代方案，即使在没有明确的并行数据训练的情况下，也能在词对齐任务上取得有竞争力的结果。在本文中，我们研究了将这两种方法结合起来的方法：利用预先训练的LM，但在并行文本上对其进行微调，目标是提高对齐质量，并提出了从这些微调模型中有效提取对齐的方法。我们对五种语言对进行了实验，并证明我们的模型可以始终优于以前的所有品种的最先进的模型。此外，我们证明了我们能够训练多语言单词对齐器，可以获得不同的语言对强大的性能。我们的对齐器AWESOME（对齐多语言编码器的词嵌入空间）带有预训练模型，可在https://github.com/neulab/awesome-align上获得
2021-08-12 cs.CL
Saliency-driven Word Alignment Interpretation for Neural Machine Translation
Center for Language and Speech Processing（语言与语音处理中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
尽管其最初的目标是共同学习对齐和翻译，但神经机器翻译（NMT）模型，特别是Transformer，通常被认为不学习可解释的单词对齐。在本文中，我们证明了NMT模型确实学习了可解释的词对齐，这只能通过适当的解释方法来揭示。我们提出了一系列这样的方法，是模型不可知的，能够应用于离线或在线，并且不需要参数更新或架构更改。我们表明，在强制解码设置下，我们的解释方法引起的对齐比快速对齐的一些系统的质量更好，当执行自由解码，他们同意以及自动对齐工具引起的对齐。
2019-06-27 cs.CL
OmniAlign: A Unified Multilingual Aligner for Word and Sentence Alignment
WPS Qingqiu（WPS清qiu（WPS清秋））
OmniAlign是一款轻量级多语言对齐工具，采用四阶段训练流程，可同时支持词级和句子级对齐，在基准测试中表现具竞争力且泛化性良好，短文本微调可提升其对齐质量与长文本稳健性。
2026-08-20 cs.CL
When do Contrastive Word Alignments Improve Many-to-many Neural Machine Translation?
Kyoto University（京都大学）；NICT（日本信息通信研究机构）
单词对齐已被证明有利于多对多神经机器翻译（NMT）。然而，在以前的方法中，高质量的地面实况双语词典被用于预编辑，这对于大多数语言对是不可用的。同时，对比目标可以隐含地利用自动学习的词对齐，这在多对多NMT中还没有被探索。这项工作提出了一个词级的对比目标，利用词对齐多对多NMT。实证结果表明，这导致了0.8 BLEU增益为几个语言对。分析表明，在多对多NMT中，编码器的句子检索性能与翻译质量高度相关，这解释了所提出的方法何时影响翻译。这激发了未来对多对多NMT的探索，以提高编码器的句子检索性能。
2022-04-26 cs.CL
Smoothing parameter estimation framework for IBM word alignment models
VNU University of Engineering and Technology（越南国立大学工程技术大学）；Ton Duc Thang University（孙德胜大学）
IBM模型是机器翻译中非常重要的词对齐模型。遵循最大似然估计原则来估计其参数，当数据稀疏时，模型很容易过拟合训练数据。平滑是语言模型中一种非常流行的解决方案，但是对于词对齐的平滑研究还很缺乏。在本文中，我们提出了一个框架，推广了显着的工作摩尔[2004]应用添加剂平滑词对齐模型。该框架允许开发人员自定义每对单词的平滑量。添加的量将通过一个公共因子进行适当的缩放，该因子反映了框架根据数据性能对添加策略的信任程度。我们还仔细研究了各种性能标准，并提出了一个平滑版本的错误计数，这通常会给出最佳结果。
2016-04-27 cs.CL
A Discriminative Neural Model for Cross-Lingual Word Alignment
Johns Hopkins University（约翰斯·霍普金斯大学）
我们引入了一种新的判别词对齐模型，我们集成到基于transformer的机器翻译模型。在基于少量标记示例（约1.7K-5 K句子）的实验中，我们从本质上评估了其在英语-中文和英语-阿拉伯语对齐方面的性能，在无监督基线（11-27 F1）上实现了重大改进。我们评估的模型外的数据投影为中国的NER，显示我们的比对导致更高的性能时，用于投影NER标签从英语到中文。最后，我们进行了消融分析和注释实验，共同支持未来手动对齐启发的实用性和可行性。
2019-09-01 cs.CL
Cross-Lingual Word Alignment for ASEAN Languages with Contrastive Learning
College of Computer and Software Engineering, Hohai University（河海大学计算机与软件学院）
针对低资源东盟语言词对齐，本文在基于 BiLSTM 的编码器-解码器框架中引入对比学习与多视角负采样，显式建模词嵌入差异，并在四个语种、五个数据集上验证其持续提升对齐准确率。
2024-07-06 cs.CL
Gromov-Wasserstein Alignment of Word Embedding Spaces
MIT（麻省理工学院）
跨语言或跨域对应在从机器翻译到迁移学习的任务中起着关键作用。最近，在单语嵌入上操作的纯无监督方法已经成为有效的对齐工具。然而，当前最先进的方法涉及多个步骤，包括启发式事后细化策略。在本文中，我们铸造的对应问题直接作为一个最佳运输（OT）的问题，建立在词嵌入产生的度量恢复算法的想法。事实上，我们利用Gromov-Wasserstein距离来衡量不同语言中单词对之间的相似性。我们表明，我们的OT目标可以有效地估计，需要很少或根本没有调整，并导致性能与国家的最先进的各种无监督单词翻译任务。
2018-08-31 cs.CL
Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment
Beijing Institute of Technology（北京理工大学）；Microsoft Research（微软研究院）
跨语言语言模型通常是在多语言文本或平行句子上使用掩蔽语言建模进行预训练的。在本文中，我们引入了去噪单词对齐作为一项新的跨语言预训练任务。具体来说，该模型首先为平行句子自标记单词对齐。然后，我们随机屏蔽一个bitext对中的标记。给定一个掩码标记，该模型使用指针网络来预测另一种语言中的对齐标记。我们以期望最大化的方式交替执行上述两个步骤。实验结果表明，该方法提高了跨语言的可移植性在各种数据集上，特别是在令牌级的任务，如问答，结构化预测。此外，该模型可以作为一个预先训练的字对齐器，实现合理的低出错率的对齐基准。代码和预训练参数可在https://github.com/CZWin32768/XLM-Align上获得。
2021-09-13 cs.CL
Unsupervised Alignment of Distributional Word Embeddings
University College London（伦敦大学学院）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
跨领域对齐在从机器翻译到迁移学习的各种任务中起着关键作用。最近，纯无监督的方法操作单语嵌入已成功地用于推断双语词典，而不依赖于监督。然而，目前的最先进的方法只关注点向量，虽然分布式嵌入已被证明嵌入更丰富的语义信息时，表示的话。在本文中，我们提出了随机优化方法对齐概率嵌入。最后，我们通过对齐在单语数据上训练的词嵌入来评估我们在无监督词翻译问题上的方法。我们表明，所提出的方法在双语词典归纳任务上取得了良好的性能，在几种语言对，并表现得比基于点向量的方法。
2022-09-21 cs.CL
Scaling Unsupervised Word Alignment to Documents via Structural Constraints
University of Zurich（苏黎世大学）
针对直接将句子级词对齐算法用于文档会导致性能下降的问题，提出CTFAlign和MDPAlign两种无需训练的文档级词对齐方法，经多语言对验证可降低词对齐错误率并提升下游任务表现。
2026-08-24 cs.CL
Mask-Align: Self-Supervised Neural Word Alignment
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能研究院）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）；Institute for AI Industry Research, Tsinghua University（清华大学人工智能产业研究院）
词对齐是指在源语句和目标语句之间对齐语义上等价的词，在自然语言处理中起着重要的作用。当前的无监督神经比对方法集中于从神经机器翻译模型诱导比对，其不利用靶序列中的完整上下文。在本文中，我们提出了Mask-Align，这是一种自监督的单词对齐模型，它利用了目标端的完整上下文。我们的模型屏蔽了每个目标令牌，并以源令牌和剩余目标令牌为条件进行预测。这个两步过程基于这样的假设，即对恢复被屏蔽的目标令牌贡献最大的源令牌应该被对齐。我们还引入了一个称为泄漏注意力的注意力变体，它解决了特殊令牌（如周期）上意外高交叉注意力权重的问题。在四种语言对上的实验表明，我们的模型优于以前的无监督神经对齐器，并获得了新的最先进的结果。
2021-05-17 cs.CL
Cross-Align: Modeling Deep Cross-lingual Interactions for Word Alignment
Beijing Jiaotong University（北京交通大学）；Tencent Inc（腾讯公司）
词对齐是自然语言处理的基本工具，其目的是提取源语句和目标语句之间的词典翻译等价物。最近在这方面的研究已经取得了实质性的改进，从预先训练的多语言语言模型的上下文嵌入生成对齐。然而，我们发现，现有的方法捕捉很少的输入句子对之间的相互作用，这严重降低了词对齐的质量，特别是在单语背景下的歧义词。为了解决这个问题，我们提出了交叉对齐模型之间的输入句子对，其中源和目标句子分别编码与共享的自注意模块在浅层，而跨语言的相互作用显式构建的交叉注意模块在上层之间的深层相互作用。此外，为了有效地训练我们的模型，我们提出了一个两阶段的训练框架，在第一阶段中，模型是用一个简单的翻译语言建模（TLM）目标训练，然后在第二阶段中用一个自监督对齐目标进行微调。实验结果表明，提出的交叉对齐实现了国家的最先进的（SOTA）的性能上的五个语言对。
2022-10-09 cs.CL
A Strong Baseline for Learning Cross-Lingual Word Embeddings from Sentence Alignments
University of Washington（华盛顿大学）；University of Copenhagen（哥本哈根大学）；Bar-Ilan University（巴伊兰大学）
虽然跨语言词嵌入近年来得到了广泛的研究，不同算法之间的定性差异仍然模糊。我们观察到，算法是否使用特定的特征集（句子ID）占这些算法之间的显着性能差距。传统的对齐算法（如IBM Model-1）也使用此功能集，这些算法在各种基准测试中表现出与最先进的嵌入算法相似的性能。总的来说，我们观察到，利用句子ID特征空间的不同算法方法会导致类似的性能。本文得出了嵌入和对齐文献之间的经验和理论上的相似之处，并建议增加额外的信息来源，这超出了双语词典对齐语料库的传统信号，可能会大大提高跨语言词嵌入，未来的基线至少应该考虑到这些功能。
2017-01-09 cs.CL
Empirical Evaluation of Sequence-to-Sequence Models for Word Discovery in Low-resource Settings
Laboratoire d'Informatique de Grenoble, Univ. Grenoble Alpes (UGA)（格勒诺布尔阿尔卑斯大学格勒诺布尔信息学实验室）；School of Computer Science and Electronic Engineering, University of Essex（埃塞克斯大学计算机科学与电子工程学院）；Institute of Informatics, Federal University of Rio Grande do Sul（南里奥格兰德联邦大学信息学研究所）
自Bahdanau等人[1]首次引入神经机器翻译的注意力以来，大多数序列到序列模型都使用了注意力机制[2，3，4]。虽然它们产生的软对齐矩阵可以被解释为目标语言和源语言之间的对齐，但我们缺乏量化其质量的指标，不清楚哪种方法产生最佳对齐。本文提出了一个经验评估的3个主要的序列到序列模型（CNN，RNN和基于Transformer-based）的单词发现从未分割的音素序列。该任务包括将源语言中的单词序列与目标语言中的音素序列进行比对，并从中推断目标侧的分词[5]。评估分词质量可以被看作是对训练期间产生的软对齐矩阵的外部评估。我们在Mboshi和英语语言（都与法语对齐）的低资源场景中的实验表明，RNN在这项任务中的表现出人意料地优于CNN和Transformer。我们的研究结果证实了通过使用平均归一化熵（ANE）的内在评价对齐质量。最后，我们通过使用对齐熵置信度度量来改进我们的最佳单词发现模型，该度量在集合中给定对齐对的所有出现上累积ANE。
2019-09-11 cs.CL
Using external sources of bilingual information for on-the-fly word alignment
Universitat d’Alacant（阿利坎特大学）
在本文中，我们提出了一种新的和简单的语言无关的方法，词对齐的基础上使用外部源的双语信息，如机器翻译系统。我们证明了对齐器的几个参数可以在非常小的语料库上训练，这导致了与最先进的工具GIZA++在精度方面获得的结果相当的结果。关于其他指标，如对齐出错率或F-测量，当在非常小的金标准（450对句子）上训练时，参数对齐器提供的结果与GIZA++在大约10，000对句子的域内语料库上训练时产生的结果相当。此外，所获得的结果表明，训练是独立于域的，这使得能够在任何新的句子对上使用经过训练的对齐器。
2012-12-07 cs.CL
Multilingual Distributed Representations without Word Alignment
University of Oxford（牛津大学）
意义的分布式表示是在NLP中对单词和短语之间的协方差关系进行编码的一种自然方式。通过克服数据稀疏性问题，以及提供离散表示中不可用的语义相关性信息，分布式表示已被证明在许多NLP任务中是有用的。最近的工作表明，如何组成的语义表示可以成功地应用到单语应用，如情感分析。与此同时，在学习跨语言的共享单词级表示方面取得了一些初步成功。我们结合这两种方法，提出了一种学习分布式表示在多语言设置的方法。我们的模型学习将相似的嵌入分配给对齐的句子，将不相似的嵌入分配给不对齐的句子，而不需要单词对齐。我们表明，我们的表示是语义信息，并将其应用到一个跨语言的文档分类任务，我们优于以前的最先进的状态。此外，通过采用并行语料库的多语言对，我们发现，我们的模型学习表示，捕捉语义关系的语言，没有并行数据被使用。
2014-03-20 cs.CL
Sub-Word Alignment Is Still Useful: A Vest-Pocket Method for Enhancing Low-Resource Machine Translation
Soochow University（苏州大学）
我们利用对齐子词之间的嵌入重复来扩展父子迁移学习方法，从而改进低资源机器翻译。我们在My-En，Id-En和Tr-En翻译场景的基准数据集上进行实验。测试结果表明，我们的方法产生了实质性的改善，实现的BLEU分数分别为22.5，28.0和18.1。此外，该方法计算效率高，将训练时间消耗减少了63.8%，在Tesla 16 GB P100 GPU上训练时达到1.6小时。实验中的所有模型和源代码都将公开，以支持可重复的研究。
2022-05-09 cs.CL
Multilingual Transformer Encoders: a Word-Level Task-Agnostic Evaluation
LORIA（洛林计算机科学及其应用实验室）；Posos（Posos公司）
一些基于transformer的模型可以执行跨语言迁移学习：这些模型可以在一种语言的特定任务上进行训练，并在另一种语言的相同任务上给出相对较好的结果，尽管只在单语任务上进行了预训练。但是，对于这些基于transformer的模型是否能够跨语言学习通用模式，目前还没有达成共识。我们提出了一个词级的任务不可知的方法来评估这种模型建立的上下文表示的对齐。我们表明，我们的方法提供了更准确的翻译词对比以前的方法来评估字级对齐。我们的研究结果表明，基于多语言transformer的模型的一些内层优于其他显式对齐的表示，根据更严格的多语言对齐定义，甚至更是如此。
2022-07-19 cs.CL
Jointly Learning to Align and Translate with Transformer Models
Apple Inc.（苹果公司）
机器翻译（MT）的现有技术由神经方法控制，神经方法通常提供优于统计方法的翻译准确性。然而，在密切相关的词对齐任务上，传统的统计词对齐模型往往仍然是首选的解决方案。在本文中，我们提出了一种方法来训练一个Transformer模型，以产生准确的平移和对齐。我们从常规神经机器翻译模型训练期间学习的注意力概率中提取离散对齐，并在多任务框架中利用它们来优化翻译和对齐目标。我们证明，我们的方法产生竞争力的结果相比，GIZA++训练的IBM对齐模型，而不牺牲翻译的准确性和优于以前的尝试基于Transformer模型的单词对齐。最后，通过将IBM模型对齐纳入我们的多任务训练，我们报告了在三个公开数据集上与GIZA++相比显著更好的对齐精度。
2019-09-04 cs.CL
Non-Monotonic Latent Alignments for CTC-Based Non-Autoregressive Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
非自回归翻译（NAT）模型通常使用交叉熵损失进行训练，这迫使模型输出与目标句子逐字对齐，并且会严重惩罚单词位置的微小变化。潜在比对模型通过边缘化CTC损失的所有单调潜在比对来放松显式比对。然而，它们不能处理非单调对齐，这是不可忽略的，因为在机器翻译中通常存在全局单词重新排序。在这项工作中，我们探索非单调潜在的NAT对齐。我们扩展对齐空间的非单调对齐，以允许全球单词重新排序，并进一步考虑所有对齐与目标句子重叠。我们非单调地将对齐与目标句子进行匹配，并训练潜在对齐模型以最大化非单调匹配的F1得分。在主要的WMT基准测试上的大量实验表明，我们的方法大大提高了基于CTC的模型的翻译性能。我们的最佳模型在WMT 14 En-De上仅用一次迭代解码就实现了30.06 BLEU，缩小了非自回归模型和自回归模型之间的差距。
2022-10-08 cs.CL
Cross-Lingual Contextual Word Embeddings Mapping With Multi-Sense Words In Mind
LIMSI, CNRS（法国国家科学研究中心机械与工程计算机科学实验室）；LRI, Univ. Paris-Sud, CNRS（巴黎第十一大学计算机研究实验室，法国国家科学研究中心）；Université Paris-Saclay（巴黎-萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）
最近的跨语言语境词嵌入学习的工作不能很好地处理多义词。在这项工作中，我们探讨了语境词嵌入的特点，并显示语境词嵌入和词义之间的联系。我们提出了两个改进的解决方案，考虑上下文的多意义词嵌入的噪声（去除），并通过生成集群水平的平均锚嵌入上下文的多意义词嵌入（替换）。实验结果表明，本文的方法可以在微观上提高多义词的有监督上下文词嵌入对齐，而不会影响双语词典归纳任务的宏观性能。对于无监督对齐，我们的方法显着提高了双语词典归纳任务的性能超过10点。
2019-09-18 cs.CL
Quantized Wasserstein Procrustes Alignment of Word Embedding Spaces
University of Utah（犹他大学）；Visa Research（维萨研究院）
最优传输（OT）提供了一个有用的几何框架，以估计无监督跨语言词嵌入（CLWE）模型下的排列矩阵，将对齐任务作为Wasserstein-Procrustes问题。然而，通过Sinkhorn的线性规划算法和近似OT求解器用于计算置换矩阵，这带来了显著的计算负担，因为它们在输入大小上分别按三次和二次缩放。这使得对于较大的输入大小精确地计算OT距离变得缓慢且不可行，从而导致置换矩阵的近似质量差，并且随后导致学习的传递函数或映射器的鲁棒性较低。本文提出了一种基于无监督投影的CLWE模型，称为量化Wasserstein Procrustes（qWP）。qWP依赖于源和目标单语嵌入空间的量化步长来估计给定廉价采样过程的置换矩阵。这种方法大大提高了近似质量的经验OT求解器给定的固定计算成本。我们证明，qWP达到最先进的结果双语词典归纳（BLI）任务。
2022-12-05 cs.CL
XLEnt: Mining a Large Cross-lingual Entity Dataset with Lexical-Semantic-Phonetic Word Alignment
Twitter Cortex；Facebook AI；Johns Hopkins University（约翰斯·霍普金斯大学）
跨语言命名实体词典是多语言NLP任务（如机器翻译和跨语言维基化）的重要资源。虽然知识库包含大量高资源语言（如英语和法语）的实体，但低资源语言的相应实体往往缺失。为了解决这个问题，我们提出了词汇-语义-语音对齐（LSP-Align），一种从挖掘的Web数据中自动挖掘跨语言实体词汇的技术。我们证明了LSP-Align在提取跨语言实体对方面优于基线，并从与英语对齐的120种不同语言中挖掘了1.64亿个实体对。我们将这些跨语言实体对与大规模多语言标记命名实体语料库一起发布，作为NLP社区的资源。
2021-09-10 cs.CL
Neural Name Translation Improves Neural Machine Translation
为了控制计算复杂性，神经机器翻译（NMT）系统将词汇表之外的所有罕见单词转换为单个未知符号。先前的解决方案（Luong等人，2015）采取使用多个编号的unk来学习源和目标稀有词之间的对应关系。然而，这种方法不能处理训练语料库中未发现的测试词。而且它还受到单词对齐噪音的影响。本文针对稀有词的一种主要类型--命名实体，提出了用字符级序列到序列模型的翻译方法。NE翻译模型进一步用于在双语训练语料库中导出高质量的NE对齐。通过整合NE翻译和对齐模块，我们的NMT系统在中文到英文的任务中能够超过基线系统2.9 BLEU点。
2016-07-07 cs.CL
Locally Measuring Cross-lingual Lexical Alignment: A Domain and Word Level Perspective
Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文从局部视角研究跨语言词汇对齐，提出基于上下文嵌入的新指标及合成与自然验证方法，分析16种语言表明现有模型仍有改进空间。
2024-10-07 cs.CL
Neural Simultaneous Speech Translation Using Alignment-Based Chunking
Applications Technology (AppTek)（应用技术公司（AppTek））
在同步机器翻译中，目标是确定在给定连续的源单词流的情况下何时产生部分翻译，并在延迟和质量之间进行权衡。我们提出了一个神经机器翻译（NMT）模型，该模型可以动态决定何时继续输入或生成输出单词。该模型由两个主要组件组成：一个用于动态决定结束源块，另一个用于翻译已使用的块。我们以与推理条件一致的方式联合训练组件。为了生成分块的训练数据，我们提出了一种方法，利用词对齐，同时也保留了足够的上下文。我们比较模型与双向和单向编码器的不同深度，无论是在真实的语音和文本输入。我们的结果在2020年的IWITH2020英语到德语的任务优于等待k基线2.6至3.7% BLEU绝对。
2020-05-29 cs.CL
Leveraging Neural Machine Translation for Word Alignment
Charles University（查理大学）
最常见的单词对齐工具依赖于大量的平行句子，然后通常根据IBM模型算法之一进行处理。然而，训练数据与机器翻译（MT）系统相同，特别是对于神经MT（NMT），其本身能够使用训练的注意力头部产生单词对齐。这很方便，因为词对齐理论上是任何基于注意力的NMT的可行副产品，它也能够为翻译的句子对提供解码器评分。我们总结了如何从对齐分数中提取单词对齐的不同方法，然后探索了从NMT中提取分数的方法，重点是基于输出句子和令牌概率推断单词对齐分数。我们将此与从注意力中提取对齐分数进行比较。最后，我们将所有对齐分数的来源聚合到一个简单的前馈网络中，当使用组合对齐提取器时，该网络可以获得最佳结果。
2021-03-31 cs.CL cs.LG
MirrorAlign: A Super Lightweight Unsupervised Word Alignment Model via Cross-Lingual Contrastive Learning
Peking University（北京大学）；The University of Sydney（悉尼大学）；iFlytek Research（讯飞研究院）
词对齐对于下游跨语言语言理解和生成任务是必不可少的。最近，神经词对齐模型的性能已经超过了统计模型。然而，它们严重依赖复杂的翻译模型。在这项研究中，我们提出了一个超轻量级的无监督词对齐模型命名为对齐对齐，其中双向对称注意力训练的对比学习目标，并采用一致性损失绑定的注意地图，使对齐遵循镜像对称假设。在几个公共基准测试上的实验结果表明，与最先进的单词对齐技术相比，我们的模型即使没有更好的性能，也具有竞争力，同时显著减少了平均训练和解码时间。进一步的消融分析和案例研究表明，我们提出的ESTALIGN的优越性。值得注意的是，我们认为我们的模型是统一双语词嵌入和词对齐的先驱尝试。令人鼓舞的是，我们的方法相对于GIZA++实现了{16.4倍的加速比}，与基于transformer的对齐方法相比，实现了{50倍的参数压缩}。我们发布代码以方便社区：https://github.com/moore3930/MirrorAlign。
2022-05-10 cs.AI cs.CL
Bootstrapping Multilingual AMR with Contextual Word Alignments
University of Pennsylvania（宾夕法尼亚大学）；IBM Research（IBM研究院）
我们开发了高性能的多语言抽象意义表示（AMR）系统，通过投影英语AMR注释到其他语言的弱监督。我们通过引导基于transformer的多语言词嵌入来实现这一目标，特别是那些来自跨语言RoberTa（XLM-R large）的词嵌入。我们开发了一种新的技术，用于外国文本到英语AMR对齐，使用英语和外语标记之间的上下文单词对齐。这种词对齐是弱监督的，依赖于上下文化的XLM-R词嵌入。我们实现了非常有竞争力的性能，超过了德语，意大利语，西班牙语和中文的最佳结果。
2021-02-03 cs.AI cs.CL
Neural Baselines for Word Alignment
LIMSI（LIMSI实验室）；CNRS（法国国家科学研究中心）
单词对齐识别平行句子对中的单词之间的翻译对应关系，并且用于例如学习双语词典、训练统计机器翻译系统或执行质量估计。在自然语言处理的大多数领域中，神经网络模型如今构成了优选的方法，这种情况也可能适用于单词对齐模型。在这项工作中，我们研究并全面评估了四种语言对的无监督单词对齐神经模型，对比了几种不同的神经模型。我们表明，在大多数情况下，IBM-1和隐马尔可夫模型的神经版本大大优于其离散的同行。我们还分析了我们的模型克服的基线的典型对齐错误，以说明这些新模型对形态丰富的语言的好处和局限性。
2020-09-28 cs.CL cs.LG
Generative latent neural models for automatic word alignment
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LIMSI（法国信息与自动化研究所）
单词对齐识别平行句子对中的单词之间的翻译对应，并且例如用于学习双语词典、训练统计机器翻译系统或执行质量估计。变分自编码器最近已经被用于各种自然语言处理中，以无监督的方式学习对语言生成任务有用的潜在表示。在本文中，我们研究这些模型的任务字对齐，并提出和评估几个演变的香草变分自编码器。我们证明，这些技术可以产生竞争力的结果相比，吉萨++和强大的神经网络对齐系统的两种语言对。
2020-09-28 cs.CL cs.LG
Accurate Word Alignment Induction from Neural Machine Translation
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Shanghai University of Finance and Economics（上海财经大学）
尽管其最初的目标是共同学习对齐和翻译，但先前的研究表明，Transformer通过其注意力机制捕获不良的单词对齐。在本文中，我们发现，注意力权重捕捉准确的词对齐，并提出了两个新的词对齐归纳方法Shift-Att和Shift-AET。其主要思想是诱导对齐的步骤时，要对齐的目标令牌是解码器的输入，而不是在以前的工作中的解码器输出。Shift-Att是一种解释方法，它从Transformer的注意力权重中导出对齐，并且不需要参数更新或架构更改。Shift-AET从一个附加的对齐模块中提取对齐，该模块紧密集成到Transformer中，并在与对称化Shift-Attalignment的监督隔离的情况下进行训练。在三个公开数据集上的实验表明，这两种方法的性能都优于相应的神经基线，Shift-AET的性能明显优于GIZA++1.4-4.8 AER点。
2020-12-03 cs.CL cs.LG
Cross-Lingual Dependency Parsing Using Code-Mixed TreeBank
Tianjin University（天津大学）；Westlake Institute for Advanced Study（西湖高等研究院）；Soochow University（苏州大学）
树库翻译是一种很有前途的句法依存知识的跨语言迁移方法。其基本思想是根据词对齐将依赖弧从源树库映射到目标译文。然而，这种方法可能会受到源和目标词之间的不完美对齐的影响。为了解决这个问题，我们调查语法转换代码混合，翻译源树库中的自信的话。利用跨语言的词嵌入将句法知识从所得的代码混合树库传递到目标。在大学依存树库上的实验表明，混合代码树库比翻译树库更有效，在跨语言句法分析方法中具有很强的竞争力。
2019-09-05 cs.CL
Neural Machine Translation with Supervised Attention
National Institute of Information and Communications Technology (NICT)（国立情报学研究所）
注意机制对于神经机器翻译是有吸引力的，因为它能够通过在目标词和源词之间生成对齐来动态地编码源句子。然而，它在对准精度上比传统的对准模型要差。在本文中，我们分析和解释这个问题的角度来看，重新排序，并提出了一个监督的注意，这是学习的指导下，从传统的对齐模型。在两个汉英翻译任务上的实验表明，监督注意力机制产生了更好的对齐，从而大大提高了基于标准注意力的NMT。
2016-09-14 cs.CL
Learning aligned embeddings for semi-supervised word translation using Maximum Mean Discrepancy
Interdepartmental Neuroscience Program（跨系神经科学项目）；Yale School of Medicine（耶鲁医学院）
词汇翻译是语言翻译的一个组成部分。在机器翻译中，每种语言都被认为是一个域，具有自己的词嵌入。词嵌入之间的对齐允许在多语言上下文中链接语义上等同的词。此外，它提供了一种方法来推断跨语言意义的话，没有直接翻译。用于词嵌入对齐的当前方法是有监督的，即它们需要已知的词对，或者以无监督的方式学习固定嵌入上的跨域变换。在这里，我们提出了一个端到端的词嵌入对齐方法，不需要已知的词对。我们的方法称为通过MMD（WAM）进行单词对齐，它使用嵌入之间的本地化最大平均离散度（MMD）约束来学习在句子翻译训练期间对齐的嵌入。我们表明，我们的方法不仅优于无监督的方法，但也有监督的方法，训练已知的单词翻译。
2020-06-20 cs.CL cs.LG
Word Alignment as Preference for Machine Translation
The University of Tokyo（东京大学）；NTT Corporation（NTT公司）
本文提出将词对齐作为偏好信号，通过直接偏好优化引导基于大语言模型的机器翻译系统，以缓解幻觉和遗漏问题，并设计了基于GPT-4的评估方法进行验证。
2024-11-20 cs.AI cs.CL
BilBOWA: Fast Bilingual Distributed Representations without Word Alignments
Google Inc.（谷歌公司）；Université de Montréal（蒙特利尔大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们介绍了BilBOWA（Bilingual Bag-of-Words without Alignments），这是一种简单且计算效率高的模型，用于学习单词的双语分布式表示，可以扩展到大型单语数据集，并且不需要单词对齐的并行训练数据。相反，它直接在单语数据上训练，并从较小的原始文本对齐数据集中提取双语信号。这是使用一种新的采样词袋跨语言目标来实现的，该目标用于正则化两个噪声对比语言模型，以实现高效的跨语言特征学习。我们表明，使用所提出的模型学习的双语嵌入在跨语言文档分类任务以及WMT 11数据的词汇翻译任务上优于最先进的方法。
2016-02-04 cs.CL cs.LG stat.ML
Attention Weights in Transformer NMT Fail Aligning Words Between Sequences but Largely Explain Model Predictions
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
这项工作提出了一个广泛的分析Transformer架构的神经机器翻译（NMT）设置。针对编码器-解码器的注意力机制，我们证明了注意力权重主要依赖于来自源序列的无信息标记，系统地产生对齐错误。然而，我们观察到NMT模型将注意力分配给这些标记，以调节两个上下文（源和目标序列的前缀）的预测中的贡献。我们提供的证据错误的对齐对模型行为的影响，证明编码器-解码器注意力机制是非常适合作为NMT的可解释性方法。最后，根据我们的分析，我们提出的方法，大大降低了字对齐出错率相比，标准的注意力权重引起的对齐。
2021-09-13 cs.AI cs.CL
Cross-Lingual Alignment of Contextual Word Embeddings, with Applications to Zero-shot Dependency Parsing
MIT（麻省理工学院）；Tel Aviv University（特拉维夫大学）
我们介绍了一种新的多语言传输方法，该方法利用深度上下文嵌入，以无监督的方式进行预训练。虽然上下文嵌入已被证明产生更丰富的表示意义相比，他们的静态同行，对齐他们提出了一个挑战，由于他们的动态性质。为此，我们构建了原始单语空间的上下文无关的变体，并利用它们的映射来导出上下文相关空间的对齐。这种映射很容易支持目标语言的处理，通过上下文感知的嵌入来改善传输。我们的实验结果表明，该方法的有效性zero-shot和少样本学习的依存句法分析。具体来说，我们的方法在6种测试语言上的表现始终优于以前的最先进技术，平均提高了6.8个LAS点。
2019-04-04 cs.CL cs.LG
Mapping Written Words to Spoken Words in a Different Language Using Only Visual Grounding
Politehnica Bucharest（布加勒斯特理工大学）；Stellenbosch University（斯坦陵布什大学）；Trinity College Dublin（都柏林圣三一学院）
本研究针对低资源场景下的语音数据构建问题，提出一种基于自监督语音表示的对齐方法，可从视觉 grounding 数据中直接学习跨语言词到语音的映射，效果优于以往的注意力模型。
2026-08-28 cs.CL eess.AS
ALIGN-MLM: Word Embedding Alignment is Crucial for Multilingual Pre-training
Princeton University（普林斯顿大学）
多语言预训练模型表现出zero-shot跨语言迁移，其中在源语言上微调的模型在目标语言上实现了令人惊讶的良好性能。虽然研究试图理解迁移，但它们只关注MLM，而自然语言之间的大量差异使得很难理清不同属性的重要性。在这项工作中，我们特别强调了词嵌入对齐的重要性，提出了一个预训练目标（ALIGN-MLM），其辅助损失引导不同语言中的相似词具有相似的词嵌入。当我们评估自然语言和通过系统地修改脚本等特定属性创建的对应语言之间的传输时，ALIGN-MLM优于或匹配三个广泛采用的目标（MLM，XLM，DICT-MLM）。特别是，ALIGN-MLM在POS标记上比XLM和MLM高出35和30个F1点，用于在脚本和词序（从左到右与从左到右）都不同的语言之间进行传输。从右到左）。我们还显示了所有目标的对齐和转移之间的强相关性（例如，rho=0.727（对于XNLI）），这与ALIGN-MLM的强大性能一起要求显式对齐多语言模型的词嵌入。
2022-11-15 cs.AI cs.CL cs.LG
Using Optimal Transport as Alignment Objective for fine-tuning Multilingual Contextualized Embeddings
AWS（亚马逊）
本文提出在微调过程中使用最优传输作为对齐目标，以提升多语言上下文表示，无需预训练词对齐，通过上下文无监督学习词对齐，实现不同映射类型，实验在XNLI和XQuAD任务上取得优于基线的改进。
2021-10-06 cs.AI cs.CL
Gaussian Multi-head Attention for Simultaneous Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
同步机器翻译（SiMT）在接收流源输入的同时输出翻译，因此需要策略来确定从哪里开始翻译。目标词和源词之间的对齐通常意味着每个目标词的信息量最大的源词，因此提供了对翻译质量和延迟的统一控制，但遗憾的是，现有的SiMT方法没有明确地对对齐进行建模以执行控制。在本文中，我们提出了高斯多头注意力（GMA）开发一个新的SiMT政策建模对齐和翻译在一个统一的方式。对于SiMT策略，GMA对每个目标词的对齐源位置进行建模，并相应地等待直到其对齐位置才开始翻译。为了将对齐的学习集成到翻译模型中，引入了以预测对齐位置为中心的高斯分布作为与对齐相关的先验，它与与对齐相关的软注意力合作来确定最终的注意力。在En-Vi和De-En任务上的实验表明，我们的方法在翻译和延迟之间的权衡上优于强基线。
2022-03-17 cs.AI cs.CL
Accurate Online Posterior Alignments for Principled Lexically-Constrained Decoding
IIT Bombay（印度理工学院孟买分校）
机器翻译中的在线对齐是指当目标序列仅被部分解码时将目标词与源词对齐的任务。良好的在线对齐有助于重要的应用程序，例如词汇约束翻译，其中用户定义的字典用于将词汇约束注入翻译模型。我们提出了一种新的后对齐技术，是真正的在线执行和优越的对齐出错率相比，现有的方法。我们提出的推理技术联合考虑对齐和令牌概率的原则性方式，可以无缝集成在现有的约束波束搜索解码算法。在五个语言对，包括两个遥远的语言对，我们实现了一致的下降对齐出错率。当部署在七个词汇约束的翻译任务，我们实现了显着的改进，特别是在BLEU的约束位置。
2022-04-02 cs.CL cs.LG
Style Transfer from Non-Parallel Text by Cross-Alignment
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；ASAPP Inc.（ASAPP公司）
本文以非平行语篇为研究对象，对文体迁移进行研究。这是包括机器翻译、解密和情感修改在内的一系列问题的一个实例。关键的挑战是将内容与风格等其他方面分开。我们假设一个共享的潜在内容分布在不同的文本语料库，并提出了一种方法，利用精细对齐的潜在表示执行风格转移。从一种风格中转移的句子应该与另一种风格中的例句作为一个总体相匹配。我们证明了这种交叉对齐方法在三个任务上的有效性：情感修改，单词替换密码的解密和单词顺序的恢复。
2017-11-06 cs.CL cs.LG
Using Source-Side Confidence Estimation for Reliable Translation into Unfamiliar Languages
University of Notre Dame（圣母大学）
本文提出一种无需对齐的源端置信度估计方法，通过测量目标词概率对源嵌入变化的敏感度来识别机器翻译中的错误，在错误翻译检测上优于传统基于对齐的方法，提升了面向不熟悉目标语言用户的交互式翻译系统的可信度与可解释性。
2025-03-30 cs.CL cs.LG
Are Girls Neko or Shōjo? Cross-Lingual Alignment of Non-Isomorphic Embeddings with Iterative Normalization
University of Maryland, College Park（马里兰大学帕克分校）；Massachusetts Institute of Technology（麻省理工学院）
跨语言词嵌入（CLWE）是许多多语言自然语言处理系统的基础，通常通过预训练的单语言嵌入的正交变换。然而，正交映射只适用于嵌入自然同构的语言对。对于非同构对，我们的方法（迭代归一化）通过同时强制（1）单个单词向量为单位长度，以及（2）每种语言的平均向量为零，来转换单语嵌入，以使正交对齐更容易。迭代规范化一致地提高了三种CLWE方法的单词翻译准确度，其中在英语-日语上观察到的改进最大（从2%到44%的测试准确度）。
2019-11-11 cs.AI cs.CL cs.LG
Towards Multi-Sense Cross-Lingual Alignment of Contextual Embeddings
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Nanyang Technological University（南洋理工大学）
跨语言词嵌入（CLWE）已被证明是有用的，在许多跨语言的任务。然而，大多数现有的学习CLWE的方法，包括那些与上下文嵌入是意义不可知的。在这项工作中，我们提出了一个新的框架，对齐上下文嵌入的意义上的水平，利用跨语言的信号，从双语词典。我们首先提出了一种新的感知交叉熵损失模型明确的词义操作我们的框架。用我们的感知交叉熵损失预训练的单语ELMo和BERT模型在词义消歧任务中表现出显着的性能改善。然后，我们在感知交叉熵损失的基础上提出了一个感知对齐目标，用于跨语言模型预训练，并为几种语言对（英语到德语/西班牙语/日语/中文）预训练跨语言模型。与最佳基线结果相比，我们的跨语言模型在zero-shot跨语言NER、情感分类和XNLI任务上的平均性能分别提高了0.52%、2.09%和1.29%。
2022-09-15 cs.AI cs.CL
Text Style Transfer with Machine Translation for Graphic Designs
Adobe
本文探讨了三种新方法用于图形设计文本风格迁移中的词对齐问题，基于商业可用的NMT和LLM翻译技术，通过定制输入输出标签进行文本风格迁移，并与注意力头方法进行比较。
2026-04-29 cs.AI cs.CL
Learning Bilingual Word Embeddings Using Lexical Definitions
University of California, Los Angeles（加州大学洛杉矶分校）；Stony Brook University（石溪大学）
双语词嵌入是在一个共享的嵌入空间中表示不同语言的词汇，在各种跨语言自然语言处理任务中支持语义和知识转移是必不可少的。现有的训练双语词嵌入的方法通常需要预先定义的种子词典，这些种子词典的获取成本很高，或者需要包含粗糙和噪声对齐的平行句子。相反，我们提出了BilLex，利用公开可用的词汇定义进行双语词嵌入学习。在不需要预先定义种子词典的情况下，BilLex采用了一种新的词对策略，自动识别和传播词汇定义中精确的细粒度词对齐。我们在词级和句子级的翻译任务中对BilLex进行了评估，发现BilLex在这两个任务中的表现都明显优于以往的嵌入方法。
2019-06-21 cs.AI cs.CL cs.LG
