MirrorAlign: A Super Lightweight Unsupervised Word Alignment Model via Cross-Lingual Contrastive Learning
Peking University（北京大学）；The University of Sydney（悉尼大学）；iFlytek Research（讯飞研究院）
词对齐对于下游跨语言语言理解和生成任务是必不可少的。最近，神经词对齐模型的性能已经超过了统计模型。然而，它们严重依赖复杂的翻译模型。在这项研究中，我们提出了一个超轻量级的无监督词对齐模型命名为对齐对齐，其中双向对称注意力训练的对比学习目标，并采用一致性损失绑定的注意地图，使对齐遵循镜像对称假设。在几个公共基准测试上的实验结果表明，与最先进的单词对齐技术相比，我们的模型即使没有更好的性能，也具有竞争力，同时显著减少了平均训练和解码时间。进一步的消融分析和案例研究表明，我们提出的ESTALIGN的优越性。值得注意的是，我们认为我们的模型是统一双语词嵌入和词对齐的先驱尝试。令人鼓舞的是，我们的方法相对于GIZA++实现了{16.4倍的加速比}，与基于transformer的对齐方法相比，实现了{50倍的参数压缩}。我们发布代码以方便社区：https://github.com/moore3930/MirrorAlign。
2022-05-10 cs.AI cs.CL
Bootstrapping Multilingual AMR with Contextual Word Alignments
University of Pennsylvania（宾夕法尼亚大学）；IBM Research（IBM研究院）
我们开发了高性能的多语言抽象意义表示（AMR）系统，通过投影英语AMR注释到其他语言的弱监督。我们通过引导基于transformer的多语言词嵌入来实现这一目标，特别是那些来自跨语言RoberTa（XLM-R large）的词嵌入。我们开发了一种新的技术，用于外国文本到英语AMR对齐，使用英语和外语标记之间的上下文单词对齐。这种词对齐是弱监督的，依赖于上下文化的XLM-R词嵌入。我们实现了非常有竞争力的性能，超过了德语，意大利语，西班牙语和中文的最佳结果。
2021-02-03 cs.AI cs.CL
Annotated Guidelines and Building Reference Corpus for Myanmar-English Word Alignment
University of Computer Studies, Mandalay（曼德勒计算机大学）；AI Research Lab（人工智能研究实验室）
词对齐参考语料库是开发和评估词对齐方法的重要资源。对于缅甸语-英语语言对，没有参考语料库来评估词对齐任务。因此，我们创建了基于对比学习的两种语言之间的缅甸-英语词对齐注释指南，并建立了由亚洲语言树库（ALT）的缅甸ALT验证对齐组成的缅甸-英语参考语料库。该参考语料库包含用于单词对齐的确信标签sure（S）和possible（P），其用于测试单词对齐任务的评估目的。我们讨论了最链接的歧义，以定义一致和系统的指示，以对齐手动的话。我们使用我们的参考语料库的对齐出错率（AER）在词对齐任务的注释协议的结果进行了评估，并讨论了BLEU分数方面的词的关系。
2019-09-25 cs.AI cs.CL cs.IR
BinaryAlign: Word Alignment as Binary Sequence Labeling
Ubisoft La Forge（育碧 La Forge）
BinaryAlign基于二元序列标注统一了高、低资源语言词对齐任务，在两种场景下均优于现有方法，并公开了源代码。
2024-07-16 cs.AI cs.CL
Third-Party Aligner for Neural Word Alignments
Soochow University（苏州大学）；Alibaba DAMO Academy（阿里巴巴达摩院）
词对齐是指在源语句和目标语句之间找到语义上对等的词。以前的工作已经证明，自我训练可以实现有竞争力的词对齐结果。在本文中，我们建议使用第三方词对齐器生成的词对齐来监督神经词对齐训练。具体地，当微调预训练的跨语言语言模型时，由第三方对齐器对齐的每个词对的源词和目标词被训练为在上下文化嵌入空间中彼此近邻。在各种语言对的基准测试上的实验表明，我们的方法可以通过找到更准确的词对齐和删除错误的词对齐，从而在第三方监督下进行自我纠正，从而获得比各种第三方词对齐器更好的性能，包括目前最好的一个。当我们整合来自各种第三方对齐器的所有监督时，我们实现了最先进的单词对齐性能，对齐出错率平均比最好的第三方对齐器低两个点以上。我们在https://github.com/sdongchuanqi/Third-Party-Supervised-Aligner上发布了我们的代码。
2022-11-08 cs.CL
Phonetically-Oriented Word Error Alignment for Speech Recognition Error Analysis in Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们提出了一种用于语音识别评估的常用字错误率（WER）指标的变体，该指标在没有时间边界信息的情况下结合了音素的对齐。在计算参考和假设成绩单中的单词的Levenshtein对齐之后，相邻错误的跨度被转换成具有单词和音节边界的音素，并且执行语音Levenshtein对齐。对齐的音素被重新组合成对齐的单词，这些单词调整每个错误区域中的单词对齐标签。我们证明，我们的语音导向的单词错误率（POWER）产生类似的分数WER与更好的单词对齐的附加优势，并能够捕捉对应于语音识别假设中的同音错误的一对多单词对齐。这些改进的比对使我们能够更好地跟踪Levenshtein错误类型对语音翻译等下游任务的影响。
2019-04-24 cs.CL
Does language matter for spoken word classification? A multilingual generative meta-learning approach
Bytefuse
本文探讨多语言环境下元学习在口语分类中的应用，通过生成元持续学习算法训练不同语言模型，发现多语言模型表现最佳，但模型性能差异较小，训练数据独特小时数比语言数量更影响性能。
2026-05-14 cs.AI cs.CL
Neural Network-based Word Alignment through Score Aggregation
Idiap Research Institute（伊迪亚普研究所）；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Facebook AI Research（脸书人工智能研究院）
我们提出了一个简单的神经网络字对齐，建立源和目标词窗口表示计算对齐分数的句子对。为了实现无监督训练，我们使用聚合操作来汇总给定目标词的对齐分数。软边目标增加真实目标词的得分，同时减少不存在的目标词的得分。与流行的快速对齐模型相比，我们的方法在英语-捷克语上提高了7 AER的对齐精度，在罗马尼亚语-英语上提高了6 AER，在英语-法语对齐上提高了1.7 AER。
2016-06-30 cs.CL
Word-Alignment-Based Segment-Level Machine Translation Evaluation using Word Embeddings
Nara Institute of Science and Technology（奈良先端科学技术大学）；Tokyo Metropolitan University（东京都立大学）
机器翻译评价中的一个重要问题是评价不同表面形式的翻译假设与参考文献之间的相似性，特别是在片段水平上。我们建议使用词嵌入来执行词对齐段级MT评估。我们使用三种类型的对齐方法进行实验，使用词嵌入。我们用各种翻译数据集评估了我们提出的方法。实验结果表明，我们提出的方法优于以前的词嵌入的方法。
2017-04-02 cs.CL
Word Alignment in the Era of Deep Learning: A Tutorial
The University of Pennsylvania（宾夕法尼亚大学）
单词对齐任务，尽管在统计机器翻译（SMT）时代很突出，但在今天是利基和未充分开发的。在这个由两部分组成的教程中，我们将讨论单词对齐的持续相关性。第一部分介绍了作为传统SMT流水线核心组件的单词对齐的历史背景。我们瞄准了GIZA++，这是一个无监督的统计单词对齐器，寿命惊人。跳跃到神经机器翻译（NMT）时代，我们展示了单词对齐的见解如何启发了当今NMT的基本注意力机制。第二部分转向调查方法。我们涵盖了神经单词对齐器，显示了超越GIZA++性能的缓慢但稳定的进展。最后，我们涵盖了词对齐的当前应用，从跨语言注释投影到改进翻译。
2022-11-30 cs.CL
Graph Neural Networks for Multiparallel Word Alignment
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（法国国家信息与自动化研究所跨学科数字科学实验室）
在经历了一段时间的下降之后，人们对词对齐的兴趣再次增加，因为它们在类型学研究、跨语言注释投影和机器翻译等领域中的有用性。通常，对齐算法只使用双文本，而不利用许多平行语料库是多平行的这一事实。在这里，我们通过考虑所有语言对来计算多个语言对之间的高质量单词对齐。首先，我们创建一个多平行单词对齐图，将所有双语单词对齐对连接到一个图中。接下来，我们使用图神经网络（GNNs）来利用图结构。我们的GNN方法（i）利用有关输入单词的含义，位置和语言的信息，（ii）结合来自多个平行句子的信息，（iii）从初始对齐中添加和删除边缘，以及（iv）产生一个预测模型，可以推广到训练句子之外。我们发现，社区发现多并行字对齐提供了有价值的信息。我们的方法在三个单词对齐数据集和下游任务上的性能优于以前的工作。
2022-08-10 cs.CL
Word Alignment as Preference for Machine Translation
The University of Tokyo（东京大学）；NTT Corporation（NTT公司）
本文提出将词对齐作为偏好信号，通过直接偏好优化引导基于大语言模型的机器翻译系统，以缓解幻觉和遗漏问题，并设计了基于GPT-4的评估方法进行验证。
2024-11-20 cs.AI cs.CL
End-to-End Neural Word Alignment Outperforms GIZA++
Lilt, Inc.（Lilt公司）
单词对齐曾经是自然语言处理中的核心无监督学习任务，因为它在训练统计机器翻译（MT）模型中起着至关重要的作用。虽然词对齐对于训练神经机器翻译模型是不必要的，但是词对齐在神经机器翻译的交互式应用中仍然起着重要的作用，例如注释转移和词典注入。虽然统计机器翻译方法已经被性能优越的神经方法所取代，但二十年前的GIZA++工具包仍然是最先进的单词对齐系统的关键组成部分。之前关于神经单词对齐的工作只能通过在训练过程中使用其输出来超越GIZA++。我们提出了第一个端到端神经单词对齐方法，该方法在三个数据集上的性能始终优于GIZA++。我们的方法重新使用了一个为监督翻译训练的Transformer模型，以一种紧密集成且不影响翻译质量的方式作为一个无监督的单词对齐模型。
2020-04-30 cs.CL
Scaling few-shot spoken word classification with generative meta-continual learning
University of Cape Town（开普敦大学）
本文研究了在仅获得每个类别五个样本的情况下，通过生成性元持续学习（GeMCL）算法对1000个类别进行少样本语音词分类的潜力，并展示了其在性能稳定性及适应速度上的优势。
2026-06-04 cs.AI cs.CL
A Supervised Word Alignment Method based on Cross-Language Span Prediction using Multilingual BERT
NTT Communication Science Laboratories, NTT Corporation（日本电信电话株式会社NTT通信科学实验室）
本文提出了一种基于跨语言跨度预测的有监督词对齐方法。我们首先将单词对齐问题形式化为从源句子中的标记到目标句子中的跨度的独立预测的集合。由于这相当于SQuAD v2.0风格的问答任务，因此我们使用多语言BERT解决了这个问题，该问题是在手动创建的黄金单词对齐数据上进行微调的。我们通过向问题中添加标记的上下文，大大提高了单词对齐的准确性。在使用中文，日语，德语，罗马尼亚语，法语和英语之间的五个单词对齐数据集的实验中，我们表明，所提出的方法显着优于以前的监督和无监督的单词对齐方法，而无需使用任何双文本进行预训练。例如，我们对中英文数据的F1得分为86.7，比以前最先进的监督方法高出13.3分。
2020-04-29 cs.CL
Learning Bilingual Word Representations by Marginalizing Alignments
University of Oxford（牛津大学）
我们提出了一个概率模型，同时学习双语数据的对齐和分布式表示。通过边缘化词对齐，该模型捕获了一个更大的语义上下文比以前的工作依赖于硬对齐。这种方法的优势在跨语言分类任务中得到了证明，在该任务中，我们的表现优于先前发表的最新技术水平。
2014-05-05 cs.CL
SimAlign: High Quality Word Alignments without Parallel Training Data using Static and Contextualized Embeddings
LMU Munich（慕尼黑大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
单词对齐对于统计和神经机器翻译（NMT）以及跨语言注释投影等任务非常有用。统计单词对齐器表现良好，NMT中提取对齐与翻译的方法也是如此。然而，大多数方法需要并行的训练数据，并且质量随着可用的训练数据的减少而降低。我们提出了不需要并行数据的单词对齐方法。关键思想是利用静态和上下文化的多语言词嵌入来进行词对齐。我们的多语言嵌入仅从单语数据创建，而不依赖于任何并行数据或字典。我们发现，与传统统计对齐器产生的对齐相比，从嵌入创建的对齐对于四种语言对是优越的，并且对于两种语言对是可比的，即使具有丰富的并行数据;例如，语境化嵌入实现了英语-德语的单词对齐F1，比在10万个平行句子上训练的高质量统计对齐器eflomal高5个百分点。
2021-04-16 cs.CL
Neural semi-Markov CRF for Monolingual Word Alignment
Ohio State University（俄亥俄州立大学）；Georgia Institute of Technology（佐治亚理工学院）
单语单词对齐对于研究细粒度编辑操作（即，删除，添加和替换）在文本到文本生成任务，如释义生成，文本简化，中和偏见的语言等，在本文中，我们提出了一种新的神经半马尔可夫CRF对齐模型，通过可变长度跨度统一的单词和短语对齐。我们还创建了一个新的基准与人类注释，涵盖四种不同的文本类型，以评估单语词对齐模型在更现实的设置。实验结果表明，我们提出的模型优于所有以前的单语词对齐方法，以及竞争性的基于QA的基线，这是以前只适用于双语数据。我们的模型对三个域外数据集表现出良好的泛化能力，并在两个下游应用中表现出很大的实用性：自动文本简化和句子对分类任务。
2021-06-16 cs.CL
Adding Interpretable Attention to Neural Translation Models Improves Word Alignment
Lilt, Inc.（Lilt公司）
与更简单和更浅的模型相比，每层具有多个注意力头的多层模型提供了更好的翻译质量，但因此确定什么源上下文与每个目标词最相关更具挑战性。因此，从最先进的神经机器翻译模型的激活中获得高精度的单词对齐是一个开放的挑战。我们提出了一个简单的模型扩展的Transformer架构，利用其隐藏的表示，并仅限于参加编码器信息预测下一个字。它可以在没有单词对齐信息的双语数据上训练。我们进一步引入了一种新的对齐推理过程，该过程应用随机梯度下降来直接优化对给定目标词的注意激活。由此产生的对齐显着优于天真的方法来解释Transformer的注意力激活，并与吉萨++在两个公开的数据集。
2019-01-31 cs.CL
ALIGN: Word Association Learning for Cultural Alignment in Large Language Models
School of Computing and Information Systems, The University of Melbourne（计算与信息系统学院，墨尔本大学）；Melbourne Data Analytics Platform, The University of Melbourne（墨尔本数据分析平台，墨尔本大学）；Faculty of Information Technology, Monash University（信息技术学院，墨尔本大学）
ALIGN通过微调大语言模型以学习母语使用者的词关联规范，显著提升文化对齐效果，无需昂贵重新训练。
2025-12-15 cs.AI cs.CL
Attention Weights in Transformer NMT Fail Aligning Words Between Sequences but Largely Explain Model Predictions
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
这项工作提出了一个广泛的分析Transformer架构的神经机器翻译（NMT）设置。针对编码器-解码器的注意力机制，我们证明了注意力权重主要依赖于来自源序列的无信息标记，系统地产生对齐错误。然而，我们观察到NMT模型将注意力分配给这些标记，以调节两个上下文（源和目标序列的前缀）的预测中的贡献。我们提供的证据错误的对齐对模型行为的影响，证明编码器-解码器注意力机制是非常适合作为NMT的可解释性方法。最后，根据我们的分析，我们提出的方法，大大降低了字对齐出错率相比，标准的注意力权重引起的对齐。
2021-09-13 cs.AI cs.CL
Word Alignment by Fine-tuning Embeddings on Parallel Corpora
Carnegie Mellon University（卡内基梅隆大学）
平行语料库上的词对齐具有广泛的应用，包括学习翻译词典、语言处理工具的跨语言迁移以及翻译输出的自动评估或分析。过去绝大多数关于单词对齐的工作都是通过对平行文本进行无监督学习来实现的。然而，最近，其他工作表明，来自多语言训练的语言模型（LM）的预训练的上下文化词嵌入证明是一个有吸引力的替代方案，即使在没有明确的并行数据训练的情况下，也能在词对齐任务上取得有竞争力的结果。在本文中，我们研究了将这两种方法结合起来的方法：利用预先训练的LM，但在并行文本上对其进行微调，目标是提高对齐质量，并提出了从这些微调模型中有效提取对齐的方法。我们对五种语言对进行了实验，并证明我们的模型可以始终优于以前的所有品种的最先进的模型。此外，我们证明了我们能够训练多语言单词对齐器，可以获得不同的语言对强大的性能。我们的对齐器AWESOME（对齐多语言编码器的词嵌入空间）带有预训练模型，可在https://github.com/neulab/awesome-align上获得
2021-08-12 cs.CL
Contrastive Unsupervised Word Alignment with Non-Local Features
Tsinghua University（清华大学）
词对齐是一项重要的自然语言处理任务，它反映了自然语言之间的对应关系。近年来，基于对数线性模型的词对齐的无监督学习由于结合了生成式和判别式方法的优点而受到广泛关注。然而，一个主要的挑战仍然存在：它是难以计算的非本地功能，这是至关重要的捕捉自然语言之间的分歧的期望。我们提出了一种对比的方法，旨在区分观察到的训练样本从噪音。它不仅引入了先验知识来指导无监督学习，而且取消了分区函数。基于观察到的概率质量的对数线性模型的字对齐通常是高度集中的，我们建议使用前n对齐来近似的期望后验分布。这允许有效且准确地计算非局部特征的期望。实验表明，我们的方法取得了显着的改进，国家的最先进的无监督字对齐方法。
2014-10-10 cs.CL
Saliency-driven Word Alignment Interpretation for Neural Machine Translation
Center for Language and Speech Processing（语言与语音处理中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
尽管其最初的目标是共同学习对齐和翻译，但神经机器翻译（NMT）模型，特别是Transformer，通常被认为不学习可解释的单词对齐。在本文中，我们证明了NMT模型确实学习了可解释的词对齐，这只能通过适当的解释方法来揭示。我们提出了一系列这样的方法，是模型不可知的，能够应用于离线或在线，并且不需要参数更新或架构更改。我们表明，在强制解码设置下，我们的解释方法引起的对齐比快速对齐的一些系统的质量更好，当执行自由解码，他们同意以及自动对齐工具引起的对齐。
2019-06-27 cs.CL
Leveraging Neural Machine Translation for Word Alignment
Charles University（查理大学）
最常见的单词对齐工具依赖于大量的平行句子，然后通常根据IBM模型算法之一进行处理。然而，训练数据与机器翻译（MT）系统相同，特别是对于神经MT（NMT），其本身能够使用训练的注意力头部产生单词对齐。这很方便，因为词对齐理论上是任何基于注意力的NMT的可行副产品，它也能够为翻译的句子对提供解码器评分。我们总结了如何从对齐分数中提取单词对齐的不同方法，然后探索了从NMT中提取分数的方法，重点是基于输出句子和令牌概率推断单词对齐分数。我们将此与从注意力中提取对齐分数进行比较。最后，我们将所有对齐分数的来源聚合到一个简单的前馈网络中，当使用组合对齐提取器时，该网络可以获得最佳结果。
2021-03-31 cs.CL cs.LG
OmniAlign: A Unified Multilingual Aligner for Word and Sentence Alignment
WPS Qingqiu（WPS清qiu（WPS清秋））
OmniAlign是一款轻量级多语言对齐工具，采用四阶段训练流程，可同时支持词级和句子级对齐，在基准测试中表现具竞争力且泛化性良好，短文本微调可提升其对齐质量与长文本稳健性。
2026-08-20 cs.CL
When do Contrastive Word Alignments Improve Many-to-many Neural Machine Translation?
Kyoto University（京都大学）；NICT（日本信息通信研究机构）
单词对齐已被证明有利于多对多神经机器翻译（NMT）。然而，在以前的方法中，高质量的地面实况双语词典被用于预编辑，这对于大多数语言对是不可用的。同时，对比目标可以隐含地利用自动学习的词对齐，这在多对多NMT中还没有被探索。这项工作提出了一个词级的对比目标，利用词对齐多对多NMT。实证结果表明，这导致了0.8 BLEU增益为几个语言对。分析表明，在多对多NMT中，编码器的句子检索性能与翻译质量高度相关，这解释了所提出的方法何时影响翻译。这激发了未来对多对多NMT的探索，以提高编码器的句子检索性能。
2022-04-26 cs.CL
Smoothing parameter estimation framework for IBM word alignment models
VNU University of Engineering and Technology（越南国立大学工程技术大学）；Ton Duc Thang University（孙德胜大学）
IBM模型是机器翻译中非常重要的词对齐模型。遵循最大似然估计原则来估计其参数，当数据稀疏时，模型很容易过拟合训练数据。平滑是语言模型中一种非常流行的解决方案，但是对于词对齐的平滑研究还很缺乏。在本文中，我们提出了一个框架，推广了显着的工作摩尔[2004]应用添加剂平滑词对齐模型。该框架允许开发人员自定义每对单词的平滑量。添加的量将通过一个公共因子进行适当的缩放，该因子反映了框架根据数据性能对添加策略的信任程度。我们还仔细研究了各种性能标准，并提出了一个平滑版本的错误计数，这通常会给出最佳结果。
2016-04-27 cs.CL
Subword Sampling for Low Resource Word Alignment
Volkswagen AG（大众汽车集团）；Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）
注释投影是NLP中的一个重要领域，可以为低资源语言创建语言资源。单词对齐在此设置中起着关键作用。然而，大多数现有的单词对齐方法是针对机器翻译中的高资源设置而设计的，在该高资源设置中，数百万个并行句子是可用的。当处理现有的IBM模型失败的低资源语言时，这个数量减少到几千个句子。在本文中，我们提出了基于子字采样的文本单元对齐。该方法的假设是，对于某些语言对，不同粒度的文本的聚合可以帮助词级对齐。对于某些语言的黄金标准的对齐存在，我们提出了一个迭代贝叶斯优化框架，以优化选择可能的子词从空间的可能的子词表示的源和目标句子。我们表明，子词抽样方法始终优于单词级对齐的六种语言对：英语-德语，英语-法语，英语-罗马尼亚语，英语-波斯语，英语-印地语，英语-因纽特语。此外，我们还表明，为某些语言对学习的超参数可以在没有监督的情况下应用于其他语言，并不断改善对齐结果。我们观察到，使用$5K$平行句子与我们提出的子词采样方法一起，我们获得了类似的F1分数使用$100K$的平行句子在现有的词级快速对齐/eflomal对齐方法。
2021-06-15 cs.CL
A Discriminative Neural Model for Cross-Lingual Word Alignment
Johns Hopkins University（约翰斯·霍普金斯大学）
我们引入了一种新的判别词对齐模型，我们集成到基于transformer的机器翻译模型。在基于少量标记示例（约1.7K-5 K句子）的实验中，我们从本质上评估了其在英语-中文和英语-阿拉伯语对齐方面的性能，在无监督基线（11-27 F1）上实现了重大改进。我们评估的模型外的数据投影为中国的NER，显示我们的比对导致更高的性能时，用于投影NER标签从英语到中文。最后，我们进行了消融分析和注释实验，共同支持未来手动对齐启发的实用性和可行性。
2019-09-01 cs.CL
ALIGN-MLM: Word Embedding Alignment is Crucial for Multilingual Pre-training
Princeton University（普林斯顿大学）
多语言预训练模型表现出zero-shot跨语言迁移，其中在源语言上微调的模型在目标语言上实现了令人惊讶的良好性能。虽然研究试图理解迁移，但它们只关注MLM，而自然语言之间的大量差异使得很难理清不同属性的重要性。在这项工作中，我们特别强调了词嵌入对齐的重要性，提出了一个预训练目标（ALIGN-MLM），其辅助损失引导不同语言中的相似词具有相似的词嵌入。当我们评估自然语言和通过系统地修改脚本等特定属性创建的对应语言之间的传输时，ALIGN-MLM优于或匹配三个广泛采用的目标（MLM，XLM，DICT-MLM）。特别是，ALIGN-MLM在POS标记上比XLM和MLM高出35和30个F1点，用于在脚本和词序（从左到右与从左到右）都不同的语言之间进行传输。从右到左）。我们还显示了所有目标的对齐和转移之间的强相关性（例如，rho=0.727（对于XNLI）），这与ALIGN-MLM的强大性能一起要求显式对齐多语言模型的词嵌入。
2022-11-15 cs.AI cs.CL cs.LG
Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora
School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）；NTT Communication Science Laboratories（NTT通信科学实验室）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所革新智能综合研究中心）
我们提出了一种新的方法来学习上下文跨语言的词嵌入的基础上一个小的平行语料库（例如几百个句子对）。我们的方法通过LSTM编码器-解码器模型获得词嵌入，该模型同时翻译和重建输入句子。通过在不同语言之间共享模型参数，我们的模型在一个公共的跨语言空间中联合训练词嵌入。我们还建议结合词和子词嵌入，以利用不同语言的拼写相似性。我们的实验基于濒危语言的真实数据，即永宁纳，Shipibo-Konibo和Griko。我们的双语词典归纳和单词对齐任务的实验表明，我们的模型优于现有的方法，大多数语言对的大幅度。这些结果表明，与通常的看法相反，编码器-解码器翻译模型即使在资源极其有限的情况下也有利于学习跨语言表示。此外，我们的模型在高资源条件下也能很好地工作，在德语-英语单词对齐任务上实现了最先进的性能。
2021-10-20 cs.AI cs.CL cs.LG
Psycholinguistic Word Features: a New Approach for the Evaluation of LLMs Alignment with Humans
Universidad Politécnica de Madrid（马德里理工大学）；Ghent University（根特大学）
本文提出利用心理语言学词汇特征评估 LLMs 与人类的对齐程度，在 Glasgow 和 Lancaster 常模数据集上测试发现，LLMs 在 Glasgow 常模特征上对齐较好，而在 Lancaster 感官特征上对齐受限，揭示了其缺乏具身认知的局限。
2025-05-29 cs.AI cs.CL
Improved Semantic-Aware Network Embedding with Fine-Grained Word Alignment
Duke University（杜克大学）
网络嵌入学习大规模网络中每个顶点的低维表示，近年来受到了相当大的关注。对于广泛的应用，在网络中的顶点通常伴随着丰富的文本信息，如用户简档，论文摘要等，我们建议将语义特征到网络嵌入匹配的文本序列之间的所有对顶点的重要单词。我们引入了一个字的字对齐框架，衡量词对之间的嵌入的兼容性，然后自适应地积累这些对齐功能与一个简单而有效的聚合函数。在实验中，我们评估所提出的框架在三个现实世界的基准下游任务，包括链接预测和多标签顶点分类。结果表明，我们的模型优于国家的最先进的网络嵌入方法的大幅度。
2018-08-29 cs.AI cs.CL cs.LG
Unbalanced Optimal Transport for Unbalanced Word Alignment
Osaka University（大阪大学）；Kyoto University（京都大学）；Tohoku University（东北大学）；RIKEN（理化学研究所）
本文提出用平衡、部分和非平衡 OT 统一处理单语词对齐与空对齐，在无监督和有监督实验中达到与专用最优方法相当的性能。
2023-06-07 cs.CL cs.LG
Multilingual Alignment of Contextual Word Representations
University of California, Berkeley（加州大学伯克利分校）；Computer Science Division（计算机科学系）
我们提出了评估和加强上下文嵌入对齐的程序，并表明它们在分析和改进多语言BERT中是有用的。特别是，在我们提出的对齐过程后，与基本模型相比，BERT在XNLI上表现出显着改善的zero-shot性能，显著匹配保加利亚语和希腊语的伪全监督训练模型。此外，为了测量对齐的程度，我们引入了一个上下文版本的单词检索，并表明它与下游zero-shot传输相关。使用这个词检索任务，我们还分析了BERT，并发现它表现出系统的缺陷，例如，更差的对齐开放类的词性和词对写在不同的脚本，纠正对齐过程。这些结果支持上下文对齐作为理解大型多语言预训练模型的有用概念。
2020-02-12 cs.CL cs.LG
Gloss Alignment Using Word Embeddings
University of Surrey（萨里大学）
本文提出利用大型口语语言模型和词嵌入，将手语识别定位结果与字幕对齐，以解决电视广播数据中两者错位问题，并在MDGS和BOBSL数据集上验证了有效性。
2023-08-08 cs.AI cs.CL
Word-Level Alignment of Paper Documents with their Electronic Full-Text Counterparts
Heidelberg Institute for Theoretical Studies gGmbH（海德堡理论研究所）
我们描述了一个简单的过程，用于自动创建打印文档及其各自的全文版本之间的字级对齐。该程序是无人监督的，只使用标准的现成组件，在基本设置中达到85.01的F分数，在使用前处理和后处理时达到86.63。潜在的应用领域是手动数据库管理（包括文档分类）和生物医学表达OCR。
2021-04-30 cs.CL
SilverAlign: MT-Based Silver Data Algorithm For Evaluating Word Alignment
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心（CIS））；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心（MCML））
单词对齐对于各种NLP任务至关重要。因此，选择最佳的创建方法至关重要。然而，黄金评估数据的稀缺性使选择变得困难。我们提出了SilverAlign，一种新的方法来自动创建银数据的评价字对齐器，利用机器翻译和最小对。我们表明，银数据的性能与9种语言对的黄金基准相关，使我们的方法成为在黄金数据不可用时评估不同领域和语言的有效资源。这解决了低资源语言缺少黄金数据对齐的重要情况。
2023-03-27 cs.CL
Simple Models for Word Formation in English Slang
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
我们提出了三种类型的超语法构词现象在英语俚语丰富的生成模型：混合，剪报，重叠。采用数据驱动的方法，结合语言知识，我们提出了简单的模型，在人类注释的金标准数据集上具有最先进的性能。总的来说，我们的模型揭示了俚语构词的生成过程的见解--在互联网上俚语和非标准变体日益流行的背景下，这些见解越来越相关。
2018-04-07 cs.AI cs.CL
Phoneme- and Word-Level Metrics Using Self-Supervised Speech Representations for Forced Alignment Evaluation
University of Tübingen（蒂宾根大学）；University of Jena（耶拿大学）
该研究提出基于自监督语音表示的PCMI和WACS指标，用于无需人工标注时间戳的可扩展强制对齐评估，可区分对齐质量并与基准高度相关，已开源。
2026-08-31 cs.CL
Neural Baselines for Word Alignment
LIMSI（LIMSI实验室）；CNRS（法国国家科学研究中心）
单词对齐识别平行句子对中的单词之间的翻译对应关系，并且用于例如学习双语词典、训练统计机器翻译系统或执行质量估计。在自然语言处理的大多数领域中，神经网络模型如今构成了优选的方法，这种情况也可能适用于单词对齐模型。在这项工作中，我们研究并全面评估了四种语言对的无监督单词对齐神经模型，对比了几种不同的神经模型。我们表明，在大多数情况下，IBM-1和隐马尔可夫模型的神经版本大大优于其离散的同行。我们还分析了我们的模型克服的基线的典型对齐错误，以说明这些新模型对形态丰富的语言的好处和局限性。
2020-09-28 cs.CL cs.LG
Cross-Lingual Word Alignment for ASEAN Languages with Contrastive Learning
College of Computer and Software Engineering, Hohai University（河海大学计算机与软件学院）
针对低资源东盟语言词对齐，本文在基于 BiLSTM 的编码器-解码器框架中引入对比学习与多视角负采样，显式建模词嵌入差异，并在四个语种、五个数据集上验证其持续提升对齐准确率。
2024-07-06 cs.CL
Gromov-Wasserstein Alignment of Word Embedding Spaces
MIT（麻省理工学院）
跨语言或跨域对应在从机器翻译到迁移学习的任务中起着关键作用。最近，在单语嵌入上操作的纯无监督方法已经成为有效的对齐工具。然而，当前最先进的方法涉及多个步骤，包括启发式事后细化策略。在本文中，我们铸造的对应问题直接作为一个最佳运输（OT）的问题，建立在词嵌入产生的度量恢复算法的想法。事实上，我们利用Gromov-Wasserstein距离来衡量不同语言中单词对之间的相似性。我们表明，我们的OT目标可以有效地估计，需要很少或根本没有调整，并导致性能与国家的最先进的各种无监督单词翻译任务。
2018-08-31 cs.CL
Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment
Beijing Institute of Technology（北京理工大学）；Microsoft Research（微软研究院）
跨语言语言模型通常是在多语言文本或平行句子上使用掩蔽语言建模进行预训练的。在本文中，我们引入了去噪单词对齐作为一项新的跨语言预训练任务。具体来说，该模型首先为平行句子自标记单词对齐。然后，我们随机屏蔽一个bitext对中的标记。给定一个掩码标记，该模型使用指针网络来预测另一种语言中的对齐标记。我们以期望最大化的方式交替执行上述两个步骤。实验结果表明，该方法提高了跨语言的可移植性在各种数据集上，特别是在令牌级的任务，如问答，结构化预测。此外，该模型可以作为一个预先训练的字对齐器，实现合理的低出错率的对齐基准。代码和预训练参数可在https://github.com/CZWin32768/XLM-Align上获得。
2021-09-13 cs.CL
Extending Word-Level Quality Estimation for Post-Editing Assistance
University of Tsukuba（筑波大学）；NTT Communication Science Laboratories, NTT Corporation（日本电报电话公司NTT通信科学实验室）
我们定义了一个新的概念，称为扩展词对齐，以提高后期编辑辅助效率。基于扩展的词对齐，我们进一步提出了一个新的任务称为细化词级QE输出细化标签和词级对应。与原词级QE相比，新任务能够直接指出编辑操作，从而提高了效率。为了提取扩展词对齐，我们采用了基于mBERT的监督方法。为了解决精确的词级QE，我们首先通过训练基于mBERT和XLM-R的序列标记回归模型来预测原始QE标记。然后，我们用扩展词对齐来改进原始词标签。此外，我们还提取了源-空位对应关系，同时获得了空位标签。在两个语言对上的实验表明了该方法的可行性，并为进一步改进提供了启示。
2022-09-23 cs.CL
Using Optimal Transport as Alignment Objective for fine-tuning Multilingual Contextualized Embeddings
AWS（亚马逊）
本文提出在微调过程中使用最优传输作为对齐目标，以提升多语言上下文表示，无需预训练词对齐，通过上下文无监督学习词对齐，实现不同映射类型，实验在XNLI和XQuAD任务上取得优于基线的改进。
2021-10-06 cs.AI cs.CL
Unsupervised Alignment of Distributional Word Embeddings
University College London（伦敦大学学院）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
跨领域对齐在从机器翻译到迁移学习的各种任务中起着关键作用。最近，纯无监督的方法操作单语嵌入已成功地用于推断双语词典，而不依赖于监督。然而，目前的最先进的方法只关注点向量，虽然分布式嵌入已被证明嵌入更丰富的语义信息时，表示的话。在本文中，我们提出了随机优化方法对齐概率嵌入。最后，我们通过对齐在单语数据上训练的词嵌入来评估我们在无监督词翻译问题上的方法。我们表明，所提出的方法在双语词典归纳任务上取得了良好的性能，在几种语言对，并表现得比基于点向量的方法。
2022-09-21 cs.CL
Does mBERT understand Romansh? Evaluating word embeddings using word alignment
Zurich Center of Linguistics（苏黎世语言学中心）；University of Zurich（苏黎世大学）
本文通过德语-罗曼什语词对齐任务评估 mBERT 在零样本场景下对未见语言罗曼什语的理解能力，并提出包含约 10 万句对的 DERMIT 三语语料库及词对齐黄金标准。
2023-08-17 cs.CL
Scaling Unsupervised Word Alignment to Documents via Structural Constraints
University of Zurich（苏黎世大学）
针对直接将句子级词对齐算法用于文档会导致性能下降的问题，提出CTFAlign和MDPAlign两种无需训练的文档级词对齐方法，经多语言对验证可降低词对齐错误率并提升下游任务表现。
2026-08-24 cs.CL
Generative latent neural models for automatic word alignment
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LIMSI（法国信息与自动化研究所）
单词对齐识别平行句子对中的单词之间的翻译对应，并且例如用于学习双语词典、训练统计机器翻译系统或执行质量估计。变分自编码器最近已经被用于各种自然语言处理中，以无监督的方式学习对语言生成任务有用的潜在表示。在本文中，我们研究这些模型的任务字对齐，并提出和评估几个演变的香草变分自编码器。我们证明，这些技术可以产生竞争力的结果相比，吉萨++和强大的神经网络对齐系统的两种语言对。
2020-09-28 cs.CL cs.LG
Accurate Word Alignment Induction from Neural Machine Translation
Tsinghua University（清华大学）；The University of Hong Kong（香港大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Shanghai University of Finance and Economics（上海财经大学）
尽管其最初的目标是共同学习对齐和翻译，但先前的研究表明，Transformer通过其注意力机制捕获不良的单词对齐。在本文中，我们发现，注意力权重捕捉准确的词对齐，并提出了两个新的词对齐归纳方法Shift-Att和Shift-AET。其主要思想是诱导对齐的步骤时，要对齐的目标令牌是解码器的输入，而不是在以前的工作中的解码器输出。Shift-Att是一种解释方法，它从Transformer的注意力权重中导出对齐，并且不需要参数更新或架构更改。Shift-AET从一个附加的对齐模块中提取对齐，该模块紧密集成到Transformer中，并在与对称化Shift-Attalignment的监督隔离的情况下进行训练。在三个公开数据集上的实验表明，这两种方法的性能都优于相应的神经基线，Shift-AET的性能明显优于GIZA++1.4-4.8 AER点。
2020-12-03 cs.CL cs.LG
Chinese Word Boundary Recovery through Character Alignment Projection
The University of British Columbia（不列颠哥伦比亚大学）；Korea Advanced Institute of Science & Technology（韩国科学技术院）
提出基于对齐投影的两步方法，从带噪句子中恢复词边界，并构建两个评估基准，实验表明该方法能有效纠正过度切分错误。
2026-05-27 cs.CL
From Word to World: Evaluate and Mitigate Culture Bias in LLMs via Word Association Test
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）
本研究将词语联想测试扩展为适配LLM的任务以评估其文化偏见，提出CultureSteer方法将文化语义关联嵌入模型内部空间，有效提升跨文化认知对齐，为构建更具包容性的语言技术提供新范式。
2025-10-06 cs.AI cs.CL
