Aligning Noisy Parallel Corpora Across Language Groups : Word Pair Feature Matching by Dynamic Time Warping
我们提出了一个新的算法称为DK-vec对齐对亚洲/印欧噪声平行文本没有句子边界。DK-vec改进了以前的对齐算法，因为它更好地处理了嘈杂语料库的非线性性质。该算法使用频率，位置和新近度信息作为模式匹配的特征。动态时间弯曲被用作词对之间的匹配技术。该算法产生一个小的双语词典，提供锚点对齐。
1994-09-22 cmp-lg cs.CL
SimAlign: High Quality Word Alignments without Parallel Training Data using Static and Contextualized Embeddings
LMU Munich（慕尼黑大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
单词对齐对于统计和神经机器翻译（NMT）以及跨语言注释投影等任务非常有用。统计单词对齐器表现良好，NMT中提取对齐与翻译的方法也是如此。然而，大多数方法需要并行的训练数据，并且质量随着可用的训练数据的减少而降低。我们提出了不需要并行数据的单词对齐方法。关键思想是利用静态和上下文化的多语言词嵌入来进行词对齐。我们的多语言嵌入仅从单语数据创建，而不依赖于任何并行数据或字典。我们发现，与传统统计对齐器产生的对齐相比，从嵌入创建的对齐对于四种语言对是优越的，并且对于两种语言对是可比的，即使具有丰富的并行数据;例如，语境化嵌入实现了英语-德语的单词对齐F1，比在10万个平行句子上训练的高质量统计对齐器eflomal高5个百分点。
2021-04-16 cs.CL
Noisy Parallel Approximate Decoding for Conditional Recurrent Language Model
New York University（纽约大学）
条件递归语言建模的最新进展主要集中在网络架构（例如，注意力机制），学习算法（例如，调度采样和序列级训练）和新颖的应用（例如，图像/视频描述生成、语音识别等）另一方面，我们注意到解码算法/策略还没有被研究得那么多，并且使用贪婪或束搜索已经成为标准。在本文中，我们提出了一种新的解码策略，其动机是早期的观察，即深度神经网络的非线性隐藏层拉伸数据流形。该策略在不增加通信开销的情况下具有良好的并行性，同时改进了现有的译码算法。我们用基于注意力的神经机器翻译对En->Cz翻译任务进行了广泛的评估。
2016-05-12 cs.CL cs.LG stat.ML
A Pattern Matching method for finding Noun and Proper Noun Translations from Noisy Parallel Corpora
我们提出了一个模式匹配的方法来编译一个双语词汇的名词和专有名词从不对齐，嘈杂的平行文本的亚洲/印欧语言对。使用一种语言的标记信息。高频词和低频词的词频和位置信息以两种不同的向量形式表示，用于模式匹配。介绍了新的锚点发现和噪声消除技术。精密度为73.1%。我们还展示了如何使用的结果在特定领域的名词短语的编译。
1995-05-06 cmp-lg cs.CL
Word Alignment by Fine-tuning Embeddings on Parallel Corpora
Carnegie Mellon University（卡内基梅隆大学）
平行语料库上的词对齐具有广泛的应用，包括学习翻译词典、语言处理工具的跨语言迁移以及翻译输出的自动评估或分析。过去绝大多数关于单词对齐的工作都是通过对平行文本进行无监督学习来实现的。然而，最近，其他工作表明，来自多语言训练的语言模型（LM）的预训练的上下文化词嵌入证明是一个有吸引力的替代方案，即使在没有明确的并行数据训练的情况下，也能在词对齐任务上取得有竞争力的结果。在本文中，我们研究了将这两种方法结合起来的方法：利用预先训练的LM，但在并行文本上对其进行微调，目标是提高对齐质量，并提出了从这些微调模型中有效提取对齐的方法。我们对五种语言对进行了实验，并证明我们的模型可以始终优于以前的所有品种的最先进的模型。此外，我们证明了我们能够训练多语言单词对齐器，可以获得不同的语言对强大的性能。我们的对齐器AWESOME（对齐多语言编码器的词嵌入空间）带有预训练模型，可在https://github.com/neulab/awesome-align上获得
2021-08-12 cs.CL
Two Minds Better Than One: Collaborative Reward Modeling for LLM Alignment
NLP Group, Fudan University（复旦大学自然语言处理组）；Hong Kong Baptist University（香港 Baptist 大学）；LLM Team, Meituan Inc（美团公司大语言模型团队）
针对人类反馈中的带噪偏好导致奖励模型泛化错误的问题，本文提出协作奖励建模框架，通过双模型同行评审筛选噪声、课程学习同步能力，显著提升奖励模型泛化性，还可扩展至隐式奖励对齐方法。
2026-10-19 cs.AI cs.CL cs.LG
Parallel Corpus Filtering via Pre-trained Language Models
DiDi Labs（滴滴实验室）
网络爬行数据为训练机器翻译模型提供了一个很好的并行语料库。它是自动获得的，但噪音极大，最近的工作表明，神经机器翻译系统比传统的统计机器翻译方法对噪音更敏感。在本文中，我们提出了一种新的方法来过滤噪音的句子对从网络爬行语料库通过预先训练的语言模型。我们通过利用BERT的多语言能力来测量句子并行性，并使用生成预训练（GPT）语言模型作为域过滤器来平衡数据域。我们在WMT 2018并行语料库过滤共享任务和我们自己的网络爬行日中并行语料库上评估了所提出的方法。我们的方法显着优于基线，并实现了一个新的国家的最先进的。在无监督的设置，我们的方法实现了相当的性能前1监督的方法。我们还评估了网络爬行的日本，中国平行语料库，我们公开。
2020-05-13 cs.CL cs.LG
Noise-BERT: A Unified Perturbation-Robust Framework with Noise Alignment Pre-training for Noisy Slot Filling Task
Beijing University of Posts and Telecommunications（北京邮电大学）
针对对话系统槽填充任务受输入噪声扰动、现有方法泛化性不足的问题，提出带噪声对齐预训练的Noise-BERT框架，结合对比学习与对抗训练，在噪声槽填充任务上性能超越现有最优模型，兼具有效性与泛化性。
2024-03-06 cs.CL
AlignAR: Generative Sentence Alignment for Arabic-English Parallel Corpora of Legal and Literary Texts
School of Foreign Languages, Huaihua University（怀化大学外国语言学院）；Al-lith University College, Umm al-Qura University（乌姆·盖拉大学阿尔利思学院）
AlignAR通过生成式句子对齐方法，提升阿拉伯-英语法律和文学文本的平行语料库质量，验证了大语言模型在对齐任务中的优越性。
2026-01-01 cs.CL
Make Some Noise: Unlocking Language Model Parallel Inference Capability through Noisy Training
Harbin Institute of Technology（哈尔滨工业大学）；Du Xiaoman (Beijing) Science Technology Co., Ltd.（度小满（北京）科技有限公司）
针对现有推测解码方法迁移成本高、显存需求大的问题，提出MSN噪声训练框架替代监督微调，搭配TR-Jacobi解码策略，在不损失性能的前提下实现2.3-2.7倍推理加速，加速比肩带额外结构的SOTA模型。
2024-10-05 cs.CL cs.LG
Faster and Better Grammar-based Text-to-SQL Parsing via Clause-level Parallel Decoding and Alignment Loss
Baidu Inc（百度公司）；Soochow University（苏州大学）
基于语法的语法分析器在跨域文本到SQL的解析任务中取得了很高的性能，但由于语法选择的动作比SQL查询中的标记的动作多得多，解码效率低。同时，如何更好地对齐SQL子句和问题段一直是分析性能的关键挑战。因此，本文提出了子句级并行解码和对齐损失，以增强两个高性能的基于语法的解析器，即，RATSQL和LGESQL。两个解析器的实验结果表明，我们的方法获得了一致的改善，无论是在准确性和解码速度。
2022-04-26 cs.CL
Cross-Lingual Named Entity Recognition Using Parallel Corpus: A New Approach Using XLM-RoBERTa Alignment
Microsoft（微软）
提出了一种基于并行语料库的跨语言命名实体识别（NER）zero-shot迁移方法。我们在XLM-RoBERTa基础上构建了一个实体对齐模型，将并行数据英文部分检测到的实体映射到目标语言句子中，其准确率超过了以往所有无监督模型。利用该对齐模型可以得到目标语言的伪标记NER数据集，用于训练特定任务模型。与使用翻译方法不同，这种方法受益于目标语原始语料的自然流畅性和细微差别。我们还提出了一种改进的损失函数，类似于焦点损失，但在相反的方向分配权重，以进一步提高模型训练噪声伪标记数据集。我们在基准数据集上对4种目标语言进行了评估，并与最新的SOTA模型相比获得了具有竞争力的F1分数。我们还额外讨论了并行语料库大小和域对最终传输性能的影响。
2021-01-26 cs.CL
Entity Alignment with Noisy Annotations from Large Language Models
The Hong Kong Polytechnic University（香港理工大学）
本文提出LLM4EA框架，通过主动学习策略缩减标注空间并利用无监督标签精炼器修正大语言模型生成的噪声标签，在四个基准数据集上验证了实体对齐的有效性、鲁棒性和效率。
2024-05-28 cs.AI cs.CL
Bilingual alignment transfers to multilingual alignment for unsupervised parallel text mining
University of Chicago（芝加哥大学）；University of Washington（华盛顿大学）
这项工作提出了使用成对或不成对的双语文本学习跨语言句子表征的方法。我们假设跨语言对齐策略是可转移的，因此训练仅对齐两种语言的模型可以编码多语言对齐的表示。因此，我们引入了双支点迁移：在一个语言对上进行训练，在其他语言对上进行评估。为了研究这一理论，我们设计了在未配对句子上训练的无监督模型和在双文本上训练的单对监督模型，两者都基于无监督语言模型XLM-R，其参数被冻结。实验评估模型作为通用的句子编码器的任务上的无监督的双文本挖掘两个数据集，其中的无监督模型达到最先进的无监督检索，和替代的单对监督模型的性能接近多语言监督模型。结果表明，双语训练技术提出的可以应用到获得句子表示与多语言对齐。
2022-03-15 cs.CL
Exploiting Parallel Corpora to Improve Multilingual Embedding based Document and Sentence Alignment
University of Moratuwa（莫拉图瓦大学）
多语言句子表示对于没有足够数据来自行构建单语模型的低资源语言来说具有很大的优势。这些多语言的句子表示已分别利用少数研究文件和句子对齐。然而，大多数低资源语言在这些预训练模型中的代表性不足。因此，在低资源语言的上下文中，必须使用额外的数据源对这些模型进行微调。本文提出了一种加权机制，利用现有的小规模平行语料库，以提高性能的多语言句子表示的文档和句子对齐。实验进行两个低资源的语言，僧伽罗语和泰米尔语。在新创建的僧伽罗语-英语、泰米尔语-英语和僧伽罗语-泰米尔语数据集上的结果表明，这种新的加权机制显着改善了文档和句子的对齐。该数据集以及源代码都是公开发布的。
2021-06-12 cs.CL
Fine-Grained Word Sense Disambiguation Based on Parallel Corpora, Word Alignment, Word Clustering and Aligned Wordnets
提出了一种基于平行语料库的词义消歧方法。该方法利用词对齐和词聚类的最新进展，基于自动提取的翻译等价物，并支持在语料库中的语言可用对齐的词网。根据EuroWordNet建立的原则，这些WordNet与普林斯顿Wordnet保持一致。WSD系统的评估，实施本文所述的方法显示出非常令人鼓舞的结果。在验证模式中使用的相同系统可用于检查和发现多语言对齐的词网（如EQUIPaNet和EuroWordNet）中的对齐错误。
2005-03-10 cs.AI cs.CL
Large-scale Hierarchical Alignment for Data-driven Text Rewriting
我们提出了一种简单的无监督方法，用于从代表两种不同文本风格（如新闻文章和科学论文）的可比语料库中提取伪平行单语句子对。我们的方法不需要种子并行语料库，而是完全依赖于对预训练的文档和句子嵌入的分层搜索。我们证明了我们的方法的有效性，通过自动和外在的评价文本简化从正常的简单的维基百科。我们表明，用我们的方法提取的伪并行语句不仅补充了现有的并行数据，甚至可以导致自己的竞争性能。
2019-07-25 cs.CL
Noisy-parallel and comparable corpora filtering methodology for the extraction of bi-lingual equivalent data at sentence level
Polish Japanese Academy of Information Technology（波兰日本信息技术学院）
文本对齐和文本质量对于机器翻译（MT）系统、某些NLP工具以及任何其他需要双语数据的文本处理任务的准确性至关重要。本研究提出了一种基于波兰语（非位置敏感语言）的独立于语言的双句过滤方法。这种清理方法是在TED演讲语料库上开发的，最初也在维基百科的可比语料库上进行了测试，但它可以用于任何文本域或语言对。所提出的方法实现了句子比较的各种语法。其中一些利用同义词和文本的语义和结构分析作为附加信息。确保最大限度地减少数据丢失。讨论了使用该工具处理文本的MT系统评分的改进。
2015-10-15 cs.CL
Sentence Alignment with Parallel Documents Facilitates Biomedical Machine Translation
Tsinghua University（清华大学）；Chinese Academy of Medical Sciences/Peking Union Medical College（中国医学科学院/北京协和医学院）
目的：当今的神经机器翻译（NMT）可以达到接近人类水平的翻译质量，并极大地促进了国际交流，但缺乏平行语料库是开发高度专业化领域（如生物医学）翻译系统的关键问题。这项工作提出了一个无监督的算法，通过使用句子对齐从文档级翻译中获得并行语料库，并探讨了训练材料如何影响生物医学NMT系统的性能。材料与方法：通过混合文档级翻译来训练双语词嵌入（BWEs）以评估跨语言词相似度，并通过结合句子的语义和位置相似度来定义句子距离。句子的对齐被公式化为一个扩展的推土机距离问题。利用UpToDate中的双语文章和PubMed摘要的译文，利用该算法构建了一个汉英生物医学平行语料库，并将其用于NMT的训练和评估。结果如下：在两个手动对齐的翻译数据集上，该算法在1对1的情况下实现了准确的句子对齐，在多对多的情况下优于竞争算法。针对生物医学数据进行微调的NMT模型显著提高了域内翻译质量（zh-en：+17.72 BLEU; en-zh：+17.02 BLEU）。训练数据的大小和不同语料库的组合都会显著影响模型的性能。结论：该算法放松了句子对齐的假设，有效地生成准确的翻译对，有利于训练高质量的生物医学NMT模型。
2022-02-07 cs.CL
Constrained Density Matching and Modeling for Cross-lingual Alignment of Contextualized Representations
Heidelberg Institute for Theoretical Studies（海德堡理论研究所）；Technische Universität Darmstadt（达姆施塔特工业大学）；Universität Bielefeld（比勒费尔德大学）
用单语数据预训练的多语言表示在不同语言之间表现出相当不平等的任务表现。以前的研究解决了这一挑战与资源密集型语境对齐，它假设了大量的并行数据的可用性，从而离开代表性不足的语言社区落后。在这项工作中，我们将先前对齐技术的数据饥饿归因于两个限制：（i）无法充分利用数据，以及（ii）这些技术没有经过适当的训练。为了解决这些问题，我们引入了基于监督和无监督密度的方法，称为Real-NVP和GAN-Real-NVP，由Normalizing Flow驱动，以执行对齐，两者都将多语言子空间的对齐分解为密度匹配和密度建模。我们通过验证标准对这些方法进行补充，以指导培训过程。我们的实验包括16个比对，包括我们的方法，在6个语言对，合成数据和5个NLP任务中进行评估。我们证明了我们的方法在有限的情况下，没有并行数据的有效性。首先，我们在2万个并行数据（句子）上训练的监督方法大多超过了在超过10万个并行句子上训练的Joint-Align和InfoXLM。其次，并行数据可以被删除，而不会牺牲性能时，我们的无监督的方法集成在我们的自举过程，这是理论上的动机，以强制平等的多语言子空间。此外，我们证明了验证标准在指导监督训练的验证数据上的优势。
2022-09-18 cs.CL
Enhancing Multilingual Embeddings via Multi-Way Parallel Text Alignment
IIT Bombay（印度理工学院孟买分校）；Adobe Research（Adobe研究院）
通过多方向平行文本对齐提升多语言嵌入，增强跨语言表示性能。
2026-02-25 cs.AI cs.CL cs.IR
HELFI: a Hebrew-Greek-Finnish Parallel Bible Corpus with Cross-Lingual Morpheme Alignment
University of Helsinki（赫尔辛基大学）；Raamatun Tietokirja, Aika[media] Oy（Raamatun Tietokirja Aika[media]公司）
25年前，为了创建分析一致性，手动构建了形态上对齐的希伯来语-芬兰语和希腊语-芬兰语双文本（文本伴随翻译）（Luoto等人，1997年，《圣经》芬兰语译本出版。双文本的创建者最近获得了出版商的许可，可以发布其细粒度的对齐，但对齐仍然依赖于专有的第三方资源，例如受版权保护的文本版本和源文本的专有形态分析。在本文中，我们描述了一个不平凡的编辑过程，从创建原始的一个目的的数据库，并结束其重建只使用免费提供的文本版本和注释。这一过程产生了一个公开可用的数据集，其中包含（i）源文本及其翻译，（ii）形态分析，（iii）跨语言语素对齐。
2020-03-16 cs.CL
UPRPRC: Unified Pipeline for Reproducing Parallel Resources -- Corpus from the United Nations
United Nations（联合国）
本文提出UPRPRC端到端流水线和图辅助段落对齐算法GAPA，从联合国文件中构建了超7.13亿英语词元的最大公开纯人工翻译平行语料库，规模为先前工作两倍以上。
2025-09-19 cs.CL cs.LG
Parallel Hierarchical Transformer with Attention Alignment for Abstractive Multi-Document Summarization
与单文档摘要相比，抽象的多文档摘要（MDS）在表示和覆盖其冗长和链接的源方面带来了挑战。本研究开发了一种用于MDS的注意对齐的并行分层Transformer（PHT）。通过结合单词级和段落级的多头注意力，PHT的分层架构允许在标记和文档级更好地处理依赖关系。为了引导解码更好地覆盖源文档，然后引入注意力对齐机制来用预测的最佳注意力分布校准束搜索。基于WikiSum数据，进行了全面的评估，以测试所提出的架构对MDS的改进。通过更好地处理内部和跨文档信息，ROUGE和人工评估的结果表明，我们的分层模型以相对较低的计算成本生成了相对于其他基于Transformer的基线质量更高的摘要。
2022-08-16 cs.AI cs.CL
A Sentence Meaning Based Alignment Method for Parallel Text Corpora Preparation
Polish Japanese Institute of Information Technology（波兰日本信息技术学院）
文本对齐对于机器翻译（MT）系统、一些NLP工具或任何其他需要双语数据的文本处理任务的准确性至关重要。本研究提出了一种基于波兰语（非位置敏感语言）到英语实验的语言无关的句子对齐方法。这种对齐方法是在TED演讲语料库上开发的，但可以用于任何文本域或语言对。所提出的方法实现了句子识别的各种算法。其中一些重视同义词和语义文本结构分析作为附加信息的一部分。确保最大限度地减少数据丢失。将该解决方案与其他句子对齐实现进行比较。还示出了用所描述的工具处理文本的MT系统得分的改进。
2015-09-30 cs.CL cs.IR
Very Low Resource Sentence Alignment: Luhya and Swahili
University of Cape Town（开普敦大学）；South African Astronomical Observatory（南非天文台）
由预先训练的模型（如LASER和LaBSE）生成的与语言无关的句子嵌入是挖掘大型数据集以生成用于低资源机器翻译的并行语料库的有吸引力的选择。我们测试激光和LaBSE提取两个相关的低资源非洲语言：卢希亚和斯瓦希里语的bitext。对于这项工作，我们创建了一个新的平行集近8000 Luhya英语句子，允许一个新的激光和LaBSE的zero-shot测试。我们发现LaBSE在两种语言上的表现都明显优于LASER。然而，在Luhya上，LASER和LaBSE在zero-shot对准时表现不佳，分别仅实现1.5%和22.0%的成功对准（P@1评分）。我们微调了一小组并行Luhya句子的嵌入，并显示出显着的收益，将LaBSE对齐准确率提高到53.3%。此外，将数据集限制为余弦相似度高于0.7的句子嵌入对，产生了超过85%准确度的比对。
2022-10-31 cs.CL
Noise-Robust Dense Retrieval via Contrastive Alignment Post Training
the University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Walmart Labs（沃尔玛实验室）
提出对比对齐后训练（CAPOT）方法，通过冻结文档编码器并训练查询编码器将噪声查询与根查询对齐，在无需数据增强开销的情况下显著提升双编码器稠密检索对噪声查询的鲁棒性。
2023-04-10 cs.AI cs.CL cs.IR
Aligning a Parallel English-Chinese Corpus Statistically with Lexical Criteria
我们描述了我们的经验与自动对齐的句子在平行的英汉文本。我们的报告涉及三个相关的主题：（1）香港科技大学英汉双语平行语料库的进展;（2）Gale & Church的基于长度的统计方法对非印欧语言对齐任务的适用性实验;（3）改进的统计方法，也结合了特定领域的词汇线索。
1994-06-02 cmp-lg cs.CL
PAFT: A Parallel Training Paradigm for Effective LLM Fine-Tuning
Salesforce
本文提出PAFT并行训练范式，通过独立执行SFT和偏好对齐并利用参数稀疏化融合模型，有效解决顺序训练的对齐税问题，并在HuggingFace Open LLM Leaderboard上取得第一名。
2024-06-25 cs.CL
NICT's Corpus Filtering Systems for the WMT18 Parallel Corpus Filtering Task
本文介绍了NICT参与WMT18共享并行语料库过滤任务。作为Paracrawl项目的一部分，组织者提供了从网络上抓取的10亿字的德英语料库。该语料库噪声太大，无法构建可接受的神经机器翻译（NMT）系统。使用WMT18共享新闻翻译任务的干净数据，我们设计了几个特征并训练了一个分类器来对噪声数据中的每个句子对进行评分。最后，我们对1亿和1000万个词进行了抽样，并建立了相应的NMT系统。实验结果表明，我们的NMT系统训练的采样数据取得了良好的性能。
2018-10-12 cs.CL
Noisy Pairing and Partial Supervision for Stylized Opinion Summarization
Megagon Labs（美嘉岗实验室）；Meta Platforms, Inc.（元平台公司）；NVIDIA（英伟达公司）
本文提出风格化观点摘要任务，并设计非平行训练框架 NAPA，利用客户评论与专业评论构建 ProSum 基准，在 ProSum 和 FewSum 上验证其可生成专业风格摘要。
2024-08-09 cs.CL
mini-vec2vec: Scaling Universal Geometry Alignment with Linear Transformations
mini-vec2vec通过线性变换高效实现文本嵌入空间对齐，显著降低计算成本并提升鲁棒性，适用于新领域应用。
2026-02-17 cs.AI cs.CL cs.LG
FA-Bench: A Benchmark for Phone- and Word-Level Timestamp Accuracy in Forced Alignment and ASR on Clean and Noisy Speech
FA-Bench是一个开放基准，统一协议下评估21个开放模型和9个商业API在干净和噪声条件下的强制对齐与ASR时间戳，采用容差F1消除分数膨胀，并发现Whisper提前150毫秒等系统性计时偏差。
2026-10-09 cs.CL cs.PF
ComPO: Preference Alignment via Comparison Oracles
Columbia University（哥伦比亚大学）；Stern School of Business（斯特恩商学院）；New York University（纽约大学）；DAMO Academy, Alibaba Group US（阿里云达摩院）
本文提出ComPO，一种基于比较预言机的零阶偏好对齐方法，以解决直接对齐方法中的冗长和似然位移问题，并在多个模型和基准上验证其有效性。
2025-10-25 cs.AI cs.CL cs.LG
Graph Neural Networks for Multiparallel Word Alignment
Center for Information and Language Processing (CIS), LMU Munich（慕尼黑大学信息与语言处理中心）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（法国国家信息与自动化研究所跨学科数字科学实验室）
在经历了一段时间的下降之后，人们对词对齐的兴趣再次增加，因为它们在类型学研究、跨语言注释投影和机器翻译等领域中的有用性。通常，对齐算法只使用双文本，而不利用许多平行语料库是多平行的这一事实。在这里，我们通过考虑所有语言对来计算多个语言对之间的高质量单词对齐。首先，我们创建一个多平行单词对齐图，将所有双语单词对齐对连接到一个图中。接下来，我们使用图神经网络（GNNs）来利用图结构。我们的GNN方法（i）利用有关输入单词的含义，位置和语言的信息，（ii）结合来自多个平行句子的信息，（iii）从初始对齐中添加和删除边缘，以及（iv）产生一个预测模型，可以推广到训练句子之外。我们发现，社区发现多并行字对齐提供了有价值的信息。我们的方法在三个单词对齐数据集和下游任务上的性能优于以前的工作。
2022-08-10 cs.CL
On the limited utility of parallel data for learning shared multilingual representations
University of Helsinki（赫尔辛基大学）
本文研究平行数据在预训练中对多语言表示对齐的影响，发现其效果有限，仅在预训练早期加速表示共享并减少语言特异性神经元。
2026-03-30 cs.CL
Unsupervised Vision-and-Language Pre-training via Retrieval-based Multi-Granular Alignment
Meta AI；Columbia University（哥伦比亚大学）
近年来，视觉和语言（V+L）预训练模型在各种多模态基准测试中取得了巨大的成功。然而，大多数现有的模型需要在大量的并行图像-文本数据集上进行预训练，与仅图像或仅文本数据相比，这是昂贵的。在本文中，我们探索了无监督的视觉和语言预训练（UVLP），以从非并行图像和文本数据集中学习跨模态表示。我们发现了两个关键因素，可以在没有并行数据的情况下实现良好的无监督V+L预训练：（i）联合图像和文本输入（ii）整体图文对齐（即使是非并行数据）。因此，我们提出了一种新的无监督V+L预训练课程，用于非平行文本和图像。我们首先通过基于检索的方法构建一个弱对齐的图像-文本语料库，然后应用一组多粒度对齐预训练任务，包括区域到标签，区域到短语和图像到句子对齐，以弥合这两种模式之间的差距。全面的消融研究表明，每个粒度都有助于学习更强大的预训练模型。我们将预先训练的模型适应一组V+L下游任务，包括VQA、NLVR 2、Visual Entailment和RefCOCO+。我们的模型在无监督的环境下实现了所有这些任务的最先进的性能。
2022-03-01 cs.AI cs.CL cs.CV
Vicinity-Driven Paragraph and Sentence Alignment for Comparable Corpora
University of Sheffield（谢菲尔德大学）
平行语料库的出现推动了文本简化领域的发展。然而，大多数句子对齐算法要么提供有限范围的对齐类型支持，或者简单地忽略可比文档中存在的有价值的线索。我们通过引入一组新的灵活的邻域驱动的段落和句子对齐算法来解决这个问题，这些算法可以进行1-N，N-1，N-N和长距离空对齐，而不需要难以复制的监督模型。
2016-12-13 cs.CL
Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment
Beijing Institute of Technology（北京理工大学）；Microsoft Research（微软研究院）
跨语言语言模型通常是在多语言文本或平行句子上使用掩蔽语言建模进行预训练的。在本文中，我们引入了去噪单词对齐作为一项新的跨语言预训练任务。具体来说，该模型首先为平行句子自标记单词对齐。然后，我们随机屏蔽一个bitext对中的标记。给定一个掩码标记，该模型使用指针网络来预测另一种语言中的对齐标记。我们以期望最大化的方式交替执行上述两个步骤。实验结果表明，该方法提高了跨语言的可移植性在各种数据集上，特别是在令牌级的任务，如问答，结构化预测。此外，该模型可以作为一个预先训练的字对齐器，实现合理的低出错率的对齐基准。代码和预训练参数可在https://github.com/CZWin32768/XLM-Align上获得。
2021-09-13 cs.CL
Cross-lingual Alignment Methods for Multilingual BERT: A Comparative Study
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；Amazon Alexa（亚马逊 Alexa）
多语言BERT（mBERT）在对下游任务进行微调时，已显示出合理的zero-shot跨语言迁移能力。由于mBERT没有使用显式跨语言监督进行预训练，因此可以通过将mBERT与跨语言信号对齐来进一步提高传输性能。先前的工作提出了几种方法来调整上下文嵌入。在本文中，我们分析了不同形式的跨语言监督和各种对齐方法如何影响mBERT在zero-shot设置的传输能力。具体来说，我们比较了平行语料库与基于字典的监督和旋转与微调的对齐方法。我们在两个任务上评估了八种语言的不同对齐方法的性能：名称实体识别和语义槽填充。此外，我们提出了一种新的规范化方法，不断提高性能的旋转为基础的对齐，包括一个显着的3%F1改善遥远的和类型学上不同的语言。重要的是，我们确定了对齐方法对任务类型和迁移语言的接近程度的偏见。我们还发现，从平行语料库的监督一般优于字典对齐。
2020-09-29 cs.CL
Volctrans Parallel Corpus Filtering System for WMT 2020
Peking University（北京大学）；ByteDance AI Lab（字节跳动人工智能实验室）；University of California San Diego（加利福尼亚大学圣迭戈分校）
在本文中，我们描述了我们提交的WMT 20共享任务的并行语料库过滤和对齐低资源条件。该任务要求参与者从给定的文档对中对齐潜在的平行句子对，并对它们进行评分，以便过滤低质量的句子对。我们的系统Volctrans由两个模块组成，即，挖掘模块和评分模块。挖掘模块在词对齐模型的基础上，采用迭代挖掘策略抽取潜在的平行句。在评分模块中，基于XLM的评分器提供分数，然后是重新排序机制和集成。我们提交的km-en和ps-en在From Scratch/Fine-tune条件下的表现优于基线3.x/2.x和2.x/2.x，这是所有提交作品中最高的。
2020-10-27 cs.CL
AR: Auto-Repair the Synthetic Data for Neural Machine Translation
Alibaba（阿里巴巴）
与仅使用有限的真实平行语料作为训练语料相比，许多研究已经证明，将通过回译（BT）或前向翻译（FT）生成的合成平行语料纳入NMT训练过程可以显著提高翻译质量。然而，作为一个众所周知的缺点，合成的并行数据是嘈杂的，因为它们是由一个不完美的NMT系统产生的。结果，由合成并行数据带来的翻译质量的改善被大大削弱。在本文中，我们提出了一种新的自动修复（AR）框架，以提高质量的合成数据。我们提出的AR模型可以学习从低质量（噪声）的输入句子的转换为高质量的句子的基础上大规模的单语数据与BT和FT技术。该AR模型能够有效地消除合成并行数据中的噪声，修复后的合成并行数据能够帮助NMT模型获得更大的改进。实验结果表明，该方法能有效提高合成并行数据的质量，修复后的合成数据在WMT 14 EN！DE和IWSLT 14 DE！EN翻译任务。
2020-04-05 cs.CL
Inverted Bilingual Topic Models for Lexicon Extraction from Non-parallel Data
IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；IBM Research-Tokyo（IBM东京研究中心）
主题模型已经成功地应用于词典抽取。但是，以前的大多数方法仅限于文档对齐的数据。在本文中，我们试图解决两个挑战，将主题模型应用于非并行数据中的词汇提取：1）难以建模的单词关系和2）噪声种子字典。为了解决这两个挑战，我们提出了两个新的双语主题模型，以更好地捕捉每个单词的语义信息，同时区分在一个嘈杂的种子字典的多个翻译。我们通过颠倒“单词”和“文档”的角色来扩展主题模型的范围。此外，为了解决种子词典中的噪声问题，我们在模型中加入了翻译选择的概率。此外，我们还提出了一个有效的措施，以评估在不同的语言中的词的相似性，并选择最佳的翻译对。使用真实世界数据的实验结果表明，所提出的模型的实用性和有效性。
2017-06-21 cs.CL
Improving noise robustness of automatic speech recognition via parallel data and teacher-student learning
Brno University of Technology（布尔诺理工大学）；Amazon.com, Inc.（亚马逊公司）
对于现实世界的语音识别应用，噪声鲁棒性仍然是一个挑战。在这项工作中，我们采用了教师-学生（T/S）学习技术，使用一个平行的清洁和噪声语料库，以提高自动语音识别（ASR）的性能在多媒体噪声。最重要的是，我们应用了一种logits选择方法，该方法只保留k个最高值，以防止教师错误地强调知识，并减少传输数据所需的带宽。我们结合了多达8000小时的未转录数据进行训练，并在序列训练模型上展示了我们的结果，除了交叉熵训练的模型。最好的序列训练的学生模型产生相对字错误率（WER）减少约10.1%，28.7%和19.6%，分别对我们的清洁，模拟噪声和真实的测试集相比，序列训练的教师。
2019-03-15 cs.CL cs.LG cs.SD
POTSA: A Cross-Lingual Speech Alignment Framework for Speech-to-Text Translation
Tianjin Key Laboratory of Cognitive Computing and Application, Tianjin University（天津大学认知计算与应用天津市重点实验室）；Nanyang Technological University（南洋理工大学）；Huiyan Technology Company, Ltd.（慧眼科技有限公司）；Chinese Academy of Sciences（中国科学院）；Tibet University（西藏大学）
本文提出POTSA框架，通过最优传输和跨语言平行语音对缓解多语言语音翻译中的语义偏见问题，实验显示在FLEURS数据集上取得SOTA性能，提升BLEU分数。
2026-03-31 cs.CL cs.SD
