BERT, mBERT, or BiBERT? A Study on Contextualized Embeddings for Neural Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）
双向编码器在许多自然语言处理任务中使用掩蔽语言模型（例如BERT）的成功促使研究人员尝试将这些预先训练的模型纳入神经机器翻译（NMT）系统。然而，所提出的用于合并预训练模型的方法是不平凡的，并且主要集中在BERT上，其缺乏对其他预训练模型可能对翻译性能的影响的比较。在本文中，我们证明了简单地使用定制和合适的双语预训练语言模型（称为BiBERT）的输出（上下文嵌入）作为NMT编码器的输入，可以实现最先进的翻译性能。此外，我们还提出了一个随机层选择方法和双向翻译模型的概念，以确保充分利用上下文嵌入。在不使用反向翻译的情况下，我们的最佳模型在IWITOS '14数据集上实现了30.45的BLEU分数，对于En-> De和38.61的De->En，以及WMT'14数据集上的31.26的En->De和34.94的De->En，这超过了所有公布的数字。
2021-09-09 cs.CL
Secoco: Self-Correcting Encoding for Neural Machine Translation
ByteDance AI Lab（字节跳动人工智能实验室）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
本文提出了自校正编码（Secoco），一个框架，有效地处理输入噪声的鲁棒神经机器翻译通过引入自校正预测。与以前的鲁棒方法不同，Secoco使NMT能够显式地纠正噪声输入，并在翻译解码过程中同时删除特定错误。Secoco能够在两个真实世界测试集和一个具有良好可解释性的基准WMT数据集上实现强基线的显著改进。我们将很快公开我们的代码和数据集。
2021-08-27 cs.CL
Using Perturbed Length-aware Positional Encoding for Non-autoregressive Neural Machine Translation
NTT Communication Science Laboratories（NTT通信科学实验室）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
非自回归神经机器翻译（NAT）通常采用序列级知识蒸馏使用自回归神经机器翻译（AT）作为其教师模型。然而，NAT模型通常输出比AT模型更短的句子。在这项工作中，我们提出了序列级知识蒸馏（SKD）使用扰动长度感知位置编码，并将其应用到学生模型，Levenshtein Transformer。我们的方法优于标准Levenshtein Transformer的2.5点，在双语评估替补（BLEU）在最大的WMT 14德语到英语的翻译。NAT模型输出比基线NAT模型更长的句子。
2021-07-29 cs.CL
MoCE: Adaptive Mixture of Contextualization Experts for Byte-based Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
本文提出MoCE方法，通过自适应选择和混合注意力头作为上下文专家，解决基于字节的神经机器翻译中字节语义信息有限及跨语言编码规则差异问题，在Ted-59数据集上以更少参数超越子词模型。
2025-02-07 cs.CL
MT-GenEval: A Counterfactual and Contextual Dataset for Evaluating Gender Accuracy in Machine Translation
AWS AI Labs（AWS人工智能实验室）
随着通用机器翻译（MT）质量的提高，对探索细粒度质量方面的有针对性的基准测试的需求也在增加。特别是，翻译中的性别准确性可能会对输出流畅性，翻译准确性和道德产生影响。在本文中，我们介绍了MT-GenEval，一个用于评估从英语翻译成八种广泛使用的语言的性别准确性的基准。MT-GenEval补充了现有的基准，以八种语言对提供现实的、性别平衡的、反事实的数据，其中个人的性别在输入部分中是明确的，包括需要跨性别协议的多句部分。我们的数据和代码在CC BY SA 3.0许可证下公开提供。
2022-11-02 cs.CL
Multilingual Contextualization of Large Language Models for Document-Level Machine Translation
Instituto Superior Técnico, Universidade de Lisboa (ELLIS Unit Lisbon)（里斯本大学理工学院（ELLIS单位里斯本））；Instituto de Telecomunicações（电信研究所）；Carnegie Mellon University（卡内基梅隆大学）；Unbabel
针对 LLM 长文档翻译中的跨句依赖与语篇建模难题，本文构建 DocBlocks 高质量文档级数据，并通过融合有无上下文的多种翻译范式进行微调，提升了翻译质量与推理速度。
2025-08-28 cs.CL
DC-BERT: Decoupling Question and Document for Efficient Contextual Encoding
Georgia Institute of Technology（佐治亚理工学院）；Peking University（北京大学）；Microsoft（微软）；Siemens Corporate Technology（西门子企业技术）
最近的研究开放领域的问答已经取得了显着的性能提高使用预训练的语言模型，如BERT。最先进的方法通常遵循“检索和读取”管道，并采用基于BERT的重排序器来过滤检索到的文档，然后将其送入阅读器模块。BERT检索器将问题和每个检索到的文档的串联作为输入。尽管这些方法在QA准确性方面取得了成功，但由于级联，它们几乎无法处理每个具有大量检索文档的传入问题的高吞吐量。为了解决效率问题，我们提出了DC-BERT，一个解耦的上下文编码框架，具有双BERT模型：一个在线的BERT编码的问题只有一次，和离线的BERT预编码的所有文档和缓存他们的编码。在SQuAD Open和Natural Questions Open数据集上，DC-BERT在文档检索上实现了10倍的加速，同时与最先进的开放领域问答方法相比，保留了大部分（约98%）的QA性能。
2020-02-28 cs.CL
Multilingual Neural Machine Translation With Soft Decoupled Encoding
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）；Monash University（莫纳什大学）
神经机器翻译（NMT）系统的多语言训练已经在低资源语言上取得了令人印象深刻的准确性改进。然而，在数据匮乏的情况下，有效地学习单词表示仍然存在重大挑战。在本文中，我们提出了软解耦编码（Soft Decoupled Encoding，缩写为DCN），这是一种多语言词典编码框架，专门设计用于智能地共享词典级信息，而不需要启发式预处理，如预分割数据。它通过字符编码来表示单词的拼写，并通过所有语言共享的潜在嵌入空间来表示其语义。在四种低资源语言的标准数据集上进行的实验显示，与强大的多语言NMT基线相比，性能得到了一致的改善，其中一种测试语言的增益高达2 BLEU，在所有四种语言对上都达到了最新的水平。
2019-02-09 cs.CL
SubCharacter Chinese-English Neural Machine Translation with Wubi encoding
Ocean University of China（中国海洋大学）；Global Tone Communication Technology Co., Ltd.（环球语音通信技术有限公司）
神经机器翻译是理解两种语言之间语义规则差异的最佳方法之一。特别是对于印欧语言，子词级模型已经取得了令人印象深刻的结果。然而，当翻译任务涉及到中文时，语义粒度仍然停留在词和字的层次上，因此仍然需要更细粒度的中文翻译模型。本文介绍了一种简单有效的子字级汉语翻译方法。我们的方法使用五笔字型的方法将中文翻译成英文，然后应用字节对编码（BPE）。我们的方法用于汉英翻译，消除了在预处理过程中复杂的分词算法的需要。此外，我们的方法允许基于递归神经网络（RNN）架构的子字符级神经翻译，而无需预处理。实验结果表明，对于汉英翻译任务，我们的子字符级模型具有可比的BLEU得分的子词模型，尽管有一个小得多的词汇。此外，小词汇量对于NMT模型压缩是非常有利的。
2019-11-07 cs.CL
Auto-Encoding Variational Neural Machine Translation
Institute for Logic, Language and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
本文提出了一个面向机器翻译的双语句子对深度生成模型。该模型从一个共享的潜在表示中联合生成源语句和目标语句，并由神经网络进行参数化。我们使用摊销变分推理和重新参数化梯度进行有效的训练。此外，我们讨论了联合建模的统计意义，并提出了一个有效的近似最大后验解码快速测试时间预测。我们证明了我们的模型在三个机器翻译场景中的有效性：域内训练，混合域训练，以及从黄金标准和合成数据的混合中学习。我们的实验一致表明，我们的联合制定优于条件建模（即标准神经机器翻译）在所有这些情况下。
2019-05-31 cs.CL
Neural Machine Translation with Characters and Hierarchical Encoding
Technical University of Denmark (DTU)（丹麦技术大学）；University of Copenhagen（哥本哈根大学）
大多数现有的神经机器翻译模型使用字符组或整个单词作为其输入和输出单元。我们提出了一个模型与分层的char2word编码器，需要单独的字符作为输入和输出。我们首先认为，这种分层表示的字符编码器降低了计算复杂性，并表明，它提高了翻译性能。其次，通过定性研究来自解码器的注意力图，我们发现该模型学习将常见单词压缩到单个嵌入中，而罕见单词（如名称和地点）则逐个字符表示。
2016-10-20 cs.CL
Soft Contextual Data Augmentation for Neural Machine Translation
University of Science and Technology of China（中国科学技术大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Sun Yat-sen University（中山大学）；Microsoft Research Asia（微软亚洲研究院）
虽然数据增强是提高深度学习方法在计算机视觉任务中准确性的重要手段，但其在自然语言任务中的研究仍然非常有限。本文提出了一种新的神经机器翻译数据增强方法。与以前随机删除，交换或替换句子中的其他单词的增强方法不同，我们通过多个相关单词的上下文混合来柔和地增强句子中随机选择的单词。更准确地说，我们用词汇表上的分布（由语言模型提供）替换单词的独热表示，即，用多个语义相似的词的加权组合来替换该词的嵌入。由于这些词的权重取决于要替换的词的上下文信息，因此新生成的句子捕获的信息比以前的增强方法丰富得多。在小规模和大规模机器翻译数据集上的实验结果表明，该方法优于强基线。
2019-05-25 cs.CL
Contrastive Learning for Context-aware Neural Machine TranslationUsing Coreference Information
Dept. of Electrical and Computer Engineering, Seoul National University（首尔大学电气与计算机工程系）；Automation and Systems Research Institute, Seoul National University（首尔大学自动化与系统研究所）
上下文感知神经机器翻译（NMT）融合了文本的上下文信息，可以提高文档级机器翻译的翻译质量。许多现有的上下文感知NMT的工作都集中在开发新的模型架构，将额外的上下文，并显示出一些有前途的结果。然而，大多数现有的作品依赖于交叉熵损失，从而限制了上下文信息的使用。在本文中，我们提出了CorefCL，一种新的数据增强和对比学习计划的基础上，源和上下文句子之间的共指。通过破坏自动检测到的上下文语句中的共指提及，CorefCL可以训练模型对共指不一致性敏感。我们在常见的上下文感知NMT模型和两个文档级翻译任务上实验了我们的方法。在实验中，我们的方法不断提高BLEU的比较模型上的英语-德语和英语-韩语任务。我们还表明，我们的方法显着提高了共指消解在英语-德语对比测试套件。
2021-09-13 cs.CL
Divide and Rule: Effective Pre-Training for Context-Aware Multi-Encoder Translation Models
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Naver Labs Europe（Naver欧洲实验室）
多编码器模型是一个广泛的上下文感知神经机器翻译系统家族，旨在通过对当前句子旁边的文档级上下文信息进行编码来提高翻译质量。上下文编码由上下文参数进行，在文档级数据上进行训练。在这项工作中，我们讨论了有效训练这些参数的困难，由于需要上下文的单词的稀疏性（即，训练信号）以及它们的相关上下文。我们建议在分裂的句子对上预训练上下文参数，这可以有效地利用可用的数据，原因有两个。首先，它通过打破内部句法关系来增加上下文训练信号，从而推动模型更频繁地搜索上下文以消除歧义。其次，它简化了相关上下文的检索，因为上下文段变得更短。我们提出了四种不同的分裂方法，并评估我们的方法与BLEU和对比测试集。结果表明，它始终提高学习的上下文参数，无论是在低和高的资源设置。
2022-03-15 cs.CL
Encoding Sentence Position in Context-Aware Neural Machine Translation with Concatenation
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Naver Labs Europe（Naver欧洲实验室）
本文研究在基于拼接的上下文感知机器翻译中，通过多种方法将句子位置显式编码至 token 表示，发现特定编码方法在上下文折扣损失下可提升英译俄效果，但英译德未见相同益处。
2023-04-04 cs.CL
Contextual Compression Encoding for Large Language Models: A Novel Framework for Multi-Layered Parameter Space Pruning
针对大语言模型部署的计算瓶颈，提出上下文压缩编码（CCE）框架，通过多阶段编码机制动态重构参数分布，在保留表示保真度的同时实现多层参数剪枝，在多任务中保持准确性且提升部署效率。
2025-02-12 cs.CL
Fused Acoustic and Text Encoding for Multimodal Bilingual Pretraining and Speech Translation
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
近年来，文本和语音的表示学习已经成功地改善了许多与语言相关的任务。然而，所有现有的方法都受到两个限制：（a）它们仅从一种输入模态学习，而诸如端到端语音翻译的任务需要语音和文本的统一表示，并且因此，（b）它们不能利用各种大规模文本和语音数据，并且它们的性能受到并行语音翻译数据的稀缺性的限制。我们提出了一种融合的声学和文本掩蔽语言模型（FAT-MLM），其从各种类型的语料库（包括用于语音识别和机器翻译的并行数据，甚至纯语音和文本数据）联合学习声学和文本输入的统一表示。在此跨模态表示学习框架内，我们进一步提出了一个融合声学和文本语音翻译（FAT-ST）的端到端模型。三个翻译方向的实验表明，通过FAT-MLM的微调，我们提出的语音翻译模型大大提高了翻译质量，最高可达+5.9 BLEU。
2021-09-14 cs.CL
Contextual Code Switching for Machine Translation using Language Models
本研究比较了多个大型语言模型在机器翻译中的上下文代码切换性能，发现复杂度较低的模型优于多语言大型模型，并指出训练方法是限制多语言模型表现的关键因素。
2023-12-20 cs.CL
Modulating and attending the source image during encoding improves Multimodal Translation
University of Mons（蒙斯大学）
我们提出了一种新的和完全端到端的方法，多模态翻译的源文本编码器调制整个视觉输入处理使用条件批量归一化，以计算最翔实的图像特征，我们的任务。此外，我们提出了一个新的注意力机制来自这个原始的想法，其中的视觉输入的注意力模型是有条件的源文本编码器表示。在本文中，我们详细介绍了我们的模型以及图像分析管道。最后，我们报告实验结果。据我们所知，它们是三种不同测试集上的最新技术水平。
2017-12-09 cs.CL
Diverse Pretrained Context Encodings Improve Document Translation
DeepMind（深度思维）
我们提出了一种新的架构，通过合并多个预训练的文档上下文信号来适应并行级序列到序列转换器Transformer，并评估（1）用于生成这些信号的不同预训练方法对翻译性能的影响，（2）文档上下文可用的并行数据的数量，以及（3）对源，目标或源和目标上下文的调节。在NIST中文-英文、IWIEF和WMT英文-德文任务上的实验支持四个一般性结论：使用预训练的上下文表示显著地提高了样本效率，足够的并行数据资源对于学习使用文档上下文是至关重要的，联合调节多个上下文表示优于任何单个表示，并且源上下文比目标侧上下文对翻译性能更有价值。我们最好的多上下文模型始终优于现有的最好的上下文感知Transformers。
2021-06-07 cs.CL
Character-level Chinese-English Translation through ASCII Encoding
Institute of Neuroinformatics, University of Zürich and ETH Zürich（苏黎世大学与苏黎世联邦理工学院神经信息学研究所）
神经网络机器翻译（NMT）模型最近在许多语言对上取得了令人印象深刻的结果。它们主要适用于印欧语言对，这些语言共享相同的书写系统。然而，对于汉英翻译来说，两种不同的书写系统之间的差距构成了一个重大挑战，因为单个语言单位之间缺乏系统的对应关系。在本文中，我们使字符级的NMT为中国，打破了中国的字符到语言单位类似的印欧语言。我们使用五笔编码方案，它保留了字符的原始形状和语义信息，同时也是可逆的。我们展示了在字符和子字级别上使用递归和卷积模型训练基于Wubi的模型的有希望的结果。
2018-08-27 cs.CL
ConGA: Guidelines for Contextual Gender Annotation. A Framework for Annotating Gender in Machine Translation
University of Pisa（比萨大学）；University of Naples ``L'Orientale''（那不勒斯）；Tilburg University（蒂尔堡大学）
本文提出ConGA框架，通过上下文性别标注解决机器翻译中性别处理的挑战，揭示当前系统在性别标注上的系统性偏差。
2026-03-18 cs.CL
Reinforcement Learning Elicits Contextual Learning of Unseen Language Translation
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）；Queen’s University Belfast（贝尔法斯特女王大学）
提出使用强化学习（RL）方法，以chrF为奖励，使大语言模型从丰富的语言上下文中提取并应用语言学知识，实现对完全未见语言的有效翻译。
2026-06-04 cs.CL
Document-Level Event Role Filler Extraction using Multi-Granularity Contextualized Encoding
Cornell University（康奈尔大学）
在事件提取的文献中，很少有作品超越了单个句子来做出提取决策。当识别事件论元所需的信息分散在多个句子中时，这是有问题的。我们认为，文档级事件提取是一项艰巨的任务，因为它需要一个更大的背景下，以确定哪些跨度的文本对应于事件角色填充。我们首先研究端到端神经序列模型（具有预训练的语言模型表示）如何执行文档级角色填充符提取，以及捕获的上下文长度如何影响模型的性能。为了动态地聚合由在不同粒度级别学习的神经表示捕获的信息（例如，句子级和段落级），我们提出了一种新的多粒度阅读器。我们在MUC-4事件提取数据集上评估了我们的模型，并表明我们最好的系统比以前的工作表现得更好。我们还报告了上下文长度和神经模型在任务中的表现之间的关系的研究结果。
2020-05-13 cs.CL
Tree-constrained Pointer Generator with Graph Neural Network Encodings for Contextual Speech Recognition
Cambridge University（剑桥大学）
对作为上下文知识获得的偏置词进行分类对于许多自动语音识别（ASR）应用是至关重要的。本文提出了使用图神经网络（GNN）编码的树约束指针生成器（TCPGen）组件的端到端上下文ASR。通过使用基于树的GNN对前缀树中的偏置词进行编码，通过合并关于以其为根的树枝上的所有词段的信息，在每个树节点处实现端到端ASR解码中的未来词段的前瞻，这允许更准确地预测偏置词的生成概率。系统进行了评估Librispeech语料库使用模拟偏置任务，并提出了一种新的视觉接地上下文ASR管道，提取偏置的话幻灯片旁边的每个会议的AMI语料库。结果表明，与原始TCPGen相比，具有GNN编码的TCPGen在偏置字上实现了约15%的相对WER降低，而解码的计算成本的增加可以忽略不计。
2022-07-02 cs.CL cs.SD eess.AS
Contextualized Translation of Automatically Segmented Speech
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
直接语音到文本翻译（ST）模型通常在句子级别分割的语料库上训练，但在推理时，它们通常由语音活动检测器（VAD）分割的音频提供。由于VAD分割不是句法通知的，因此所得到的片段不一定对应于说话者说出的格式良好的句子，而是最有可能对应于一个或多个句子的片段。这种分割不匹配大大降低了ST模型的输出质量。到目前为止，研究人员一直专注于改进音频分割，以产生类似音乐的分割。相反，在本文中，我们解决了模型中的问题，使其对不同的、潜在的次优分割更加鲁棒。为此，我们训练我们的模型随机分割的数据和比较两种方法：微调和添加前一段作为上下文。我们表明，我们的上下文感知解决方案对VAD分段输入更鲁棒，优于强基础模型和对英语-德语测试集的不同VAD分段的微调，最高可达4.25个BLEU点。
2020-08-05 cs.CL
How Effective is Byte Pair Encoding for Out-Of-Vocabulary Words in Neural Machine Translation?
University of Amsterdam（阿姆斯特丹大学）；Informatics Institute（信息学研究所）
神经机器翻译（NMT）是一个开放的词汇表问题。因此，处理在训练过程中没有出现的单词（也就是说，词汇表外（OOV）单词）长期以来一直是NMT系统的基本挑战。解决这个问题的主要方法是字节对编码（BPE），它将字（包括OOV字）分成子字段。BPE在自动评估指标方面为广泛的翻译任务取得了令人印象深刻的结果。虽然人们通常认为通过使用BPE，NMT系统能够处理OOV词，但BPE在翻译OOV词中的有效性尚未明确测量。在本文中，我们研究在何种程度上BPE是成功的翻译OOV词在词的水平。我们分析了基于词的类型，段的数量，交叉注意力的权重，和频率段n-gram的训练数据的翻译质量的OOV字。我们的实验表明，虽然仔细的BPE设置在跨数据集翻译OOV单词时似乎相当有用，但相当大比例的OOV单词被错误翻译。此外，我们强调了BPE在特殊情况下翻译OOV单词时的有效性略高，例如命名实体以及所涉及的语言在语言上彼此接近时。
2022-08-17 cs.CL
Multi-channel Encoder for Neural Machine Translation
Baidu Inc.（百度公司）
基于注意力的编码器-解码器具有神经机器翻译（NMT）的有效架构，其通常依赖于递归神经网络（RNN）来构建在解码过程期间将由注意力读者最近调用的块。这种编码器的设计在源句子上产生相对均匀的组合，尽管在编码RNN时采用了门控机制。另一方面，我们往往希望解码器采取不同层次的源句适合自己的语言结构：例如，我们可能希望采取的实体名称在其原始形式，而一个成语作为一个完美的组成单位。出于这种需求，我们提出了多通道编码器（MCE），它增强了不同层次的组合编码组件。更具体地说，除了编码RNN的隐藏状态外，MCE还采用1）原始词嵌入进行原始编码，不进行合成，以及2）神经图灵机（NTM）中外部存储器的特定设计，以进行更复杂的合成，而所有三种编码策略在解码期间都被适当地混合。通过对汉英翻译的实证研究表明，该模型在强大的开源NMT系统DL 4 MT 1上可以提高6.52个BLEU点。在WMT 14英语-法语任务中，我们的单个浅层系统达到BLEU=38.8，与最先进的深层模型相当。
2017-12-06 cs.CL
Contextual Neural Model for Translating Bilingual Multi-Speaker Conversations
Monash University（莫纳什大学）；Unbabel
神经机器翻译的最新工作已经开始探索文档翻译。然而，在线多人对话的翻译仍然是一个悬而未决的问题。在这项工作中，我们提出了翻译双语多说话者对话的任务，并探讨神经架构，利用源和目标方的会话历史，这项任务。为了启动此任务的评估，我们引入了从Europarl v7和OpenSubtitles2016中提取的数据集。我们对四种语言对的实验证实了利用对话历史的重要性，无论是在BLEU还是手动评估方面。
2018-09-02 cs.CL
Contextual Position Encoding: Learning to Count What's Important
FAIR at Meta（Meta FAIR实验室）
针对现有位置编码无法泛化到句子等高抽象层级的问题，提出上下文位置编码（CoPE），通过模型决定的特定token递增位置，实现更通用的位置寻址，在多项任务上克服了传统方法的失败并改善了困惑度。
2024-05-30 cs.AI cs.CL
Contextual Label Projection for Cross-Lingual Structured Prediction
University of California, Los Angeles（加州大学洛杉矶分校）；University of Southern California（南加州大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对现有跨语言标签投影方法准确率不足的问题，提出以译文为上下文的CLaP标签投影方法，借助多语言指令微调模型实现，在39种语言的两项结构化预测任务上取得显著F1提升，且在极低资源语言中具备应用潜力。
2024-04-14 cs.CL
RedApt: An Adaptor for wav2vec 2 Encoding \\ Faster and Smaller Speech Translation without Quality Compromise
Monash University（莫纳什大学）
语音翻译（ST）中的预先训练的语音Transformers已经促进了最先进的（SotA）结果;然而，使用这样的编码器在计算上是昂贵的。为了改善这一点，我们提出了一种新的Reducer Adaptor块，RedApt，它可以无缝集成在任何基于transformer的语音编码架构中。将预训练的wav 2 vec 2语音编码器与RedApt集成，可带来41%的加速，33%的内存减少，推理时的FLOP减少24%。令我们惊讶的是，我们的ST模型与RedApt在Must-C的8个语言对上的平均BLEU得分超过了SotA架构。
2022-10-16 cs.AI cs.CL
VCDM: Leveraging Variational Bi-encoding and Deep Contextualized Word Representations for Improved Definition Modeling
Graduate School of Engineering（工程研究生院）；The University of Tokyo（东京大学）
在本文中，我们解决了定义建模的任务，其目标是学习生成单词和短语的定义。现有的方法，这一任务是歧视性的，结合分布和词汇语义在一个隐含的，而不是直接的方式。为了解决这个问题，我们提出了一个生成模型的任务，引入了一个连续的潜在变量，明确建模上下文中使用的短语和它的定义之间的潜在关系。我们依靠变分推理进行估计，并利用上下文化的词嵌入来提高性能。我们的方法是评估现有的四个具有挑战性的基准，增加了两个新的数据集，“剑桥”和第一个非英语语料库“罗伯特”，我们发布，以补充我们的实证研究。我们的变分上下文定义建模器（VCDM）在自动和人工评估指标方面实现了最先进的性能，证明了我们方法的有效性。
2020-10-07 cs.CL cs.LG
Improving Neural Machine Translation with Pre-trained Representation
单语数据已被证明有助于提高神经机器翻译（NMT）的翻译质量。现有的方法多停留在词级知识的利用上，如生成合成并行数据或从词嵌入中提取信息。相比之下，在自然语言生成过程中起着重要作用的、更为复杂多样的文本级上下文知识的力量却没有得到充分的利用。在本文中，我们提出了一种新的结构，它可以利用单语数据来获取会话级上下文表示。然后，我们设计了一个框架，将源语言和目标语言的语义级表示集成到NMT模型中，以提高翻译质量。在汉英、德英机器翻译任务上的实验结果表明，我们提出的模型在强Transformer基线上取得了较好的效果，而在英语-土耳其语上的实验进一步证明了我们的方法在低资源场景下的有效性。
2019-08-21 cs.CL
Learned in Translation: Contextualized Word Vectors
Salesforce（赛富时）
计算机视觉受益于使用在ImageNet等大型监督训练集上预训练的权重初始化多个深层。自然语言处理（NLP）通常只使用预训练的词向量初始化最低层的深度模型。在本文中，我们使用来自为机器翻译（MT）训练的注意序列到序列模型的深度LSTM编码器来对词向量进行上下文化。我们发现，添加这些上下文向量（CoVe）可以在各种常见的NLP任务上仅使用无监督的单词和字符向量来提高性能：情感分析（SST，IMDb），问题分类（TREC），蕴涵（SNLI）和问答（SQuAD）。对于细粒度的情感分析和蕴涵，CoVe将我们的基线模型的性能提高到最先进的水平。
2018-06-20 cs.AI cs.CL cs.LG
Phoneme-aware Encoding for Prefix-tree-based Contextual ASR
Sony Group Corporation（索尼集团公司）；Carnegie Mellon University（卡内基梅隆大学）
针对上下文语音识别中稀有词识别难题，提出为基于前缀树的TCPGen模型扩展音素感知编码，通过音素-子词对齐及CTC音素预测注入优化，在英日双语数据集上均优于字素编码方法。
2023-12-15 cs.CL cs.SD eess.AS
A Case Study on Context Encoding in Multi-Encoder based Document-Level Neural Machine Translation
Indian Institute of Technology Patna（印度理工学院巴特那分校）；Wipro AI（威普罗人工智能）
本文通过多编码器文档级神经机器翻译实验，研究不同上下文设置对代词翻译的影响，发现随机上下文也能取得良好效果，且混合选定与随机上下文通常表现更优。
2023-08-11 cs.CL
A Case Study on Contextual Machine Translation in a Professional Scenario of Subtitling
University of Sheffield（谢菲尔德大学）；ZOO Digital Group PLC（ZOO数字集团有限公司）
本文通过工业案例研究验证了在电视字幕翻译中引入电影元数据等文本外上下文可显著减少译后编辑中的上下文相关错误，为完全上下文机器翻译提供了实证支持。
2024-06-27 cs.AI cs.CL cs.HC
Impact of Encoding and Segmentation Strategies on End-to-End Simultaneous Speech Translation
Naver Labs Europe
在IWITH 2020的同声翻译共享任务的推动下，最近提出了有前途的端到端在线语音翻译方法。它们包括增量地编码语音输入（以源语言）和解码相应的文本（以目标语言），在延迟和翻译质量之间具有最佳可能的折衷。本文研究了端到端同步语音翻译的两个关键方面：（a）如何有效地编码连续的语音流，以及（b）如何分割语音流，以便在读（R：编码输入）和写（W：解码输出）操作之间进行最佳交替。我们扩展了我们之前提出的端到端在线解码策略，并表明虽然用ULSTM编码取代BLSTM会降低离线模式下的性能，但它实际上提高了在线模式下的效率和性能。我们还测量了不同方法对语音信号进行分段的影响（使用固定的间隔边界，Oracle单词边界或随机设置的边界），并表明我们最好的端到端在线解码策略是令人惊讶的是，在我们的英语-德语语音翻译设置上，在固定大小的块上交替进行R/W操作。
2021-06-14 cs.CL cs.SD eess.AS
Learning variable length units for SMT between related languages via Byte Pair Encoding
Center For Indian Language Technology（印度语言技术中心）；Department of Computer Science & Engineering（计算机科学与工程系）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
我们探索使用的片段学习使用字节对编码（简称为BPE单位）作为基本单位的统计机器翻译相关的语言之间，并比较它与正字法音节，这是目前表现最好的基本单位，这个翻译任务。BPE将最常见的字符序列识别为基本单位，而正字法音节是语言动机的伪音节。我们发现，BPE单位适度优于正字法音节的翻译单位，显示高达11%的BLEU分数增加。虽然正字法音节只能用于语言的书写系统使用元音表示，BPE是独立的书写系统，我们表明，BPE优于其他单位的非元音书写系统。我们的研究结果得到了跨多个语言家族和书写系统的广泛实验的支持。
2017-07-20 cs.CL
Few-shot learning through contextual data augmentation
Ecole Normale Supérieure（巴黎高等师范学院）；Inria（法国国家信息与自动化研究所）；University of Edinburgh（爱丁堡大学）
在主题不断变化的行业（如翻译或新闻机构）中使用的机器翻译（MT）模型需要适应新数据，以保持其性能。我们的目标是教一个预先训练好的MT模型准确地翻译以前看不见的单词，基于很少的例子。我们提出了（i）一个实验设置，允许我们模拟出现在人类提交的翻译中的新词汇，以及（ii）相应的评估指标来比较我们的方法。我们扩展了一个数据增强的方法，使用预先训练的语言模型，以创建训练样本与新的单词类似的上下文。我们比较了不同的微调和数据增强的方法，并表明，适应规模的一到五个例子是可能的。将数据增强与随机选择的训练句子相结合，可以获得最高的BLEU分数和准确性提高。令人印象深刻的是，仅使用1到5个示例，我们的模型报告的准确性分数比平均使用313个并行示例训练的参考系统更好。
2021-03-31 cs.CL
Is Context Helpful for Chat Translation Evaluation?
Instituto de Telecomunicações（电信研究所）；Unbabel（Unbabel公司）；Instituto Superior Técnico（高等技术学院）；Universidade de Lisboa（里斯本大学）；Carnegie Mellon University（卡内基梅隆大学）；INESC-ID（INESC-ID研究所）
本文元评估了句子级自动指标在聊天翻译质量评估中的表现，发现融入上下文信息能提升无参考及非英语场景下的评估相关性，并提出基于大语言模型和双语上下文的Context-MQM指标。
2024-03-13 cs.CL
The NiuTrans End-to-End Speech Translation System for IWSLT 2021 Offline Task
Northeastern University（东北大学）；NiuTrans Research（小牛翻译研究）
本文介绍了NiuTrans端到端语音翻译系统为IWITH 2021离线任务提交的内容，该系统直接将英语音频翻译为德语文本，无需中间转录。我们使用基于Transformer的模型架构，并通过Conformer，相对位置编码以及堆叠的声学和文本编码对其进行增强。为了增加训练数据，英语译文被翻译成德语译文。最后，我们采用集成解码来整合来自不同数据集训练的几个模型的预测。结合这些技术，我们在MuST-C En-De测试集上获得了33.84个BLEU点，这显示了端到端模型的巨大潜力。
2021-07-08 cs.CL
Contextual Refinement of Translations: Large Language Models for Sentence and Document-Level Post-Editing
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；SAP SE（思爱普公司）
本研究提出将大型语言模型作为自动后编辑而非直接翻译器，利用低秩适配器微调在句子和文档级翻译中取得显著改进，并在ContraPro测试集上达到89%的最先进准确率，同时利用人工修正减少后续编辑次数。
2024-03-18 cs.AI cs.CL
Unsupervised Bitext Mining and Translation via Self-trained Contextual Embeddings
Amazon（亚马逊）；University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
我们描述了一种无监督的方法来创建伪平行语料库的机器翻译（MT）从未对齐的文本。我们使用多语言BERT来创建源和目标句子嵌入以进行最近邻搜索，并通过自训练来调整模型。我们通过在BUCC 2017双文本挖掘任务中提取平行句子对来验证我们的技术，并观察到F1分数比以前的无监督方法增加了24.5分（绝对值）。然后，我们通过补充从同一语料库中挖掘的伪并行文本来改进在维基百科上预训练的基于XLM的无监督神经MT系统，在WMT'14法语-英语和WMT'16德语-英语任务上将无监督翻译性能提高了3.5 BLEU，并优于以前的最先进水平。我们用伪平行的Wikipedia句子对丰富了IWEEE '15英语-越南语语料库，在低资源MT任务上获得了1.2 BLEU的改进。我们证明了无监督的双文本挖掘是增强MT数据集的有效方法，并补充了现有的技术，如使用预训练的上下文嵌入进行初始化。
2020-10-15 cs.CL cs.LG
SimAlign: High Quality Word Alignments without Parallel Training Data using Static and Contextualized Embeddings
LMU Munich（慕尼黑大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
单词对齐对于统计和神经机器翻译（NMT）以及跨语言注释投影等任务非常有用。统计单词对齐器表现良好，NMT中提取对齐与翻译的方法也是如此。然而，大多数方法需要并行的训练数据，并且质量随着可用的训练数据的减少而降低。我们提出了不需要并行数据的单词对齐方法。关键思想是利用静态和上下文化的多语言词嵌入来进行词对齐。我们的多语言嵌入仅从单语数据创建，而不依赖于任何并行数据或字典。我们发现，与传统统计对齐器产生的对齐相比，从嵌入创建的对齐对于四种语言对是优越的，并且对于两种语言对是可比的，即使具有丰富的并行数据;例如，语境化嵌入实现了英语-德语的单词对齐F1，比在10万个平行句子上训练的高质量统计对齐器eflomal高5个百分点。
2021-04-16 cs.CL
Leveraging Diverse Modeling Contexts with Collaborating Learning for Neural Machine Translation
Cooperative Medianet Innovation Center（合作 medianet 创新中心）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出DCMCL协作学习框架，让AR与NAR模型通过token级互学习和序列级对比学习交换双向上下文，从而同时提升两类NMT模型的翻译性能。
2024-02-28 cs.CL
Context-Dependent Word Representation for Neural Machine Translation
Samsung Electronics（三星电子）；University of Montreal（蒙特利尔大学）；New York University（纽约大学）
我们首先观察到神经机器翻译中符号的连续向量表示的潜在弱点。也就是说，符号的连续向量表示或词嵌入向量对相似性的多个维度进行编码，相当于对词的多个含义进行编码。这导致神经机器翻译中的编码器和解码器递归网络需要花费大量的容量来基于由源句子定义的上下文来消除源和目标词的歧义。基于这一观察，在本文中，我们提出了上下文的词嵌入向量使用的非线性袋的词表示的源句子。此外，我们建议用类型化符号表示特殊标记（如数字、专有名词和首字母缩略词），以便于翻译那些不适合通过连续向量翻译的单词。在En-Fr和En-De上的实验表明，本文提出的语境化和符号化方法显著提高了神经机器翻译系统的翻译质量。
2016-07-03 cs.CL
Machine Translation by Projecting Text into the Same Phonetic-Orthographic Space Using a Common Encoding
Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西））；Silo AI
针对印度语间低资源机器翻译性能不佳的问题，提出利用基于拉丁字母的通用编码（WX notation）结合BPE，将相似语言投影至相同的正字-语音字符空间以利用其语言相似性，实验证明该方法显著提升了翻译质量。
2023-05-21 cs.CL
Label-guided Learning for Text Classification
文本分类是自然语言处理中最重要和最基本的任务之一。这一任务的执行主要依赖于文本表示学习。目前，大多数现有的学习框架主要集中在编码词之间的本地上下文信息。这些方法在编码文本信息时往往忽略了全局线索，如标签信息。在本研究中，我们提出了一个用于文本表示和分类的标签引导学习框架LguidedLearn。我们的方法是新颖的，但简单的，我们只插入一个标签引导的编码层到常用的文本表示学习模式。该标签引导层执行基于标签的注意编码，以将通用文本嵌入（由上下文信息学习器编码）映射到不同的标签空间，从而产生标签式嵌入。在我们提出的框架中，标签引导层可以很容易地直接应用于上下文编码方法来执行联合学习。基于局部上下文信息和全局标签线索两者对文本信息进行编码。因此，得到的文本嵌入更强大的文本分类和歧视。在基准数据集上进行了大量的实验，以说明我们提出的方法的有效性。
2020-02-25 cs.CL cs.LG
Llettuce: An Open Source Natural Language Processing Tool for the Translation of Medical Terms into Uniform Clinical Encoding
Centre for Health Informatics, School of Medicine, The University of Nottingham（诺丁汉大学医学院健康信息学中心）；Digital Research Service, The University of Nottingham（诺丁汉大学数字研究服务）；NIHR Nottingham Biomedical Research Centre（尼日利亚生物医学研究中心）；Lee Kong Chian School of Medicine, Nanyang Technological University, Singapore（南洋理工大学新加坡李科贤医学院）；Department of Software Engineering, Andalusian Institute of Data Science and Computational Intelligence (DaSCI), University of Granada, 18012, Granada, Spain（安达卢西亚数据科学与计算智能研究所（DaSCI）软件工程系，格拉纳达大学，18012，格拉纳达，西班牙）
Llettuce是一种开源工具，通过自然语言处理技术将医学术语自动转换为OMOP标准概念，兼顾数据安全与高性能。
2026-03-12 cs.CL
AppTek's Submission to the IWSLT 2022 Isometric Spoken Language Translation Task
AppTek（AppTek公司）
为了参与IWITH 2022评估的等距口语翻译任务，约束条件，AppTek开发了基于神经转换器的英语到德语系统，具有各种长度控制机制，从源端和目标端伪令牌到替换位置编码的字符剩余长度编码。我们通过从不同的系统变体中选择符合长度的假设，以及从单个系统中重新评分N个最佳候选，进一步提高了翻译长度的依从性。长度兼容的反向翻译和正向翻译合成数据，以及从原始Must-C训练语料库导出的其他并行数据变体对于良好的质量/期望的长度权衡是重要的。我们的实验结果表明，长度符合性水平可以达到90%以上，同时最大限度地减少损失的MT质量测量的BERT和BLEU分数。
2022-05-12 cs.CL
Dynamic Programming Encoding for Subword Segmentation in Neural Machine Translation
Monash University（莫纳什大学）；Google Research（谷歌研究院）
本文介绍了一种新的分词算法--动态规划编码（DPE）。我们认为输出句子的子词切分是一个潜在的变量，应该被边缘化的学习和推理。提出了一种特征-子字混合变换器Transformer，它能实现精确的对数边缘似然估计和精确的MAP推理，以最大后验概率找到目标分割。DPE使用轻量级的混合字符-子字转换器Transformer作为预处理并行数据的方法，以便使用动态规划对输出语句进行分段。机器翻译的实验结果表明，DPE是有效的分割输出的句子，可以结合BPE辍学源句子的随机分割。DPE实现了比BPE平均提高0.9 BLEU（Sennrich等人，2016），BLEU比BPE脱落平均改善0.55（Provilkov等人，2019）在几个WMT数据集上，包括英语<=>（德语，罗马尼亚语，爱沙尼亚语，芬兰语，匈牙利语）。
2020-08-01 cs.CL cs.LG
Context- and Sequence-Aware Convolutional Recurrent Encoder for Neural Machine Translation
Delhi Technological University（德里理工大学）
神经机器翻译模型是一种基于神经网络的序列-序列转换器。现有的模型使用递归神经网络来构建编码器和解码器模块。在替代研究中，递归网络被卷积神经网络取代，用于捕获输入句子中的句法结构并减少处理时间。我们结合了这两种方法的优点，提出了一个卷积递归编码器，用于捕获上下文信息以及源语句的顺序信息。源句子的词嵌入和位置嵌入在卷积编码层之前执行，卷积编码层基本上是捕获短语级上下文信息的n元特征提取器。卷积编码层的整流输出被添加到原始嵌入向量，并且总和通过层归一化被归一化。归一化输出作为递归编码层的顺序输入给出，递归编码层捕获序列中的时间信息。对于解码器，我们使用基于注意力的递归神经网络。德语-英语数据集上的翻译任务验证了所提出的方法的有效性，与最先进的技术相比，BLEU得分更高。
2021-03-21 cs.CL
