Non-Autoregressive Machine Translation: It's Not as Fast as it Seems
University of Edinburgh(爱丁堡大学);Charles University(查理大学)
高效的机器翻译模型在商业上非常重要,因为它们可以提高推理速度,降低成本和碳排放。最近,人们对非自回归(NAR)模型产生了很大的兴趣,它承诺更快的翻译。在NAR模型研究的同时,也有一些成功的尝试来创建优化的自回归模型,作为WMT高效翻译共享任务的一部分。在本文中,我们指出的缺陷,目前在文献中的NAR模型的评估方法,我们提供了一个公平的比较国家的最先进的NAR模型和自回归提交的共享任务。我们提出了NAR模型的一致性评价的情况下,也为比较NAR模型与其他广泛使用的方法,以提高效率的重要性。我们运行实验与连接时间分类为基础的(CTC)NAR模型在C++实现,并比较它与AR模型使用挂钟时间。我们的研究结果表明,尽管NAR模型在GPU上更快,但在小批量的情况下,它们在更现实的使用条件下几乎总是更慢。我们呼吁在未来的工作中更现实和广泛的评估NAR模型。
2022-05-04 cs.CL
Faster Nearest Neighbor Machine Translation
Zhejiang University(浙江大学);Peking University(北京大学);Amazon Alexa AI(亚马逊 Alexa AI);Nanyang Technological University(南洋理工大学);Nanjing University(南京大学)
基于$k$ NN的神经机器翻译($k$ NN-MT)在多种MT任务中取得了最新的成果。$k$ NN-MT的一个显著缺点在于它在从整个查询中识别查询表示的$k$最近邻居方面的效率低下,当查询大小很大时,这是非常耗时的。在这项工作中,我们提出了\textbf{Faster $k$NN-MT}来解决这个问题。Faster $k$ NN-MT的核心思想是使用层次聚类策略来近似查询与数据点之间的距离,该距离被分解为两部分:查询与数据点所属聚类中心之间的距离,以及数据点与聚类中心之间的距离。我们提出了实际的方法来计算这两个部分在一个显着更快的方式。通过对不同MT基准测试的大量实验,我们表明,\textbf{Faster $k$NN-MT}比Fast $k$ NN-MT \citep{meng2021fast}更快,并且仅比其香草对应物稍慢(1.2倍),同时保持模型性能为$k$ NN-MT。更快的$k$ NN-MT支持在现实世界的MT服务上部署$k$ NN-MT模型。
2021-12-15 cs.CL
A Hybrid Model for Enhancing Lexical Statistical Machine Translation (SMT)
Sadat Academy for Management Sciences(萨达特管理科学院)
统计机器翻译系统的兴趣增加,目前由于在世界上的政治和社会事件。提出了一种基于统计机器翻译(SMT)的模型,该模型可以用于通过有效地结合不同的统计和自然语言处理(NLP)模型(诸如语言模型、对齐模型、基于短语的模型、重排序模型和翻译模型)来自动地将句子从源语言(英语)翻译成目标语言(阿拉伯语)。这些模型相结合,以提高统计机器翻译(SMT)的性能。在这项工作中使用了许多实现工具,如Moses,Gizaa++,IRSTLM,KenLM和BLEU。通过对该模型的实现和评价,以及与Google Translate等其他机器翻译系统的比较,证明了该模型增强了统计机器翻译的效果,是该领域一种可靠、高效的翻译模型。
2015-06-03 cs.CL
Fast Domain Adaptation for Neural Machine Translation
IBM T.J. Watson Research Center(IBM T.J. 沃森研究中心)
神经机器翻译(NMT)是一种将文本从一种人类语言自动翻译成另一种人类语言的新方法。NMT的基本概念是训练一个大型神经网络,使其在给定的并行语料库上的翻译性能最大化。NMT在研究界越来越受欢迎,因为它在WMT的几个翻译任务和其他评估任务/基准测试中至少在一些语言对上优于传统的SMT方法。然而,多年来SMT中的许多增强尚未被纳入NMT框架。在本文中,我们专注于这样的增强,即领域自适应。我们提出了一种适应NMT系统到一个新的域的方法。领域自适应背后的主要思想是大的域外训练数据和小的域内训练数据的可用性。我们报告了我们提出的方法在两种语言对的自动度量和人类主观评价度量方面的显着收益。与我们的适应方法,我们表现出很大的改善,而我们的一般域的性能只略有下降。此外,我们的方法足够快,可以在几个小时内将已经训练好的系统适应新的领域,而不需要在组合数据上重新训练NMT模型,这通常需要几天/几周的时间,具体取决于数据量。
2016-12-20 cs.CL
Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural Machine Translation
Amazon Research(亚马逊研究院)
神经机器翻译(NMT)的端到端特性消除了许多在旧范式中可用的手动引导翻译过程的方法。然而,最近的工作引入了一种新的能力:词汇约束或引导解码,这是对束搜索的修改,强制在输出中包含预先指定的单词和短语。然而,虽然理论上是合理的,但现有方法的计算复杂性要么是线性的(Hokamp和Liu,2017),要么是指数的(Anderson等人,2017年,在数量上受到限制。我们提出了一个算法的词法约束译码的复杂度为O(1)的限制的数量。我们展示了算法的显着能力,正确地放置这些约束,并使用它来探索模型和BLEU分数之间的不稳定的关系。我们的实现作为Sockeye的一部分提供。
2018-11-09 cs.CL
Fast Nearest Neighbor Machine Translation
Peking University(北京大学);Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学)
虽然最近邻机器翻译($k$ NN-MT)\citep{khandelwal2020nearest}已经证明比标准的神经MT系统引入了显著的性能提升,但是它非常慢,因为它使用整个参考语料库作为最近邻搜索的搜索器。这意味着束搜索中的每个束的每个步骤必须在整个参考语料库上搜索。因此,$k$ NN-MT比普通MT模型慢两个数量级,这使得它很难应用于现实世界的应用,特别是在线服务。在这项工作中,我们提出了快速$k$ NN-MT来解决这个问题。Fast $k$ NN-MT为最近邻搜索构造了一个明显更小的搜索器:对于源句子中的每个单词,Fast $k$ NN-MT首先选择其最近的标记级邻居,这仅限于与查询标记相同的标记。然后,在每个解码步骤,与使用整个语料库作为语料库相反,搜索空间被限制为与先前选择的参考源标记相对应的目标标记。该策略避免了在整个帧中搜索最近邻,大大提高了解码效率。在不损失性能的情况下,快速$k$ NN-MT比$k$ NN-MT快两个数量级,并且仅比标准NMT模型慢两倍。快速$k$ NN-MT使$k$ NN-MT系统能够在实际MT应用中得到实际应用。代码可在\url{https://github.com/ShannonAI/fast-knn-nmt}上获得
2022-11-22 cs.CL
Faster Machine Translation Ensembling with Reinforcement Learning and Competitive Correction
Media Analysis Group, Sony Research India, Bangalore(索尼印度研究所在班加罗尔的媒体分析组)
本文提出SmartGen,一种基于强化学习的机器翻译集成策略,通过选择少量候选并利用融合模块反馈训练,结合竞争修正模块,在英印翻译中实现更快且更优的集成性能。
2025-01-25 cs.CL
Faster Re-translation Using Non-Autoregressive Model For Simultaneous Neural Machine Translation
Samsung Research(三星研究院)
最近,同声翻译已经引起了很多关注,因为它可以实现引人注目的应用,例如现场活动的字幕翻译或实时视频通话翻译。这些翻译应用程序中的一些允许编辑部分翻译,从而产生重新翻译方法。目前的重翻译方法是基于自回归序列生成模型(ReTA),它在(部分)翻译中顺序生成目标令牌。ReTAmodels中顺序生成的多次重新翻译导致随着源输入的增长,传入的源输入和相应的目标输出之间的推理时间间隔增加。此外,由于涉及大量的推理操作,ReTA模型对于资源受限的设备是不利的。在这项工作中,我们提出了一个更快的重新翻译系统的基础上的非自回归序列生成模型(FReTNA),以克服上述限制。我们对多个翻译任务进行了评估,与ReTA和流式传输(Wait-k)模型相比,我们的模型将推理时间减少了几个数量级,并实现了具有竞争力的BLEUscore。与ReTA模型相比,该模型通过在翻译质量上的小幅下降,将平均计算时间减少了20倍。它在计算时间(低1.5倍)和翻译质量方面也优于基于流媒体的Wait-k模型。
2021-06-02 cs.AI cs.CL
Simpler and Faster Learning of Adaptive Policies for Simultaneous Translation
Baidu Research(百度研究院);Oregon State University(俄勒冈州立大学)
同声传译是非常有用的,但仍然具有挑战性。以前的工作主要分为两类:(a)固定延迟策略,如Ma等人(2019)和(b)自适应策略,如Gu等人(2017)。前者简单而有效,但由于源-目标语序不同,必须积极预测未来的内容;后者不预测,但训练不稳定且效率低下。为了结合这两种方法的优点,我们提出了一个简单的监督学习框架,从并行文本生成的Oracle读/写序列中学习自适应策略。在每一步,如果可用的源句子上下文提供了足够的信息来这样做,则这样的oracle序列选择写入下一个目标词,否则读取下一个源词。德国英语的实验<->表明,我们的方法,没有重新训练的基础NMT模型,可以学习灵活的政策,更好的BLEU分数和类似的延迟相比,以前的工作。
2019-09-12 cs.CL
Sharp Models on Dull Hardware: Fast and Accurate Neural Machine Translation Decoding on the CPU
Microsoft Research(微软研究院)
注意序列到序列模型已经成为机器翻译的新标准,但是与基于短语的系统相比,这种模型的一个挑战是训练和解码成本的显著增加。在这里,我们专注于高效解码,目标是实现接近神经机器翻译(NMT)的最新技术水平的准确性,同时实现接近短语解码器的CPU解码速度/吞吐量。我们从两个角度来解决这个问题:首先,我们描述了几种用于加速NMT束搜索解码器的技术,这些技术在不改变解码器输出的情况下,在非常有效的基线解码器上获得了4.4倍的加速。其次,我们提出了一个简单但功能强大的网络架构,它在底部使用RNN(GRU/LSTM)层,然后在每个时间步应用一系列堆叠的全连接层。这种架构实现了与深度递归模型相似的精度,而训练和解码成本只有一小部分。通过结合这些技术,我们最好的系统在WMT英法NewsTest 2014上实现了38.3 BLEU的非常有竞争力的准确度,同时在单线程CPU上以100字/秒的速度解码。我们相信这是NMT系统中最好的精度/速度权衡。
2017-05-04 cs.CL
Explaining and Generalizing Back-Translation through Wake-Sleep
Johns Hopkins University(约翰斯·霍普金斯大学);Heidelberg University(海德堡大学)
反向翻译已经成为半监督神经机器翻译中常用的启发式算法。该技术既简单易行,又能产生最先进的结果。在这项工作中,我们提供了一个原则性的解释回翻译的生成模型中的bitext近似推理,并显示回翻译的标准实现对应于我们提出的模型中的唤醒-睡眠算法的一次迭代。此外,这种解释表明,一个自然的迭代推广,我们证明导致进一步改善高达1.6 BLEU。
2018-06-12 cs.CL
PyMarian: Fast Neural Machine Translation and Evaluation in Python
Microsoft Translator(微软翻译);University of Maryland(马里兰大学)
本文介绍PyMarian,一个连接C++工具Marian NMT与Python的接口,支持机器翻译训练推理,并实现快达7.8倍的COMET指标计算。
2024-08-15 cs.CL
Tree Transducers, Machine Translation, and Cross-Language Divergences
Indiana University(印第安纳大学);School of Informatics and Computing(信息与计算学院)
树转换器是将树转换为其他树的形式自动机。在自动机理论文献中,以及最近在机器翻译文献中,已经探索了许多种类的树转换器。在本文中,我回顾了T和xT转换器,将它们与相关的形式主义联系起来,并展示了它们如何用于实现机器翻译系统的规则,这些规则涵盖了Bonnie Dorr关于这一主题的有影响力的文章中描述的所有跨语言结构分歧。我还提出了一个xT转导,适合和方便的实验翻译规则的实现。
2012-03-28 cs.CL
Language Models not just for Pre-training: Fast Online Neural Noisy Channel Modeling
Facebook AI Research(Facebook人工智能研究院);Twitter Cortex
大量未标记数据的预训练模型已经成为提高许多NLP任务准确性的有效方法。另一方面,传统的机器翻译具有通过噪声信道建模来利用未标记数据的悠久历史。同样的想法最近被证明可以为神经机器翻译带来巨大的改进。不幸的是,使用现代序列到序列模型的原始噪声信道建模比替代方案慢一个数量级。我们通过引入有效的近似来解决这个问题,从而在提高准确度的同时,与强集成一样快地使用噪声信道方法进行推断。我们还表明,噪声通道方法可以通过在WMT罗马尼亚语-英语翻译上实现新的艺术水平来超越强大的预训练结果。
2020-11-13 cs.CL
Efficient Inference for Multilingual Neural Machine Translation
NAVER LABS Europe(NAVER LABS 欧洲);NAVER Corp.(NAVER 公司)
多语言NMT已经成为生产中MT部署的一个有吸引力的解决方案。但为了达到双语质量,它的代价是更大更慢的模型。在这项工作中,我们考虑了几种方法,使多语言NMT更快的推理,而不会降低其质量。我们在两个20种语言的多并行设置中实验了几种“轻解码器”架构:小规模的TED演讲和大规模的ParaCrawl。我们的实验表明,将浅层解码器与词汇过滤相结合,可以在不损失翻译质量的情况下,使推理速度提高两倍以上。我们用BLEU和chrF(380个语言对),鲁棒性评估和人类评估来验证我们的发现。
2021-11-08 cs.CL
English-Japanese Neural Machine Translation with Encoder-Decoder-Reconstructor
Tokyo Metropolitan University(东京都立大学)
神经机器翻译(NMT)最近在机器翻译领域变得流行。然而,NMT在翻译中存在着重词或漏词的问题。为了解决这个问题,Tu et al.(2017)提出了一种使用反向翻译的NMT编码器-解码器-重建器框架。在这种方法中,他们以与Bahdanau等人(2015)相同的方式选择了最佳的前向翻译模型,然后训练了一个双向翻译模型作为微调。他们的实验表明,它提供了显着提高BLEU分数在汉英翻译任务。我们证实,我们的重新实施也表现出同样的趋势,并重申了问题的重复和遗漏的单词在翻译的英日任务太多。此外,我们通过将其与前向翻译和后向翻译的联合训练模型进行比较来评估预训练的有效性。
2017-06-26 cs.CL
A simple discriminative training method for machine translation with large-scale features
Wright State University(莱特州立大学)
在统计机器翻译中,当特征量较大时,裕度注入松弛算法(MIRA)是模型调整的主要方法,但其实现复杂度较高。我们介绍了一种新的方法,它把一个N-最好的列表作为一个置换和最小化Plackett-Luce损失的地面真值置换。大规模特征实验表明,该方法比MERT方法具有更好的鲁棒性,虽然只与MIRA匹配,但具有相对优势,易于实现。
2019-09-15 cs.CL
TranSFormer: Slow-Fast Transformer for Machine Translation
Northeastern University(东北大学);Microsoft Research Asia(微软亚洲研究院);Fudan University(复旦大学);NiuTrans Research(小牛翻译研究院)
本文提出TranSFormer,通过慢-快双流Transformer同时建模子词和字符序列,以轻量快分支提供细粒度特征,在多个机器翻译基准上取得超过1个BLEU点的稳定提升。
2023-05-26 cs.AI cs.CL
The RoyalFlush System for the WMT 2022 Efficiency Task
RoyalFlush AI Research Institute(同花顺人工智能研究院);Zhejiang University(浙江大学)
本文介绍了RoyalFlush神经机器翻译系统提交的WMT 2022翻译效率任务。与常用的自回归翻译系统不同,我们采用了一种称为混合回归翻译(HRT)的两阶段翻译范式,以结合自回归和非自回归翻译的优点。具体地,HRT首先自回归地生成不连续序列(例如,对每个$k$令牌进行预测,$k>1$),然后以非自回归方式一次填充所有先前跳过的令牌。因此,我们可以很容易地通过调整$k$来平衡翻译质量和速度。此外,通过集成其他建模技术(例如,序列级知识蒸馏和深编码器-浅解码器层分配策略)和大量的工程努力,HRT的推理速度提高了80%,翻译性能与相同容量的AT相当。我们最快的系统在GPU延迟设置上达到6 k+字/秒,估计比去年的冠军快3.1倍。
2022-12-03 cs.CL
A Light Sliding-Window Part-of-Speech Tagger for the Apertium Free/Open-Source Machine Translation Platform
Peking University(北京大学);Universitat d'Alacant(阿利坎特大学)
本文描述了一个自由/开源的实现轻滑动窗口(LSW)的词性标注器的免费/开源的开源平台的Xiaotium的机器翻译。首先,回顾了标记器的工作机制和训练过程,提出了一种新的语言规则的融合方法。其次,通过实验比较了该标记器在不同的窗口设置、有无隐马尔可夫链风格的“禁止”规则、有无约束语法以及与传统隐马尔可夫链标记器的性能。
2015-09-18 cs.CL
Self-Speculative Biased Decoding for Faster Re-Translation
Zoom Communications, Inc(Zoom通讯公司)
SSBD通过利用流式翻译中的时间一致性,实现重译的加速,同时保持翻译质量,无需额外调优。
2026-01-04 cs.AI cs.CL cs.LG
A Simple, Fast Diverse Decoding Algorithm for Neural Generation
Stanford University(斯坦福大学)
在本文中,我们提出了一个简单,快速的解码算法,促进多样性的神经生成。该算法通过增加兄弟姐妹间的排序惩罚来修改标准的束搜索算法,有利于从不同的父母中选择假设。我们评估所提出的模型的对话响应生成,摘要摘要和机器翻译的任务。我们发现,不同的解码有助于所有的任务,特别是那些需要重新排序。我们进一步提出了一种变体,该变体能够使用强化学习(RL)针对不同输入自动调整其多样性解码率。我们观察到这种RL技术的进一步性能提升。本文包括来自未发表脚本“互信息和多样解码改善神经机器翻译“(Li和Jurafsky,2016)的材料。
2016-12-22 cs.CL
Deep Recurrent Models with Fast-Forward Connections for Neural Machine Translation
Baidu Research - Institute of Deep Learning(百度研究院-深度学习研究所);Baidu Inc.(百度公司)
神经机器翻译(NMT)旨在利用神经网络解决机器翻译(MT)问题,近年来取得了可喜的成果。然而,大多数现有的NMT模型是浅的,并且单个NMT模型与最好的常规MT系统之间仍然存在性能差距。在这项工作中,我们引入了一种新型的线性连接,称为快进连接,基于深度长短期记忆(LSTM)网络,以及用于堆叠LSTM层的交错双向架构。快进连接在传播梯度和构建深度为16的深度拓扑中起着至关重要的作用。在WMT '14英语到法语的任务中,我们使用单一注意力模型实现了BLEU = 37.7,比相应的单一浅层模型高出6.2个BLEU点。这是第一次一个单一的NMT模型实现了最先进的性能,并超过最好的传统模型0.7 BLEU点。即使不使用注意力机制,我们仍然可以达到BLEU = 36.3。在对未知词和模型集成进行特殊处理后,我们获得了迄今为止在此任务上报告的最佳分数,BLEU = 40.4。我们的模型也验证了更困难的WMT '14英语到德语的任务。
2016-07-23 cs.CL cs.LG
The Sockeye 2 Neural Machine Translation Toolkit at AMTA 2020
Amazon(亚马逊);Efficient Translation Limited(高效翻译有限公司)
我们提出Sockeye 2,Sockeye神经机器翻译(NMT)工具包的现代化和精简版本。新功能包括通过使用MXNet的Gluon API简化的代码库,专注于最先进的模型架构,分布式混合精度训练以及8位量化的高效CPU解码。这些改进导致更快的训练和推理,更高的自动度量分数,以及从研究到生产的更短路径。
2020-08-11 cs.CL
Incorporating Discrete Translation Lexicons into Neural Machine Translation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Carnegie Mellon University(卡内基梅隆大学)
神经机器翻译(NMT)在翻译对理解句子含义至关重要的低频内容词时经常出错。我们提出了一种方法来缓解这个问题,通过增加NMT系统与离散翻译词典,有效地编码这些低频词的翻译。我们描述了一种通过使用NMT模型的注意向量来选择模型应该关注的源词词汇概率来计算翻译候选中下一个词的词汇概率的方法。我们测试了两种方法来将此概率与标准NMT概率相结合:(1)将其用作偏差,(2)线性插值。在两个语料库上的实验表明,BLEU和NIST评分分别提高了2.0-2.3和0.13-0.44,收敛速度也更快。
2016-10-05 cs.CL
Deep Neural Machine Translation with Weakly-Recurrent Units
FBK(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学);MMT Srl(MMT有限公司)
递归神经网络(RNN)多年来一直代表着神经机器翻译的最新技术水平。最近,已经提出了新的架构,它可以比经典的RNN更好地利用GPU上的并行计算。更快的训练和推理与不同的序列到序列建模相结合也会导致性能的提高。虽然新模型完全脱离了原始的递归架构,但我们决定研究如何使RNN更高效。在这项工作中,我们提出了一个新的经常性NMT架构,称为简单的经常性NMT,建立在一类快速和弱经常性的单位,使用层归一化和多重注意力。我们在WMT 14英语到德语和WMT 16英语-罗马尼亚语基准测试上的实验表明,我们的模型是LSTM的有效替代方案,因为它可以以显著降低的计算成本获得更好的结果。
2018-05-10 cs.CL
Character-Level Translation with Self-attention
Technical University of Munich(慕尼黑工业大学);University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院)
我们探讨了自注意模型对字符级神经机器翻译的适用性。我们测试了标准的Transformer模型,以及一个新的变体,其中编码器块使用卷积将附近字符的信息结合起来。我们在WMT和UN数据集上进行了广泛的实验,使用最多三种输入语言(法语,西班牙语和中文)测试双语和多语言翻译为英语。我们的Transformer变体在字符级的性能始终优于标准Transformer,并且收敛速度更快,同时学习更强大的字符级对齐。
2020-04-30 cs.CL
Towards Boosting Many-to-Many Multilingual Machine Translation with Large Language Models
Baidu Inc.(百度公司)
本文提出跨语言一致性正则化XConST,通过改进微调提示策略,提升大型语言模型在多对多多语言翻译中的零样本翻译性能。
2024-02-07 cs.CL
Fast Vocabulary Projection Method via Clustering for Multilingual Machine Translation on GPU
Microsoft(微软)
多语言神经机器翻译使用Transformer模型已经取得了巨大的成功。部署这些模型具有挑战性,因为它们通常需要各种语言的大词汇量。这限制了预测最后一个词汇投影层中的输出标记的速度。为了缓解这些挑战,本文提出了一种快速的词汇投影方法,通过聚类,可用于多语言Transformers器上的GPU。首先,我们离线分割词汇搜索空间到不相交的集群给定的隐藏上下文向量的解码器输出,这导致在更小的词汇列的词汇投影。第二,在推理时,该方法预测的聚类和候选活动令牌的隐藏上下文向量的词汇投影。本文还分析了在多语言环境中构建这些集群的不同方法。我们的结果显示,float16 GPU推理的端到端速度提升高达25%,同时保持BLEU分数并略微增加内存成本。所提出的方法将词汇投影步骤本身的速度提高了2.6倍。我们还进行了广泛的人工评估,以验证所提出的方法保留了原始模型的翻译质量。
2022-08-14 cs.CL cs.LG
Gender Bias Amplification During Speed-Quality Optimization in Neural Machine Translation
Facebook AI(脸书人工智能研究院)
当神经机器翻译(NMT)模型针对速度进行优化并使用BLEU在通用测试集上进行评估时,偏差是否会被放大?我们研究了在基于Transformer的模型中常用的加速解码的架构和技术,例如贪婪搜索、量化、平均注意力网络(AAN)和浅层解码器模型,并展示了它们对性别名词翻译的影响。我们构建了一个新的性别偏见测试集,SimpleGEN,基于性别名词短语,其中有一个单一的,明确的,正确的答案。虽然我们在应用速度优化时发现整体BLEU性能下降最小,但我们观察到性别化名词翻译性能以更快的速度下降。
2021-06-01 cs.CL
Machine Translation Evaluation using Bi-directional Entailment
Center for Indian Language Technology (CFILT)(印度语言技术中心(CFILT));IIT Bombay(印度理工学院孟买分校);Microsoft(微软);SAP
在本文中,我们提出了一个新的度量机器翻译(MT)的评价,基于双向蕴涵。我们表明,机器生成的翻译可以通过确定释义与人类翻译提供的参考翻译进行评估。我们假设,并通过实验表明,释义可以通过评估蕴涵关系的前向和后向检测。与BLEU或METEOR等传统指标不同,我们的方法使用深度学习来确定候选翻译和参考翻译之间的语义相似性,以生成分数,而不是依赖于简单的n元语法重叠。我们使用BERT对Transformer网络的预训练实现,在MNLI语料库上进行微调,用于自然语言推理。我们将我们的评估指标应用于WMT'14和WMT'17数据集,以评估参与翻译任务的系统,并发现与其他传统指标相比,我们的指标与人类注释的分数在系统级别上具有更好的相关性。
2019-11-02 cs.CL
Guiding Neural Machine Translation with Retrieved Translation Pieces
National Institute of Information and Communications Technology(国立信息通信技术研究所);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Carnegie Mellon University(卡内基梅隆大学)
神经机器翻译(NMT)的难点之一是低频词或短语的召回和适当的翻译。在本文中,我们提出了一种简单,快速,有效的方法来回忆以前见过的翻译例子,并将它们纳入NMT解码过程。具体来说,对于一个输入句子,我们使用搜索引擎检索的句子对,其源端与输入句子相似,然后收集$n$ -gram,这都是在检索到的目标句子,并与源句子中匹配的单词对齐,我们称之为“翻译件”。我们根据输入句子和检索到的源句子之间的相似性计算每个检索到的句子的伪概率,并使用这些来加权检索到的翻译片段。最后,使用现有的NMT模型来翻译输入句子,并为包含收集的翻译片段的输出提供额外的奖励。我们表明,我们的方法将NMT翻译结果提高了6个BLEU点,在三个窄域翻译任务中,目标句子的重复性特别突出。它也几乎不会增加翻译时间,并与另一种基于检索的方法相比,在准确性,速度和实现简单性方面毫不逊色。
2018-04-07 cs.CL
Efficient Implementation of a Semantic-based Transfer Approach
本文概述了Verbmobil机器翻译项目中开发和应用的一种新的基于语义的转换方法。我们提出的声明性转移形式主义,并讨论其实现。
1996-07-09 cmp-lg cs.CL
Tensor2Tensor for Neural Machine Translation
Google Brain(谷歌大脑);DeepMind(深度思维)
Tensor2Tensor是一个深度学习模型库,非常适合神经机器翻译,包括最先进的Transformer模型的参考实现。
2018-03-16 cs.CL cs.LG stat.ML
CTC-GMM: CTC guided modality matching for fast and accurate streaming speech translation
Microsoft(微软公司)
针对流式语音翻译标注数据成本高的问题,提出CTC-GMM方法,利用CTC压缩语音序列匹配文本序列,借助MT文本数据优化模型,在FLEURS、CoVoST2上提升准确率并加快GPU解码速度。
2024-10-07 cs.AI cs.CL eess.AS
A Chart Generator for Shake and Bake Machine Translation
介绍了一种基于主动图分析算法的自动生成算法,该算法可与Shake and Bake机器翻译系统结合使用。一个简洁的Prolog实现的算法,并给出了一些性能比较与移位减少算法,这表明图表生成器是更有效地从输入规格生成所有可能的句子。
1996-05-10 cmp-lg cs.CL
Increasing the throughput of machine translation systems using clouds
University of Primorska(普里莫尔斯卡大学);Andrej Marusic Institute(安德烈·马鲁西奇研究所);Research Centre of the Slovenian Academy of Sciences and Arts(斯洛文尼亚科学与艺术研究院研究中心);The Fran Ramovš Institute(弗兰·拉莫夫什研究所);University of Ljubljana(卢布尔雅那大学)
本文介绍了一个在MapReduce模型下实现机器翻译系统的实验。实证评估是使用嵌入MapReduce编程模型的完全实现的翻译系统进行的。研究了两种机器翻译范式:基于浅层迁移规则的机器翻译和统计机器翻译。实验结果表明,MapReduce模型可以成功地用于提高机器翻译系统的吞吐量。此外,该方法提高了机器翻译系统的吞吐量,而不降低翻译输出的质量。因此,本手稿也代表了对自然语言处理,特别是机器翻译的开创性工作的贡献。它首先指向翻译系统的吞吐量的度量的定义的重要性,其次,机器翻译任务的MapReduce范式的适用性。
2016-11-09 cs.CL cs.DC
Towards Faster k-Nearest-Neighbor Machine Translation
School of Computer and Information Technology, Beijing JiaoTong University(北京交通大学计算机与信息技术学院)
针对 kNN-MT 每 token 全库检索开销大的问题,本文用 MLP 预测是否需要 kNN 联合翻译,最多减少 53% 检索开销且可兼容现有系统。
2025-01-04 cs.CL cs.NE
Dependency Graph-to-String Statistical Machine Translation
Huawei Technologies(华为技术有限公司);Dublin City University(都柏林城市大学)
我们提出了基于图的翻译模型,将源图转换为目标字符串。源图由具有额外链接的依赖树构建,以便连接非句法短语。受基于短语的模型的启发,我们首先引入了一个翻译模型,该模型将图分割成一系列不相交的子图,并通过使用束搜索从左到右组合子图翻译来生成翻译。然而,与基于短语的模型类似,该模型在短语重排序方面较弱。因此,我们进一步引入了一个基于同步节点替换语法的模型,该模型学习递归翻译规则。我们提供了两种不同的限制,使源图可以有效地解析模型的实现。实验表明,我们的基于图的模型是显着优于相应的序列和树为基础的基线。
2021-03-20 cs.AI cs.CL
Bayesian Optimisation for Machine Translation
University of Oxford(牛津大学);DeepMind Technologies(深度思维科技公司)
本文提出了新的贝叶斯优化算法的统计机器翻译系统的最小出错率训练。我们探索两类算法,有效地探索翻译空间,第一个基于N-最好的列表和第二个基于超图表示,companion代表指数数量的翻译选项。我们的算法表现出更快的收敛速度,并能够获得较低的出错率比现有的翻译模型的具体方法,所有在一个通用的贝叶斯优化框架。此外,我们还引入了一个随机嵌入算法来扩展我们的方法到稀疏的高维特征集。
2014-12-22 cs.CL cs.LG
Testing Machine Translation via Referential Transparency
ETH Zurich(苏黎世联邦理工学院)
由于深度神经网络的进步,机器翻译软件近年来取得了快速发展。人们在日常生活中经常使用机器翻译软件,比如在外国餐馆点菜,接受外国医生的医疗诊断和治疗,以及在网上阅读国际政治新闻。然而,由于底层神经网络的复杂性和棘手性,现代机器翻译软件仍然远远不够强大,可能会产生糟糕或错误的翻译;这可能导致误解,经济损失,人身安全和健康威胁以及政治冲突。为了解决这个问题,我们引入参考透明输入(RTI),一个简单的,广泛适用的方法来验证机器翻译软件。引用透明输入是一段文本,当在不同的上下文中使用时,它应该有类似的翻译。我们的实际实现,纯度,检测时,这个属性被打破的翻译。为了评估RTI,我们使用Purity对Google翻译和Bing微软翻译进行了200个未标记句子的测试,分别检测到123个和142个错误翻译,准确率分别为79.3%和78.3%。翻译错误是多种多样的,包括翻译不足,过度翻译,单词/短语误译,不正确的修改和逻辑不清的例子。
2021-02-28 cs.CL cs.SE
Masked Adversarial Generation for Neural Machine Translation
Centrale Supelec(中央高等电力学院);Naver Labs Europe
攻击神经机器翻译模型是离散序列上固有的组合任务,可以用近似算法解决。大多数方法使用梯度来独立地攻击每个样本上的模型。我们是否可以学习产生有意义的对抗攻击,而不是机械地应用梯度?与现有方法相比,我们通过训练基于语言模型的对抗生成器来学习攻击模型。我们提出了Masked Adversarial Generation(MAG)模型,该模型在整个训练过程中学习扰动翻译模型。实验表明,该方法提高了机器翻译模型的鲁棒性,同时比竞争方法更快。
2021-09-01 cs.AI cs.CL
Neutron: An Implementation of the Transformer Translation Model and its Variants
Saarland University(萨尔兰大学);DFKI(德国人工智能研究中心);China Mobile Online Services(中国移动在线服务有限公司)
与递归seq2seq模型相比,Transformer翻译模型更容易并行化,并提供更好的性能,这使得它在工业和研究社区中很受欢迎。我们在这项工作中实现了中子,包括Transformer模型及其最近研究的几个变体。它经过高度优化,易于修改,并在保持可读性的同时提供具有有趣功能的可比性能。
2020-03-20 cs.CL
Fast Structured Decoding for Sequence Models
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校);Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
自回归序列模型在机器翻译等领域实现了最先进的性能。然而,由于自回归因子分解的性质,这些模型在推理过程中存在严重的延迟。最近,非自回归序列模型被提出来减少推理时间。然而,这些模型假设每个令牌的解码过程是有条件地独立于其他令牌的。这样的生成过程有时会使输出句子不一致,因此与自回归模型相比,学习的非自回归模型只能达到较低的准确性。为了提高解码一致性,同时降低推理成本,我们提出将结构化推理模块并入非自回归模型。具体来说,我们设计了一个有效的近似条件随机场(CRF)的非自回归序列模型,并进一步提出了一个动态的过渡技术,在CRF的位置上下文建模。在机器翻译中的实验表明,在不同的翻译数据集上,该模型在增加少量延迟(8~ 14 ms)的情况下,都能获得比以往非自回归模型更好的翻译性能。特别是,对于WMT 14 En-De数据集,我们的模型获得了26.80的BLEU分数,这在很大程度上优于以前的非自回归基线,并且在BLEU中仅比纯自回归模型低0.61。
2020-01-09 cs.CL cs.LG stat.ML
Neural-based machine translation for medical text domain. Based on European Medicines Agency leaflet texts
Polish Japanese Academy of Information Technology(波兰日本信息技术学院)
机器翻译的质量正在迅速发展。今天,人们可以在网上找到几个机器翻译系统,它们提供合理的翻译,尽管这些系统并不完美。在某些特定领域,质量可能会下降。最近提出的一种方法是神经机器翻译。它旨在构建一个联合调整的单个神经网络,以最大限度地提高翻译性能,这是一种与传统统计机器翻译截然不同的方法。最近提出的神经机器翻译模型通常属于编码器-解码器家族,其中源句子被编码成固定长度的向量,该向量继而被解码以生成翻译。本研究探讨了不同的训练方法对用于医疗数据的波兰语-英语机器翻译系统的影响。欧洲药品管理局平行文本语料库被用作训练基于神经和统计网络的翻译系统的基础。主要的机器翻译评价指标也被用于系统的分析。一个实时医学翻译器的比较和实现是我们实验的主要焦点。
2015-09-29 cs.CL cs.CY cs.NE
Failure-Aware Long-Form Translation: Design and Implementation of a Recoverable LLM Translation System
University of Tsukuba(筑波大学)
针对长文本翻译API返回不可用结果的问题,设计实现了带恢复协议的可恢复大语言模型翻译系统,该系统通过延迟发布、验证输出等方式保障翻译可用性,经测试符合多项规则要求。
2026-08-11 cs.CL
Hy-MT2: A Family of Fast, Efficient and Powerful Multilingual Translation Models in the Wild
Tencent Hunyuan Team(腾讯文言团队)
本文提出Hy-MT2系列多语言翻译模型,通过三种规模(1.8B、7B、30B-A3B MoE)支持33种语言翻译,在通用、商业、领域和指令跟随任务上超越开源模型和商业API,并实现轻量级设备端部署。
2026-05-25 cs.CL
FASST: Fast LLM-based Simultaneous Speech Translation
Carnegie Mellon University(卡内基梅隆大学);University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对现有同声语音翻译方法延迟高或质量差的问题,提出基于大语言模型的FASST方法,通过分块因果编码、一致性掩码及两阶段训练实现增量编码,在MuST-C数据集上取得最优质量-延迟权衡。
2024-08-18 cs.AI cs.CL
Fast-MD: Fast Multi-Decoder End-to-End Speech Translation with Non-Autoregressive Hidden Intermediates
Kyoto University(京都大学);Carnegie Mellon University(卡内基梅隆大学)
多解码器(MD)端到端语音翻译模型通过搜索更好的中间自动语音识别(ASR)解码器状态作为隐藏中间体(HI)来展示高翻译质量。它是一个两遍解码模型,将整个任务分解为ASR和机器翻译子任务。然而,解码速度对于现实世界的应用来说不够快,因为它在推理期间对两个子任务进行波束搜索。我们提出了快速MD,一个快速MD模型,产生HI的非自回归(NAR)解码的基础上连接主义时间分类(CTC)的输出,然后由ASR解码器。我们研究了两种类型的NAR HI:(1)使用自回归Transformer ASR解码器的并行HI和(2)使用Mask-CTC的掩码HI,该Mask-CTC结合了CTC和条件掩码语言模型。为了减少ASR解码器在训练期间的教师强迫和测试期间对CTC输出的调节之间的不匹配,我们还建议在训练期间对CTC输出进行采样。在三个语料库上的实验结果表明,Fast-MD在GPU和CPU上的解码速度分别比原始MD模型快2倍和4倍,翻译质量相当。采用Conformer编码器和中间CTC损失,在不牺牲解码速度的情况下进一步提高其质量。
2021-09-27 cs.CL cs.SD eess.AS
Transcribing and Translating, Fast and Slow: Joint Speech Translation and Recognition
Meta AI
提出基于快-慢级联编码器和多目标训练的联合语音翻译与识别模型 JSTAR,在智能眼镜双语对话场景中同时实现高质量流式 ASR 和 ST,性能优于级联模型。
2024-12-19 cs.CL eess.AS
RETURNN as a Generic Flexible Neural Toolkit with Application to Translation and Speech Recognition
RWTH Aachen University(亚琛工业大学);AppTek(AppTek公司);NNAISENSE(NNAISENSE公司)
我们比较了用于翻译的注意力模型的RETURNN的快速训练和解码速度,这是由于快速CUDA LSTM内核和快速纯TensorFlow束搜索解码器。我们表明,一个逐层的预训练计划的经常性注意力模型提供了超过1%的BLEU绝对改善,它允许训练更深的经常性编码器网络。麦克斯的初步结果很有希望。预期的BLEU训练。我们能够训练最先进的翻译模型和语音识别的端到端模型,并在WMT 2017和Switchboard上显示结果。RETURNN的灵活性允许快速的研究反馈循环来试验替代架构,其通用性允许在广泛的应用中使用它。
2018-05-24 cs.AI cs.CL cs.NE
AlignAtt4LLM: Fast AlignAtt for Decoder-Only LLMs at IWSLT 2026 Simultaneous Speech Translation Task
Charles University, MFF, ÚFAL(查理大学,人文学院,ÚFAL);University of Edinburgh(爱丁堡大学)
提出AlignAtt4LLM系统,通过显式源文本跨度、离线选择翻译对齐头、选择性qk快速重放和运行时查询/键捕获,首次将AlignAtt策略应用于仅解码器LLM,在英德、英意同声传译中优于基线。
2026-06-02 cs.AI cs.CL
DASpeech: Directed Acyclic Transformer for Fast and High-quality Speech-to-Speech Translation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出DASpeech,一种基于有向无环图和两遍架构的非自回归直接语音到语音翻译模型,实现快速高质量翻译,性能媲美Translatotron 2,速度提升达18.53倍,且无需知识蒸馏。
2023-10-11 cs.AI cs.CL cs.SD
Discourse Processing of Dialogues with Multiple Threads
在本文中,我们将介绍我们正在进行的工作,基于计划的话语处理器开发的背景下,热情的西班牙语到英语翻译系统的一部分,JANUS多语言语音到语音翻译系统。我们将证明,话语理论,假设一个严格的树结构的话语无论是有意或注意水平是不完全足够的处理自发的对话。我们将提出我们的扩展,这种方法,以及它的实现在我们的计划为基础的话语处理器。我们将证明,我们的方法的实现优于基于严格的树结构方法的实现。
1995-04-27 cmp-lg cs.CL