Future-Guided Incremental Transformer for Simultaneous Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
同声翻译（ST）在阅读源句子的同时同步启动翻译，并在许多在线场景中使用。以往的wait-k策略简洁明了，在ST中取得了较好的效果，但wait-k策略存在两个缺点：隐状态的重新计算导致训练速度慢，缺乏未来源信息来指导训练。针对训练速度慢的问题，提出了一种带平均嵌入层（AEL）的增量式Transformer算法，以加快训练过程中隐藏状态的计算速度。对于未来导向的训练，我们提出了一个传统的Transformer作为增量式Transformer的老师，并尝试通过知识蒸馏在模型中无形地嵌入一些未来的信息。我们在汉英和德英同声翻译任务上进行了实验，并与wait-k策略进行了比较，以评估所提出的方法。我们的方法可以有效地提高训练速度，在不同的k平均约28倍，并隐式地嵌入一些预测能力的模型，实现更好的翻译质量比wait-k基线。
2020-12-23 cs.AI cs.CL
The Volctrans Neural Speech Translation System for IWSLT 2021
ByteDance AI Lab（字节跳动人工智能实验室）
本文介绍了Volctranss团队提交给IWITH 2021的系统。我们参与离线语音翻译和文本到文本的同声翻译轨道。对于离线语音翻译，我们最好的端到端模型在Must-C测试集上的基准测试中实现了8.1 BLEU改进，甚至接近强大级联解决方案的结果。对于文本到文本的同声翻译，我们探索优化wait-k模型的最佳实践。因此，我们最终提交的系统在相同的延迟机制下超过了基准，约为7 BLEU。我们将公布我们的代码和模型，以促进未来的研究工作和工业应用。本文介绍了Volctranss团队提交给IWITH 2021的系统。我们参与离线语音翻译和文本到文本的同声翻译轨道。对于离线语音翻译，我们最好的端到端模型在Must-C测试集上的基准测试中实现了7.9的BLEU改进，甚至接近强大级联解决方案的结果。对于文本到文本的同声翻译，我们探索优化wait-k模型的最佳实践。因此，我们最终提交的系统在相同的延迟机制下超过了基准，约为7 BLEU。我们在\url{https://github.com/bytedance/neurst/tree/master/examples/iwslt21}上发布了我们的代码和模型，以促进未来的研究工作和工业应用。
2021-06-30 cs.CL cs.SD eess.AS
ON-TRAC Consortium for End-to-End and Simultaneous Speech Translation Challenge Tasks at IWSLT 2020
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；Avignon Université（阿维尼翁大学）；Le Mans Université（勒芒大学）
本文介绍了ON-TRAC联盟翻译系统，该系统是为2020年IWTECH评估活动中的两个挑战轨道开发的，即离线语音翻译和同步语音翻译。ON-TRAC联盟由来自三个法国学术实验室的研究人员组成：LIA（阿维尼翁大学），LIG（格勒诺布尔阿尔卑斯大学）和LIUM（勒芒大学）。基于注意力的编码器-解码器模型，经过端到端训练，用于我们提交到离线语音翻译轨道。我们的贡献集中在数据增强和多个模型的集成上。在同步语音翻译轨道中，我们为文本到文本子任务构建了基于transformer的wait-k模型。对于语音到文本的同声翻译，我们附加一个等待k MT系统的混合ASR系统。我们提出了一种算法来控制ASR+MT级联的延迟，并在两个子任务上实现良好的延迟质量折衷。
2020-05-24 cs.CL eess.AS
Information-Transport-based Policy for Simultaneous Translation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
同步翻译（ST）在接收源输入的同时输出翻译，因此需要策略来确定是翻译目标令牌还是等待下一个源令牌。ST的主要挑战是每个目标令牌只能基于当前接收的源令牌进行翻译，其中接收的源信息将直接影响翻译质量。因此，自然地，对于当前目标令牌的翻译，接收到多少源信息应该是ST策略在翻译和等待之间做出决定的关键证据。本文将翻译视为从源到目标的信息传输，并提出了基于信息传输的同声翻译（ITST）。ITST量化每个源令牌到当前目标令牌的传输信息权重，然后根据其累积的接收信息来决定是否翻译目标令牌。对文本到文本ST和语音到文本ST的实验（也称为，流语音翻译）任务表明，ITST优于强基线，并实现了最先进的性能。
2022-11-01 cs.AI cs.CL cs.SD
Data-Driven Adaptive Simultaneous Machine Translation
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
在同声翻译（SimulMT）中，最广泛使用的策略是wait-k策略，因为它在平衡翻译质量和延迟方面既简单又有效。然而，wait-k有两个主要的限制：（a）它是一个固定的策略，不能自适应地调整给定上下文的延迟，（b）它的训练比整句翻译慢得多。为了缓解这些问题，我们提出了一种新的和有效的自适应SimulMT的训练方案，通过增加训练语料库与自适应前缀前缀对，而训练的复杂性保持相同的训练整句翻译模型。在两个语言对上的实验表明，我们的方法在翻译质量和延迟方面优于所有强基线。
2022-04-27 cs.CL
The USTC-NELSLIP Systems for Simultaneous Speech Translation Task at IWSLT 2021
University of Science and Technology of China（中国科学技术大学）；iFlytek Research（讯飞研究院）
本文介绍了中国科学技术大学-奈斯利普公司提交的IWSLT 2021同步语音翻译任务。我们提出了一种新的同声翻译模型，交叉注意增强转换器（CAAT），它将传统的RNN-T扩展到没有单调约束的序列到序列任务，例如，同声传译语音到文本（S2 T）和文本到文本（T2 T）的同声翻译任务的实验表明，CAAT实现了更好的质量-延迟权衡相比，\textit{wait-k}，以前的国家的最先进的方法之一。基于CAAT体系结构和数据增强，我们在这次评估活动中建立了S2 T和T2 T同声翻译系统。与去年的最佳系统相比，我们的S2 T同声翻译系统在所有延迟状态下平均提高了11.3 BLEU，我们的T2 T同声翻译系统平均提高了4.6 BLEU。
2021-07-09 cs.CL cs.SD eess.AS
Context Consistency between Training and Testing in Simultaneous Machine Translation
Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算与智能研究院）
针对同声翻译中训练与测试上下文使用不一致导致质量下降的问题，提出上下文一致性训练方法，通过双目标优化和预测暴露，在三个语言对上首次超越不一致系统。
2023-11-13 cs.CL
LEAPT: Learning Adaptive Prefix-to-prefix Translation For Simultaneous Machine Translation
Xiamen University（厦门大学）；Ministry of Culture and Tourism（文化和旅游部）
同步机器翻译旨在实现实时翻译，在许多现场场景中非常有用，但由于准确性和延迟之间的权衡，因此非常具有挑战性。为了实现两者的平衡，模型需要等待适当的流文本（READ策略），然后生成其翻译（WRITE策略）。然而，由于端到端训练，先前工作的WRITE策略要么特定于方法本身，要么遭受非端到端训练的训练和解码之间的输入失配。因此，学习一个通用的、更好的同步机器翻译写策略是非常必要的。受人类口译员和“等待”策略的启发，我们提出了一种新的自适应前缀到前缀训练策略LEAPT，它允许我们的机器翻译模型学习如何翻译源句子前缀并利用未来的上下文。实验表明，我们提出的方法大大优于竞争基线，取得了可喜的成果。
2023-03-21 cs.CL
Speculative Beam Search for Simultaneous Translation
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
束搜索普遍用于整句翻译，但其应用于同声翻译仍然是不平凡的，其中输出单词是动态提交的。特别是，最近提出的等待k政策（Ma等人，2019 a）是一种简单而有效的方法，其（在初始等待之后）在接收到每个输入字时提交一个输出字，使得束搜索看起来是不可能的。为了解决这一挑战，我们提出了一个投机性的束搜索算法，幻觉几个步骤到未来，以达到一个更准确的决定，隐含受益于目标语言模型。这使得束搜索第一次适用于在每个步骤中生成单个单词。不同语言对的实验表明，在以前的工作有很大的改进。
2019-09-12 cs.CL
Fixed and Adaptive Simultaneous Machine Translation Strategies Using Adapters
Maastricht University（马斯特里赫特大学）
本文提出在解码器中引入轻量级适配器模块，训练其针对不同等待-k值进行专门化，并结合自适应策略，实现单一模型满足多种延迟水平，在两个语言方向上优于或媲美强基线。
2024-07-18 cs.CL
Direct Simultaneous Speech-to-Speech Translation with Variational Monotonic Multihead Attention
Johns Hopkins University（约翰斯·霍普金斯大学）；Meta；Maastricht University（马斯特里赫特大学）
本文提出了一种直接同步语音到语音翻译（Simul-S2 ST）模型。我们的方法利用了离散单元直接语音到语音翻译的最新进展，其中以无监督方式学习的离散表示序列而不是连续的频谱图特征，从模型中预测并直接传递给声码器进行语音合成。我们还引入了变分单调多头注意（V-MMA），以应对语音同传中低效的策略学习的挑战。然后，同时策略对源语音特征和目标离散单元进行操作。我们进行了实证研究，比较级联和直接的方法对Fisher西班牙语-英语和Must-C英语-西班牙语数据集。直接同步模型通过在翻译质量和延迟之间实现更好的折衷而优于级联模型。
2022-01-12 cs.CL cs.SD eess.AS
Simultaneous Translation between Sign Languages
Oregon State University（俄勒冈州立大学）
本文提出首个同声手语到手语翻译系统，采用两种wait-k机制并引入计算感知延迟度量ca-Stream-AL，在六个方向上实现38%延迟降低，同时保持较小的质量损失。
2026-09-29 cs.CL cs.CV
Decision Attentive Regularization to Improve Simultaneous Speech Translation Systems
Samsung Research（三星研究院）
同声翻译系统在处理传入输入流中的部分源句子的同时开始产生输出。这些系统需要决定何时读取更多的输入，何时写入输出。这些决定取决于源/目标语言的结构和包含在部分输入序列中的信息。因此，读/写决策策略在不同的输入模态之间保持相同，即，语音和文本。这促使我们利用对应于语音输入的文本转录来改进同步语音到文本翻译（SimulST）。我们提出了决策注意正则化（DAR），以改善决策政策的SimulST系统通过使用同步文本到文本翻译（SimulMT）的任务。我们还从离线语音翻译领域扩展了几种技术，以探索SimulMT任务在提高SimulST性能方面的作用。总体而言，我们在Must-C英语-德语（EnDe）SimulST任务的不同延迟机制中实现了34.66%/4.5 BLEU的基线模型改进。
2022-06-17 cs.CL cs.SD eess.AS
Impact of Encoding and Segmentation Strategies on End-to-End Simultaneous Speech Translation
Naver Labs Europe
在IWITH 2020的同声翻译共享任务的推动下，最近提出了有前途的端到端在线语音翻译方法。它们包括增量地编码语音输入（以源语言）和解码相应的文本（以目标语言），在延迟和翻译质量之间具有最佳可能的折衷。本文研究了端到端同步语音翻译的两个关键方面：（a）如何有效地编码连续的语音流，以及（b）如何分割语音流，以便在读（R：编码输入）和写（W：解码输出）操作之间进行最佳交替。我们扩展了我们之前提出的端到端在线解码策略，并表明虽然用ULSTM编码取代BLSTM会降低离线模式下的性能，但它实际上提高了在线模式下的效率和性能。我们还测量了不同方法对语音信号进行分段的影响（使用固定的间隔边界，Oracle单词边界或随机设置的边界），并表明我们最好的端到端在线解码策略是令人惊讶的是，在我们的英语-德语语音翻译设置上，在固定大小的块上交替进行R/W操作。
2021-06-14 cs.CL cs.SD eess.AS
Faster Re-translation Using Non-Autoregressive Model For Simultaneous Neural Machine Translation
Samsung Research（三星研究院）
最近，同声翻译已经引起了很多关注，因为它可以实现引人注目的应用，例如现场活动的字幕翻译或实时视频通话翻译。这些翻译应用程序中的一些允许编辑部分翻译，从而产生重新翻译方法。目前的重翻译方法是基于自回归序列生成模型（ReTA），它在（部分）翻译中顺序生成目标令牌。ReTAmodels中顺序生成的多次重新翻译导致随着源输入的增长，传入的源输入和相应的目标输出之间的推理时间间隔增加。此外，由于涉及大量的推理操作，ReTA模型对于资源受限的设备是不利的。在这项工作中，我们提出了一个更快的重新翻译系统的基础上的非自回归序列生成模型（FReTNA），以克服上述限制。我们对多个翻译任务进行了评估，与ReTA和流式传输（Wait-k）模型相比，我们的模型将推理时间减少了几个数量级，并实现了具有竞争力的BLEUscore。与ReTA模型相比，该模型通过在翻译质量上的小幅下降，将平均计算时间减少了20倍。它在计算时间（低1.5倍）和翻译质量方面也优于基于流媒体的Wait-k模型。
2021-06-02 cs.AI cs.CL
Average Token Delay: A Latency Metric for Simultaneous Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
同声翻译是指在说话人说完话之前就开始翻译的任务。在其评估中，除了质量之外，我们还必须考虑翻译的延迟。等待时间优选地尽可能小，以便用户以小的延迟理解说话者所说的内容。现有的延迟度量集中在翻译何时开始，但没有充分考虑翻译何时结束。这意味着这样的指标不会惩罚由长翻译输出引起的延迟，这实际上会延迟用户的理解。在这项工作中，我们提出了一种新的延迟评估指标，称为平均令牌延迟（ATD），侧重于部分翻译的同步翻译的结束时间。我们通过模拟实例讨论了ATD的优点，并通过同声翻译实验研究了ATD和平均滞后的区别。
2023-02-09 cs.CL cs.SD
Can neural machine translation do simultaneous translation?
New York University（纽约大学）
我们研究了基于注意力的神经机器翻译在同声翻译中的潜力。我们引入了一种新的解码算法，称为同时贪心解码，允许现有的神经机器翻译模型开始翻译之前，收到一个完整的源语句。这种方法是独特的，从以前的作品同步翻译的分割和翻译是共同完成的，以最大限度地提高翻译质量，翻译每一个部分是强烈的条件下，所有以前的部分。本文提出了第一步，建立一个完整的同步翻译系统的基础上神经机器翻译。
2016-06-07 cs.CL
Dynamic Lagging using Stable-Prefix Training for Simultaneous Translation
Microsoft（微软）
本研究通过前缀微调使仅解码器LLM具备前缀感知能力，实现级联同声翻译的稳定输出，并利用置信度阈值在质量与延迟间取得最优权衡。
2026-09-21 cs.CL
SimulMEGA: MoE Routers are Advanced Policy Makers for Simultaneous Speech Translation
Auditory Cognition and Computational Acoustics Lab（听觉认知与计算声学实验室）；MoE Key Lab of Artificial Intelligence（MoE人工智能重点实验室）；AI Institute（人工智能研究院）；School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）
针对同声传译中质量、延迟与连贯性难平衡，尤其多语言场景策略学习困难的问题，提出无监督框架SimulMEGA，结合前缀训练与MoE精炼器隐式学习读写决策，在多语言对及流式TTS任务中实现更优延迟-质量权衡。
2025-10-29 cs.CL cs.SD eess.AS
AlignAtt: Using Attention-based Audio-Translation Alignments as a Guide for Simultaneous Speech Translation
Fondazione Bruno Kessler, Italy（布鲁诺·科塞拉基金会，意大利）；University of Trento, Italy（特伦托大学，意大利）；Indipendent Researcher（独立研究者）
AlignAtt通过利用注意力信息生成源-目标对齐，提升同时语音翻译的BLEU分数和降低延迟。
2026-02-03 cs.CL cs.LG cs.SD
SimulSeamless: FBK at IWSLT 2024 Simultaneous Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文介绍FBK团队在IWSLT 2024同声语音翻译评测中提出的SimulSeamless系统，该系统结合AlignAtt策略与中等配置的SeamlessM4T模型，无需重训练即可实现同声推理，在多语言对上取得了优于往届的结果，且支持上百种语言互译。
2024-06-20 cs.AI cs.CL cs.SD
A General Framework for Adaptation of Neural Machine Translation to Simultaneous Translation
Shanghai University of Finance and Economics（上海财经大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
尽管神经机器翻译（NMT）取得了成功，但同时神经机器翻译（SNMT）由于句法结构差异和语义要求，在观察到完整句子之前进行实时的翻译任务仍然具有挑战性。在本文中，我们提出了一个通用的框架，用于适应神经机器翻译同时翻译。我们的框架包含两个部分：前缀翻译，利用一个连续的NMT模型来翻译源前缀和一个停止标准，确定何时停止前缀翻译。在三个翻译语料库和两个语言对上的实验表明，该框架在平衡NMT执行同声翻译的质量和延迟方面是有效的。
2020-10-04 cs.CL
SimulEval: An Evaluation Toolkit for Simultaneous Translation
Facebook AI（Facebook人工智能）；Johns Hopkins University（约翰斯·霍普金斯大学）
文本和语音的同步翻译专注于实时和低延迟的场景，其中模型在读取完整的源输入之前开始翻译。评估同声翻译模型比离线模型更复杂，因为除了翻译质量之外，延迟是另一个需要考虑的因素。尽管研究界越来越关注同声翻译的新建模方法，但目前缺乏一个通用的评估程序。因此，我们提出了SimulEval，一个易于使用的通用评估工具包，用于同时进行文本和语音翻译。引入服务器-客户端方案来创建同声翻译场景，其中服务器发送源输入并接收用于评估的预测，而客户端执行定制的策略。给定一个策略，它会自动执行同步解码，并共同报告几个流行的延迟指标。我们还调整了从文本同声翻译到语音任务的延迟度量。此外，SimulEval还配备了可视化界面，以便更好地了解系统的同步解码过程。SimulEval已经被广泛用于IWIEF 2020同步语音翻译的共享任务。代码将在发布时发布。
2020-07-31 cs.CL
Improving Simultaneous Translation by Incorporating Pseudo-References with Fewer Reorderings
Oregon State University（俄勒冈州立大学）；Baidu Research（百度研究院）；Columbia University（哥伦比亚大学）
同声翻译与整句翻译有很大的不同，因为它在源句结束之前就开始翻译，只有几个字的延迟。然而，由于缺乏大规模，高质量的同声翻译数据集，大多数这样的系统仍然是在传统的整句双文本上训练的。这对于同时发生的场景来说是非常不理想的，因为在这些双文本中存在大量不必要的长距离重新排序。我们提出了一种新的方法，改写现有的整句语料库的目标方到错误风格的翻译。在Zh->En和Ja->En同声翻译上的实验表明，添加这些生成的伪引用后，翻译效果有了很大的改善（最高可达+2.7 BLEU）。
2021-09-23 cs.CL
Stream-level Latency Evaluation for Simultaneous Machine Translation
Valencian Research Institute for Artificial Intelligence（瓦伦西亚人工智能研究所）；Universitat Politècnica de València（瓦伦西亚理工大学）
同步机器翻译最近获得了牵引力由于显着的质量改进和流媒体应用程序的出现。同时翻译系统需要在翻译质量和响应时间之间找到折衷，并且为此目的，已经提出了多个延迟措施。然而，同步翻译的延迟评估是在句子级别上估计的，没有考虑流媒体场景的顺序性质。实际上，这些同步级延迟度量不太适合连续流翻译，导致与被评估系统的同步翻译策略不一致的数字。这项工作提出了一个流级适应的基础上应用到输出翻译的重新分割方法的当前延迟措施，这是成功地评估流的条件下，为参考IWESTOS任务。
2021-09-08 cs.CL
A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation
University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）；School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）
本文提出非自回归端到端同声语音翻译框架NAST-S2X，统一语音到文本与语音到语音任务，通过并发生成多标记和CTC动态调延迟，在3秒内实现高质量同传并获28倍解码加速。
2024-10-19 cs.AI cs.CL cs.SD
Thinking Slow about Latency Evaluation for Simultaneous Machine Translation
Google（谷歌）
同步机器翻译尝试在源句子被说完之前对其进行翻译，其应用于实时流媒体和对话的口语翻译。由于并发系统以质量为代价来减少延迟，因此具有有效且可解释的延迟度量至关重要。我们介绍了最近提出的平均滞后（AL）度量，我们称之为微分平均滞后（DAL）的一个变种。它的区别在于它是可微的，并且与它的基本数学模型内在一致。
2019-05-31 cs.CL
Teaching BERT to Wait: Balancing Accuracy and Latency for Streaming Disfluency Detection
New York University（纽约大学）；Google Research（谷歌研究院）
在现代的基于语音的交互式系统中，在消除不流利之前，语音被逐渐消耗和转录。这一后处理步骤对于产生干净的转录本和下游任务（例如机器翻译）的高性能至关重要。然而，大多数当前最先进的NLP模型（如Transformer）都是非增量运行的，可能会导致不可接受的延迟。我们提出了一个基于流BERT的序列标记模型，结合一个新的训练目标，能够实时检测不流畅，同时平衡准确性和延迟。这是通过训练模型来决定是立即输出当前输入的预测还是等待进一步的上下文来实现的。从本质上讲，模型学习动态调整其前瞻窗口的大小。我们的结果表明，我们的模型产生了非常准确的预测，并且比我们的基线更快，闪烁更低。此外，与最近的增量不流利检测工作相比，该模型达到了最先进的延迟和稳定性分数。
2022-05-02 cs.CL
From Simultaneous to Streaming Machine Translation by Leveraging Streaming History
Valencian Research Institute for Artificial Intelligence（瓦伦西亚人工智能研究院）；Universitat Politècnica de València（瓦伦西亚理工大学）
同步机器翻译是在输入句子完全可用之前增量地翻译它的任务。目前，同声翻译通过独立于先前翻译的文本翻译每个句子来进行。更一般地，流式MT可以被理解为同时MT到连续输入文本流的增量翻译的扩展。在这项工作中，一个国家的最先进的同步并行级MT系统扩展到流设置，利用流的历史。广泛的实证结果报告IWCHTMLTranslation Tasks，表明利用流历史导致显着的质量收益。特别是，所提出的系统被证明可以与性能最好的系统相媲美。
2022-03-31 cs.CL
Simultaneous Neural Machine Translation with Constituent Label Prediction
Nara Institute of Science and Technology (NAIST)（奈良先端科学技术大学院大学）；RIKEN（日本理化学研究所）
同声翻译是一种在说话人说完话之前就开始翻译的任务，因此决定何时开始翻译过程很重要。然而，对于具有不同词序的语言对（例如英语和日语），决定是阅读更多输入单词还是开始翻译是困难的。受预重排序概念的启发，我们提出了几个简单的决策规则，使用增量成分标签预测的下一个成分的标签。在英日同声翻译的实验中，该方法在质量-延迟权衡方面优于基线。
2021-10-26 cs.CL
STACL: Simultaneous Translation with Implicit Anticipation and Controllable Latency using Prefix-to-Prefix Framework
Baidu Research（百度研究院）；Baidu, Inc.（百度公司）；Oregon State University（俄勒冈州立大学）
同声翻译，即在句子完成之前翻译句子，在许多情况下都很有用，但由于词序的差异而非常困难。虽然传统的seq-to-seq框架只适用于整句翻译，但我们提出了一种用于同声翻译的新型前缀到前缀框架，该框架隐式地学习在单个翻译模型中进行预测。在这个框架内，我们提出了一个非常简单但出奇有效的wait-k策略，经过训练可以与源句子同时生成目标句子，但始终落后k个单词。实验表明，我们的策略实现了低延迟和合理的质量（与整句翻译相比）4个方向：<->zhen和<->deen。
2019-06-24 cs.CL
NaturalFlow: Reducing Disruptive Pauses for Natural Speech Flow in Simultaneous Speech-to-Speech Translation
IPAI and ECE, Seoul National University（首尔大学IPAI与ECE）；Department of AI, University of Seoul（首尔市立大学人工智能系）
提出一个流畅性感知优化框架，通过利用模型内部信号（如语言多样性和语音时长的时间变异性）最小化块间静音，在同步翻译的低延迟和连续翻译的自然流畅之间找到平衡点。
2026-06-12 cs.AI cs.CL cs.SD
Re-translation versus Streaming for Simultaneous Translation
Google Research（谷歌研究院）
在改进流式机器翻译方面已经有了很大的进步，这是一种同步范例，当更多的源内容变得可用时，系统会附加到一个不断增长的假设。我们研究了一个相关的问题，其中的假设超出严格的附加词的修订是允许的。这适用于诸如为音频源提供实时字幕的应用。在这种情况下，我们将自定义流方法与重新翻译进行比较，这是一种简单的策略，每个新的源令牌都会从头开始触发不同的翻译。我们发现重新翻译与最先进的流媒体系统一样好或更好，即使在允许很少修改的限制下运行。我们将这一成功归功于先前提出的数据增强技术，该技术将前缀对添加到训练数据中，该技术与wait-k推断一起形成了流翻译的强大基线。我们还强调了重新翻译的能力，包装任意强大的MT系统的实验表明，从升级到其基础模型的大的改进。
2020-06-29 cs.CL
Simultaneous Translation with Flexible Policy via Restricted Imitation Learning
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
同声翻译是非常有用的，但仍然是NLP中最困难的任务之一。以前的工作要么使用固定延迟策略，要么使用强化学习训练复杂的两阶段模型。我们提出了一个简单得多的单一模型，增加了一个“延迟”令牌的目标词汇表，并设计了一个受限制的动态预言机，大大简化了训练。中英文<->同声翻译实验表明，我们的工作导致灵活的政策，实现更好的BLEU分数和较低的延迟相比，固定和RL学习的政策。
2019-06-22 cs.CL
Exploiting Multimodal Reinforcement Learning for Simultaneous Machine Translation
Imperial College London（伦敦帝国学院）；University of Sheffield（谢菲尔德大学）；Dublin City University（都柏林城市大学）
本文通过探讨两个主要概念来解决同步机器翻译（SiMT）的问题：（a）自适应策略，以学习高翻译质量和低延迟之间的良好权衡;（b）视觉信息，通过提供额外的（视觉）上下文信息来支持这一过程，这些信息可能在文本输入产生之前就可用。为此，我们提出了一个多模态的方法，同时机器翻译使用强化学习，与策略，以整合视觉和文本信息的代理和环境。我们提供了不同类型的视觉信息和集成策略如何影响同声翻译模型的质量和延迟的探索，并证明视觉线索导致更高的质量，同时保持低延迟。
2021-02-22 cs.CL
Presenting Simultaneous Translation in Limited Space
Charles University（查理大学）
一些自动同步翻译长格式语音的方法允许修改输出，以低延迟换取准确性。为用户部署这些系统面临着在有限的空间（例如电视屏幕上的两行）中呈现字幕的问题。字幕必须及时、渐进地显示，并有足够的阅读时间。我们提供了一个算法的字幕。此外，我们提出了一种方法来估计的整体可用性的组合自动翻译和字幕的质量，延迟和稳定性的测试集上进行测量，并提出了一种改进的措施，翻译延迟。
2020-09-18 cs.CL
Towards Multimodal Simultaneous Neural Machine Translation
Tokyo Metropolitan University（东京都立大学）
同声翻译是指在说话人的话语完成之前翻译一个句子，以实现多种语言的实时理解。由于在解码过程中输入信息的不足，这项任务比一般的整句翻译更具挑战性。为了缓解这一不足，我们提出了多模态同步神经机器翻译（MSNMT），它利用视觉信息作为一个额外的模态。我们对Multi30k数据集的实验表明，MSNMT在更及时的翻译情况下，以低延迟显著优于纯文本翻译。此外，我们通过对MSNMT进行对抗性评估来验证视觉信息在解码过程中的重要性，在该评估中，我们研究了模型在不一致输入模态下的表现，并分析了源语言和目标语言之间不同词序的影响。
2020-10-23 cs.CL
Direct Models for Simultaneous Translation and Automatic Subtitling: FBK@IWSLT2023
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
本文介绍FBK在IWSLT 2023的参与工作，利用直接架构完成同声传译与自动字幕生成任务，通过复用离线模型知识及调整ST模型，在降低延迟并提升字幕质量方面取得显著增益。
2023-09-27 cs.AI cs.CL cs.SD
Re-Translation Strategies For Long Form, Simultaneous, Spoken Language Translation
Google Research（谷歌研究院）
我们研究的问题，同时机器翻译的长形式的语音内容。我们的目标是一个连续的语音到文本的场景，生成翻译字幕的现场音频饲料，如讲座或播放的评论。由于这种情况允许对增量翻译进行修改，因此我们采用了重新翻译的方法来进行同声翻译，即随着源代码的增长，从头开始重复翻译。这种方法自然表现出非常低的延迟和高的最终质量，但代价是随着输出的不断改进而增加不稳定性。我们使用工业级语音识别和翻译工具的管道进行实验，并使用简单的推理算法来提高稳定性。我们使用TED演讲作为多语言测试数据的来源，开发我们的英语到德语口语翻译技术。我们的最低限度同步翻译方法使我们能够轻松地将最终评估扩展到另外六种目标语言，从而显著提高所有语言的增量稳定性。
2020-04-07 cs.AI cs.CL cs.LG
Simultaneous Multi-Pivot Neural Machine Translation
National Institute of Information Communications Technology（国立情报学通信技术研究所）；CogSmart；Tokyo Institute of Technology（东京工业大学）
并行语料库是训练神经机器翻译（NMT）模型不可或缺的，而大多数语言对的并行语料库不存在或稀缺。在这种情况下，当使用枢轴语言使得在源语言和枢轴语言以及枢轴语言和目标语言之间存在并行语料库时，枢轴语言NMT可以是有帮助的。当然，枢轴语言翻译的质量比使用该对的合理大小的直接平行语料库所能实现的质量要差得多。在实时同声翻译设置中，如果模型必须在几个源单词可用的时候输出翻译，那么主元语言翻译的质量甚至会进一步恶化。为了解决这个问题，我们提出了多枢轴翻译，并将其应用于涉及枢轴语言的同声翻译设置。我们的方法包括同时将一个源语言翻译成多个枢轴，然后利用多源NMT将这些枢轴一起同时翻译成目标语言。我们在低资源环境中使用N路并行联合国语料库进行阿拉伯语到英语NMT，通过法语和西班牙语作为支点的实验表明，在同时支点NMT设置中，使用两种支点语言可以导致高达5.8 BLEU的改进。
2021-04-15 cs.CL
Simultaneous Masking, Not Prompting Optimization: A Paradigm Shift in Fine-tuning LLMs for Simultaneous Translation
Oregon State University（俄勒冈州立大学）
针对现有同传大模型微调的提示优化方法存在训练集冗余、计算低效等问题，本文提出基于注意力掩码的SimulMask微调新范式，在多语言对上实现翻译质量提升与成本降低。
2024-10-09 cs.CL cs.LG
Simultaneous paraphrasing and translation by fine-tuning Transformer models
Amazon.com, Inc.（亚马逊公司）
本文介绍了在ACL 2020第四届神经生成和翻译（WNGT）研讨会上，语言教育同声翻译和释义共享任务的第三名提交。最终的系统利用预先训练的翻译模型，并使用Transformer架构与过采样策略相结合，以实现有竞争力的性能。该系统在匈牙利语（加权宏F1评分绝对提高27%）和葡萄牙语（绝对提高33%）上的表现明显优于基线。
2020-05-12 cs.CL cs.LG
An Empirical Study of End-to-end Simultaneous Speech Translation Decoding Strategies
Naver Labs Europe（NAVER欧洲实验室）
提出了一种端到端同步语音翻译的解码策略。我们利用在离线模式下训练的端到端模型，并对两种语言对（英语到德语和英语到葡萄牙语）进行实证研究。我们还研究了不同的输出令牌粒度，包括字符和字节对编码（BPE）单位。结果表明，所提出的解码方法允许控制BLEU/平均滞后权衡沿不同的延迟制度。我们最好的解码设置实现了与IWITH 2020共享任务的同声翻译轨道上评估的强大级联模型相当的结果。
2021-03-04 cs.CL
A Pocket Offline Model for Simultaneous Speech Translation as CUNI Submission to IWSLT 2026
Charles University, MFF, ÚFAL（查理大学，人文学院，语言学与应用语言学研究所）
本研究通过将离线直接语音到文本翻译模型 Canary 与最先进的策略 AlignAtt 结合，实现了同声传译能力，并在 IWSLT 2026 同声传译共享任务中提交了捷克语到英语以及英语到德语和意大利语的系统，展示了高翻译质量、低计算需求和多语言支持。
2026-06-02 cs.CL
Monotonic Simultaneous Translation with Chunk-wise Reordering and Refinement
Samsung Research（三星研究院）；New York University（纽约大学）
最近的同步机器翻译工作通常是用传统的整句翻译语料库进行训练的，这导致在处理语序显著不同的语言对时，过度的延迟或需要预测尚未到达的单词。这与同声传译不同，同声传译人员以牺牲被翻译句子的语法性为代价，产生大量单调的翻译。因此，在本文中，我们提出了一种算法来重新排序和完善的目标方的一个完整的句子翻译语料库，使源和目标句子之间的单词/短语主要是单调对齐，使用单词对齐和非自回归神经机器翻译。然后，我们训练一个广泛使用的wait-k同声翻译模型在这个重新排序和细化语料库。所提出的方法提高了BLEU分数，并产生的翻译表现出增强的单调性与源句子。
2021-10-18 cs.AI cs.CL cs.LG
Monotonic Infinite Lookback Attention for Simultaneous Machine Translation
Google（谷歌）
同步机器翻译在源说话者说完之前就开始翻译每个源句子，应用于直播和流媒体场景。同步系统必须仔细安排它们对源句子的阅读，以平衡质量和延迟。我们提出了第一个同声翻译系统学习自适应时间表与神经机器翻译（NMT）模型，出席了所有源令牌阅读到目前为止。我们这样做是通过引入单调无限回望（MILK）的注意，它保持了一个硬，单调的注意头来安排阅读的源句子，和一个软的注意头，从单调的头延伸到源的开始。我们表明，牛奶的自适应时间表允许它到达延迟质量的权衡，有利于那些最近提出的等待-k策略的许多延迟值。
2019-06-12 cs.CL
Streaming Translation and Transcription Through Speech-to-Text Causal Alignment
Hikari通过概率WAIT令牌机制实现流式语音到文本翻译与转录，引入解码器时间扩张减少自回归开销，并采用监督微调策略提升质量-延迟权衡，取得多项语言任务的最新BLEU分数。
2026-09-11 cs.CL
Improving Stability in Simultaneous Speech Translation: A Revision-Controllable Decoding Approach
Microsoft（微软）
针对同声语音翻译中部分结果闪烁的稳定性问题，提出一种在束搜索剪枝中引入允许修订窗口的修订可控解码方法，可大幅减少甚至消除闪烁，在保障翻译质量的同时显著提升解码稳定性。
2023-10-06 cs.CL
Neural Simultaneous Speech Translation Using Alignment-Based Chunking
Applications Technology (AppTek)（应用技术公司（AppTek））
在同步机器翻译中，目标是确定在给定连续的源单词流的情况下何时产生部分翻译，并在延迟和质量之间进行权衡。我们提出了一个神经机器翻译（NMT）模型，该模型可以动态决定何时继续输入或生成输出单词。该模型由两个主要组件组成：一个用于动态决定结束源块，另一个用于翻译已使用的块。我们以与推理条件一致的方式联合训练组件。为了生成分块的训练数据，我们提出了一种方法，利用词对齐，同时也保留了足够的上下文。我们比较模型与双向和单向编码器的不同深度，无论是在真实的语音和文本输入。我们的结果在2020年的IWITH2020英语到德语的任务优于等待k基线2.6至3.7% BLEU绝对。
2020-05-29 cs.CL
Simultaneous Translation Policies: From Fixed to Adaptive
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
自适应策略优于固定策略，因为它们可以根据当前上下文信息灵活地平衡翻译质量和延迟之间的权衡。但以往的自适应策略获取方法要么依赖于复杂的训练过程，要么不如简单的固定策略。我们设计了一个算法来实现自适应的政策，通过一个简单的启发式组合的一组固定的政策。在中文-英语和德语-英语上的实验表明，我们的自适应策略可以在相同的延迟下超过固定策略高达4个BLEU点，更令人惊讶的是，它甚至超过了贪婪模式下整句翻译的BLEU分数（非常接近beam模式），但延迟要低得多。
2020-05-02 cs.CL
Learning Optimal Policy for Simultaneous Machine Translation via Binary Search
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文针对同声传译中缺乏黄金策略监督导致难以学习精确翻译策略的问题，提出通过二分搜索在线构建最优策略并利用显式监督训练SiMT模型，在四个翻译任务上全面超越强基线。
2023-05-27 cs.CL
Rethinking the Reasonability of the Test Set for Simultaneous Machine Translation
Xiaomi（小米）
同步机器翻译（SimulMT）模型在源句子结束之前开始翻译，使翻译与源句子单调对齐。然而，一般的整句翻译测试集是通过离线翻译整个源句子获得的，这不是为SimulMT评估而设计的，这让我们重新思考这是否会低估SimulMT模型的性能。本文在MuST-C英汉测试集的基础上，手工标注了一个单调测试集SiMuST-C。我们的人类评估证实了我们的注释测试集的可接受性。三个不同的SimulMT模型的评估验证，低估的问题，可以减轻我们的测试集。进一步的实验表明，在自动提取的单调训练集上进行微调可以将SimulMT模型提高多达3个BLEU点。
2023-03-13 cs.CL
Conversational SimulMT: Efficient Simultaneous Translation with Large Language Models
Department of Data Science & AI, Monash University（数据科学与人工智能系，莫纳什大学）；MBZUAI（马克斯·普朗克智能系统研究所）
针对同步机器翻译中质量与延迟的权衡及大语言模型推理成本高的问题，本文提出对话式同步机器翻译框架，通过多轮对话解码提升效率，实验显示其在保证翻译质量优势的同时，延迟与专用模型相当。
2025-11-17 cs.CL
Average Token Delay: A Duration-aware Latency Metric for Simultaneous Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
针对同声传译现有延迟指标忽略翻译持续时间的问题，提出关注部分翻译持续时间的 Average Token Delay (ATD) 指标，实验证明其在多数条件下与 Ear-Voice Span (EVS) 相关性最高。
2023-11-27 cs.CL
