Enhanced Hallucination Detection in Neural Machine Translation through Simple Detector Aggregation
CentraleSupélec（中央高等电力学院）；Universite Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；digeiz；Equall；Instituto de Telecomunicações（电信研究所）；University of Lisbon（里斯本大学）；Unbabel
本文针对神经机器翻译中的幻觉检测问题，提出一种简单的多检测器聚合方法，以利用不同检测器的互补优势，实验证明该方法有效提升了检测性能。
2024-02-20 cs.CL
On Exposure Bias, Hallucination and Domain Shift in Neural Machine Translation
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Department of Computational Linguistics, University of Zurich（苏黎世大学计算语言学系）
神经机器翻译（NMT）中的标准训练算法受到暴露偏差的影响，并且已经提出了替代算法来减轻这种影响。然而，暴露偏差的实际影响正在辩论中。在本文中，我们将暴露偏差与NMT中另一个众所周知的问题联系起来，即在域转移下产生幻觉的趋势。在具有多个测试域的三个数据集上的实验中，我们表明暴露偏差是造成幻觉的部分原因，并且使用最小风险训练进行训练可以避免暴露偏差，可以减轻这种情况。我们的分析解释了为什么曝光偏置在域偏移下更成问题，并且还将曝光偏置与束搜索问题联系起来，即随着束尺寸的增加而性能恶化。我们的研究结果为减少暴露偏差的方法提供了一个新的理由：即使它们不能提高域内测试集的性能，它们也可以提高模型对域偏移的鲁棒性。
2020-05-07 cs.CL
Fact over Fiction: Detection of Pathological Hallucinations in Sinhala-to-English Neural Machine Translation
School of Computing, Informatics Institute of Technology（信息技术学院计算机学院）；University of Moratuwa（莫拉图瓦大学）
本文针对僧伽罗语-英语NMT的幻觉问题，提出无参考检测框架，构建4.5万样本合成数据集，微调mDeBERTa-v3实现标记级F1达0.841，经基准测试验证了检测器的有效性。
2026-10-09 cs.CL
CBSiMT: Mitigating Hallucination in Simultaneous Machine Translation with Weighted Prefix-to-Prefix Training
Beijing Institute of Technology（北京理工大学）；Xiaomi AI Lab（小米人工智能实验室）
针对同声传译中因词序差异导致的幻觉问题，提出基于置信度的CBSiMT框架，通过词元级和句子级加权训练缓解干扰，在多语种任务中多数延迟区间提升翻译质量，低延迟下BLEU最高提2分。
2023-11-07 cs.CL
Scene Graph as Pivoting: Inference-time Image-free Unsupervised Multimodal Machine Translation with Visual Scene Hallucination
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
本文提出以场景图为枢轴的无监督多模态机器翻译方法，通过视觉场景幻觉机制在推理时从文本场景图生成伪视觉场景图，在Multi30K上显著超越基线BLEU分数。
2023-05-25 cs.CL
OTTAWA: Optimal TransporT Adaptive Word Aligner for Hallucination and Omission Translation Errors Detection
University of Alberta（阿尔伯塔大学）
提出基于最优传输的词对齐器OTTAWA，通过引入“null”向量和单边约束设置显式建模缺失对齐，在HalOmi基准上有效检测机器翻译中的幻觉与漏译错误，且无需访问系统内部状态。
2024-06-04 cs.CL
The Curious Case of Hallucinations in Neural Machine Translation
Microsoft（微软）
在这项工作中，我们研究了神经机器翻译（NMT）中的幻觉，它位于NMT病理学的极端。首先，我们将源扰动下的幻觉现象与Feldman（2020）的长尾理论联系起来，并提出了一个经验验证的假说来解释源扰动下的幻觉。其次，我们考虑在语料库级噪声（没有任何源扰动）下的幻觉，并证明了两种突出类型的自然幻觉（分离和振荡输出）可以通过特定的语料库级噪声模式产生和解释。最后，我们阐明了流行的数据生成过程，如回译和序列级知识蒸馏的幻觉放大现象。
2021-04-14 cs.AI cs.CL cs.LG
VALHALLA: Visual Hallucination for Machine Translation
UC San Diego（加州大学圣地亚哥分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
近年来，通过考虑图像等辅助输入来设计更好的机器翻译系统引起了广泛关注。虽然现有的方法显示出比传统的纯文本翻译系统更有前途的性能，但它们通常需要成对的文本和图像作为推理过程中的输入，这限制了它们对现实世界场景的适用性。在本文中，我们介绍了一个视觉幻觉框架，称为VALHALLA，它只需要在推理时的源语句，而不是使用幻觉的视觉表示多模态机器翻译。特别地，给定源句子，自回归幻觉Transformer用于从输入文本预测离散视觉表示，并且组合的文本和幻觉表示用于获得目标翻译。我们训练幻觉Transformer与翻译Transformer一起使用具有交叉熵损失的标准反向传播，同时由额外的损失指导，该损失鼓励使用地面实况或幻觉视觉表示的预测之间的一致性。在三个标准翻译数据集上进行的大量实验表明，我们的方法在纯文本基线和最先进的方法上都是有效的。项目页面：http://www.svcl.ucsd.edu/projects/valhalla。
2022-05-31 cs.CL cs.CV
Optimal Transport for Unsupervised Hallucination Detection in Neural Machine Translation
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；University of Lisbon（里斯本大学）；CentraleSupélec（中央理工-高等电力学院）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；Unbabel（Unbabel公司）
本文针对神经机器翻译中的幻觉检测问题，基于幻觉与源内容脱离导致注意力模式异常的直觉，提出了一种基于最优传输的无监督即插即用检测器，其性能优于现有模型检测器并可媲美大规模监督模型。
2023-05-19 cs.CL cs.LG
Looking for a Needle in a Haystack: A Comprehensive Study of Hallucinations in Neural Machine Translation
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；LUMLIS (Lisbon ELLIS Unit)（LUMLIS（里斯本ELLIS单元））；University of Edinburgh（爱丁堡大学）；Unbabel（Unbabel公司）
虽然神经机器翻译（NMT）中的幻觉问题已经引起了一些关注，但对这种高度病态现象的研究缺乏坚实的基础。以前的工作在几个方面受到限制：它经常诉诸于问题被放大的人工设置，它忽视了一些（常见的）幻觉类型，并且它没有验证检测方法的充分性。本文为NMT幻觉的研究奠定了基础。首先，我们在自然环境中工作，即，在训练和推理中都没有人工噪声的域内数据。接下来，我们注释了一个超过3.4k个句子的数据集，这些句子表明了不同类型的要害差错和幻觉。然后，我们转向检测方法，并重新访问以前使用的方法，并建议使用基于玻璃盒不确定性的检测器。总的来说，我们表明，对于预防性设置，（i）以前使用的方法在很大程度上是不够的，（ii）序列对数概率效果最好，并与基于参考的方法相当。最后，我们提出了DeHallucinator，这是一种在测试时减轻幻觉的简单方法，可以显着降低幻觉率。为了方便未来的研究，我们发布了WMT 18德语-英语数据的注释数据集，以及模型，训练数据和代码。
2023-03-05 cs.CL cs.LG
Cyber Risks of Machine Translation Critical Errors : Arabic Mental Health Tweets as a Case Study
Birmingham City University（伯明翰城市大学）；De Montfort University（德蒙福特大学）；University of Surrey（萨里大学）
本文构建阿拉伯语心理健康帖子机器翻译严重错误数据集，揭示NMT流利幻觉难以被用户和常用质量指标识别的伦理与安全风险。
2024-05-19 cs.CL
Investigating Multi-Pivot Ensembling with Massively Multilingual Machine Translation Models
University of Zurich（苏黎世大学）；EPFL（洛桑联邦理工学院）
本文研究多语言机器翻译模型在低资源方向上的多枢轴集成方法，提出MaxEns策略偏向高置信预测，有效提升了翻译质量并减少幻觉，但整体仍不及单一英语枢轴。
2024-04-28 cs.AI cs.CL cs.LG
Word Alignment as Preference for Machine Translation
The University of Tokyo（东京大学）；NTT Corporation（NTT公司）
本文提出将词对齐作为偏好信号，通过直接偏好优化引导基于大语言模型的机器翻译系统，以缓解幻觉和遗漏问题，并设计了基于GPT-4的评估方法进行验证。
2024-11-20 cs.AI cs.CL
Can neural machine translation do simultaneous translation?
New York University（纽约大学）
我们研究了基于注意力的神经机器翻译在同声翻译中的潜力。我们引入了一种新的解码算法，称为同时贪心解码，允许现有的神经机器翻译模型开始翻译之前，收到一个完整的源语句。这种方法是独特的，从以前的作品同步翻译的分割和翻译是共同完成的，以最大限度地提高翻译质量，翻译每一个部分是强烈的条件下，所有以前的部分。本文提出了第一步，建立一个完整的同步翻译系统的基础上神经机器翻译。
2016-06-07 cs.CL
A General Framework for Adaptation of Neural Machine Translation to Simultaneous Translation
Shanghai University of Finance and Economics（上海财经大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
尽管神经机器翻译（NMT）取得了成功，但同时神经机器翻译（SNMT）由于句法结构差异和语义要求，在观察到完整句子之前进行实时的翻译任务仍然具有挑战性。在本文中，我们提出了一个通用的框架，用于适应神经机器翻译同时翻译。我们的框架包含两个部分：前缀翻译，利用一个连续的NMT模型来翻译源前缀和一个停止标准，确定何时停止前缀翻译。在三个翻译语料库和两个语言对上的实验表明，该框架在平衡NMT执行同声翻译的质量和延迟方面是有效的。
2020-10-04 cs.CL
SimulEval: An Evaluation Toolkit for Simultaneous Translation
Facebook AI（Facebook人工智能）；Johns Hopkins University（约翰斯·霍普金斯大学）
文本和语音的同步翻译专注于实时和低延迟的场景，其中模型在读取完整的源输入之前开始翻译。评估同声翻译模型比离线模型更复杂，因为除了翻译质量之外，延迟是另一个需要考虑的因素。尽管研究界越来越关注同声翻译的新建模方法，但目前缺乏一个通用的评估程序。因此，我们提出了SimulEval，一个易于使用的通用评估工具包，用于同时进行文本和语音翻译。引入服务器-客户端方案来创建同声翻译场景，其中服务器发送源输入并接收用于评估的预测，而客户端执行定制的策略。给定一个策略，它会自动执行同步解码，并共同报告几个流行的延迟指标。我们还调整了从文本同声翻译到语音任务的延迟度量。此外，SimulEval还配备了可视化界面，以便更好地了解系统的同步解码过程。SimulEval已经被广泛用于IWIEF 2020同步语音翻译的共享任务。代码将在发布时发布。
2020-07-31 cs.CL
Improving Simultaneous Translation by Incorporating Pseudo-References with Fewer Reorderings
Oregon State University（俄勒冈州立大学）；Baidu Research（百度研究院）；Columbia University（哥伦比亚大学）
同声翻译与整句翻译有很大的不同，因为它在源句结束之前就开始翻译，只有几个字的延迟。然而，由于缺乏大规模，高质量的同声翻译数据集，大多数这样的系统仍然是在传统的整句双文本上训练的。这对于同时发生的场景来说是非常不理想的，因为在这些双文本中存在大量不必要的长距离重新排序。我们提出了一种新的方法，改写现有的整句语料库的目标方到错误风格的翻译。在Zh->En和Ja->En同声翻译上的实验表明，添加这些生成的伪引用后，翻译效果有了很大的改善（最高可达+2.7 BLEU）。
2021-09-23 cs.CL
Toxicity in Multilingual Machine Translation at Scale
Meta AI；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文评估了将HOLISTICBIAS数据集从英语翻译至164种语言时出现的增加毒性问题，发现低资源语言及特定人口统计轴毒性较高，并通过源贡献分析提出减少毒性的建议。
2023-04-05 cs.CL
Stream-level Latency Evaluation for Simultaneous Machine Translation
Valencian Research Institute for Artificial Intelligence（瓦伦西亚人工智能研究所）；Universitat Politècnica de València（瓦伦西亚理工大学）
同步机器翻译最近获得了牵引力由于显着的质量改进和流媒体应用程序的出现。同时翻译系统需要在翻译质量和响应时间之间找到折衷，并且为此目的，已经提出了多个延迟措施。然而，同步翻译的延迟评估是在句子级别上估计的，没有考虑流媒体场景的顺序性质。实际上，这些同步级延迟度量不太适合连续流翻译，导致与被评估系统的同步翻译策略不一致的数字。这项工作提出了一个流级适应的基础上应用到输出翻译的重新分割方法的当前延迟措施，这是成功地评估流的条件下，为参考IWESTOS任务。
2021-09-08 cs.CL
Memorization Inheritance in Sequence-Level Knowledge Distillation for Neural Machine Translation
University of Edinburgh（爱丁堡大学）；Microsoft（微软公司）
本文研究神经机器翻译序列级知识蒸馏中的记忆继承问题，发现学生模型比基线记忆更多且幻觉率更高，并提出Adaptive-SeqKD方法来减少记忆与幻觉。
2025-07-16 cs.CL
Thinking Slow about Latency Evaluation for Simultaneous Machine Translation
Google（谷歌）
同步机器翻译尝试在源句子被说完之前对其进行翻译，其应用于实时流媒体和对话的口语翻译。由于并发系统以质量为代价来减少延迟，因此具有有效且可解释的延迟度量至关重要。我们介绍了最近提出的平均滞后（AL）度量，我们称之为微分平均滞后（DAL）的一个变种。它的区别在于它是可微的，并且与它的基本数学模型内在一致。
2019-05-31 cs.CL
Incremental Decoding and Training Methods for Simultaneous Translation in Neural Machine Translation
Qatar Computing Research Institute – HBKU（卡塔尔计算研究所–哈马德·本·哈利法大学）
我们通过修改神经MT解码器来解决同声翻译的问题，使其与动态构建的编码器和注意力一起工作。我们提出了一个可调的代理，决定最好的分割策略，用户定义的BLEU损失和平均比例（AP）的约束。我们的代理在BLEU上的性能优于先前提出的Wait-if-diff和Wait-if-worse代理（Cho和Esipova，2016），具有较低的延迟。其次，我们提出了对神经MT训练进行数据驱动的更改，以更好地匹配增量解码框架。
2018-06-10 cs.CL
From Simultaneous to Streaming Machine Translation by Leveraging Streaming History
Valencian Research Institute for Artificial Intelligence（瓦伦西亚人工智能研究院）；Universitat Politècnica de València（瓦伦西亚理工大学）
同步机器翻译是在输入句子完全可用之前增量地翻译它的任务。目前，同声翻译通过独立于先前翻译的文本翻译每个句子来进行。更一般地，流式MT可以被理解为同时MT到连续输入文本流的增量翻译的扩展。在这项工作中，一个国家的最先进的同步并行级MT系统扩展到流设置，利用流的历史。广泛的实证结果报告IWCHTMLTranslation Tasks，表明利用流历史导致显着的质量收益。特别是，所提出的系统被证明可以与性能最好的系统相媲美。
2022-03-31 cs.CL
Simultaneous Neural Machine Translation with Constituent Label Prediction
Nara Institute of Science and Technology (NAIST)（奈良先端科学技术大学院大学）；RIKEN（日本理化学研究所）
同声翻译是一种在说话人说完话之前就开始翻译的任务，因此决定何时开始翻译过程很重要。然而，对于具有不同词序的语言对（例如英语和日语），决定是阅读更多输入单词还是开始翻译是困难的。受预重排序概念的启发，我们提出了几个简单的决策规则，使用增量成分标签预测的下一个成分的标签。在英日同声翻译的实验中，该方法在质量-延迟权衡方面优于基线。
2021-10-26 cs.CL
Simultaneous Neural Machine Translation using Connectionist Temporal Classification
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
同步机器翻译是机器翻译的变体，其在输入结束之前开始翻译过程。这项任务面临着翻译准确性和延迟之间的权衡。我们必须确定何时开始转换到目前为止观察到的输入，以实现良好的实际性能。在这项工作中，我们提出了一种神经机器翻译方法来确定这种自适应的方式。所提出的方法引入了一个特殊的令牌“<wait>”，当翻译模型选择读取下一个输入令牌而不是生成输出令牌时生成该令牌。它还引入了一个目标函数来处理等待时间的模糊性，可以使用称为连接主义时间分类（CTC）的算法进行优化。CTC的使用使得优化能够考虑所有可能的输出序列，包括<wait>等价于参考翻译的“”，并自适应地选择最佳输出序列。我们将所提出的方法应用到英日同声翻译中，并对其性能和存在的问题进行了研究。
2019-11-27 cs.CL
LEAPT: Learning Adaptive Prefix-to-prefix Translation For Simultaneous Machine Translation
Xiamen University（厦门大学）；Ministry of Culture and Tourism（文化和旅游部）
同步机器翻译旨在实现实时翻译，在许多现场场景中非常有用，但由于准确性和延迟之间的权衡，因此非常具有挑战性。为了实现两者的平衡，模型需要等待适当的流文本（READ策略），然后生成其翻译（WRITE策略）。然而，由于端到端训练，先前工作的WRITE策略要么特定于方法本身，要么遭受非端到端训练的训练和解码之间的输入失配。因此，学习一个通用的、更好的同步机器翻译写策略是非常必要的。受人类口译员和“等待”策略的启发，我们提出了一种新的自适应前缀到前缀训练策略LEAPT，它允许我们的机器翻译模型学习如何翻译源句子前缀并利用未来的上下文。实验表明，我们提出的方法大大优于竞争基线，取得了可喜的成果。
2023-03-21 cs.CL
Simultaneous Translation with Flexible Policy via Restricted Imitation Learning
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
同声翻译是非常有用的，但仍然是NLP中最困难的任务之一。以前的工作要么使用固定延迟策略，要么使用强化学习训练复杂的两阶段模型。我们提出了一个简单得多的单一模型，增加了一个“延迟”令牌的目标词汇表，并设计了一个受限制的动态预言机，大大简化了训练。中英文<->同声翻译实验表明，我们的工作导致灵活的政策，实现更好的BLEU分数和较低的延迟相比，固定和RL学习的政策。
2019-06-22 cs.CL
Exploiting Multimodal Reinforcement Learning for Simultaneous Machine Translation
Imperial College London（伦敦帝国学院）；University of Sheffield（谢菲尔德大学）；Dublin City University（都柏林城市大学）
本文通过探讨两个主要概念来解决同步机器翻译（SiMT）的问题：（a）自适应策略，以学习高翻译质量和低延迟之间的良好权衡;（b）视觉信息，通过提供额外的（视觉）上下文信息来支持这一过程，这些信息可能在文本输入产生之前就可用。为此，我们提出了一个多模态的方法，同时机器翻译使用强化学习，与策略，以整合视觉和文本信息的代理和环境。我们提供了不同类型的视觉信息和集成策略如何影响同声翻译模型的质量和延迟的探索，并证明视觉线索导致更高的质量，同时保持低延迟。
2021-02-22 cs.CL
Presenting Simultaneous Translation in Limited Space
Charles University（查理大学）
一些自动同步翻译长格式语音的方法允许修改输出，以低延迟换取准确性。为用户部署这些系统面临着在有限的空间（例如电视屏幕上的两行）中呈现字幕的问题。字幕必须及时、渐进地显示，并有足够的阅读时间。我们提供了一个算法的字幕。此外，我们提出了一种方法来估计的整体可用性的组合自动翻译和字幕的质量，延迟和稳定性的测试集上进行测量，并提出了一种改进的措施，翻译延迟。
2020-09-18 cs.CL
STACL: Simultaneous Translation with Implicit Anticipation and Controllable Latency using Prefix-to-Prefix Framework
Baidu Research（百度研究院）；Baidu, Inc.（百度公司）；Oregon State University（俄勒冈州立大学）
同声翻译，即在句子完成之前翻译句子，在许多情况下都很有用，但由于词序的差异而非常困难。虽然传统的seq-to-seq框架只适用于整句翻译，但我们提出了一种用于同声翻译的新型前缀到前缀框架，该框架隐式地学习在单个翻译模型中进行预测。在这个框架内，我们提出了一个非常简单但出奇有效的wait-k策略，经过训练可以与源句子同时生成目标句子，但始终落后k个单词。实验表明，我们的策略实现了低延迟和合理的质量（与整句翻译相比）4个方向：<->zhen和<->deen。
2019-06-24 cs.CL
Towards Multimodal Simultaneous Neural Machine Translation
Tokyo Metropolitan University（东京都立大学）
同声翻译是指在说话人的话语完成之前翻译一个句子，以实现多种语言的实时理解。由于在解码过程中输入信息的不足，这项任务比一般的整句翻译更具挑战性。为了缓解这一不足，我们提出了多模态同步神经机器翻译（MSNMT），它利用视觉信息作为一个额外的模态。我们对Multi30k数据集的实验表明，MSNMT在更及时的翻译情况下，以低延迟显著优于纯文本翻译。此外，我们通过对MSNMT进行对抗性评估来验证视觉信息在解码过程中的重要性，在该评估中，我们研究了模型在不一致输入模态下的表现，并分析了源语言和目标语言之间不同词序的影响。
2020-10-23 cs.CL
Re-translation versus Streaming for Simultaneous Translation
Google Research（谷歌研究院）
在改进流式机器翻译方面已经有了很大的进步，这是一种同步范例，当更多的源内容变得可用时，系统会附加到一个不断增长的假设。我们研究了一个相关的问题，其中的假设超出严格的附加词的修订是允许的。这适用于诸如为音频源提供实时字幕的应用。在这种情况下，我们将自定义流方法与重新翻译进行比较，这是一种简单的策略，每个新的源令牌都会从头开始触发不同的翻译。我们发现重新翻译与最先进的流媒体系统一样好或更好，即使在允许很少修改的限制下运行。我们将这一成功归功于先前提出的数据增强技术，该技术将前缀对添加到训练数据中，该技术与wait-k推断一起形成了流翻译的强大基线。我们还强调了重新翻译的能力，包装任意强大的MT系统的实验表明，从升级到其基础模型的大的改进。
2020-06-29 cs.CL
Simultaneous Multi-Pivot Neural Machine Translation
National Institute of Information Communications Technology（国立情报学通信技术研究所）；CogSmart；Tokyo Institute of Technology（东京工业大学）
并行语料库是训练神经机器翻译（NMT）模型不可或缺的，而大多数语言对的并行语料库不存在或稀缺。在这种情况下，当使用枢轴语言使得在源语言和枢轴语言以及枢轴语言和目标语言之间存在并行语料库时，枢轴语言NMT可以是有帮助的。当然，枢轴语言翻译的质量比使用该对的合理大小的直接平行语料库所能实现的质量要差得多。在实时同声翻译设置中，如果模型必须在几个源单词可用的时候输出翻译，那么主元语言翻译的质量甚至会进一步恶化。为了解决这个问题，我们提出了多枢轴翻译，并将其应用于涉及枢轴语言的同声翻译设置。我们的方法包括同时将一个源语言翻译成多个枢轴，然后利用多源NMT将这些枢轴一起同时翻译成目标语言。我们在低资源环境中使用N路并行联合国语料库进行阿拉伯语到英语NMT，通过法语和西班牙语作为支点的实验表明，在同时支点NMT设置中，使用两种支点语言可以导致高达5.8 BLEU的改进。
2021-04-15 cs.CL
Data-Driven Adaptive Simultaneous Machine Translation
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
在同声翻译（SimulMT）中，最广泛使用的策略是wait-k策略，因为它在平衡翻译质量和延迟方面既简单又有效。然而，wait-k有两个主要的限制：（a）它是一个固定的策略，不能自适应地调整给定上下文的延迟，（b）它的训练比整句翻译慢得多。为了缓解这些问题，我们提出了一种新的和有效的自适应SimulMT的训练方案，通过增加训练语料库与自适应前缀前缀对，而训练的复杂性保持相同的训练整句翻译模型。在两个语言对上的实验表明，我们的方法在翻译质量和延迟方面优于所有强基线。
2022-04-27 cs.CL
An Empirical Study of End-to-end Simultaneous Speech Translation Decoding Strategies
Naver Labs Europe（NAVER欧洲实验室）
提出了一种端到端同步语音翻译的解码策略。我们利用在离线模式下训练的端到端模型，并对两种语言对（英语到德语和英语到葡萄牙语）进行实证研究。我们还研究了不同的输出令牌粒度，包括字符和字节对编码（BPE）单位。结果表明，所提出的解码方法允许控制BLEU/平均滞后权衡沿不同的延迟制度。我们最好的解码设置实现了与IWITH 2020共享任务的同声翻译轨道上评估的强大级联模型相当的结果。
2021-03-04 cs.CL
A Pocket Offline Model for Simultaneous Speech Translation as CUNI Submission to IWSLT 2026
Charles University, MFF, ÚFAL（查理大学，人文学院，语言学与应用语言学研究所）
本研究通过将离线直接语音到文本翻译模型 Canary 与最先进的策略 AlignAtt 结合，实现了同声传译能力，并在 IWSLT 2026 同声传译共享任务中提交了捷克语到英语以及英语到德语和意大利语的系统，展示了高翻译质量、低计算需求和多语言支持。
2026-06-02 cs.CL
Monotonic Infinite Lookback Attention for Simultaneous Machine Translation
Google（谷歌）
同步机器翻译在源说话者说完之前就开始翻译每个源句子，应用于直播和流媒体场景。同步系统必须仔细安排它们对源句子的阅读，以平衡质量和延迟。我们提出了第一个同声翻译系统学习自适应时间表与神经机器翻译（NMT）模型，出席了所有源令牌阅读到目前为止。我们这样做是通过引入单调无限回望（MILK）的注意，它保持了一个硬，单调的注意头来安排阅读的源句子，和一个软的注意头，从单调的头延伸到源的开始。我们表明，牛奶的自适应时间表允许它到达延迟质量的权衡，有利于那些最近提出的等待-k策略的许多延迟值。
2019-06-12 cs.CL
Improving Stability in Simultaneous Speech Translation: A Revision-Controllable Decoding Approach
Microsoft（微软）
针对同声语音翻译中部分结果闪烁的稳定性问题，提出一种在束搜索剪枝中引入允许修订窗口的修订可控解码方法，可大幅减少甚至消除闪烁，在保障翻译质量的同时显著提升解码稳定性。
2023-10-06 cs.CL
Simultaneous Translation Policies: From Fixed to Adaptive
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
自适应策略优于固定策略，因为它们可以根据当前上下文信息灵活地平衡翻译质量和延迟之间的权衡。但以往的自适应策略获取方法要么依赖于复杂的训练过程，要么不如简单的固定策略。我们设计了一个算法来实现自适应的政策，通过一个简单的启发式组合的一组固定的政策。在中文-英语和德语-英语上的实验表明，我们的自适应策略可以在相同的延迟下超过固定策略高达4个BLEU点，更令人惊讶的是，它甚至超过了贪婪模式下整句翻译的BLEU分数（非常接近beam模式），但延迟要低得多。
2020-05-02 cs.CL
Learning Optimal Policy for Simultaneous Machine Translation via Binary Search
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
本文针对同声传译中缺乏黄金策略监督导致难以学习精确翻译策略的问题，提出通过二分搜索在线构建最优策略并利用显式监督训练SiMT模型，在四个翻译任务上全面超越强基线。
2023-05-27 cs.CL
Rethinking the Reasonability of the Test Set for Simultaneous Machine Translation
Xiaomi（小米）
同步机器翻译（SimulMT）模型在源句子结束之前开始翻译，使翻译与源句子单调对齐。然而，一般的整句翻译测试集是通过离线翻译整个源句子获得的，这不是为SimulMT评估而设计的，这让我们重新思考这是否会低估SimulMT模型的性能。本文在MuST-C英汉测试集的基础上，手工标注了一个单调测试集SiMuST-C。我们的人类评估证实了我们的注释测试集的可接受性。三个不同的SimulMT模型的评估验证，低估的问题，可以减轻我们的测试集。进一步的实验表明，在自动提取的单调训练集上进行微调可以将SimulMT模型提高多达3个BLEU点。
2023-03-13 cs.CL
Conversational SimulMT: Efficient Simultaneous Translation with Large Language Models
Department of Data Science & AI, Monash University（数据科学与人工智能系，莫纳什大学）；MBZUAI（马克斯·普朗克智能系统研究所）
针对同步机器翻译中质量与延迟的权衡及大语言模型推理成本高的问题，本文提出对话式同步机器翻译框架，通过多轮对话解码提升效率，实验显示其在保证翻译质量优势的同时，延迟与专用模型相当。
2025-11-17 cs.CL
Average Token Delay: A Duration-aware Latency Metric for Simultaneous Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
针对同声传译现有延迟指标忽略翻译持续时间的问题，提出关注部分翻译持续时间的 Average Token Delay (ATD) 指标，实验证明其在多数条件下与 Ear-Voice Span (EVS) 相关性最高。
2023-11-27 cs.CL
Opportunistic Decoding with Timely Correction for Simultaneous Translation
Oregon State University（俄勒冈州立大学）；Baidu Research（百度研究院）
同声翻译有许多重要的应用场景，近年来引起了学术界和工业界的广泛关注。然而，大多数现有框架在翻译质量和延迟之间的平衡方面存在困难，即，解码策略通常要么太激进要么太保守。我们提出了一个机会主义的解码技术，及时纠正能力，总是（过）产生一定数量的额外的话在每一步，以保持观众的轨道上的最新信息。同时，在观察更多的源语语境时，也能及时纠正以往过度生成词的错误，以保证较高的翻译质量。实验表明，我们的技术实现了显着减少延迟和高达+3.1 BLEU的增加，与修订率在8%以下的中文到英文和英文到中文的翻译。
2020-05-02 cs.CL
Simultaneous Translation with Offline Speech and LLM Models in CUNI Submission to IWSLT 2025
Charles University（查理大学）
本文提出基于离线 Whisper 和 EuroLLM 的级联同声翻译系统，采用 AlignAtt 策略并注入术语，在 IWSLT 2025 任务中较基线提升 2-22 BLEU，并引入新的延迟度量。
2025-06-20 cs.CL
The Highs and Lows of Simple Lexical Domain Adaptation Approaches for Neural Machine Translation
University of Edinburgh（爱丁堡大学）
机器翻译系统易受域不匹配的影响，特别是在资源不足的情况下。由于暴露偏差和充当语言模型的解码器，域外翻译通常质量差并且容易产生幻觉。我们采用两种方法来缓解这个问题：受IBM统计对齐限制的词汇入围，以及基于相似性的假设重新排名。这些方法在计算上是便宜的，广为人知的，但没有广泛的实验上的领域自适应。我们证明了成功的低资源域外测试集，但是，当有足够的数据或太大的域不匹配的方法是无效的。这是由于IBM模型失去了其相对于隐式学习的神经对齐的优势，以及域外词的子词切分的问题。
2021-09-21 cs.CL
Supervised Visual Attention for Simultaneous Multimodal Machine Translation
Imperial College London（帝国理工学院）
近年来，多模态机器翻译（MMT）的研究出现了激增，其中使用诸如图像的附加模态来提高文本系统的翻译质量。这种多模态系统的一个特别用途是同步机器翻译的任务，其中视觉上下文已被证明可以补充源句子提供的部分信息，特别是在翻译的早期阶段。在本文中，我们提出了第一个基于transformer的同步MMT架构，这是以前没有探索过的领域。此外，我们扩展了这个模型的辅助监督信号，指导其视觉注意力机制使用标记短语区域对齐。我们对三种语言方向进行了全面的实验，并使用自动度量和人工检查进行了彻底的定量和定性分析。我们的研究结果表明，（i）监督视觉注意力始终提高MMT模型的翻译质量，（ii）在启用监督损失的情况下对MMT进行微调，比从头开始训练MMT带来更好的性能。与最先进的模型相比，我们提出的模型实现了高达2.3 BLEU和3.5 METEOR点的改进。
2022-06-29 cs.CL
Speculative Beam Search for Simultaneous Translation
Baidu Research（百度研究院）；Oregon State University（俄勒冈州立大学）
束搜索普遍用于整句翻译，但其应用于同声翻译仍然是不平凡的，其中输出单词是动态提交的。特别是，最近提出的等待k政策（Ma等人，2019 a）是一种简单而有效的方法，其（在初始等待之后）在接收到每个输入字时提交一个输出字，使得束搜索看起来是不可能的。为了解决这一挑战，我们提出了一个投机性的束搜索算法，幻觉几个步骤到未来，以达到一个更准确的决定，隐含受益于目标语言模型。这使得束搜索第一次适用于在每个步骤中生成单个单词。不同语言对的实验表明，在以前的工作有很大的改进。
2019-09-12 cs.CL
Neural Simultaneous Speech Translation Using Alignment-Based Chunking
Applications Technology (AppTek)（应用技术公司（AppTek））
在同步机器翻译中，目标是确定在给定连续的源单词流的情况下何时产生部分翻译，并在延迟和质量之间进行权衡。我们提出了一个神经机器翻译（NMT）模型，该模型可以动态决定何时继续输入或生成输出单词。该模型由两个主要组件组成：一个用于动态决定结束源块，另一个用于翻译已使用的块。我们以与推理条件一致的方式联合训练组件。为了生成分块的训练数据，我们提出了一种方法，利用词对齐，同时也保留了足够的上下文。我们比较模型与双向和单向编码器的不同深度，无论是在真实的语音和文本输入。我们的结果在2020年的IWITH2020英语到德语的任务优于等待k基线2.6至3.7% BLEU绝对。
2020-05-29 cs.CL
Anticipation-Free Training for Simultaneous Machine Translation
National Taiwan University（台湾大学）
同步机器翻译（SimulMT）通过在源句子完全可用之前开始翻译来加快翻译过程。这是困难的，由于有限的上下文和语序之间的差异语言。现有方法增加了延迟或为SimulMT模型引入了自适应读写策略，以处理本地重新排序并提高翻译质量。然而，长距离的重新排序会使SimulMT模型错误地学习翻译。具体地，当对应的源令牌尚未被读取时，可以强制模型预测目标令牌。这导致了推理过程中的攻击性预期，从而导致了幻觉现象。为了缓解这个问题，我们提出了一个新的框架，将翻译过程分解为单调的翻译步骤和重新排序步骤，并通过辅助排序网络（SANN）对后者进行建模。该算法根据目标语言中的顺序重新排列隐藏状态，使SimulMT模型能够更合理地学习翻译。整个模型是端到端优化的，不依赖于外部校准器或数据。在推理过程中，删除了数据流以实现流式处理。实验表明，该框架可以在更少的延迟下优于以前的方法。
2022-05-04 cs.CL
Does the Generator Mind its Contexts? An Analysis of Generative Model Faithfulness under Context Transfer
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本文研究生成式问答在上下文动态变化时的忠实性问题，提出一种简单有效的幻觉检测方法，并通过实验验证上下文在训练与测试阶段对幻觉产生的关键作用。
2024-02-22 cs.CL
Simultaneous Translation for Unsegmented Input: A Sliding Window Approach
University of Edinburgh（爱丁堡大学）；Charles University（查理大学）
在口语翻译（口语翻译）的级联方法中，ASR输出通常在传递给MT之前被标点和分割成句子，因为后者通常是在书面文本上训练的。然而，由于ASR系统的错误的结尾标点，错误的分段导致翻译质量的下降，特别是在输入不断更新的同时（在线）设置中。为了减少自动分割的影响，我们提出了一种滑动窗口的方法来翻译原始ASR输出（在线或离线），而不需要依赖于自动分割器。我们使用从原始训练数据中提取的并行窗口（而不是并行句子）来训练翻译模型。在测试时，我们在窗口级别进行翻译，并使用一种简单的方法连接翻译后的窗口以生成最终的翻译。对英语到德语和英语到捷克语的实验表明，我们的方法比通常的ASR分割器管道提高了1.3- 2.0 BLEU点，并且与基于基线参考的在线翻译系统相比，固定长度的窗口大大减少了闪烁。
2022-10-18 cs.CL
Adaptive Policy with Wait-$k$ Model for Simultaneous Translation
South China University of Technology（华南理工大学）；Hong Kong Polytechnic University（香港理工大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；ZheJiang University（浙江大学）
提出基于散度的自适应策略DaP，通过轻量级参数扩展冻结的wait-$k$模型，解耦策略与翻译模型，在翻译准确性和延迟间实现更优权衡。
2023-10-23 cs.CL
STAR : Sentence Translation Alignment Rate for Document-to-Document Machine Translation
School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院）；Alibaba Group（阿里巴巴集团）
该研究针对文档到文档机器翻译的结构对齐问题，提出STAR指标与StarPO框架，实验显示StarPO可提升翻译质量与结构完整性，还能让小型模型超越GPT-4o等大型系统并保持更优令牌效率。
2026-08-28 cs.CL
