KIT's Offline Speech Translation and Instruction Following Submission for IWSLT 2025
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文介绍KIT提交至IWSLT 2025的离线语音翻译与指令遵循赛道方案，依托大语言模型分别设计多识别融合加两步翻译的流水线、语音编码器结合大模型的端到端架构，均加入文档级精调提升性能。
2025-05-19 cs.AI cs.CL
Efficient yet Competitive Speech Translation: FBK@IWSLT2022
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；NVIDIA AI Technology Center（英伟达人工智能技术中心）
FBK在IWSLT 2022中提出轻量级语音翻译策略，通过去除ASR预训练、数据过滤和解决音频分割不匹配来降低训练成本，并在保持翻译质量的同时取得显著提升。
2022-05-05 cs.CL
ESPnet-ST IWSLT 2021 Offline Speech Translation System
Kyoto University（京都大学）；Carnegie Mellon University（卡内基梅隆大学）；Northwestern Polytechnical University（西北工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文介绍了ESPnet-ST集团在离线语音翻译赛道上提交的IWITH 2021。今年，我们在训练数据、架构和音频分割方面做了各种努力。在数据方面，我们研究了用于端到端（E2 E）语音翻译的序列级知识蒸馏（SeqKD）。具体来说，我们使用了来自多位教师的多参考SeqKD，这些教师接受了不同数量的bitext培训。在架构方面，我们采用了Conformer编码器和Multi-Decoder架构，该架构在统一的编码器-解码器模型中为语音识别和翻译任务配备了专用解码器，并在推理过程中支持在源语言和目标语言空间中进行搜索。我们还通过使用pyannote.audio工具包和合并多个短片段以进行长上下文建模来显着改进音频分割。实验评估表明，它们中的每一个都有助于大大提高翻译性能。我们最好的E2 E系统将所有上述技术与模型集成相结合，在tst 2021的2-ref上实现了31.4 BLEU，在tst 2021的两个单一参考上实现了21.2 BLEU和19.3 BLEU。
2021-07-06 cs.CL cs.SD eess.AS
The Volctrans Neural Speech Translation System for IWSLT 2021
ByteDance AI Lab（字节跳动人工智能实验室）
本文介绍了Volctranss团队提交给IWITH 2021的系统。我们参与离线语音翻译和文本到文本的同声翻译轨道。对于离线语音翻译，我们最好的端到端模型在Must-C测试集上的基准测试中实现了8.1 BLEU改进，甚至接近强大级联解决方案的结果。对于文本到文本的同声翻译，我们探索优化wait-k模型的最佳实践。因此，我们最终提交的系统在相同的延迟机制下超过了基准，约为7 BLEU。我们将公布我们的代码和模型，以促进未来的研究工作和工业应用。本文介绍了Volctranss团队提交给IWITH 2021的系统。我们参与离线语音翻译和文本到文本的同声翻译轨道。对于离线语音翻译，我们最好的端到端模型在Must-C测试集上的基准测试中实现了7.9的BLEU改进，甚至接近强大级联解决方案的结果。对于文本到文本的同声翻译，我们探索优化wait-k模型的最佳实践。因此，我们最终提交的系统在相同的延迟机制下超过了基准，约为7 BLEU。我们在\url{https://github.com/bytedance/neurst/tree/master/examples/iwslt21}上发布了我们的代码和模型，以促进未来的研究工作和工业应用。
2021-06-30 cs.CL cs.SD eess.AS
ON-TRAC Consortium for End-to-End and Simultaneous Speech Translation Challenge Tasks at IWSLT 2020
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；Avignon Université（阿维尼翁大学）；Le Mans Université（勒芒大学）
本文介绍了ON-TRAC联盟翻译系统，该系统是为2020年IWTECH评估活动中的两个挑战轨道开发的，即离线语音翻译和同步语音翻译。ON-TRAC联盟由来自三个法国学术实验室的研究人员组成：LIA（阿维尼翁大学），LIG（格勒诺布尔阿尔卑斯大学）和LIUM（勒芒大学）。基于注意力的编码器-解码器模型，经过端到端训练，用于我们提交到离线语音翻译轨道。我们的贡献集中在数据增强和多个模型的集成上。在同步语音翻译轨道中，我们为文本到文本子任务构建了基于transformer的wait-k模型。对于语音到文本的同声翻译，我们附加一个等待k MT系统的混合ASR系统。我们提出了一种算法来控制ASR+MT级联的延迟，并在两个子任务上实现良好的延迟质量折衷。
2020-05-24 cs.CL eess.AS
CMU's IWSLT 2024 Simultaneous Speech Translation System
Carnegie Mellon University（卡内基梅隆大学）
本研究为IWSLT 2024同声语音翻译任务构建了整合WavLM编码器、模态适配器与Llama2-7B-Base解码器的端到端系统，经两阶段训练与固定hold-n策略适配后，在测试集上取得了优良的离线与低延迟翻译性能。
2024-08-14 cs.AI cs.CL
End-to-End Speech Translation with Pre-trained Models and Adapters: UPC at IWSLT 2021
TALP Research Center（TALP研究中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
本文介绍了UPC机器翻译组提交给IWTECH 2021离线语音翻译任务的情况。该任务包括建立一个能够将TED演讲中的英语音频翻译成德语文本的系统。提交的系统可以是级联或端到端的，并使用自定义或给定的分段。我们提交的是一个端到端的语音翻译系统，它将预训练模型（Wav 2 Vec 2.0和mBART）与编码器和解码器之间的耦合模块相结合，并使用有效的微调技术，仅训练其总参数的20%。我们表明，在系统中添加适配器并对其进行预训练，可以提高收敛速度和最终结果，我们在Must-C测试集上的BLEU得分为27.3。我们的最终模型是一个在同一集合上获得28.22 BLEU分数的集合。我们的提交还使用了一种自定义分割算法，该算法采用预训练的Wav 2 Vec 2.0来识别不可转录的文本段，与给定分割的结果相比，可以在IWITOS 2019测试集上带来2.5到3的BLEU分数。
2021-06-28 cs.CL
Blending LLMs into Cascaded Speech Translation: KIT's Offline Speech Translation System for IWSLT 2024
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本研究将 Mistral-7B 集成到级联语音翻译系统，从 ASR 输出优化和文档级 MT 输出优化两方面提升性能，在常规测试集上取得明确增益，同时针对高噪声场景提出分块长句解码的 ASR 优化方案。
2024-06-24 cs.AI cs.CL
Findings of the IWSLT 2024 Evaluation Campaign
GMU（乔治梅森大学）；UMD（马里兰大学）；FBK（布鲁诺·凯斯勒基金会）；Charles U.（查尔斯大学）；U. Malta（马耳他大学）；Meta；CMU（卡内基梅隆大学）；Amazon（亚马逊）；ByteDance（字节跳动）；JHU（约翰斯·霍普金斯大学）；U. Edinburgh（爱丁堡大学）；NAIST（奈良先端科学技术大学院大学）；AppTek；U. Galway（戈尔韦大学）；KIT（卡尔斯鲁厄理工学院）；Northeastern U.（东北大学）；Apple（苹果公司）；Zoom；U. Pompeu Fabra（庞培法布拉大学）；IIT Indore（印度理工学院印多尔分校）；U. Zambia（赞比亚大学）；Nara Women’s U.（奈良女子大学）
本文总结了IWSLT 2024共享任务，涵盖口语翻译的7个科学挑战，吸引了18个团队参与，成果记录于26篇系统论文中，反映了工业界和学术界对口语翻译的持续关注。
2024-11-07 cs.CL
The IWSLT 2021 BUT Speech Translation Systems
Brno University of Technology（布尔诺理工大学）
本文介绍了BUT为IWSLT 2021开发的英语到德语离线语音翻译（ST）系统。它们基于联合训练的自动语音识别-机器翻译模型。它们的性能在MustC-Common测试集上进行了评估。在这项工作中，我们从具有大量单独的ASR训练数据和MT训练数据以及少量的语音翻译训练数据的角度来研究它们的效率。大量的ASR和MT训练数据被用于预训练ASR和MT模型。语音翻译数据用于通过定义从语音到翻译的端到端可区分路径来联合优化ASR-MT模型。为此，我们使用ASR解码器的内部连续表示作为MT模块的输入。我们表明，语音翻译可以进一步提高训练ASR解码器联合MT模块使用大量的纯文本MT训练数据。我们还通过训练能够生成标点文本的ASR模块，而不是将标点任务留给MT模块来显示显着的改进。
2021-07-13 cs.CL cs.SD eess.AS
Speech Translation with Foundation Models and Optimal Transport: UPC at IWSLT23
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Meta AI
该研究提交 IWSLT 2023 离线语音翻译系统，结合 wav2vec 2.0、mBART50、CTC、最优传输、知识蒸馏与 SegAugment 合成数据，在多个测试集上取得最佳单模型 31.2、29.8 和 33.4 BLEU。
2023-06-02 cs.CL cs.SD eess.AS
AlignAtt4LLM: Fast AlignAtt for Decoder-Only LLMs at IWSLT 2026 Simultaneous Speech Translation Task
Charles University, MFF, ÚFAL（查理大学，人文学院，ÚFAL）；University of Edinburgh（爱丁堡大学）
提出AlignAtt4LLM系统，通过显式源文本跨度、离线选择翻译对齐头、选择性qk快速重放和运行时查询/键捕获，首次将AlignAtt策略应用于仅解码器LLM，在英德、英意同声传译中优于基线。
2026-06-02 cs.AI cs.CL
MLLP-VRAIN UPV system for the IWSLT 2026 Simultaneous Speech Translation task
MLLP-VRAIN research group（MLLP-VRAIN研究组）；VRAIN；Universitat Politècnica de València（瓦伦西亚理工大学）
提出基于Parakeet和Qwen 3.5模型的级联同声传译系统，通过自适应黑盒策略优化质量-延迟权衡，并引入ASR词增强和RAG机制处理上下文跟踪，在MCIF En→De测试集上实现XCOMET-XL提升+5.82。
2026-06-17 cs.AI cs.CL
Direct Models for Simultaneous Translation and Automatic Subtitling: FBK@IWSLT2023
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
本文介绍FBK在IWSLT 2023的参与工作，利用直接架构完成同声传译与自动字幕生成任务，通过复用离线模型知识及调整ST模型，在降低延迟并提升字幕质量方面取得显著增益。
2023-09-27 cs.AI cs.CL cs.SD
End-to-End Speech-Translation with Knowledge Distillation: FBK@IWSLT2020
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
本文介绍了FBK参与IWITH 2020离线语音翻译（ST）任务的情况。该任务评估系统将英语TED演讲音频翻译成德语文本的能力。测试会谈有两个版本：一个包含已经用自动工具分割的数据，另一个是没有任何分割的原始数据。参与者可以决定是否进行自定义细分。我们使用提供的分割。我们的系统是一个端到端的模型的基础上适应的Transformer的语音数据。它的训练过程是本文的主要重点，它基于：i）迁移学习（ASR预训练和知识蒸馏），ii）数据增强（SpecAugment，时间拉伸和合成数据），iii）将合成和真实数据标记为不同的域，iv）使用CTC损失的多任务学习。最后，在单词级知识蒸馏的训练完成后，我们的ST模型使用标签平滑交叉熵进行微调。我们最好的模型在Must-C En-De测试集上获得了29 BLEU，与最近的论文相比，这是一个很好的结果，并且在使用VAD分割的相同数据上获得了23.7 BLEU，这表明需要研究解决这种特定数据条件的解决方案。
2020-06-04 cs.CL cs.SD eess.AS
An Empirical Study of End-to-end Simultaneous Speech Translation Decoding Strategies
Naver Labs Europe（NAVER欧洲实验室）
提出了一种端到端同步语音翻译的解码策略。我们利用在离线模式下训练的端到端模型，并对两种语言对（英语到德语和英语到葡萄牙语）进行实证研究。我们还研究了不同的输出令牌粒度，包括字符和字节对编码（BPE）单位。结果表明，所提出的解码方法允许控制BLEU/平均滞后权衡沿不同的延迟制度。我们最好的解码设置实现了与IWITH 2020共享任务的同声翻译轨道上评估的强大级联模型相当的结果。
2021-03-04 cs.CL
Streaming Translation and Transcription Through Speech-to-Text Causal Alignment
Hikari通过概率WAIT令牌机制实现流式语音到文本翻译与转录，引入解码器时间扩张减少自回归开销，并采用监督微调策略提升质量-延迟权衡，取得多项语言任务的最新BLEU分数。
2026-09-11 cs.CL
SimulEval: An Evaluation Toolkit for Simultaneous Translation
Facebook AI（Facebook人工智能）；Johns Hopkins University（约翰斯·霍普金斯大学）
文本和语音的同步翻译专注于实时和低延迟的场景，其中模型在读取完整的源输入之前开始翻译。评估同声翻译模型比离线模型更复杂，因为除了翻译质量之外，延迟是另一个需要考虑的因素。尽管研究界越来越关注同声翻译的新建模方法，但目前缺乏一个通用的评估程序。因此，我们提出了SimulEval，一个易于使用的通用评估工具包，用于同时进行文本和语音翻译。引入服务器-客户端方案来创建同声翻译场景，其中服务器发送源输入并接收用于评估的预测，而客户端执行定制的策略。给定一个策略，它会自动执行同步解码，并共同报告几个流行的延迟指标。我们还调整了从文本同声翻译到语音任务的延迟度量。此外，SimulEval还配备了可视化界面，以便更好地了解系统的同步解码过程。SimulEval已经被广泛用于IWIEF 2020同步语音翻译的共享任务。代码将在发布时发布。
2020-07-31 cs.CL
R-BI: Regularized Batched Inputs enhance Incremental Decoding Framework for Low-Latency Simultaneous Speech Translation
Huawei Translation Services Center（华为翻译中心）
本文提出正则化批量输入（R-BI）策略，通过增强输入多样性减少增量解码中的输出错误，在IWSLT同声传译任务上实现低延迟且BLEU损失不超过2点，并在多个语言方向取得新最优结果。
2024-01-11 cs.AI cs.CL
MT Metrics Correlate with Human Ratings of Simultaneous Speech Translation
Charles University, Faculty of Mathematics and Physics（查理大学数学与物理学院）；Institute of Formal Applied Linguistics（形式与应用语言学研究所）；National Institute of Information Communications Technology（国立信息与通信技术研究所）
本文基于 IWSLT 2022 英德 SST 任务分析 BLEU、chrF2、BertScore、COMET 与连续人工评分的相关性，证明离线指标可作为可靠替代。
2023-06-01 cs.AI cs.CL
Impact of Encoding and Segmentation Strategies on End-to-End Simultaneous Speech Translation
Naver Labs Europe
在IWITH 2020的同声翻译共享任务的推动下，最近提出了有前途的端到端在线语音翻译方法。它们包括增量地编码语音输入（以源语言）和解码相应的文本（以目标语言），在延迟和翻译质量之间具有最佳可能的折衷。本文研究了端到端同步语音翻译的两个关键方面：（a）如何有效地编码连续的语音流，以及（b）如何分割语音流，以便在读（R：编码输入）和写（W：解码输出）操作之间进行最佳交替。我们扩展了我们之前提出的端到端在线解码策略，并表明虽然用ULSTM编码取代BLSTM会降低离线模式下的性能，但它实际上提高了在线模式下的效率和性能。我们还测量了不同方法对语音信号进行分段的影响（使用固定的间隔边界，Oracle单词边界或随机设置的边界），并表明我们最好的端到端在线解码策略是令人惊讶的是，在我们的英语-德语语音翻译设置上，在固定大小的块上交替进行R/W操作。
2021-06-14 cs.CL cs.SD eess.AS
