SimulS2S-LLM: Unlocking Simultaneous Inference of Speech LLMs for Speech-to-Speech Translation
Department of Engineering, University of Cambridge（剑桥大学工程系）；Shanghai Jiao Tong University（上海交通大学）
提出SimulS2S-LLM，通过离线训练和测试时策略实现语音LLM的同步语音到语音翻译，利用边界感知提示和增量波束搜索，在CVSS上以相似延迟提升ASR-BLEU 3分。
2025-04-22 cs.CL cs.SD eess.AS
High-Fidelity Simultaneous Speech-To-Speech Translation
Kyutai
本文提出Hibiki，一种基于多流语言模型的仅解码器同时语音翻译模型，通过弱监督方法学习逐词延迟，实现高质量、高保真的实时语音到语音翻译，并在法英任务上达到最先进性能。
2025-02-26 cs.CL cs.SD eess.AS
Toward Human-Aligned Judgement of Speech Emotion Similarity
National Taiwan University（台湾大学）；National Taiwan University of Science and Technology（台湾科技大学）；NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)（台湾大学人工智能卓越研究中心（NTU AI-CoRE））
针对语音情感相似度评估，提出SES-Bench基准与SES-Judge模型，基于人类比较标注训练，显著优于现有自动度量方法。
2026-09-29 cs.SD eess.AS
The USTC-NELSLIP Systems for Simultaneous Speech Translation Task at IWSLT 2021
University of Science and Technology of China（中国科学技术大学）；iFlytek Research（讯飞研究院）
本文介绍了中国科学技术大学-奈斯利普公司提交的IWSLT 2021同步语音翻译任务。我们提出了一种新的同声翻译模型，交叉注意增强转换器（CAAT），它将传统的RNN-T扩展到没有单调约束的序列到序列任务，例如，同声传译语音到文本（S2 T）和文本到文本（T2 T）的同声翻译任务的实验表明，CAAT实现了更好的质量-延迟权衡相比，\textit{wait-k}，以前的国家的最先进的方法之一。基于CAAT体系结构和数据增强，我们在这次评估活动中建立了S2 T和T2 T同声翻译系统。与去年的最佳系统相比，我们的S2 T同声翻译系统在所有延迟状态下平均提高了11.3 BLEU，我们的T2 T同声翻译系统平均提高了4.6 BLEU。
2021-07-09 cs.CL cs.SD eess.AS
RealTranS: End-to-End Simultaneous Speech Translation with Convolutional Weighted-Shrinking Transformer
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
端到端同步语音翻译（SST），直接将一种语言的语音实时翻译成另一种语言的文本，在许多情况下都很有用，但尚未得到充分的研究。在这项工作中，我们提出了RealTransS，SST的端到端模型。为了弥合语音和文本之间的模态差距，RealTransS使用交错卷积和单向Transformer层逐渐对输入语音进行下采样，以进行声学建模，然后使用加权收缩操作和语义编码器将语音特征映射到文本空间。此外，为了提高模型在同时场景中的性能，我们提出了一个空白惩罚，以提高收缩质量和等待K步N策略，允许在解码过程中的局部重新排序。在公共数据集和广泛使用的数据集上的实验表明，具有Wait-K-Stride-N策略的RealTransS在不同延迟设置下的性能优于先前的端到端模型以及级联模型。
2021-06-09 cs.CL cs.SD eess.AS
Decision Attentive Regularization to Improve Simultaneous Speech Translation Systems
Samsung Research（三星研究院）
同声翻译系统在处理传入输入流中的部分源句子的同时开始产生输出。这些系统需要决定何时读取更多的输入，何时写入输出。这些决定取决于源/目标语言的结构和包含在部分输入序列中的信息。因此，读/写决策策略在不同的输入模态之间保持相同，即，语音和文本。这促使我们利用对应于语音输入的文本转录来改进同步语音到文本翻译（SimulST）。我们提出了决策注意正则化（DAR），以改善决策政策的SimulST系统通过使用同步文本到文本翻译（SimulMT）的任务。我们还从离线语音翻译领域扩展了几种技术，以探索SimulMT任务在提高SimulST性能方面的作用。总体而言，我们在Must-C英语-德语（EnDe）SimulST任务的不同延迟机制中实现了34.66%/4.5 BLEU的基线模型改进。
2022-06-17 cs.CL cs.SD eess.AS
Impact of Encoding and Segmentation Strategies on End-to-End Simultaneous Speech Translation
Naver Labs Europe
在IWITH 2020的同声翻译共享任务的推动下，最近提出了有前途的端到端在线语音翻译方法。它们包括增量地编码语音输入（以源语言）和解码相应的文本（以目标语言），在延迟和翻译质量之间具有最佳可能的折衷。本文研究了端到端同步语音翻译的两个关键方面：（a）如何有效地编码连续的语音流，以及（b）如何分割语音流，以便在读（R：编码输入）和写（W：解码输出）操作之间进行最佳交替。我们扩展了我们之前提出的端到端在线解码策略，并表明虽然用ULSTM编码取代BLSTM会降低离线模式下的性能，但它实际上提高了在线模式下的效率和性能。我们还测量了不同方法对语音信号进行分段的影响（使用固定的间隔边界，Oracle单词边界或随机设置的边界），并表明我们最好的端到端在线解码策略是令人惊讶的是，在我们的英语-德语语音翻译设置上，在固定大小的块上交替进行R/W操作。
2021-06-14 cs.CL cs.SD eess.AS
SeamlessExpressiveLM: Speech Language Model for Expressive Speech-to-Speech Translation with Chain-of-Thought
Meta AI
提出单一语音语言模型SeamlessExpressiveLM，利用思维链提示将语音到语音翻译分解为语义翻译与风格迁移两步，在语义质量和风格迁移上优于级联模型且参数效率更高。
2024-05-30 cs.AI cs.CL cs.SD
Multilingual Simultaneous Speech Translation
Maastricht University（马斯特里赫特大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
为会议等活动期间的同步语音翻译而设计的应用程序需要在显示翻译文本时平衡质量和延迟，以提供良好的用户体验。构建在线口语翻译系统的一种常见方法是利用为离线语音翻译构建的模型。基于一种适应端到端单语模型的技术，我们研究了多语言模型和不同的架构（端到端和级联）执行在线语音翻译的能力。在多语言TEDx语料库，我们表明，该方法推广到不同的架构。我们看到不同语言和架构在延迟减少方面有类似的收益（相对40%）。然而，在适应在线模式后，端到端架构导致的翻译质量损失较小。此外，该方法甚至可扩展到zero-shot方向。
2022-03-29 cs.CL cs.SD eess.AS
Exploring Continuous Integrate-and-Fire for Adaptive Simultaneous Speech Translation
National Taiwan University（台湾大学）
同步语音翻译（SimulST）是一个具有挑战性的任务，旨在翻译流语音之前，观察到完整的输入。SimulST系统通常包括两个组件：聚合语音信息的预决策和决定读或写的策略。虽然最近的工作提出了各种策略来改善预决策，他们主要采用固定的wait-k政策，离开自适应政策很少探讨。本文提出了模型的自适应政策，通过适应连续集成和消防（CIF）。与单调多头注意（MMA）相比，我们的方法具有计算简单，在低延迟，更好的质量和更好的推广长话语的优点。我们在Must-C V2数据集上进行了实验，并证明了我们的方法的有效性。
2022-10-03 cs.CL cs.SD eess.AS
Tagged End-to-End Simultaneous Speech Translation Training using Simultaneous Interpretation Data
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
针对英日等差异大的语言对同声语音翻译的非单调对应问题，提出带风格标签的混合SI与离线数据的单模型训练方法，提升了不同延迟下的BLEURT指标，且SI风格输出更多。
2023-06-14 cs.CL cs.SD eess.AS
StreamSpeech: Simultaneous Speech-to-Speech Translation with Multi-task Learning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）；School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）
提出StreamSpeech模型，通过多任务学习统一框架联合学习翻译与同声策略，实现离线与同声语音识别、翻译及合成的无缝处理，在CVSS基准上达到SOTA，并提供高质量中间结果。
2024-06-05 cs.AI cs.CL cs.SD
A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation
University of Chinese Academy of Sciences（中国科学院大学）；Key Laboratory of AI Safety, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室）；School of Future Science and Engineering, Soochow University（苏州大学未来科学与工程学院）
本文提出非自回归端到端同声语音翻译框架NAST-S2X，统一语音到文本与语音到语音任务，通过并发生成多标记和CTC动态调延迟，在3秒内实现高质量同传并获28倍解码加速。
2024-10-19 cs.AI cs.CL cs.SD
Joint Training And Decoding for Multilingual End-to-End Simultaneous Speech Translation
Xiaomi AI Lab（小米AI实验室）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对一对多多语言端到端同声语音翻译，提出统一解码器及异步训练策略以促进跨语言迁移，并构建多路对齐数据集验证有效性。
2025-03-14 cs.CL cs.SD eess.AS
NAIST Simultaneous Speech Translation System for IWSLT 2024
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文提出 NAIST 在 IWSLT 2024 同声传译赛道上的系统，通过结合 HuBERT 和 mBART 构建多语言端到端语音翻译模型，并采用级联增量式 TTS 模块实现语音到语音翻译，其中升级后的 TTS 模块有效提升了整体系统性能。
2024-06-30 cs.CL cs.SD eess.AS
Speech-DRAME: A Framework for Human-Aligned Benchmarks in Speech Role-Play
Carnegie Mellon University（卡内基梅隆大学）；Anuttacon（安纳塔康）
针对语音角色扮演评估中ALLM评判器遗漏副语言线索等问题，提出Speech-DRAME框架，包含双语评估基准、微调评估模型DRAME-Eval及角色扮演基准，通过原型与真实度评估策略，显著提升了与人类评分的一致性。
2026-11-02 cs.AI cs.SD eess.AS
Blockwise Streaming Transformer for Spoken Language Understanding and Simultaneous Speech Translation
University of Chinese Academy of Sciences（中国科学院大学）；Carnegie Mellon University（卡内基梅隆大学）
虽然Transformers在口语语言理解（SLU）和语音翻译（ST）等语音处理任务中取得了成功，但在保持竞争力的同时实现在线处理对于现实世界的交互仍然至关重要。在本文中，我们采取的第一步流SLU和同步ST使用块流式Transformer，这是基于上下文块处理和块同步束搜索。此外，我们还针对流媒体SLU任务设计了一种基于自动语音识别（ASR）的中间损失正则化方法，以进一步提高分类性能。对于同时ST任务，我们提出了一种跨语言的编码方法，它采用了一个CTC分支优化目标语言翻译。此外，还利用CTC翻译输出，以CTC前缀分数细化搜索空间，首次实现联合CTC/注意力同传。SLU的实验是在FSC和SLURP语料库上进行的，而ST任务是在Fisher-CallHome Spanish和Must-C En-De语料库上进行的。实验结果表明，与离线模型相比，块流式传输Transformer实现了有竞争力的结果，特别是我们提出的方法，在SLU任务上进一步产生2.4%的准确性增益，在ST任务上获得4.3 BLEU增益。
2022-04-19 cs.CL cs.SD eess.AS
Seed LiveInterpret 2.0: End-to-end Simultaneous Speech-to-speech Translation with Your Voice
ByteDance（字节跳动）
针对现有产品级同声传译系统质量差、延迟高、多说话人混淆等问题，研究提出端到端模型Seed-LiveInterpret 2.0，依托双工理解-生成框架，结合预训练与强化学习，在翻译质量上优于商用方案，延迟降至3秒，大幅提升实用性。
2025-07-27 cs.CL cs.SD eess.AS
SimulMEGA: MoE Routers are Advanced Policy Makers for Simultaneous Speech Translation
Auditory Cognition and Computational Acoustics Lab（听觉认知与计算声学实验室）；MoE Key Lab of Artificial Intelligence（MoE人工智能重点实验室）；AI Institute（人工智能研究院）；School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）
针对同声传译中质量、延迟与连贯性难平衡，尤其多语言场景策略学习困难的问题，提出无监督框架SimulMEGA，结合前缀训练与MoE精炼器隐式学习读写决策，在多语言对及流式TTS任务中实现更优延迟-质量权衡。
2025-10-29 cs.CL cs.SD eess.AS
SimulTron: On-Device Simultaneous Speech to Speech Translation
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
本文提出轻量级端侧同声语音到语音翻译架构 SimulTron，通过改进 Translatotron 框架实现流式操作与可调延迟，在离线与实时评估中超越前代且降低延迟，并成功部署于移动设备。
2024-06-04 cs.CL cs.LG cs.SD
NaturalFlow: Reducing Disruptive Pauses for Natural Speech Flow in Simultaneous Speech-to-Speech Translation
IPAI and ECE, Seoul National University（首尔大学IPAI与ECE）；Department of AI, University of Seoul（首尔市立大学人工智能系）
提出一个流畅性感知优化框架，通过利用模型内部信号（如语言多样性和语音时长的时间变异性）最小化块间静音，在同步翻译的低延迟和连续翻译的自然流畅之间找到平衡点。
2026-06-12 cs.AI cs.CL cs.SD
Long-form Simultaneous Speech Translation: Thesis Proposal
Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）；Institute of Formal and Applied Linguistics（形式与应用语言学研究所）
本论文提案针对无预分割的长语音场景，研究端到端同声翻译问题，综述最新进展，评估主要障碍，并提出应对挑战的方法。
2023-10-17 cs.AI cs.CL cs.SD
Learning When to Speak: Latency and Quality Trade-offs for Simultaneous Speech-to-Speech Translation with Offline Models
University of Pennsylvania（宾夕法尼亚大学）；Roblox（罗布乐思）
本文提出面向真实场景的同声 S2ST 系统，支持 57 种语言译入英语，并通过四种发声决策策略在接近离线准确率的同时实现可调低延迟。
2023-06-01 cs.CL cs.LG cs.SD
A Modular-based Strategy for Mitigating Gradient Conflicts in Simultaneous Speech Translation
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；College of Computer Science and Technology, Harbin Engineering University（哈尔滨工程大学计算机科学与技术学院）；NiuTrans Research（NiuTrans研究院）
本文提出模块化梯度冲突缓解策略MGCM，通过在细粒度模块级检测并利用梯度投影解决多任务学习中的优化冲突，显著提升SimulST性能并大幅降低GPU内存消耗。
2024-12-30 cs.CL cs.SD eess.AS
End-to-End Simultaneous Speech Translation with Differentiable Segmentation
University of Chinese Academy of Sciences（中国科学院大学）
本文提出可微分分段（DiSeg）方法，通过期望训练实现与翻译模型联合优化，直接学习有益于翻译的语音分段，在端到端同声传译中取得最优性能。
2023-06-18 cs.AI cs.CL cs.SD
Recent Advances in End-to-End Simultaneous Speech Translation
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；International School, Jinan University（暨南大学国际学院）；College of Computer Science and Technology, Harbin Engineering University（哈尔滨工程大学计算机科学与技术学院）；NiuTrans Research（NiuTrans研究院）
本文综述端到端同声传译的最新进展，聚焦处理长语音流、实时性、质量与延迟平衡及数据稀缺四大挑战，并提出未来研究方向。
2024-08-20 cs.AI cs.CL cs.SD
The Volctrans Neural Speech Translation System for IWSLT 2021
ByteDance AI Lab（字节跳动人工智能实验室）
本文介绍了Volctranss团队提交给IWITH 2021的系统。我们参与离线语音翻译和文本到文本的同声翻译轨道。对于离线语音翻译，我们最好的端到端模型在Must-C测试集上的基准测试中实现了8.1 BLEU改进，甚至接近强大级联解决方案的结果。对于文本到文本的同声翻译，我们探索优化wait-k模型的最佳实践。因此，我们最终提交的系统在相同的延迟机制下超过了基准，约为7 BLEU。我们将公布我们的代码和模型，以促进未来的研究工作和工业应用。本文介绍了Volctranss团队提交给IWITH 2021的系统。我们参与离线语音翻译和文本到文本的同声翻译轨道。对于离线语音翻译，我们最好的端到端模型在Must-C测试集上的基准测试中实现了7.9的BLEU改进，甚至接近强大级联解决方案的结果。对于文本到文本的同声翻译，我们探索优化wait-k模型的最佳实践。因此，我们最终提交的系统在相同的延迟机制下超过了基准，约为7 BLEU。我们在\url{https://github.com/bytedance/neurst/tree/master/examples/iwslt21}上发布了我们的代码和模型，以促进未来的研究工作和工业应用。
2021-06-30 cs.CL cs.SD eess.AS
SimulSeamless: FBK at IWSLT 2024 Simultaneous Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文介绍FBK团队在IWSLT 2024同声语音翻译评测中提出的SimulSeamless系统，该系统结合AlignAtt策略与中等配置的SeamlessM4T模型，无需重训练即可实现同声推理，在多语言对上取得了优于往届的结果，且支持上百种语言互译。
2024-06-20 cs.AI cs.CL cs.SD
Scheduled Interleaved Speech-Text Training for Speech-to-Speech Translation with LLMs
Sony Group CorporationJapan（索尼集团日本公司）；Sony EuropeGermany（索尼欧洲德国分公司）；Carnegie Mellon UniversityUSA（卡内基梅隆大学美国分校）
针对大语言模型适配语音模态时数据不足的问题，提出调度式交错语音-文本训练法，通过词级交错文本并逐步降比实现渐进模态适配，在CVSS数据集上微调LLaMA3.2-1B验证了其对翻译性能的提升作用，低资源语言效果更明显。
2025-06-12 cs.CL cs.SD eess.AS
Towards Achieving Human Parity on End-to-end Simultaneous Speech Translation via LLM Agent
ByteDance Research（字节跳动研究院）
本文提出基于LLM智能体的同声传译系统CLASI，通过数据驱动的读写策略和多模态检索模块，在有效信息比例（VIP）指标上大幅超越现有商业和开源系统，接近人类口译水平。
2024-08-30 cs.CL cs.SD eess.AS
Direct Simultaneous Translation Activation for Large Audio-Language Models
Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团）；NLP$^2$CT Lab（NLP²CT实验室）；University of Macau（澳门大学）；School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）
本文提出SimulSA策略，通过随机截断语音构造部分对齐译文并仅用约1%的同声数据增强离线SFT，从而在不修改模型架构或解码策略的情况下直接激活大型音频语言模型的同声语音翻译能力。
2025-09-19 cs.CL cs.SD eess.AS
Incremental Blockwise Beam Search for Simultaneous Speech Translation with Controllable Quality-Latency Tradeoff
Charles University（查理大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种改进的增量分块束搜索方法，通过引入局部一致性或hold-n策略实现同声传译中质量与延迟的可控权衡，并在MuST-C上验证了在线和离线模型的有效性。
2023-09-20 cs.AI cs.CL cs.SD
AlignAtt: Using Attention-based Audio-Translation Alignments as a Guide for Simultaneous Speech Translation
Fondazione Bruno Kessler, Italy（布鲁诺·科塞拉基金会，意大利）；University of Trento, Italy（特伦托大学，意大利）；Indipendent Researcher（独立研究者）
AlignAtt通过利用注意力信息生成源-目标对齐，提升同时语音翻译的BLEU分数和降低延迟。
2026-02-03 cs.CL cs.LG cs.SD
Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition
DFG's Reinhart Koselleck project（德国科研基金Reinhart Koselleck项目）；EU H2020 project（欧盟H2020项目）
研究音频语言模型中显式声学线索的对齐性，通过eGeMAPS特征提取六种可解释声学概念标记，发现对齐标记提升UAR，而错乱标记降低性能，模型对符号线索敏感但仍部分依赖音频信号。
2026-06-05 cs.AI cs.CL cs.SD
FASA: a Flexible and Automatic Speech Aligner for Extracting High-quality Aligned Children Speech Data
SUNY Buffalo（纽约州立大学布法罗分校）
针对儿童语音ASR缺乏高质量对齐数据的问题，提出灵活自动语音对齐工具FASA，从含噪数据中提取高质量对齐儿童语音，在CHILDES数据集上数据质量比人工标注提升13.6倍。
2024-06-25 cs.CL cs.SD eess.AS
Robust Multi-channel Speech Recognition using Frequency Aligned Network
Amazon（亚马逊）
诸如波束成形的常规语音增强技术对于远场语音识别具有已知的益处。我们自己在频域多通道声学建模中的工作已经通过在声学模型内联合训练空间滤波层而显示出额外的改进。在本文中，我们进一步发展了这一思想，并使用频率对齐网络的鲁棒多通道自动语音识别（ASR）。与频域中的仿射层不同，所提出的频率对准组件防止一个频率仓影响其他频率仓。我们表明，这种修改不仅减少了模型中的参数数量，而且显着提高了ASR性能。我们通过ASR实验研究了频率对齐网络对真实远场数据的影响，其中用户在不受控制的声学环境中与ASR系统进行交互。我们表明，我们的多通道声学模型与频率对齐的网络显示高达18%的字出错率相对减少。
2020-02-06 cs.CL cs.SD eess.AS
StreamAlign: Streaming Text-Aligned Speech Tokenization
Seoul National University（首尔大学）；University of California, Berkeley（加州大学伯克利分校）；KRAFTON；Georgia Institute of Technology（佐治亚理工学院）
StreamAlign提出流式文本对齐语音分词框架，结合字符级RNN-T与词级ASR指导，降低延迟并缓解词汇不匹配，在LibriSpeech上取得最优WER和UTMOS，其SLM模型在语音续接与一致性上表现最佳。
2026-09-10 cs.CL cs.SD eess.AS
On the Use of Semantically-Aligned Speech Representations for Spoken Language Understanding
Omilia - Conversational Intelligence（Omilia对话智能公司）
在本文中，我们研究使用语义对齐的语音表示的端到端的口语语言理解（SLU）。我们采用最近推出的SAMU-XLSR模型，它的目的是生成一个单一的嵌入，捕捉在话语级别的语义，语义对齐不同的语言。该模型结合了声学帧级语音表示学习模型（XLS-R）和语言不可知BERT句子嵌入（LaBSE）模型。我们表明，使用的SAMU-XLSR模型，而不是最初的XLS-R模型，显着提高了性能的框架中的端到端SLU。最后，我们提出了使用这种模式对语言的可移植性SLU的好处。
2022-10-11 cs.CL cs.SD eess.AS
PAAPLoss: A Phonetic-Aligned Acoustic Parameter Loss for Speech Enhancement
Carnegie Mellon University（卡内基梅隆大学）；Meta Reality Labs Research（Meta现实实验室）
尽管近年来发展迅速，但当前的语音增强模型通常产生与真正的干净语音在感知质量上不同的语音。我们提出了一个学习目标，正式的感知质量的差异，通过使用领域知识的声学语音。我们确定时间声学参数-如频谱倾斜，频谱通量，微光等-是不可微的，我们开发了一个神经网络估计，可以准确地预测其时间序列值在整个话语。我们还为每个特征建模音素特定的权重，因为已知声学参数在不同的音素中显示不同的行为。我们可以将此标准作为辅助损失添加到任何产生语音的模型中，以优化语音输出，从而在这些特征中匹配干净语音的值。实验上，我们表明，它提高了语音增强工作流程在时域和时频域，标准的评估指标。我们还提供了一个音素依赖的声学参数的改进分析，证明了我们的方法提供的额外的可解释性。这种分析可以表明哪些功能目前是改进的瓶颈。
2023-02-16 cs.CL cs.SD eess.AS
CoSTA: Code-Switched Speech Translation using Aligned Speech-Text Interleaving
Indian Institute of Technology Bombay（印度孟买理工学院）
本文提出端到端模型 CoSTA，利用预训练 ASR 与 MT 模块及对齐语音-文本交错融合，解决印度语码转换语音英译的数据稀缺问题，并发布多语种评测基准，最高提升 3.5 BLEU。
2024-06-16 cs.CL cs.LG cs.SD
Harf-Speech: A Clinically Aligned Framework for Arabic Phoneme-Level Speech Assessment
Ministry of Defense, Saudi Arabia（沙特阿拉伯国防部）；Ability Center, Saudi Arabia（沙特阿拉伯能力中心）；University of Rochester, USA（罗切斯特大学）
提出Harf-Speech模块化系统，结合MSA音素化器、微调语音到音素模型、Levenshtein对齐及混合评分器，在阿拉伯语音素级发音评估中达到0.791 Pearson相关和0.659 ICC，优于现有端到端方法。
2026-06-23 cs.AI cs.CL cs.SD
MAESTRO: Matched Speech Text Representations through Modality Matching
Google, Inc.（谷歌公司）
我们提出了Maestro，这是一种自我监督的训练方法，可以统一从语音和文本模态中学习到的表示。从语音信号的自监督学习旨在学习信号中固有的潜在结构，而从文本的自监督学习试图捕获词汇信息。从不成对的语音和文本序列中学习对齐表示是一项具有挑战性的任务。以前的工作要么隐含地强制执行的表示从这两个模态对齐的潜在空间，通过多任务和参数共享或明确地通过转换的方式通过语音合成。前者受到两种模式之间的干扰，后者则带来更多的复杂性。在本文中，我们提出了Maestro，一种新的算法，从这两种模态同时学习统一的表示，可以转移到不同的下游任务，如自动语音识别（ASR）和语音翻译（ST）。Maestro通过序列对齐、持续时间预测和匹配嵌入来学习统一表示，这些嵌入是通过对齐的掩蔽语言模型损失来学习的。我们在VoxPopuli多语言ASR上建立了一个新的最先进的（SOTA），Word出错率（WER）相对降低了8%，多域SpeechStew ASR（相对降低了3.7%）和CoVoST 2上的英语多语言ST的21种语言，平均比21种语言提高了2.8 BLEU。
2022-07-01 cs.CL cs.SD eess.AS
TASTE-Streaming: Towards Streamable Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling
Graduate Institute of Communication Engineering, National Taiwan University（国立台湾大学通讯工程研究所）
本文提出TASTE-S，通过集成CTC ASR模块和重设计解码器，实现流式传输的文本对齐语音标记化与嵌入，减少延迟并保持鲁棒性。
2026-03-12 cs.CL cs.SD
From Start to Finish: Latency Reduction Strategies for Incremental Speech Synthesis in Simultaneous Speech-to-Speech Translation
Maastricht University（马斯特里赫特大学）；Meta AI；Johns Hopkins University（约翰斯·霍普金斯大学）
语音到语音翻译（S2 ST）将输入语音转换为另一种语言的语音。实时的传送S2 ST的挑战是翻译和语音合成模块之间的累积延迟。虽然最近增量文本到语音（iTTS）模型已经显示出很大的质量改进，但它们通常需要额外的未来文本输入才能达到最佳性能。在这项工作中，我们最大限度地减少了初始等待时间的iTTS通过适应上游语音翻译器生成高质量的伪前瞻语音合成器。在减轻初始延迟后，我们证明了合成语音的持续时间对延迟也起着至关重要的作用。我们将其形式化为延迟度量，然后提出一种简单而有效的延迟缩减方法。我们的方法始终将延迟降低0.2-0.5秒，而不会牺牲语音翻译质量。
2022-07-15 cs.CL cs.SD eess.AS
Emotion-Aligned Generation in Diffusion Text to Speech Models via Preference-Guided Optimization
本文提出EASPO框架，通过偏好引导优化实现扩散文本到语音模型的情感对齐生成，提升语音的表达性和自然度。
2026-02-06 cs.AI cs.CL cs.SD
Psychoacoustically Aligned Latent Smoothing for Adversarial Robustness of Full-Duplex Speech-to-Speech Dialogue Models
People Make Things
针对全双工语音对话模型的对抗攻击，提出心理声学校准的潜在平滑方法，以低质量损失显著降低劫持、静音和越狱成功率，并认证鲁棒性下限。
2026-09-24 cs.AI cs.CL cs.HC
SloPal: A 60-Million-Word Slovak Parliamentary Corpus with Aligned Speech and Fine-Tuned ASR Models
本文提出SloPal，一个包含6000万词的斯洛伐克议会语料库，包含对齐的语音数据和微调的ASR模型，显著降低WER。
2026-03-16 cs.AI cs.CL cs.SD
SPEECH-COCO: 600k Visually Grounded Spoken Captions Aligned to MSCOCO Data Set
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；LIG（格勒诺布尔信息学实验室）；Voxygen（Voxygen公司）
本文提出了一种增强MSCOCO数据集的语音添加到图像和文本。语音字幕使用文本到语音（TTS）合成生成，导致616，767个语音字幕（超过600小时）与图像配对。为了听起来更自然，在信号中加入了不流畅和速度扰动。每个语音信号（WAV）都与JSON文件配对，该JSON文件包含口语字幕中每个单词/音节/音素的精确时间码。这样的语料库可以用于语言和视觉（LaVi）任务，包括代替文本的语音输入或输出。调查多模态学习计划的无监督语音模式发现也有可能与此语料库，所示的一个子集的语料库（10 h，10 k口语字幕）进行的初步研究。该数据集可在Zenodo上获得：https://zenodo.org/record/4282267
2020-11-23 cs.CL
Direct Simultaneous Speech-to-Text Translation Assisted by Synchronized Streaming ASR
Oregon State University（俄勒冈州立大学）；Baidu Research（百度研究院）
同时语音到文本翻译在许多场景中广泛有用。传统的级联方法使用流传输ASR的流水线，然后是同时的MT，但是遭受错误传播和额外的延迟。为了缓解这些问题，最近的努力试图直接将源语音同时翻译成目标文本，但由于两个单独的任务的组合，这要困难得多。相反，我们提出了一个新的范例级联和端到端的方法的优点。其关键思想是分别在流式ASR和直接语音到文本翻译（ST）上使用两个独立但同步的解码器，ASR的中间结果指导ST的解码策略（但不作为输入）。在MuSTC数据集上进行的En-to-De和En-to-Es实验表明，我们提出的技术在相似的延迟水平下实现了更好的翻译质量。
2021-06-11 cs.CL cs.SD eess.AS
Swiss Parliaments Corpus, an Automatically Aligned Swiss German Speech to Standard German Text Corpus
Institute for Data Science（数据科学研究所）；University of Applied Sciences and Arts Northwestern Switzerland（瑞士西北应用科学与艺术大学）
我们提供瑞士议会语料库（SPC），这是一个自动对齐的瑞士德语演讲与标准德语文本语料库。该语料库的第一版基于伯尔尼州议会的公开数据，包括293小时的数据。它是使用一种新的强制句子对齐过程和对齐质量估计器创建的，可以用来权衡语料库的大小和质量。我们在不同的数据子集上训练了自动语音识别（ASR）模型作为基线，并在SPC测试集上实现了0.278的单词出错率（WER）和0.586的BLEU得分。语料库可免费下载。
2021-06-09 cs.CL cs.LG
An Analysis of Semantically-Aligned Speech-Text Embeddings
Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局资讯通信研究院）
嵌入在多模态语言处理问题的端到端解决方案中起着重要作用。虽然已经有一些努力来理解单模态嵌入空间的属性，特别是文本的属性，但它们的跨模态对应物却很少被理解。在这项工作中，我们研究了联合语音文本嵌入空间的一些内在属性，该空间是通过最小化教师-学生模型设置中配对话语和转录输入之间的距离来构建的，这些属性对于几个突出的用例来说是有用的。我们发现，通过预训练和多任务场景结合自动语音识别可以显著帮助语义对齐，从而产生更紧密耦合的嵌入。为了分析跨模态嵌入，我们利用定量检索准确性度量的语义对齐，zero-shot分类的概括性，和探测的编码器，以观察知识转移的程度从一个模态到另一个。
2023-01-19 cs.CL cs.LG eess.AS
LibriVoxDeEn: A Corpus for German-to-English Speech Translation and German Speech Recognition
Heidelberg University（海德堡大学）；Computational Linguistics（计算语言学）；IWR Heidelberg University（海德堡大学IWR研究所）
我们提出了一个语料库的德语音频，德语文本，英语翻译，德语有声读物的基础上，对齐的三元组。语音翻译数据由110小时的音频材料组成，与超过50 k个平行句子对齐。包括与德语文本对齐的547小时德语语音的甚至更大的数据集可用于语音识别。音频数据是读语音，因此不流利程度低。音频和句子对齐的质量已经通过人工评估进行了检查，表明语音对齐质量通常非常高。句子对齐质量与常用的平行翻译数据相当，并且可以通过自动对齐分数的截止值进行调整。据我们所知，该语料库是迄今为止最大的德语语音识别和端到端德语到英语语音翻译资源。
2020-03-04 cs.CL
Modeling speech recognition and synthesis simultaneously: Encoding and decoding lexical and sublexical semantic information into speech with no direct access to speech data
University of California, Berkeley（加州大学伯克利分校）
人类说话者将信息编码成原始语音，然后由听者解码。编码（产生）和解码（感知）之间的这种复杂关系通常是单独建模的。在这里，我们测试了词汇语义信息的编码和解码如何在无监督生成深度卷积网络中从原始语音中自动出现，该网络结合了语音的产生和感知原理。据我们所知，我们介绍了无监督词汇学习中最具挑战性的目标：一个网络，必须学习词汇项的唯一表示，没有直接存取训练数据。我们训练了几个模型（ciwGAN和fiwGAN arXiv：2006.02951），并测试了网络如何在未观察到的测试数据中对声学词汇项进行分类。有力的证据支持词汇学习和潜在代码和有意义的亚词汇单位之间的因果关系出现。因此，组合产生和感知原理的架构能够学习从原始声学数据解码唯一信息，而无需直接访问真实的训练数据。我们提出了一种技术，探索词汇（整体）和词汇（特征）学习表示的分类器网络。这些结果对无监督语音技术以及无监督语义建模具有重要意义，因为语言模型越来越多地绕过文本并从原始声学进行操作。
2022-06-29 cs.CL cs.SD eess.AS
MaSS: A Large and Clean Multilingual Corpus of Sentence-aligned Spoken Utterances Extracted from the Bible
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LIG（信息与信号处理实验室）；LIDILEM（语言、数字、管理、教育与多语制实验室）
CMU Wilderness Multilingual Speech Dataset（Black，2019）是一个新发布的多语言语音数据集，基于新约的记录阅读。它提供的数据可以为潜在的700种语言构建自动语音识别（ASR）和文本到语音（TTS）模型。然而，由于所有语言的源内容（圣经）都是相同的这一事实，迄今为止还没有得到充分利用，因此本文提出在不同语言的语音片段之间添加多语言链接，并共享了一个包含8种语言（56种语言对）的8，130个平行口语的大而干净的数据集。我们将这个语料库命名为MaSS（多语言句子对齐口语语料库）。所涵盖的语言（巴斯克语，英语，芬兰语，法语，匈牙利语，罗马尼亚语，俄语和西班牙语）允许研究语音到语音对齐以及类型不同的语言对的翻译。最终语料库的质量是通过对语料库子集（100个话语，8个语言对）进行的人类评价来证明的。最后，我们展示了最终产品的实用性双语语音检索任务。
2020-02-26 cs.CL
