FlashTTS: Fast Streaming TTS with MTP Acceleration and X-pred Mean Flow Distillation
Huawei Technologies Co., Ltd(华为技术有限公司)
提出FlashTTS框架,通过滞后多轨架构、并行多令牌预测和X-pred均值流匹配解码器,实现低延迟流式TTS,首包延迟降至325ms,保持零样本语音克隆和跨语言可懂度。
2026-06-09 cs.SD eess.AS
SpeakStream: Streaming Text-to-Speech with Interleaved Data
Apple(苹果公司)
SpeakStream提出一种仅解码器架构的流式TTS系统,通过交错文本-语音数据训练,实现从流式文本增量生成语音,显著降低首令牌延迟,同时保持非流式TTS质量。
2025-05-25 cs.CL cs.LG cs.SD
CTC-TTS: LLM-based dual-streaming text-to-speech with CTC alignment
School of Computer Science and Technology, Xinjiang University, China(新疆大学计算机科学与技术学院);Speech Processing and Machine Intelligence (SPMI) Lab, Tsinghua University, China(清华大学语音处理与机器智能实验室)
CTC-TTS提出了一种基于大语言模型的双流文本到语音系统,采用CTC对齐器和双词交错策略,提升了流式合成和零样本任务的性能。
2026-09-09 cs.AI cs.SD eess.AS
Speak While You Think: Streaming Speech Synthesis During Text Generation
IBM Research(IBM研究院)
本文提出LLM2Speech架构,利用LLM隐藏嵌入在文本生成过程中同时进行流式语音合成,在保持语音质量的同时显著降低延迟,使自然语音对话成为可能。
2023-09-20 cs.CL cs.SD eess.AS
A Streamwise GAN Vocoder for Wideband Speech Coding at Very Low Bit Rate
Fraunhofer(弗劳恩霍夫);Fantasmo(范塔斯莫)
最近,GAN声码器在语音合成方面取得了快速进展,开始以更高的生成速度在感知质量方面优于自回归模型。然而,自回归声码器仍然是以非常低的比特率编码的语音信号的神经生成的常见选择。在本文中,我们提出了一个GAN声码器,它能够产生宽带语音波形的参数编码在1.6 kbit/s。该模型是一个修改版本的StyleMelGAN声码器,可以运行在逐帧的方式,使其适合于流媒体应用。实验结果表明,该模型在极低比特率语音编码中的性能明显优于LPCNet等自回归声码器,计算复杂度约为5 GMAC,为该领域提供了一个新的发展方向.此外,这种流式对抗声码器在干净语音上以5.9 kbit/s提供与高级语音编解码器(例如EVS)竞争的质量,这促使前馈全卷积模型进一步用于低比特率语音编码。
2021-08-09 cs.LG cs.SD eess.AS
Robust AI-Synthesized Speech Detection Using Feature Decomposition Learning and Synthesizer Feature Augmentation
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院);College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);Alibaba Group(阿里巴巴集团);College of Computer Science, Chongqing University(重庆大学计算机学院)
提出基于双流特征分解与合成器特征增强的鲁棒deepfake speech检测方法,通过学习独立于合成器的内容特征并增加特征多样性,提升对未见合成器的泛化能力。
2024-11-14 cs.CR cs.SD eess.AS
CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models
Alibaba Group(阿里巴巴集团)
CosyVoice 2 通过有限标量量化、预训练 LLM 骨干和块感知因果流匹配,在单一模型中实现高质量流式与非流式多语言语音合成,达到人类水平自然度和极低延迟。
2024-12-25 cs.AI cs.LG cs.SD
StreamVC: Real-Time Low-Latency Voice Conversion
Google LLC(谷歌有限责任公司)
提出流式语音转换方案 StreamVC,利用 SoundStream 架构实现移动端低延迟高质量合成,通过因果学习软语音单元和白化基频信息提升音高稳定性且不泄露源音色。
2024-01-05 cs.LG cs.SD eess.AS
SupertonicTTS: Towards Highly Efficient and Streamlined Text-to-Speech System
Supertone, Inc.(Supertone公司)
SupertonicTTS 通过低维潜在空间、流匹配、字符级建模和上下文共享批量扩展,以 44M 参数实现与零样本 TTS 相当的性能,显著降低架构复杂性与计算成本。
2025-09-23 cs.LG cs.SD eess.AS
LLaMA-Omni2: LLM-based Real-time Spoken Chatbot with Autoregressive Streaming Speech Synthesis
Key Laboratory of Intelligent Information Processing Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)(智能信息处理重点实验室,计算技术研究所,中国科学院);Key Laboratory of AI Safety, Chinese Academy of Sciences(人工智能安全重点实验室,中国科学院);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学,北京,中国)
本文提出LLaMA-Omni 2系列语音语言模型,基于Qwen2.5集成语音编码器与自回归流式语音解码器,仅用200K多轮对话样本即在语音问答和指令遵循任务上超越GLM-4-Voice等先前最优模型,实现高质量实时语音交互。
2025-05-05 cs.AI cs.CL cs.SD
Multi-rate attention architecture for fast streamable Text-to-speech spectrum modeling
Facebook AI
当今典型的高质量文本到语音(TTS)系统使用两级架构,其中频谱模型级生成频谱帧,而声码器级生成实际音频。高质量的频谱模型通常将编码器-解码器架构与自注意或双向长短期(BLSTM)单元结合起来。虽然这些模型可以产生高质量的语音,但它们通常导致延迟和实时因子(RTF)相对于输入长度$L$的O($L$)增加。换句话说,较长的输入导致较长的延迟和较慢的合成速度,限制了其在实时应用中的使用。在本文中,我们提出了一个多速率的注意力架构,打破了延迟和RTF的瓶颈,通过计算一个紧凑的表示在编码过程中,并在解码过程中以流的方式循环生成的注意力向量。所提出的架构同时实现了高音频质量(MOS为4.31,而GroundTruth为4.48)、低延迟和低RTF。同时,无论输入长度如何,所提出的系统的延迟和RTF都保持不变,使其成为实时应用的理想选择。
2021-04-01 cs.AI cs.SD eess.AS
FocalCodec-Stream: Streaming Low-Bitrate Speech Coding via Causal Distillation
Concordia University(康科德大学);Mila-Quebec AI Institute(魁北克AI研究所);Université Laval(拉瓦尔大学)
本文提出基于焦点调制的流式低比特率语音编解码器 FocalCodec-Stream,通过 WavLM 多阶段因果蒸馏和轻量级细化器,在 0.55-0.80 kbps 码率与 80 ms 延迟下兼顾重建质量、下游任务性能和效率。
2025-09-19 cs.AI cs.LG cs.SD
FBWave: Efficient and Scalable Neural Vocoders for Streaming Text-To-Speech on the Edge
Facebook Reality Labs(Facebook现实实验室);Facebook AI(Facebook人工智能实验室);UC Berkeley(加州大学伯克利分校)
目前,越来越多的应用可以受益于基于边缘的文本到语音(TTS)。然而,大多数现有的TTS模型在计算上过于昂贵,并且不够灵活,无法部署在具有同样不同计算能力的各种边缘设备上。为了解决这个问题,我们提出了FBWave,这是一系列高效且可扩展的神经声码器,可以为不同的边缘设备实现最佳的性能效率权衡。FBWave是一种基于流的混合生成模型,结合了自回归和非自回归模型的优点。它可以产生高质量的音频,并在推理过程中支持流式传输,同时保持高度的计算效率。我们的实验表明,FBWave可以实现与WaveRNN相似的音频质量,同时将MAC减少40倍。更高效的FBWave变体可以实现高达109倍的MAC,同时仍然提供可接受的音频质量。音频演示可在https://bichenwu09.github.io/vocoder_demos上获得。
2020-11-25 cs.LG cs.SD eess.AS
Q-SPT: Learnable Query-Based Compression for Low-Frame-Rate Speech Tokenization
Korea University(高丽大学)
Q-SPT提出可学习查询式双流压缩器,分别处理语义和声学流,并辅以文本损失监督,在低帧率下实现最优重建、识别与合成质量。
2026-10-02 cs.CL cs.SD eess.AS
Streaming T5-based Text-to-Speech Synthesis with Limited Lookahead
NVIDIAChina(英伟达中国);NVIDIAUSA(英伟达美国)
提出S5-TTS,一种基于T5的流式变体,通过编码器-解码器语言模型和单调对齐学习实现逐词增量语音合成,并引入前瞻因果掩码和交错多源蒸馏以在低延迟下保持质量。
2026-06-23 cs.AI cs.SD
SARA: A Dual-Stream VAE for High-Fidelity Speech Generation via Integrating Semantic and Acoustic Representations
School of Informatics, Xiamen University(厦门大学信息学院);School of Electronic Science and Engineering, Xiamen University(厦门大学电子科学与技术学院);DiDi Global Inc.(滴滴全球股份有限公司)
提出SARA双流VAE,融合冻结的SSL语义锚点和残差声学编码器,解决语音分词器中声学与语义的权衡,实现高保真重建和零样本TTS的自然合成。
2026-06-11 cs.SD
ZipCodec: Ultra-Low-Frame-Rate Streaming Speech Coding
Concordia University(康考迪亚大学);Mila-Quebec AI Institute(Mila-魁北克人工智能研究所);Université Laval(拉瓦尔大学)
ZipCodec通过WavLM蒸馏、Transformer架构和球形量化,在6.25Hz超低帧率下实现高质量流式语音编码,显著优于现有编解码器。
2026-09-11 cs.AI cs.LG cs.SD
VoXtream: Full-Stream Text-to-Speech with Extremely Low Latency
Department of Speech, Music and Hearing, KTH Royal Institute of Technology, Stockholm, Sweden(语音、音乐与听觉系,皇家理工学院,斯德哥尔摩,瑞典)
VoXtream通过高效架构实现极低延迟的全流式文本到语音系统,其在多个指标上超越大基线,且在GPU上达到102毫秒的初始延迟。
2026-01-26 cs.CL cs.HC cs.LG
High Quality Streaming Speech Synthesis with Low, Sentence-Length-Independent Latency
Innoetics, Samsung Electronics(三星电子 Innoetics);Mobile Communications Business, Samsung Electronics(三星电子移动通信业务)
本文提出了一种适合于实时应用的端到端低延迟的文本到语音转换系统。该系统由基于自回归注意力的序列到序列声学模型和用于波形生成的LPCNet声码器组成。提出了一种采用Tacotron 1和2模型中的模块的声学模型架构,同时通过使用最近提出的纯基于位置的注意力机制来确保稳定性,该机制适用于任意句子长度的生成。在推理期间,解码器被展开,并且以流式方式执行声学特征生成,从而允许与句子长度无关的几乎恒定的延迟。实验结果表明,声学模型可以产生具有最小延迟的特征序列,比计算机CPU上的实时快约31倍,比移动CPU上的实时快约6.5倍,使其能够满足两种设备上的实时应用所需的条件。完整的端到端系统可以生成几乎自然的语音质量,这是通过听力测试验证。
2021-11-17 cs.CL cs.LG cs.SD
Mmm whatcha say? Uncovering distal and proximal context effects in first and second-language word perception using psychophysical reverse correlation
School of Computing Science(计算科学学院);Dept. of Linguistics(语言学系);Simon Fraser University(西蒙弗雷泽大学);Université de Franche-Comté(弗朗什-孔泰大学);SUPMICROTECH;CNRS(国家科学研究中心);Institut FEMTO-ST(费米-圣特研究所)
本研究采用心理物理学反向关联方法,探究声学语境效应与语言背景的关联,发现L1与L2使用者元音感知受近端一致、远端对比的冲突效应影响,且韵律感知特征高度相似,提供了跨域研究声学语境效应的新方法。
2025-07-30 cs.CL cs.SD eess.AS
Streaming Decoder-Only Automatic Speech Recognition with Discrete Speech Units: A Pilot Study
Northwestern Polytechnical University(西北工业大学);Du Xiaoman Financial(度小满金融)
本文提出一种基于离散语音单元和专用边界token的流式仅解码器ASR模型,通过因果注意力掩码、右块注意力及数据增强,在AISHELL数据集上取得与非流式方法相当的性能。
2024-06-27 cs.SD eess.AS
Self-supervised learning with bi-label masked speech prediction for streaming multi-talker speech recognition
Microsoft(微软)
自监督学习(SSL)利用输入数据本身进行表示学习,已经为各种下游语音任务取得了最先进的结果。然而,大多数以前的研究集中在离线单说话人的应用程序,与有限的调查,在多说话人的情况下,特别是流媒体场景。在本文中,我们研究SSL的流式多说话人语音识别,它产生的transmarts重叠扬声器在流的方式。我们首先观察到,传统的SSL技术不能很好地完成这项任务,由于重叠语音的代表性差。然后,我们提出了一种新的SSL训练目标,称为双标签掩蔽语音预测,它明确保留重叠语音中所有扬声器的表示。我们调查所提出的系统,包括数据配置和量化器的选择的各个方面。建议的SSL设置在LibriSpeechMix数据集上实现了更好的单词错误率。
2022-11-10 cs.SD eess.AS
speech and noise dual-stream spectrogram refine network with speech distortion loss for robust speech recognition
Tianjin University(天津大学);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
本文提出双流频谱细化网络,同时细化语音和噪声并从带噪输入中解耦噪声,以解决联合训练中语音失真与残余噪声问题,实现CER相对降低8.6%。
2023-05-30 cs.SD eess.AS
Linear Time Complexity Conformers with SummaryMixing for Streaming Speech Recognition
Samsung AI Center - Cambridge(三星剑桥人工智能中心)
针对自注意力语音识别时间复杂度高、SummaryMixing不适配流式场景的问题,将SummaryMixing扩展至支持流/离线模式的Conformer Transducer,实现线性复杂度,且效果更优、算力内存需求更低。
2024-09-11 cs.AI cs.SD eess.AS
Transformer Transducer: One Model Unifying Streaming and Non-streaming Speech Recognition
Google Inc.(谷歌公司)
在本文中,我们提出了一个Transformer-Transducer模型架构和训练技术,统一流和非流语音识别模型到一个模型。该模型由一个用于音频编码的Transformer层堆栈和一个额外的Transformer层堆栈组成,该堆栈没有前瞻或右上下文,该堆栈在顶部,用可变右上下文进行训练。在推理时间中,可以改变可变上下文层的上下文长度,以权衡延迟和模型的准确性。我们还表明,我们可以在Y模型架构中运行此模型,顶层在低延迟和高延迟模式下并行运行。这使我们能够以有限的延迟获得流式语音识别结果,并以较大的准确性改进获得延迟的语音识别结果(语音搜索任务的相对改进为20%)。我们表明,在解码结束时,使用有限的右上下文(1-2秒的音频)和小的额外延迟(50-100毫秒),我们可以使用无限音频右上下文的模型实现类似的准确性。我们还对音频和标签编码器进行了优化,以加快流式和非流式语音解码中的推理。
2020-10-07 cs.LG cs.SD eess.AS
Streaming Noise Context Aware Enhancement For Automatic Speech Recognition in Multi-Talker Environments
Amazon(亚马逊);Google(谷歌)
智能扬声器最具挑战性的场景之一是多说话者,当来自所需说话者的目标语音与来自一个或多个说话者的干扰语音混合时。智能助理需要确定识别哪些语音,忽略哪些语音,并且需要以流媒体,低延迟的方式进行。本文提出了两种针对这种情况的多麦克风语音增强算法。针对设备上的用例,我们假设算法可以访问热词之前的信号,这被称为噪声上下文。首先是上下文感知波束形成器,它使用噪声上下文和检测到的热词来确定如何瞄准所需的扬声器。第二种是称为Speech Cleaner的自适应噪声消除算法,该算法使用噪声上下文来训练滤波器。结果表明,这两种算法是互补的信号噪声比的条件下,他们工作得很好。我们还提出了一种算法来选择使用哪一个估计的SNR的基础上。当使用3个麦克风通道时,最终系统在-12dB和12 dB处分别实现了55%和43%的相对字错误率降低。
2022-05-17 cs.SD eess.AS
State-of-the-Art Speech Recognition Using Multi-Stream Self-Attention With Dilated 1D Convolutions
ASAPP Inc.(ASAPP公司)
自我注意力在NLP的许多下游任务中取得了巨大的成功,这也导致了将自我注意力应用于语音问题的探索。然而,自我注意在语音应用中的功效似乎还没有完全发挥出来,因为在自我注意的背景下处理高度相关的语音帧具有挑战性。本文提出了一种新的神经网络模型结构,即多流自注意,以解决这个问题,从而使自注意力机制更有效的语音识别。所提出的模型架构由自注意编码器的并行流组成,并且每个流具有具有膨胀内核的1D卷积层,其膨胀率在给定流中是唯一的,随后是自注意层。每个流中的自注意力机制只关注输入语音帧的一个分辨率,并且注意计算可以更有效。在稍后的阶段中,来自所有流的输出被连接,然后线性投影到最终嵌入。通过堆叠所提出的多流自注意编码器块并使用神经网络语言模型对生成的网格进行重新评分,我们在LibriSpeech语料库的测试干净数据集上实现了2.2%的单词出错率,这是迄今为止报告的最佳数字。
2019-10-01 cs.CL cs.SD eess.AS
StreamSpeech: Simultaneous Speech-to-Speech Translation with Multi-task Learning
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Key Laboratory of AI Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室);School of Future Science and Engineering, Soochow University(苏州大学未来科学与工程学院)
提出StreamSpeech模型,通过多任务学习统一框架联合学习翻译与同声策略,实现离线与同声语音识别、翻译及合成的无缝处理,在CVSS基准上达到SOTA,并提供高质量中间结果。
2024-06-05 cs.AI cs.CL cs.SD
Multichannel Long-Term Streaming Neural Speech Enhancement for Static and Moving Speakers
Zhejiang University(浙江大学);Westlake University(西湖大学);School of Engineering, Westlake University(西湖大学工程学院);Institute of Advanced Technology, Westlake Institute for Advanced Study(西湖高等研究院先进技术研究所)
本研究扩展离线SpatialNet为在线长期流式多通道语音增强模型,基于三类线性复杂度架构设计变体,提出短训长调策略提升长度外推能力,在静态和移动说话人长音频场景下均取得优异性能且已开源。
2024-06-19 cs.SD eess.AS
Joint Optimization of Streaming and Non-Streaming Automatic Speech Recognition with Multi-Decoder and Knowledge Distillation
Honda Research Institute Japan Co., Ltd.(日本本田研究所);Carnegie Mellon University(卡内基梅隆大学)
本研究针对流式与非流式自动语音识别的模式切换需求,提出基于多解码器与知识蒸馏的联合优化方法,通过编码器整合、独立解码器及跨模块相似性知识蒸馏,在单个模型中实现两种模式的性能提升。
2024-05-22 cs.CL cs.SD eess.AS
HiFi-Stream: Streaming Speech Enhancement with Generative Adversarial Networks
HSE University(俄罗斯莫斯科高等经济大学)
本文提出低计算量流式语音增强模型 HiFi-Stream,在保留 Hi++ 主要音质的同时显著减小尺寸和复杂度,并在流式评测中优于现代基线。
2025-07-23 cs.LG cs.SD eess.AS
StreamAtt: Direct Streaming Speech-to-Text Translation with Attention-based Audio History Selection
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
本文提出首个流式语音翻译策略StreamAtt及首个可比较的延迟指标StreamLAAL,在MuST-C v1.0全部8种语言上验证了其优于朴素基线和现有SimulST策略。
2024-06-10 cs.AI cs.CL cs.SD
Qifusion-Net: Layer-adapted Stream/Non-stream Model for End-to-End Multi-Accent Speech Recognition
Qifu Technology(奇富科技)
针对多口音语音识别难题,提出无需口音先验的层级自适应融合模型 Qifusion-Net,结合动态分块实现流式解码与帧级特征融合,在 KeSpeech 和 MagicData-RMAC 上 CER 相对降低 22.1% 和 17.2%。
2024-07-03 cs.AI cs.SD eess.AS
Endpoint Detection for Streaming End-to-End Multi-talker ASR
Microsoft(微软)
流式端到端多说话者语音识别旨在以流式方式转录来自具有全神经模型的对话或会议的重叠语音,这与通常级联语音分离和独立训练的语音识别模型的基于模块的方法有根本不同。在此之前,我们提出了基于递归神经网络转换器(RNN-T)的流分解和识别转换器(SURT)模型,并提出了有希望的结果。然而,对于实际应用,语音识别系统还需要确定说话者结束讲话时的时间戳,以便迅速的系统响应。这个问题,称为端点(EP)检测,以前没有研究过多说话者端到端模型。在这项工作中,我们解决了EP检测问题的SURT框架中引入一个结束的句子令牌作为输出单元,以下的做法单说话者端到端模型。此外,我们还提出了一个延迟惩罚的方法,可以显着降低EP检测延迟。我们的实验结果的基础上的2扬声器LibrispeechMix数据集表明,SURT模型可以实现有前途的EP检测,而不会显着降低识别精度。
2022-01-24 cs.SD eess.AS
asr_eval: Algorithms and tools for multi-reference and streaming speech recognition evaluation
Siberian Neuronets LLC(西伯利亚神经网络有限公司)
asr_eval提出改进语音识别评估的算法和工具,包括多参考标注、词对齐和流式识别评估工具,用于提升多语言语音识别性能。
2026-01-28 cs.CL cs.SD eess.AS
Fusing information streams in end-to-end audio-visual speech recognition
Ruhr University Bochum(波鸿鲁尔大学)
端到端声学语音识别已经迅速得到了广泛的普及,并在许多研究中显示出有希望的结果。具体地,联合Transformer/CTC模型在许多任务中提供了非常好的性能。然而,在噪声和失真的条件下,性能仍然显着下降。虽然视听语音识别可以显著提高在这种恶劣条件下的端到端模型的识别率,但如何最好地利用这些模型中关于声学和视觉信号质量和可靠性的任何可用信息并不明显。因此,我们考虑的问题,如何最佳地通知任何时变可靠性的声学和视觉信息流的Transformer/CTC模型。我们提出了一种新的融合策略,将可靠性信息的决策融合网,认为时间的影响的注意力机制。这种方法产生显着的改进相比,最先进的基线模型的唇读句子2和3(LRS 2和LRS 3)语料库。平均而言,与纯音频设置相比,新系统实现了43%的相对字错误率降低,与视听端到端基线相比降低了31%。
2021-04-19 cs.SD eess.AS
VarArray Meets t-SOT: Advancing the State of the Art of Streaming Distant Conversational Speech Recognition
Microsoft(微软)
本文提出了一种新的流式自动语音识别(ASR)框架,用于由具有任意几何形状的远距离麦克风阵列捕获的多说话者重叠语音。我们的框架名为t-SOT-VA,利用了独立开发的两种最新技术;阵列几何不可知的连续语音分离,或VarArray,以及基于令牌级序列化输出训练(t-SOT)的流式多说话者ASR。为了结合这两种技术的优点,我们新设计了一个基于t-SOT的ASR模型,该模型基于VarArray的两个分离的语音信号生成序列化的多说话者转录。我们还提出了一个预训练方案,这样的ASR模型,我们模拟VarArray的输出信号的基础上单声道单说话者ASR训练数据。使用AMI会议语料库的会话转录实验表明,该系统的基础上提出的框架显着优于传统的。我们的系统实现了最先进的字错误率分别为13.7%和15.5%的AMI开发和评估集,在多个远程麦克风设置,同时保留流推理能力。
2022-10-04 cs.CL cs.SD eess.AS
Streaming Speaker Change Detection and Gender Classification for Transducer-Based Multi-Talker Speech Translation
Microsoft(微软公司)
本文提出将说话人嵌入整合到基于 Transducer 的流式端到端语音翻译模型中,以同时实现多说话人场景下的流式说话人变更检测与性别分类,实验验证了该方法的高准确率。
2025-02-04 cs.AI cs.CL cs.SD
A Weakly-Supervised Streaming Multilingual Speech Model with Truly Zero-Shot Capability
Microsoft Speech Group(微软语音组)
本文提出流式多语言语音模型SM2,以Transformer Transducer为骨干,利用机器翻译生成的弱监督数据训练,在351千小时25种语言数据上取得与非流式模型相当或更优的语音翻译质量,并展现出面向新目标语言的真正零样本能力。
2023-07-05 cs.AI cs.CL cs.SD
MFLA: Monotonic Finite Look-ahead Attention for Streaming Speech Recognition
Honor Device Co, Ltd(Honor Device公司);Auditory Cognition and Computational Acoustics Lab(听觉认知与计算声学实验室);MoE Key Lab of Artificial Intelligence(人工智能关键实验室);AI Institute School of Computer Science, Shanghai Jiao Tong University(计算机科学学院人工智能研究所,上海交通大学)
本文提出MFLA框架,通过微调Whisper并结合Continuous Integrate-and-Fire机制、单调有限前瞻注意力及wait-k解码,在流式语音识别中实现延迟与质量的可控权衡。
2025-06-04 cs.CL cs.SD eess.AS
On-device Streaming Discrete Speech Units
Carnegie Mellon University(卡内基梅隆大学);Language Technologies Institute(语言技术研究所)
本文针对设备端流式语音场景,通过缩小注意力窗口和模型规模来降低离散语音单元的计算开销,在 ML-SUPERB 1h 数据集上实现 FLOPs 减少 50% 而 CER 仅相对增加 6.5%,证明了 DSUs 在资源受限环境下的实时语音处理潜力。
2025-06-02 cs.LG cs.SD eess.AS
Separator-Transducer-Segmenter: Streaming Recognition and Segmentation of Multi-party Speech
Amazon Alexa(亚马逊Alexa)
具有重叠语音的多方对话的流识别和分割对于下一代语音助理应用至关重要。在这项工作中,我们解决了在以前的工作中发现的挑战,多圈递归神经网络传感器(MT-RNN-T)与一种新的方法,分离器-传感器-分割器(STS),使语音分离,识别和分割更紧密地集成在一个单一的模型。首先,我们提出了一种新的分割建模策略,通过开始的回合和结束的回合令牌,提高了分割识别精度不下降。其次,我们进一步提高了语音识别和分割精度,通过发射正则化方法,FastEmit,和多任务训练与语音活动信息作为一个额外的训练信号。第三,我们实验结束轮发射延迟惩罚,以提高端点检测每个扬声器轮。最后,我们建立了一个新的框架,通过发射延迟指标的多方会话分割分析。我们最好的模型,我们报告4.6%的腹肌。转动计数精度提高了17%。LibriCSS数据集上的字错误率(WER)与以前发表的工作相比有所改善。
2022-05-10 cs.CL cs.SD eess.AS
Dual Causal/Non-Causal Self-Attention for Streaming End-to-End Speech Recognition
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
基于注意力的端到端自动语音识别(ASR)系统最近已经展示了用于许多任务的最先进的结果。然而,自我注意和基于注意的编码器-解码器模型的应用对于流式ASR仍然具有挑战性,其中每个单词必须在说出后不久被识别。在这项工作中,我们提出了双重因果/非因果自我注意力(DCN)架构,与限制自我注意力相比,它可以防止整体上下文在深层架构中使用时超出单层的前瞻性。使用流式Transformer和Conformer架构将DCN与基于块的和受限的自注意进行比较,示出了与受限的自注意相比的改进的ASR性能和与基于块的自注意相比的竞争性ASR结果,同时提供了帧同步处理的优点。结合触发注意力,所提出的流媒体端到端ASR系统在LibriSpeech、HKUST和Switchboard ASR任务上获得了最先进的结果。
2021-07-02 cs.LG cs.SD eess.AS
Streaming Multi-talker Speech Recognition with Joint Speaker Identification
Microsoft Corp.(微软公司)
在会议和对话等多人场景中,语音处理系统通常需要转录音频以及识别下游应用的发言者。由于在这种情况下重叠语音是常见的,因此常规方法通常以级联方式解决该问题,该级联方式涉及独立训练的语音分离、语音识别和说话人辨识。在本文中,我们提出了流式解混,识别和识别传感器(SURIT)-一个新的框架,处理这个问题,在一个端到端的流式方式。SURIT采用递归神经网络转换器(RNN-T)作为语音识别和说话人辨识的骨干。我们在LibrispeechMix数据集上验证了我们的想法-一个来自Librispeech的多人数据集,并给出了令人鼓舞的结果。
2021-04-05 cs.CL cs.SD
EmotionNAS: Two-stream Neural Architecture Search for Speech Emotion Recognition
University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学);Ant Group(蚂蚁集团)
针对语音情感识别中人工设计模型需适配不同数据集、耗时费力的问题,提出名为EmotionNAS的双流NAS框架,融合手工与深度特征并补充双流互补信息,性能超越现有方法达SOTA。
2023-06-09 cs.LG cs.SD eess.AS
Streaming end-to-end multi-talker speech recognition
Microsoft Corp.(微软公司)
端到端多人语音识别是语音领域的一个新兴研究方向,它在会话和会议传输等应用中具有巨大的潜力。据我们所知,所有现有的研究工作都局限于离线场景。在这项工作中,我们提出了流分解和识别传感器(SURT)的端到端的多说话人语音识别。我们的模型采用递归神经网络转换器(RNN-T)作为骨干,可以满足各种延迟约束。我们研究了两种不同的模型架构,分别基于扬声器差分编码器和掩码编码器。为了训练该模型,我们研究了广泛使用的排列不变训练(PIT)方法和启发式错误分配训练(HEAT)方法。基于公开的LibriSpeechMix数据集上的实验,我们表明,与PIT相比,HEAT可以实现更好的准确性,并且具有150毫秒算法延迟约束的SURT模型在准确性方面优于基于离线序列到序列的基线模型。
2021-03-12 cs.CL cs.SD eess.AS
Stream RAG: Instant and Accurate Spoken Dialogue Systems with Streaming Tool Usage
Meta;Carnegie Mellon University(卡内基梅隆大学)
针对端到端语音对话系统易幻觉、工具集成延迟高的问题,提出流式RAG框架,通过并行预测工具查询降低延迟,构建AudioCRAG基准验证其可大幅提升问答准确率并减少工具使用延迟,且支持多模态输入。
2025-10-02 cs.CL cs.SD eess.AS
Stream attention-based multi-array end-to-end speech recognition
The Johns Hopkins University(约翰斯·霍普金斯大学);Amazon(亚马逊);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
采用多麦克风阵列的自动语音识别在远场鲁棒性方面取得了很大的成功。在此任务中,利用每个阵列共享和提供的所有信息至关重要。基于端到端(E2 E)自动语音识别系统中联合的连接主义时间分类(CTC)/注意力机制的研究进展,提出了一种基于流注意力的多数组框架.麦克风阵列,作为信息流,由单独的编码器激活,并在CTC和注意力网络的指令下解码。在注意力方面,采用了层次结构。在常规注意力网络之上,引入流注意力来引导解码器朝向信息量最大的编码器。实验已经进行了AMI和DIRHA多阵列语料库使用的编码器-解码器架构。与最好的单数组结果相比,该框架在两个数据集上分别实现了3.7%和9.7%的相对字出错率(WERs)降低,这也优于传统策略。
2019-02-18 cs.CL cs.SD eess.AS
TASTE-Streaming: Towards Streamable Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling
Graduate Institute of Communication Engineering, National Taiwan University(国立台湾大学通讯工程研究所)
本文提出TASTE-S,通过集成CTC ASR模块和重设计解码器,实现流式传输的文本对齐语音标记化与嵌入,减少延迟并保持鲁棒性。
2026-03-12 cs.CL cs.SD
Real-Time Streamable Generative Speech Restoration with Flow Matching
Signal Processing Group, Dept. of Informatics, Universität Hamburg(信息学院信号处理组,汉堡大学)
本文提出Stream.FM流式生成模型,通过优化架构和压缩技术实现低延迟的实时语音处理,展示其在语音增强等任务中的高性能表现。
2026-04-21 cs.LG cs.SD eess.SP
Learning a Dual-Mode Speech Recognition Model via Self-Pruning
Meta AI
人们越来越有兴趣将流媒体和全上下文自动语音识别(ASR)网络统一到单个端到端ASR模型中,以简化两种用例的模型训练和部署。而在现实世界的ASR应用中,流式ASR模型通常在更多的存储和计算约束下操作,例如,在嵌入式设备上-比任何服务器端全上下文模型。受全稀疏超网训练的最新进展的启发,其中多个子网络在一个模型中联合优化,这项工作的目的是在一个超网中联合学习一个紧凑的稀疏设备上流媒体ASR模型和一个大型密集服务器非流媒体模型。接下来,我们提出,在wav 2 vec 2.0自监督学习和监督ASR微调上执行超网训练不仅可以大幅改善先前工作中所示的大型非流模型,而且还能够改善紧凑的稀疏流模型。
2022-10-06 cs.CL cs.SD eess.AS
Stream-Omni: Simultaneous Multimodal Interactions with Large Language-Vision-Speech Model
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences (ICT/CAS)(中国科学院智能信息处理重点实验室);Key Laboratory of AI Safety, Chinese Academy of Sciences(中国科学院人工智能安全重点实验室);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学)
Stream-Omni提出高效模态对齐方法,以LLM为骨干,对视觉用序列拼接、对语音用CTC层映射,实现少数据下多模态同步交互,在视觉、语音及视觉引导语音任务上性能优异。
2025-06-22 cs.AI cs.CL cs.CV
Do we really need Self-Attention for Streaming Automatic Speech Recognition?
Orange Innovation(Orange创新公司)
本文质疑Transformer在流式自动语音识别中的必要性,提出用可变形卷积替代自注意力以提高效率,且未显著影响性能。
2026-01-27 cs.AI cs.SD eess.AS
Visual Speech Enhancement Without A Real Visual Stream
IIIT Hyderabad(海得拉巴国际信息技术学院);University of Bath(巴斯大学)
在这项工作中,我们重新思考在不受约束的现实世界环境中的语音增强的任务。当前最先进的方法仅使用音频流,并且在宽范围的真实世界噪声中的性能受到限制。最近的作品使用嘴唇的运动作为额外的线索,提高了质量的“音频”的方法生成的语音。但是,这些方法不能用于其中视觉流不可靠或完全不存在的若干应用。我们提出了一种新的语音增强模式,利用最近的突破,语音驱动唇合成。使用一个这样的模型作为教师网络,我们训练一个强大的学生网络,以产生准确的嘴唇运动,掩盖了噪音,从而作为一个“视觉噪音过滤器”。通过我们的伪唇方法增强的语音的可懂度与使用真实嘴唇的情况相当(< 3%差异)。这意味着即使在没有真实视频流的情况下,我们也可以利用使用嘴唇运动的优势。我们使用定量指标以及人工评估来严格评估我们的模型。我们网站上的其他消融研究和演示视频(包含定性比较和结果)清楚地说明了我们方法的有效性。我们在我们的网站上提供了一个演示视频,清楚地说明了我们提出的方法的有效性:\url{http://cvit.iiit.ac.in/research/projects/cvit-projects/visual-speech-enhancement-without-a-real-visual-stream}。还发布了代码和模型以供将来研究:\url{https://github.com/Sindhu-Hegde/pseudo-visual-…
2020-12-20 cs.CV cs.LG cs.MM