The INTERSPEECH 2020 Deep Noise Suppression Challenge: Datasets, Subjective Speech Quality and Testing Framework
Microsoft Corporation(微软公司);Microsoft Research(微软研究院)
INTERSPEECH 2020深度噪声抑制挑战赛旨在促进实时单通道语音增强的合作研究,旨在最大限度地提高增强语音的主观(感知)质量。评价噪声抑制方法的一种典型方法是在通过分裂原始数据集获得的测试集上使用客观度量。许多出版物报告了从与训练集相同的分布中得出的合成测试集的合理性能。然而,通常模型性能在真实记录上显著降低。此外,大多数传统的客观指标与主观测试没有很好的相关性,并且实验室主观测试对于大的测试集是不可扩展的。在这项挑战中,我们开源了一个大型的干净语音和噪声语料库,用于训练噪声抑制模型和一个代表性的测试集,用于由合成和真实录音组成的真实场景。我们还开源了一个基于ITU-T P.808的在线主观测试框架,供研究人员快速测试他们的开发。本次挑战赛的获胜者将根据对使用P.808框架的代表性测试集的主观评价进行选择。
2020-04-19 cs.LG cs.SD eess.AS
Beyond Performance Plateaus: A Comprehensive Study on Scalability in Speech Enhancement
Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学);Waseda University(早稻田大学)
本文全面研究了语音增强模型在架构、模型规模、计算预算和数据集规模上的可扩展性,发现其缩放效应与语音识别等任务的异同,为构建大规模多领域语料库和高效可扩展架构提供了新见解。
2024-06-06 cs.SD eess.AS
Scale This, Not That: Investigating Key Dataset Attributes for Efficient Speech Enhancement Scaling
Shanghai Jiao Tong University(上海交通大学)
提出一种生成-训练-评估框架,利用零样本文本转语音系统受控合成数据,发现声学属性比语义属性对语音增强模型性能更重要。
2024-12-19 cs.SD eess.AS
Quantum Fourier Transform Based Denoising: Unitary Filtering for Enhanced Speech Clarity
CRL Bharat Electronics Limited(巴拉特电子有限公司中央研究实验室);Indian Institute of Technology Delhi(印度理工学院德里分校)
本研究提出将量子傅里叶变换(QFT)集成到经典音频增强流水线的量子启发去噪框架,替换传统滤波器中的FFT,在多SNR条件下实现最高15dB的SNR提升,且低SNR与非平稳噪声下鲁棒性好、无额外开销,为量子增强语音处理提供可扩展路径。
2025-09-05 cs.ET cs.SD eess.AS
VoiceBridge: General Speech Restoration with One-step Latent Bridge Models
VoiceBridge通过一种通用的一步潜在桥模型实现高效语音修复,结合能量守恒的变分自编码器和可扩展Transformer,统一处理多种语音修复任务。
2026-03-10 cs.AI cs.SD eess.AS
FBWave: Efficient and Scalable Neural Vocoders for Streaming Text-To-Speech on the Edge
Facebook Reality Labs(Facebook现实实验室);Facebook AI(Facebook人工智能实验室);UC Berkeley(加州大学伯克利分校)
目前,越来越多的应用可以受益于基于边缘的文本到语音(TTS)。然而,大多数现有的TTS模型在计算上过于昂贵,并且不够灵活,无法部署在具有同样不同计算能力的各种边缘设备上。为了解决这个问题,我们提出了FBWave,这是一系列高效且可扩展的神经声码器,可以为不同的边缘设备实现最佳的性能效率权衡。FBWave是一种基于流的混合生成模型,结合了自回归和非自回归模型的优点。它可以产生高质量的音频,并在推理过程中支持流式传输,同时保持高度的计算效率。我们的实验表明,FBWave可以实现与WaveRNN相似的音频质量,同时将MAC减少40倍。更高效的FBWave变体可以实现高达109倍的MAC,同时仍然提供可接受的音频质量。音频演示可在https://bichenwu09.github.io/vocoder_demos上获得。
2020-11-25 cs.LG cs.SD eess.AS
Scalable Data Annotation Pipeline for High-Quality Large Speech Datasets Development
Appen
本文介绍了一个人在回路(HITL)数据注释管道,以生成高质量,大规模的语音数据集。该管道结合了人类和机器的优势,可以通过机器预标记和完全手动审计更快速,准确和经济高效地注释数据集。在注释管道中采用了盲测、行为监控和数据验证等质量控制机制,以减轻机器生成标签引入的潜在偏差。我们的A/B测试和试点结果表明,HITL管道可以将注释速度和容量提高至少80%,质量与手动双遍注释相当或更高。我们正在利用这个可扩展的管道来创建和不断增长用于多种语言的超高容量现成(UHV-OTS)语音语料库,每年每种语言的语音语料库扩展到10,000多小时。可以使用动态打包从UHV-OTS语料库生成定制数据集。UHV-OTS是一个长期的Appen项目,用于支持语音处理中的商业和学术研究数据需求。Appen每年将从UHV-OTS捐赠一些自由言论数据集,以支持CC-BY-SA许可下的学术和开源社区研究。我们还在Apache 2.0许可证下发布了数据预处理和预标记管道的代码,以允许复制论文中报告的结果。
2021-09-01 cs.LG cs.SD eess.AS
SVTS: Scalable Video-to-Speech Synthesis
Imperial College London(帝国理工学院);University of Augsburg(奥格斯堡大学)
视频到语音合成(也称为唇到语音)是指将无声的嘴唇运动翻译成相应的音频。这项任务由于其自我监督的性质(即,可以在没有人工标记的情况下进行培训),并结合不断增加的在线视听数据收集。尽管有这些强烈的动机,当代的视频到语音作品主要集中在中小型语料库与词汇和设置的实质性限制。在这项工作中,我们引入了一个可扩展的视频到语音的框架,由两个组件组成:一个视频到频谱图预测器和一个预先训练的神经声码器,它将梅尔频谱图转换成波形音频。我们实现了国家的最先进的结果网格和大大优于以前的方法LRW。更重要的是,通过使用简单的前馈模型专注于谱图预测,我们可以有效地将我们的方法扩展到非常大且无约束的数据集:据我们所知,我们是第一个在具有挑战性的LRS3数据集上显示出可理解结果的人。
2022-08-15 cs.CV cs.LG cs.SD
Self-Supervised Speech Quality Assessment (S3QA): Leveraging Speech Foundation Models for a Scalable Speech Quality Metric
Johns Hopkins University Applied Physics Laboratory(约翰斯·霍普金斯大学应用物理实验室)
本文提出自监督语音质量评估模型S3QA,利用WavLM嵌入余弦距离作为训练目标,在多种退化条件下预测语音质量,并与MOS和ASR性能对齐,实现可扩展的自动评估。
2025-10-08 cs.SD eess.AS
Scalable and Efficient Neural Speech Coding: A Hybrid Design
Indiana University(印第安纳大学);Electronics and Telecommunications Research Institute(电子通信研究院)
我们提出了一个可扩展的和有效的神经波形编码系统的语音压缩。我们将语音编码问题表述为自动编码任务,其中卷积神经网络(CNN)在其前馈例程期间作为神经波形编解码器(NWC)执行编码和解码。建议的NWC还将量化和熵编码定义为可训练模块,因此在优化过程中处理编码伪像和比特率控制。我们通过在NWC中引入紧凑的模型组件来实现效率,例如门控残差网络和深度可分离卷积。此外,所提出的模型具有可扩展的架构,跨模块残差学习(CMRL),以覆盖广泛的比特率。为此,我们采用残差编码的概念来级联多个NWC自动编码模块,其中每个NWC模块执行残差编码以恢复其先前模块已经创建的任何重构损失。CMRL也可以缩小以覆盖较低的比特率,为此它采用线性预测编码(LPC)模块作为其第一个自动编码器。该混合设计通过将LPC的量化过程重新定义为可微分过程,将LPC和NWC相结合,使系统训练成为端到端的方式。所提出的系统的解码器具有在低至中等比特率范围(12至20 kbps)中的一个NWC(0.12百万个参数)或在高比特率(32 kbps)中的两个NWC。虽然解码复杂度还没有像传统语音编解码器那样低,但它比其他神经语音编码器(诸如基于WaveNet的声码器)的解码复杂度显著降低。对于宽带语音编码质量,我们的系统在低和中等比特率的TIMIT测试话语上产生与AMR-WB和Opus相当或更好的性能。所提出的系统可以扩展到更高的比特率,以…
2021-11-28 cs.LG cs.SD eess.AS
A Scalable Pipeline for Enabling Non-Verbal Speech Generation and Understanding
ModelBest
本文提出了一种可扩展的自动标注框架,用于从自然语音中识别和整合非言语发声,创建了包含38,718个样本的NonVerbalSpeech-38K数据集,提升了非言语语音生成与理解的可控性和性能。
2026-01-13 cs.SD eess.AS
Multilingual Byte2Speech Models for Scalable Low-resource Speech Synthesis
The Hong Kong University of Science and Technology(香港科技大学);Microsoft China(微软中国)
为了将神经语音合成扩展到各种真实世界的语言,我们提出了一个多语言的端到端框架,该框架将字节输入映射到频谱图,从而允许任意输入脚本。除了在40多种语言上的强大结果外,该框架还展示了在极端低资源甚至只有40秒转录记录的Few-Shot场景下适应新语言的能力,而不需要词典,额外语料库,辅助模型或语言专业知识等每种语言资源,从而确保可扩展性。虽然它保留了令人满意的可理解性和自然匹配丰富的资源模型。详尽的比较和消融研究,以揭示低资源语言的框架的潜力。此外,我们提出了一种新的方法来提取特定语言的子网络的多语言模型,以更好地理解其机制。
2021-07-09 cs.CL cs.LG cs.SD
Cross-Scale Vector Quantization for Scalable Neural Speech Coding
Communication University of China(中国传媒大学);Microsoft Research Asia(微软亚洲研究院)
比特率可伸缩性是实时通信中音频编码的期望特征。现有的神经音频编解码器通常在训练过程中强制执行特定的比特率,因此需要为每个目标比特率训练不同的模型,这增加了发送方和接收方的内存占用,并且通常需要转码来支持多个接收方。在本文中,我们介绍了一种跨尺度可伸缩矢量量化方案(CSVQ),其中多尺度特征编码逐步特征融合和细化。以这种方式,如果仅接收到比特流的一部分,则重建粗级信号,并且随着更多比特可用,逐步提高质量。所提出的CSVQ方案可以灵活地应用于具有镜像自动编码器结构的任何神经音频编码网络,以实现比特率可伸缩性。主观实验结果表明,该方案优于经典的残差矢量量化(RVQ)的可扩展性。此外,所提出的CSVQ在3kbps下优于Opus在9kbps下和Lyra在3kbps下,并且随着比特率的增加,它可以提供优雅的质量提升。
2022-07-07 cs.LG cs.SD eess.AS
fairseq S^2: A Scalable and Integrable Speech Synthesis Toolkit
Facebook AI(Facebook 人工智能研究院)
本文提出了一种用于语音合成的fairseq扩展算法fairseq S^2。我们实现了一些自回归(AR)和非AR文本到语音模型,以及它们的多说话人变体。为了使训练语音合成模型与较少的策划数据,建立了一些预处理工具,并显示其重要性的经验。为了促进开发和分析的更快迭代,包含了一套自动度量。除了专门为此扩展添加的功能外,fairseq S^2还受益于fairseq提供的可扩展性,并且可以轻松地与该框架中提供的其他最先进的系统集成。代码、文档和预训练模型可在https://github.com/pytorch/fairseq/tree/master/examples/speech_synthesis上获得。
2021-09-14 cs.CL cs.SD eess.AS
An Adapter Based Pre-Training for Efficient and Scalable Self-Supervised Speech Representation Learning
Huawei R&D UK(华为英国研发中心)
我们提出了一种将预训练的自监督(SSL)语音表示转换为多种语言的方法。有大量未注释的语音,因此从原始音频创建自监督表示并在小的注释数据集上进行微调是构建语音识别系统的一个有前途的方向。SSL模型通常在预训练阶段对原始音频执行SSL,然后对一小部分注释数据进行微调。这些模型已经产生了ASR的最新结果。然而,这些模型的预训练非常昂贵。我们使用现有的wav2vec 2.0模型,并在利用现有模型知识的同时解决学习新语言表示的问题。至关重要的是,我们这样做不会灾难性地忘记现有的语言表征。我们使用适配器模块来加速预训练新的语言任务。我们的模型在学习新的语言任务时可以将预训练时间减少32%,并且在不忘记以前的语言表示的情况下学习这种新的音频语言表示。我们通过将这些语言表示应用于自动语音识别来进行评估。
2022-02-07 cs.CL cs.LG cs.SD
CosyVoice: A Scalable Multilingual Zero-shot Text-to-speech Synthesizer based on Supervised Semantic Tokens
Alibaba Group(阿里巴巴集团);Speech Lab(语音实验室)
针对现有无监督语音Token缺乏语义、与文本不对齐的问题,提出基于有监督语义Token的多语言零样本TTS模型CosyVoice,在语音克隆效果和可扩展性上表现更优,为该领域首次尝试。
2024-07-09 cs.AI cs.SD eess.AS
SSDM: Scalable Speech Dysfluency Modeling
UC Berkeley(加州大学伯克利分校);Zhejiang University(浙江大学);UCSF(加州大学旧金山分校)
本文提出SSDM框架,通过发音姿态强制对齐、CSA对齐器、Libri-Dys大规模模拟语料库和LLM端到端系统,解决语音不流利建模的可扩展性、数据和框架三大挑战。
2024-10-03 cs.AI cs.CL cs.SD
Fast Conformer with Linearly Scalable Attention for Efficient Speech Recognition
NVIDIA(英伟达);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出 Fast Conformer,通过新型下采样和有限上下文注意力实现高效训练、推理与长音频转写,并在 ASR、语音翻译和口语理解上取得更优速度与精度。
2023-09-30 cs.SD eess.AS
Sommelier: Scalable Open Multi-turn Audio Pre-processing for Full-duplex Speech Language Models
KAIST AI(韩国科学技术院人工智能);NAVER Cloud(NAVER云)
为全双工语音语言模型设计了一种鲁棒且可扩展的开源数据处理流程,以解决自然对话中的重叠和背通道问题,提升多说话人对话数据的质量和可用性。
2026-03-30 cs.AI cs.SD eess.AS
Distillation and Pruning for Scalable Self-Supervised Representation-Based Speech Quality Assessment
Institute of Electronic Music and Acoustics(电子音乐与声学研究所);Microsoft Research(微软研究院)
针对基于自监督表示的非侵入式语音质量评估模型尺寸问题,研究蒸馏与剪枝方法,通过在大规模MOS数据集重训练XLS-R-SQA作为教师模型生成伪标签训练学生模型,结合数据驱动剪枝,实现小模型尺寸下有效缩小与教师模型的性能差距。
2025-02-07 cs.SD eess.AS
MUSHRA-1S: A scalable and sensitive test approach for evaluating top-tier speech processing systems
Collaboration AI, Cisco Systems, United Kingdom(英国思科系统公司协作人工智能部门)
本文提出MUSHRA 1S单刺激评估方法,通过固定锚点和参考逐系统评分,在保持MUSHRA级灵敏度的同时获得ACR般的可扩展性,有效解决了高质量语音系统评估中ACR饱和与MUSHRA不可扩展的问题。
2025-09-23 eess.AS
Application of Audio Fingerprinting Techniques for Real-Time Scalable Speech Retrieval and Speech Clusterization
Faculty of Science, University of Sarajevo(科学学院,萨拉热窝大学);Infobip(Infobip公司)
本文针对电信与云平台中的语音检索与聚类,改进音频指纹技术,实现无需GPU的快速批处理,并支持基于转录的聚类。
2025-09-25 cs.IR cs.SD eess.AS
Towards Scalable AASIST: Refining Graph Attention for Speech Deepfake Detection
Speechka.ai Information Technologies, Mechanics and Optics University(Speechka.ai 信息科技,力学与光学大学);St. Petersburg State University(圣彼得堡州立大学);Moscow Technical University of Communications and Informatics(莫斯科通信与信息学技术大学)
本文通过引入冻结的Wav2Vec 2.0编码器、异构查询多头注意力模块和可训练上下文感知集成层改进AASIST架构,在ASVspoof 5上实现7.6%的EER,提升了语音深度伪造检测性能。
2025-07-15 cs.SD eess.AS
CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models
Alibaba Group(阿里巴巴集团)
CosyVoice 2 通过有限标量量化、预训练 LLM 骨干和块感知因果流匹配,在单一模型中实现高质量流式与非流式多语言语音合成,达到人类水平自然度和极低延迟。
2024-12-25 cs.AI cs.LG cs.SD
Scalable Polyhedral Verification of Recurrent Neural Networks
ETH Zürich(苏黎世联邦理工学院);VMWare Research(威睿研究部);UIUC(伊利诺伊大学厄巴纳-香槟分校);Hitachi Power Grids Research(日立电网研究院)
我们提出了一个可扩展的和精确的验证循环神经网络,称为证明基于两个新的想法:(i)一种方法来计算一组多面体抽象的非凸和非线性的经常性更新功能相结合的采样,优化和费马定理,和(ii)一个基于梯度下降的算法抽象细化的认证问题,结合多个抽象每个神经元的指导。使用Prover,我们提出了第一个证明循环神经网络的非平凡用例的研究,即语音分类。为了实现这一点,我们还为非线性语音预处理管道开发了自定义抽象。我们的评估表明,Prover成功地验证了计算机视觉,语音和运动传感器数据分类中的几个具有挑战性的经常性模型,超出了先前的工作。
2021-06-10 cs.LG cs.SD eess.AS
LLM Gesticulator: Leveraging Large Language Models for Scalable and Controllable Co-Speech Gesture Synthesis
Soulgate Technology Co., Ltd.(Soulgate科技有限公司)
本文提出首个基于大语言模型的协同语音手势生成框架 LLM Gesticulator,通过文本提示控制手势内容与风格,并验证了模型规模扩大带来的性能缩放定律,在客观指标和用户研究中均优于现有方法。
2024-10-22 cs.AI cs.CL cs.GR
ESPnet3: Infrastructure for Scalable Speech and Audio Research in the Foundation Model Era
Carnegie Mellon University(卡内基梅隆大学);Brno University of Technology(布拉格技术大学);Instituto Superior Técnico(技术高等研究院);Hanyang University(翰阳大学);Hitachi Astemo(日立阿美士多);Shanghai Jiao Tong University(上海交通大学)
提出ESPnet3框架,通过模块化系统架构、配置驱动的数据集组合和统一Python工作流,实现大规模语音音频研究的高效训练与扩展,显著降低工程开销。
2026-06-23 cs.SD eess.AS
ViT-TTS: Visual Text-to-Speech with Scalable Diffusion Transformer
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
提出首个基于可扩展扩散Transformer的视觉文本到语音模型ViT-TTS,通过融合视觉信息与音素序列并引入自监督学习框架,有效缓解数据稀缺问题,在多种资源条件下均达到最优性能。
2024-04-21 cs.SD eess.AS
Controllable Emphasis with zero data for text-to-speech
Amazon(亚马逊)
本文提出无需录音或标注的 TTS 可控重音方法,通过增加被强调单词的预测音素时长提升自然度与重音识别率,并在多语言、多嗓音和多风格实验中获得偏好。
2023-07-13 cs.LG cs.SD eess.AS
DiTTo-TTS: Diffusion Transformers for Scalable Text-to-Speech without Domain-Specific Factors
KRAFTON(克拉夫顿(游戏公司));NVIDIA(英伟达公司)
本文提出基于 DiT 的 DiTTo-TTS,通过变长建模、长度预测和语义潜在条件,在 82K 小时数据与 790M 参数规模下实现无需音素、时长等领域因素的先进零样本 TTS。
2025-02-17 cs.AI cs.CL cs.LG
Leveraging LLMs for Scalable Non-intrusive Speech Quality Assessment
本研究提出利用大语言模型作为伪评分器,构建LibriAugmented数据集,并采用两阶段训练策略,有效提升了非侵入式语音质量评估的泛化性能,为解决数据瓶颈提供了经济高效的方案。
2025-08-08 eess.AS
HASS: Hierarchical Simulation of Logopenic Aphasic Speech for Scalable PPA Detection
UC Berkeley(加州大学伯克利分校);UCSF(加州大学旧金山分校);Zhejiang University(浙江大学);Columbia University(哥伦比亚大学);Basque Center on Cognition, Brain and Language(巴斯克认知、大脑与语言中心)
本文提出HASS框架,通过系统模拟lvPPA的语义、语音和时间缺陷,提升PPA检测模型的准确性和泛化能力。
2026-03-25 cs.AI cs.SD eess.AS
Scalable Frameworks for Real-World Audio-Visual Speech Recognition
Korea Advanced Institute of Science and Technology(韩国高等科学技术院)
本文提出了一种可扩展的音频视觉语音识别系统框架,通过分层方法提升模型在现实环境中的鲁棒性和可扩展性。
2025-12-16 cs.CL cs.LG eess.AS
A Scalable Model Specialization Framework for Training and Inference using Submodels and its Application to Speech Model Personalization
Google LLC(谷歌有限责任公司)
提出一种基于 Submodels 的模块化框架,通过动态加载和并行训练提升模型训练与推理的可扩展性,在语音个性化中实现128倍吞吐量提升且不损失精度。
2022-09-13 cs.SD eess.AS
BR-ASR: Efficient and Scalable Bias Retrieval Framework for Contextual Biasing ASR in Speech LLM
AI Institute School of Computer Science, Shanghai Jiao Tong University(人工智能研究院计算机学院,上海交通大学);MoE Key Lab of AI AntGroup(AI人工智能混合专家实验室,蚂蚁集团)
针对语音大模型在命名实体和罕见词上下文偏置中的挑战,提出BR-ASR框架,通过语音-偏置对比学习和动态课程学习实现大规模高效偏置检索,在LibriSpeech上取得SOTA B-WER并显著提升可扩展性。
2025-05-25 cs.SD eess.AS eess.SP
UME: Upcycling Mixture-of-Experts for Scalable and Efficient Automatic Speech Recognition
UME通过将预训练稠密ASR检查点升级回收为更大的混合专家架构,结合层冻结与专家平衡策略,在保持延迟的同时显著降低错误率并大幅减少训练时间。
2024-12-23 eess.AS
TaigiSpeech: A Low-Resource Real-World Speech Intent Dataset and Preliminary Results with Scalable Data Mining In-the-Wild
Massachusetts Institute of Technology, USA(麻省理工学院);National Taiwan University, Taipei, Taiwan(国立台湾大学);National Taiwan University Artificial Intelligence Center of Research Excellence, Taipei, Taiwan(国立台湾大学人工智能研究中心);Academia Sinica, Taiwan(台湾“中央”研究院);National Yang Ming Chiao Tung University, Taiwan(阳明交通大学);Signal Analysis and Interpretation Laboratory (SAIL), University of Southern California, USA(信号分析与解释实验室(SAIL),南加州大学)
针对低资源台语,构建包含21位老年人3000条话语的语音意图数据集,并探索关键词匹配与LLM伪标注、音视频框架两种数据挖掘策略,以解决标注数据稀缺问题。
2026-06-23 cs.CL cs.LG eess.AS
WeSep: A Scalable and Flexible Toolkit Towards Generalizable Target Speaker Extraction
Shenzhen Research Institute of Big Data(深圳大数据研究院);School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳)数据科学学院);Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室)
本文介绍了WeSep,一个专为目标说话人提取(TSE)研究和实际应用设计的开源工具包,提供灵活的说话人建模、可扩展数据管理、实时数据模拟及部署支持,填补了该领域易用工具和预训练模型的空白。
2024-09-24 cs.SD eess.AS
SSVD-O: Parameter-Efficient Fine-Tuning with Structured SVD for Speech Recognition
KU Leuven(卢森堡大学);Carnegie Mellon University(卡内基梅隆大学)
SSVD-O通过结合输入和输出特征空间的结构SVD引导微调,实现高效语音识别模型的参数高效微调,提升泛化能力和减少灾难性遗忘。
2026-01-18 cs.CL cs.LG cs.SD
DiSTAR: Diffusion over a Scalable Token Autoregressive Representation for Speech Generation
X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University(X-LANCE实验室,计算机科学学院,上海交通大学);ByteDance Inc.(字节跳动公司)
DiSTAR提出一种零样本文本到语音框架,在离散RVQ码空间中耦合AR语言模型与掩码扩散模型,实现块级并行长语音合成,并在鲁棒性、自然度及说话人/风格一致性上超越现有最先进系统。
2025-10-15 cs.CL cs.LG eess.AS
Audio Tokens as a Budgeted Resource: Marginal-Utility Allocation for Scalable Audio Representations
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tencent(腾讯)
本文提出UniAdapt,通过学习RVQ细化的边际效用并在比特预算下分配音频令牌,实现可扩展的音频表示,显著降低失真并提升语音质量。
2026-09-29 eess.AS
LLM-Synth4KWS: Scalable Automatic Generation and Synthesis of Confusable Data for Custom Keyword Spotting
Google DeepMind(谷歌DeepMind)
LLM-Synth4KWS通过生成混淆数据提升定制关键词识别的准确率和鲁棒性。
2025-05-29 cs.SD eess.AS
wav2tok 2.0: Scalable Audio Tokenization Maintaining Explicit Pairwise Token Alignment for Efficient Audio Retrieval
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);KU Leuven(鲁汶大学)
提出wav2tok 2.0,通过分阶段训练(对比学习、向量量化、CTC对齐损失和DTW对齐帧预测)实现可扩展的语音分词,在查询示例的口语术语检测中优于基线方法。
2026-06-26 cs.SD eess.AS
Beyond Oversmoothing: Evaluating DDPM and MSE for Scalable Speech Synthesis in ASR
Centre for Speech Technology Research, University of Edinburgh(爱丁堡大学言语技术研究中心)
本研究探讨了 TTS 模型的过平滑行为是否导致 ASR 在合成数据上训练后真实语音表现不佳,系统比较了 DDPM 和 MSE 模型在 ASR 训练中的可扩展性,发现 DDPM 能更好利用数据和多样化说话人,并取得最佳真实与合成语音 WER 比率。
2024-10-16 cs.AI cs.CL eess.AS
FASA: a Flexible and Automatic Speech Aligner for Extracting High-quality Aligned Children Speech Data
SUNY Buffalo(纽约州立大学布法罗分校)
针对儿童语音ASR缺乏高质量对齐数据的问题,提出灵活自动语音对齐工具FASA,从含噪数据中提取高质量对齐儿童语音,在CHILDES数据集上数据质量比人工标注提升13.6倍。
2024-06-25 cs.CL cs.SD eess.AS
Improving Speech Emotion Recognition in Under-Resourced Languages via Speech-to-Speech Translation with Bootstrapping Data Selection
National Taiwan University(台湾大学);National Tsing Hua University(清华大学)
针对非英、中语言情感标注稀缺问题,提出用表达性 S2ST 与自举数据选择生成目标语言标注数据,提升多语言 SER 的跨模型与跨语言泛化性能。
2025-01-07 cs.CL cs.SD eess.AS
TESU-LLM: Training Speech-LLMs Without Speech via Unified Encoder Alignment
KT Corporation(KT公司);Department of Electrical and Computer Engineering(电气与计算机工程系);Sungkyunkwan University(成均馆大学)
本文提出 TESU-LLM 框架,通过统一编码器和轻量投影网络对齐语音、文本与 LLM 嵌入空间,仅用文本训练即可达到多模态训练基线的语音任务性能。
2025-06-01 cs.AI cs.CL cs.LG
Low-data? No problem: low-resource, language-agnostic conversational text-to-speech via F0-conditioned data augmentation
Amazon Alexa(亚马逊Alexa)
跨语言的表达风格的数据的可用性是有限的,并且记录会话是昂贵和耗时的。为了克服这些问题,我们演示了如何构建低资源,神经文本转语音(TTS)的声音,只有1小时的会话语音,当没有其他会话数据可用相同的语言。假设在该语言的非表达语音数据的可用性,我们提出了一个3步的技术:1)我们训练一个F0条件的语音转换(VC)模型作为数据增强技术; 2)我们训练一个F0预测控制语音转换的合成数据的会话风味; 3)我们训练一个TTS系统,消费增强数据。我们证明了我们的技术能够实现F0的可控性,可以跨说话者和语言进行扩展,并且在自然度方面具有竞争力,超过了最先进的基线模型,这是另一种不使用F0信息的增强方法。
2022-07-29 cs.SD eess.AS
Speech Foundation Models and Crowdsourcing for Efficient, High-Quality Data Collection
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);NAVER LABS Europe(NAVER欧洲实验室)
本文提出利用语音基础模型自动化众包语音数据验证,在法语、德语和韩语实验中实现超40%成本节省且不损质量,推动高效可扩展数据采集。
2024-12-16 cs.CL cs.SD eess.AS
Scalable Controllable Accented TTS
本文解决扩展口音TTS系统的挑战,通过语音地理定位模型发现口音标签和kNN语音转换增强音色,在CommonVoice上微调XTTS-v2,使模型超越基于自报标签微调的基线及现有口音TTS基准。
2025-08-10 eess.AS
UniSRM: A Unified Speech Reward Model for Reasoning-Based Fine-grained Assessment
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);Independent Researcher(独立研究者)
提出UniSRM统一语音奖励模型,通过两阶段流水线和推理一致性奖励机制,实现多维度、可解释的语音质量评估,在多种任务上优于现有方法。
2026-05-22 cs.SD eess.AS
A multilingual training strategy for low resource Text to Speech
ENSIAS, Mohammed V University in Rabat(拉巴特穆罕默德五世大学ENSIAS学院);International University of Rabat(拉巴特国际大学);University of Leeds(利兹大学);Sorbonne Université(索邦大学)
本文研究利用社交媒体数据和跨语言迁移学习训练低资源语言TTS模型,发现多语言预训练在语音可懂度和自然度上优于单语预训练。
2024-09-02 cs.CL cs.LG cs.SD
VQalAttent: a Transparent Speech Generation Pipeline based on Transformer-learned VQ-VAE Latent Space
Rowan University(罗文大学)
本文提出轻量级语音生成模型VQalAttent,通过VQ-VAE压缩音频频谱图并结合仅解码器Transformer学习离散潜在表示,在有限计算资源下生成可理解语音,并为更大规模商用生成模型提供可解释的改进指导。
2024-11-22 cs.LG eess.AS
Expressive Text-to-Speech using Style Tag
近年来,随着文本转语音(TTS)系统在语音质量和生成速度方面的迅速提高,许多研究者开始关注一个更具挑战性的问题:表达性TTS。为了控制说话风格,现有的表达TTS模型使用分类风格索引或参考语音作为风格输入。在这项工作中,我们提出了StyleTagging-TTS(ST-TTS),一种新颖的表达TTS模型,利用自然语言编写的风格标签。使用带有风格标签的TTS数据集和预先训练的语言模型,我们对语言嵌入和说话风格域之间的关系进行了建模,这使得我们的模型即使在训练过程中看不到风格标签也能工作。由于风格标签是用自然语言编写的,与风格索引或参考语音相比,它可以更直观、更可解释、更可扩展地控制说话风格。此外,在模型架构方面,我们提出了一个有效的单阶段训练的非自回归(NAR)TTS架构。实验结果表明,ST-TTS在语音质量和表现力方面优于现有的表达型TTS模型Tacotron 2-GST。
2022-10-06 eess.AS