A Unified Deep Speaker Embedding Framework for Mixed-Bandwidth Speech Data
Duke Kunshan University(昆山杜克大学);Wuhan University(武汉大学);Sun Yat-sen University(中山大学)
本文提出了一个统一的深度说话人嵌入框架,用于对不同采样率的语音数据进行建模。将窄带频谱图作为宽带频谱图的子图像,以图像分类的方式解决混合带宽数据的联合建模问题。从这个角度出发,我们阐述了几种不同的训练和测试数据场景下的混合带宽联合训练策略。所提出的系统能够灵活地处理混合带宽的语音数据在一个单一的扬声器嵌入模型,没有任何额外的下采样,上采样,带宽扩展,或填充操作。我们对VoxCeleb1数据集进行了广泛的实验研究。此外,所提出的方法的有效性进行了验证,通过SITW和NIST SRE 2016数据集。
2020-12-01 cs.CL cs.SD eess.AS
EBEN: Extreme bandwidth extension network applied to speech signals captured with noise-resilient body-conduction microphones
LMSSC;Conservatoire national des arts et métiers(法国国立工艺学院);HESAM Université(HESAM大学);French-German Research Institute of Saint-Louis (ISL)(圣路易法德研究院(ISL))
本文提出EBEN,一种基于GAN的极限带宽扩展网络,利用多频带分解和U-Net结构,结合特征与对抗损失,以轻量级生成器实现骨传导麦克风语音的实时宽带增强,达到最先进性能。
2023-03-03 cs.SD eess.AS
A lightweight and robust method for blind wideband-to-fullband extension of speech
本文提出一种仅约370K参数、140 MFLOPS的轻量鲁棒盲宽带至全频带扩展方法,帧长10 ms、前瞻0.27 ms,与Opus 1.5配合在9 kb/s下可达到3GPP EVS 9.6 kb/s及Opus 1.4 18 kb/s的质量,实现向后兼容的质量提升。
2025-07-18 cs.SD eess.AS
Configurable EBEN: Extreme Bandwidth Extension Network to enhance body-conducted speech capture
Laboratoire de Mécanique des Structures et des Systèmes Couplés(机械与耦合系统实验室);Conservatoire national des arts et métiers(法国国立工艺学院);HESAM Université(HESAM大学);French-German Research Institute of Saint-Louis (ISL)(圣路易法德研究所)
本文提出可配置EBEN,一种基于GAN的轻量级网络,通过多频带分解和U-Net结构增强骨导麦克风采集的语音,恢复全带宽,实现合成数据上最先进的实时增强效果。
2023-09-12 cs.SD eess.AS
Waveform Modeling and Generation Using Hierarchical Recurrent Neural Networks for Speech Bandwidth Extension
University of Science and Technology of China(中国科学技术大学);Baidu Speech Department(百度语音部门)
提出了一种基于层次循环神经网络的语音信号波形建模与生成方法。与传统的BWE方法预测频谱参数重建宽带语音波形不同,该方法不需要声码器,直接对波形样本进行建模和预测。受无条件神经音频生成器SampleRNN的启发,HRNN模型使用由长短期记忆(LSTM)层和前馈(FF)层组成的神经网络来表示以输入窄带波形样本为条件的每个宽带或高频波形样本的分布。LSTM层形成了一个分层结构,每一层都以特定的时间分辨率运行,以有效地捕获时间序列之间的长跨度依赖关系。此外,附加的条件,如瓶颈(BN)的特征,从窄带语音使用基于深度神经网络(DNN)的状态分类器,被用作辅助输入,以进一步提高所生成的宽带语音的质量。对比几种波形建模方法的实验结果表明,与基于扩展卷积神经网络(DCNN)的方法和基于简单样本级递归神经网络(SRNN)的方法相比,基于HRNN的方法可以获得更好的语音质量和运行时间效率。我们提出的方法也优于传统的基于声码器的BWE方法,使用LSTM-RNN重建的宽带语音的主观质量方面。
2018-01-24 cs.SD eess.AS
Bandwidth Embeddings for Mixed-bandwidth Speech Recognition
Apple Inc.(苹果公司)
在本文中,我们解决了处理窄带和宽带语音的问题,通过建立一个单一的声学模型(AM),也称为混合带宽AM。在所提出的方法中,使用辅助输入特征来向模型提供带宽信息,并且作为声学模型训练的一部分来联合学习带宽嵌入。实验结果表明,使用带宽嵌入有助于该模型处理的窄带和宽带语音的变化,并使之有可能训练混合带宽AM。此外,我们建议使用并行卷积层来更好地处理窄语音和宽带语音之间的失配,其中单独的卷积层用于每种类型的输入语音信号。我们最好的系统实现了13%的窄带语音的相对改善,而宽带语音不降级。
2019-09-05 cs.CL cs.LG eess.AS
EEND-SS: Joint End-to-End Neural Speaker Diarization and Speech Separation for Flexible Number of Speakers
Carnegie Mellon University(卡内基梅隆大学);Tencent AI Lab(腾讯人工智能实验室)
在本文中,我们提出了一个新的框架,共同执行三个任务:说话人日记,语音分离,说话人计数。我们提出的框架集成了基于端到端神经日记化(EEND)模型的说话人日记化,基于编码器-解码器的吸引子(EDA)的说话人计数,以及使用Conv-TasNet的语音分离。此外,我们提出了一个多个1x 1卷积层架构,用于估计对应于一个灵活的扬声器数量的分离掩码和融合技术,用于细化分离的语音信号与获得的扬声器diarization信息,以改善联合框架。使用LibriMix数据集的实验表明,我们提出的方法在固定和灵活数量的扬声器的日记化和分离度量方面优于单任务基线,并提高了灵活数量扬声器的扬声器计数性能。所有材料将在ESPnet工具包中开源和可复制。
2022-12-15 cs.SD eess.AS
Large-Scale Mixed-Bandwidth Deep Neural Network Acoustic Modeling for Automatic Speech Recognition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research AI(IBM研究院人工智能部门);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
在自动语音识别(ASR)中,具有不同采样率的宽带(WB)和窄带(NB)语音信号通常使用单独的声学模型。因此,混合带宽(MB)声学建模对ASR系统部署具有重要的实用价值。在本文中,我们使用1,150小时的WB数据和2,300小时的NB数据广泛研究了ASR的大规模MB深度神经网络声学建模。我们研究了各种MB策略,包括下采样,上采样和带宽扩展MB声学建模和评估其性能的8个不同的WB和NB测试集从不同的应用领域。为了处理大量的训练数据,使用同步数据并行在多个GPU上进行分布式训练。
2019-07-10 cs.CL cs.SD eess.AS
HiFiTTS-2: A Large-Scale High Bandwidth Speech Dataset
NVIDIA(英伟达)
本文提出HiFiTTS-2大规模高带宽语音数据集,基于LibriVox构建,含数万小时22.05/44.1 kHz英语语音及元数据,并验证其可有效训练高质量零样本TTS模型。
2025-09-19 eess.AS
AVFSNet: Audio-Visual Speech Separation for Flexible Number of Speakers with Multi-Scale and Multi-Task Learning
School of Control Science and Engineering, Shandong University(控制科学与工程学院,山东大学);Industrial Technology Research Institte of Shandong Province(山东省工业技术研究院)
本文提出AVFSNet,通过多尺度编码、并行架构及音视频多任务学习,在未知说话人数量条件下实现鲁棒的语音分离与说话人计数。
2025-07-17 cs.SD eess.AS
HiFi++: a Unified Framework for Bandwidth Extension and Speech Enhancement
Samsung Research(三星研究院);Higher School of Economics(高等经济大学);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Artificial Intelligence Research Institute(人工智能研究院)
本文提出基于 HiFi 声码器并改进生成器架构的统一框架 HiFi++,在带宽扩展和语音增强任务上以更少算力达到优于或可比肩 SOTA 的性能。
2023-12-10 cs.LG cs.SD eess.AS
FASA: a Flexible and Automatic Speech Aligner for Extracting High-quality Aligned Children Speech Data
SUNY Buffalo(纽约州立大学布法罗分校)
针对儿童语音ASR缺乏高质量对齐数据的问题,提出灵活自动语音对齐工具FASA,从含噪数据中提取高质量对齐儿童语音,在CHILDES数据集上数据质量比人工标注提升13.6倍。
2024-06-25 cs.CL cs.SD eess.AS
On the Relevance of Bandwidth Extension for Speaker Verification
Escola Universitària Politècnica de Mataró (UPC)(马塔罗理工大学学院(加泰罗尼亚理工大学))
在本文中,我们考虑的窄带语音信号(0.3-3.4 kHz)的带宽扩展到0.3-8 kHz的说话人确认的效果。使用协方差矩阵为基础的验证系统与检测误差权衡曲线,我们比较系统的性能在窄带,宽带(0-8 kHz),和带宽扩展的语音。实验进行了不同的短时间频谱参数化来自麦克风和ISDN语音数据库。所研究的带宽扩展算法没有引入影响说话人验证任务的文物,我们实现了1%和10%(取决于模型的顺序)之间的改进设计用于窄带语音的验证系统时,梅尔频率倒谱系数的短时间频谱参数化被使用。
2022-04-05 cs.CR cs.SD eess.AS
Online Streaming End-to-End Neural Diarization Handling Overlapping Speech and Flexible Numbers of Speakers
Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一种基于端到端神经日志化(EEND)模型的流日志化方法,该方法可以处理灵活的说话人数量和重叠语音。在我们之前的研究中,提出了说话人跟踪缓冲区(STB)机制,使用预训练的EEND模型实现分块流式日志化。STB跟踪先前块中的说话者信息以映射新块中的说话者。但是,它只适用于两个扬声器的录音。在本文中,我们提出了一个扩展的STB灵活的扬声器,FLEX-STB。所提出的方法使用零填充,然后是扬声器跟踪,其消除了缓冲区和当前块之间的扬声器数量的差异。我们还研究了缓冲区更新策略,以选择重要帧来跟踪多个说话者。CALLHOME和DIHARD II数据集上的实验表明,该方法实现了与离线EEND方法相当的性能,延迟为1秒。结果还表明,我们提出的方法优于最近提出的基于EEND(BW-EDA-EEND)的分块日记化方法。
2021-04-07 cs.SD eess.AS
VeRe-Flow: Guiding Flow Matching toward Clean Speech via Velocity Contrastive Regularization and Representation Alignment for Noise-Robust Bandwidth Expansion
MAGO, South Korea(MAGO);KAIST, South Korea(韩国科学技术院)
提出VeRe-Flow框架,通过速度对比正则化和表示对齐,在噪声环境下引导流匹配生成干净语音,实现鲁棒带宽扩展,在LSD、DNSMOS和MOS指标上达到最优。
2026-06-28 eess.AS
AMRConvNet: AMR-Coded Speech Enhancement Using Convolutional Neural Networks
Samsung R&D Institute Philippines(三星菲律宾研发研究所);University of the Philippines(菲律宾大学)
使用语音编码将语音转换为数字信号以进行有效传输。然而,这通常会降低语音的质量和带宽。本文探讨了卷积神经网络在人工带宽扩展(ABE)和语音增强中的应用,特别是在2G蜂窝电话呼叫中使用的自适应多速率(AMR)。在本文中,我们介绍了AMRConvNet:一个卷积神经网络,对AMR编码的语音进行ABE和语音增强。该模型直接对输入和输出语音的时域进行操作,但使用组合的时域重建损失和频域感知损失进行优化。AMRConvNet导致AMR比特率为4.75k的平均意见分数-收听质量目标(MOS-LQO)平均提高了0.425分,AMR比特率为12.2k的MOS-LQO平均提高了0.073分。AMRConvNet在AMR比特率输入中也表现出了鲁棒性。最后,消融测试表明,我们的组合时域和频域损失导致比单独使用任一损失略高的MOS-LQO和更快的训练收敛。
2020-08-24 cs.SD eess.AS
Artificial bandwidth extension using deep neural network and $H^\infty$ sampled-data control theory
在窄带电话通信中,为了改善语音信号的质量,对语音信号进行人工带宽扩展。为了实现这一点,通过利用基于采样数据控制理论和深度神经网络(DNN)的新的外推过程来恢复语音信号的丢失的高频(高频带)分量。$H^\infty$采样数据控制理论有助于设计高频带滤波器,通过最佳地利用采样间信号来恢复高频信号。语音信号的非平稳(时变)特性迫使使用大量的高频带滤波器。因此,我们使用深度神经网络来估计高频带滤波器信息和未看到信号的指定窄带信息的增益因子。对TIMIT数据集和RSR15数据集进行了客观分析。另外,如语音处理中通常需要的那样,对有声语音以及无声语音分别执行客观分析。对RSR15数据集进行主观分析。
2021-08-30 eess.AS
Speech bandwidth extension with WaveNet
DeepMind(深度思维)
大规模移动通信系统往往包含具有窄带瓶颈的传统传输信道,从而导致特征“电话质量”音频。虽然存在更高质量的编解码器,但由于网络的规模和异构性,使用现代高质量音频编解码器传输更高采样率的音频在实践中可能是困难的。本文提出了一种方法,其中通信节点可以替代地扩展可能已经通过低速率编解码器的带限传入语音信号的带宽。为此,我们提出了一种基于WaveNet的模型,其条件是带宽受限的语音音频信号的8 kHz和具有来自GSM全速率(FR)压缩的伪影的音频的对数梅尔频谱图表示,以重构更高分辨率的信号。在我们的实验MUSHRA评估中,我们表明,经过训练从通过8 kHz GSM-FR编解码器的音频上采样到24 kHz语音信号的模型能够重建质量仅略低于16 kHz自适应多速率宽带音频编解码器(AMR-WB)编解码器的音频,并关闭原始编码信号和以24 kHz采样的原始语音之间的感知质量差距的一半左右。我们进一步表明,当相同的模型通过8 kHz的音频,还没有被压缩,能够再次重建音频的质量略好于16 kHz AMR-WB,在相同的MUSHRA评估。
2019-07-05 cs.LG cs.SD eess.AS
Task and Perception-aware Distributed Source Coding for Correlated Speech under Bandwidth-constrained Channels
Stanford University(斯坦福大学);University of Oklahoma(俄克拉荷马大学)
提出NDPCA辅助的分布式信源编码算法,通过感知感知任务损失函数平衡真实感与任务性能,在带宽受限下PSNR显著提升并逼近理论上限。
2025-01-20 cs.AI cs.IT cs.SD
Towards High-Quality and Efficient Speech Bandwidth Extension with Parallel Amplitude and Phase Prediction
National Engineering Research Center of Speech and Language Information Processing(国家语音与语言信息处理工程研究中心);University of Science and Technology of China(中国科学技术大学)
提出基于GAN的AP-BWE模型,通过并行预测幅度和相位谱实现高质量高效率的语音带宽扩展,在16kHz和48kHz任务中达到最先进性能,并首次直接扩展高频相位谱。
2024-12-14 cs.SD eess.AS eess.SP
Flexible Multichannel Speech Enhancement for Noise-Robust Frontend
本文提出一种灵活多通道语音增强系统,结合适用于任意通道配置的神经掩码估计器和自动参考选择多通道滤波器,在多种阵列几何结构上达到与专用系统相当的性能,并显著提升随机麦克风配置下的ASR鲁棒性。
2024-06-06 eess.AS
Configurable-Bandwidth Time-Frequency Modeling for Efficient Full-Band Speech Enhancement Across Sampling Rates
Sogang University(西江大学)
提出采样率无关的TF-Refiner模型,通过可配置分析带宽解耦深度处理与全频带,在多种采样率下超越特定率模型,支持推理时灵活选择成本-质量平衡。
2026-09-25 eess.AS
ClapFM-EVC: High-Fidelity and Flexible Emotional Voice Conversion with Dual Control from Natural Language and Speech
Kyushu University(九州大学);The University of Tokyo(东京大学);Ximalaya Inc.(喜马拉雅公司);EverestAI
针对高保真灵活可控情感语音转换的难题,提出ClapFM-EVC框架,通过EVC-CLAP跨模态对齐情感特征、FuEncoder融合特征及流匹配模型重建频谱,实现语言/语音双控且强度可调的高质量转换,经主客观评估验证有效。
2025-05-20 cs.AI cs.SD eess.AS
Fast and Flexible Audio Bandwidth Extension via Vocos
Independent Researcher(独立研究者)
本文提出了一种基于Vocos的音频带宽扩展模型,通过生成高频内容实现8-48kHz范围内的高质量音频增强,具备高吞吐量和实时处理能力。
2026-03-07 cs.LG cs.SD eess.AS
On the Utility of Speech and Audio Foundation Models for Marmoset Call Analysis
Idiap Research Institute(伊迪亚普研究所);Ecole polytechnique fédérale de Lausanne(洛桑联邦理工学院)
本研究评估语音与音频基础模型在狨猴叫声类型与叫声者分类任务中的效用,发现更高预训练带宽能提升性能,且语音与通用音频预训练结果相当,均优于频谱基线。
2024-07-24 cs.LG cs.SD eess.AS
Universal Acoustic Adversarial Attacks for Flexible Control of Speech-LLMs
ALTA Institute, Department of Engineering, University of Cambridge(ALTA研究院,工程系,剑桥大学)
本研究针对语音大语言模型的安全漏洞,提出前置固定通用对抗音频的攻击方法,可实现无输出、改任务及属性选择性攻击,验证了Qwen2-Audio等模型的脆弱性,为提升模型鲁棒性提供依据。
2025-05-20 cs.CL cs.SD eess.AS
Weakly Supervised Data Refinement and Flexible Sequence Compression for Efficient Thai LLM-based ASR
Northwestern Polytechnical University(西北工业大学);iQIYI
本文提出EThai-ASR系统,首次将LLM应用于泰语ASR,通过自演化数据精炼策略解决数据稀缺问题,并设计可插拔序列压缩模块降低计算需求,在多个数据集上达到SOTA。
2025-05-28 cs.SD eess.AS
FSC-Net: Integrating Fast Fourier Convolutions and Progressive Learning for Speech Bandwidth Extension
Nanjing University(南京大学);Horizon Robotics(地平线机器人)
提出FSC-Net,通过集成快速傅里叶卷积和频率渐进学习,高效建模跨频段谐波依赖,实现窄带到宽带语音的高保真重建,在VCTK 4kHz-48kHz任务上以1.54M参数取得领先的LSD和PESQ分数。
2026-06-05 eess.AS
A Novel Semantic Compression Approach for Ultra-low Bandwidth Voice Communication
本文提出一种利用生成式语音模型高层语义表示的新型语义通信方法,在比特率降低2-4倍的情况下,于转录、情感分析和说话人验证任务上达到或超越现有音频编解码器,并在感知质量与说话人验证上超越Encodec。
2025-09-18 cs.SD eess.AS
Perceiver-Prompt: Flexible Speaker Adaptation in Whisper for Chinese Disordered Speech Recognition
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);The Chinese University of Hong Kong(香港中文大学);Shenzhen Institute of Advanced Technology, CAS(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学)
针对中文构音障碍语音识别数据少、说话人差异大的问题,提出 Perceiver-Prompt,通过 LoRA 微调 Whisper 并利用可训练 Perceiver 生成定长说话人提示,CER 最高相对降低 13.04%。
2024-06-14 cs.AI cs.SD eess.AS
DurFlex-EVC: Duration-Flexible Emotional Voice Conversion Leveraging Discrete Representations without Text Alignment
Korea University(高丽大学);Ajou University(亚洲大学)
本文提出DurFlex-EVC,一种无需文本或对齐信息的时长灵活情感语音转换框架,通过单元对齐器和风格自编码器解耦内容与情感,并利用分层风格编码器增强表现力,实验证明其优于基线模型。
2025-01-21 cs.AI cs.SD eess.AS
A Fully Time-domain Neural Model for Subband-based Speech Synthesizer
Korea Advanced Institute of Science and Technology(韩国科学技术院);KAIST Institute for Artificial Intelligence(KAIST人工智能研究院)
介绍了一种用于子带语音合成器的深度神经网络模型。该模型利用子带信号的短带宽,降低了时域语音发生器的复杂度。我们采用多层次小波分析/合成分解/重构信号到子带的时域。受WaveNet的启发,提出了一种卷积神经网络(CNN)模型,在时域内对子带语音信号进行完全预测。由于子带的带宽较短,简单的网络架构足以精确地训练子带的简单模式。在教师强迫的地面实况实验中,子带合成器在主观和客观测量方面都显着优于全带模型。此外,通过使用发音字典的音素序列上的条件的模型,我们已经实现了基于子带的文本到语音(TTS)合成器,这是近端到端的全时域神经模型。生成的语音的子带TTS表现出相当的质量作为全带一个与一个更轻的网络结构为每个子带。
2019-07-02 cs.LG cs.SD eess.AS
FlexIO: Flexible Single- and Multi-Channel Speech Separation and Enhancement
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL));Waseda University(早稻田大学);University of Trento(特伦托大学);Brno University of Technology(布拉格技术大学);NTT, Inc.(NTT公司)
本文提出FlexIO,一种灵活的输入输出语音分离与增强系统,通过提示向量和阵列无关的通道通信机制,支持任意数量说话人和多麦克风配置,并在实验中验证了其鲁棒性。
2025-10-24 cs.SD eess.AS eess.SP
WeSep: A Scalable and Flexible Toolkit Towards Generalizable Target Speaker Extraction
Shenzhen Research Institute of Big Data(深圳大数据研究院);School of Data Science, The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳)数据科学学院);Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯人工智能实验室)
本文介绍了WeSep,一个专为目标说话人提取(TSE)研究和实际应用设计的开源工具包,提供灵活的说话人建模、可扩展数据管理、实时数据模拟及部署支持,填补了该领域易用工具和预训练模型的空白。
2024-09-24 cs.SD eess.AS
Speak or Chat with Me: End-to-End Spoken Language Understanding System with Flexible Inputs
New York University(纽约大学);IBM Research AI(IBM研究院人工智能实验室)
口语语言理解(SLU)中最近的研究的主要焦点是端到端方法,其中单个模型可以直接从语音输入预测意图,而无需中间转录。然而,这一方法带来了一些挑战。首先,由于语音可被视为个人可识别信息,因此在某些情况下,只能访问自动语音识别(ASR)转录。其次,意图标记的语音数据是稀缺的。为了解决第一个挑战,我们提出了一个新的系统,可以从灵活的输入类型预测意图:语音,ASR成绩单,或两者兼而有之。我们表现出强大的性能,无论是模态单独,当语音和ASR成绩单,通过系统组合,我们实现了更好的结果比使用一个单一的输入方式。为了解决第二个挑战,我们利用一个语义健壮的预训练BERT模型,并采用一个跨模态系统,在共享的潜在空间中共同训练文本嵌入和声学嵌入。我们通过利用在LibriSpeech上预训练的声学模块和在我们的目标数据集上对文本模块进行域适应来进一步增强该系统。我们的实验显示了这些预训练和微调策略的显著优势,从而使系统在Snips SLU和Fluent Speech Commands数据集上实现了具有竞争力的意图分类性能。
2021-06-14 cs.CL cs.LG cs.SD
MUSE: Flexible Voiceprint Receptive Fields and Multi-Path Fusion Enhanced Taylor Transformer for U-Net-based Speech Enhancement
School of Electronic Information, Sichuan University(四川大学电子信息学院);School of Software, Yunnan University(云南大学软件学院)
针对语音增强中轻量化与高性能难平衡的问题,提出基于U-net的MUSE网络,通过带可变形嵌入的MET Transformer模块融合通道空间注意力分支,在VoiceBank+DEMAND数据集上以0.51M参数量实现有竞争力的性能并降低成本。
2024-06-19 cs.IR cs.IT cs.LG
EDNet: A Versatile Speech Enhancement Framework with Gating Mamba Mechanism and Phase Shift-Invariant Training
School of Electrical Engineering, Korea Advanced Institute of Science and Technology(韩国科学技术院电子工程学院)
EDNet通过门控Mamba机制和相位不变训练,实现对多种语音失真类型的高效增强,展现高适应性和灵活性。
2026-02-04 cs.SD eess.AS
CIS-BWE: Chaos-Informed Speech Bandwidth Extension
Chittagong University of Engineering and Technology(奇坦加大学工程与技术学院);George Mason University(乔治·梅森大学)
本文提出NDSI-BWE框架,利用六种基于非线性动力学系统的判别器捕捉语音的复杂时间行为,通过深度卷积实现参数减少,提升语音带宽扩展性能。
2026-05-15 cs.AI cs.SD eess.AS
On the relevance of bandwidth extension for speaker identification
Escola Universitària Politècnica de Mataró (UPC)(马塔罗理工学院(加泰罗尼亚理工大学))
在本文中,我们讨论了相关的带宽扩展说话人辨识任务。我们主要想研究是否有可能识别已经扩展了带宽的声音。为此,我们创建了两个不同的语音信号数据库(麦克风和ISDN),这些语音信号的带宽从电话带宽([300,3400] Hz)扩展到全带宽([100,8000] Hz)。我们已经评估了不同的参数化,我们已经发现,MELCEPST参数化可以利用带宽扩展算法在几种情况下。
2022-02-24 cs.LG cs.SD eess.AS
Interactive tools for making temporally variable, multiple-attributes, and multiple-instances morphing accessible: Flexible manipulation of divergent speech instances for explorational research and education
本文提出交互式工具扩展,使时间可变、多属性、多实例的语音变形算法更易用,支持探索性研究与教育,并在研究生课程中验证成功。
2024-04-20 cs.HC eess.AS
Self-Supervised Convolutional Audio Models are Flexible Acoustic Feature Learners: A Domain Specificity and Transfer-Learning Study
本文通过BYOL-A自监督预训练研究卷积音频模型的领域特异性,发现无论预训练数据来自语音还是非语音,模型在多数下游任务上都能达到或超过领域专用模型,证明SSL可学习灵活的无标签音频表示并支持跨领域迁移。
2025-02-04 eess.AS
CtrlSpeech: Coarse-to-Fine Control for Expressive Speech Synthesis
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊公司)
针对现有TTS系统难以实现词/音素级细粒度表达控制的问题,提出基于DiTAR架构的CtrlSpeech框架,结合全局说话人条件与音素对齐韵律信号,实现灵活可控的表达语音合成,兼具零样本性能与更优可控性。
2026-08-11 cs.HC cs.SD eess.AS
VC-ENHANCE: Speech Restoration with Integrated Noise Suppression and Voice Conversion
Qualcomm Technologies Inc.(高通技术公司)
本文提出 NS+VC 两阶段语音修复框架,利用基于扩散的语音转换依据说话人嵌入和语音内容恢复高质量语音,并通过内容编码器自适应改善含噪条件下的可懂度。
2024-09-10 cs.SD eess.AS
Instance-Specific Test-Time Training for Speech Editing in the Wild
Korea Electronics Technology Institute(韩国电子技术研究院)
针对真实场景语音编辑难以适应未知声学条件的问题,提出实例特定测试时训练方法,通过直接与间接监督及掩码长度调整优化声学过渡与语速控制,在客观和主观评估中均优于现有系统。
2025-11-03 cs.SD eess.AS
Multi-channel target speech enhancement based on ERB-scaled spatial coherence features
National Tsing Hua University(国立清华大学)
最近,基于深度学习的语音增强技术受到了相当大的研究关注。如果麦克风信号中的空间信息被利用,麦克风阵列在某些不利的声学条件下与单麦克风系统相比可以是有利的。然而,多通道语音增强通常在短时傅里叶变换(STFT)域中执行,这使得增强方法在计算上昂贵。为了解决这个问题,我们提出了一种新的等效矩形带宽(ERB)缩放的空间相干性功能,这是依赖于两个ERB频带之间的目标扬声器活动。在混响环境中使用四麦克风阵列进行的实验,其中涉及语音干扰,证明了所提出的系统的有效性。这项研究还表明,用ERB缩放的空间特征训练的网络对阵列中麦克风的几何形状和数量的变化具有鲁棒性。
2022-07-17 cs.SD eess.AS
DiffStyleTTS: Diffusion-based Hierarchical Prosody Modeling for Text-to-Speech with Diverse and Controllable Styles
University of Science and Technology of China(中国科学技术大学);iFLYTEK CO.LTD.(科大讯飞股份有限公司);China Mobile Research Institute(中国移动研究院)
针对文本到韵律的一对多映射问题,提出 DiffStyleTTS,利用条件扩散、改进无分类器引导和分层韵律建模实现风格可控的语音合成,并在自然度与速度上优于基线。
2024-12-04 cs.AI cs.CL cs.SD
Generative Speech Foundation Model Pretraining for High-Quality Speech Extraction and Restoration
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院);Massachusetts Institute of Technology(麻省理工学院)
提出一种生成式预训练语音基础模型,直接处理复数值STFT系数以避免声码器限制,在语音去噪、带宽扩展和目标说话人提取等恢复任务中超越强基线。
2024-09-25 cs.SD eess.AS
Query-Based Asymmetric Modeling with Decoupled Input-Output Rates for Speech Restoration
Sogang University(西江大学)
研究语音恢复中输入输出采样率不同的问题,提出基于查询的xSFI建模框架TF-Restormer,通过特定编码合成方式及多种损失训练,在多采样率基准测试中无需冗余重采样实现保真度与感知质量平衡。
2026-07-09 eess.AS
Time-domain speech super-resolution with GAN based modeling for telephony speaker verification
自动说话人验证(ASV)技术在虚拟助理中已经变得司空见惯。然而,当训练域和测试域之间不匹配时,其性能受到影响。混合带宽训练,即,汇集来自这两个域的训练数据是开发适用于窄带域和宽带域的通用模型的优选选择。我们建议通过对窄带信号进行神经上采样来补充这种技术,也称为带宽扩展。我们的主要目标是发现和分析基于高性能时域生成对抗网络(GAN)的模型,以改进我们下游最先进的ASV系统。我们选择GANs是因为它们(1)对于学习条件分布是强大的,(2)允许在训练下游任务(ASV)时灵活地使用插件作为预处理器。以前的工作主要集中在特征域的带宽扩展和有限的实验设置。我们通过1)使用时域扩展模型,2)报告三个真实测试集的结果,2)扩展训练数据,以及3)设计新的测试时间方案来解决这些限制。我们比较了有监督的(条件GAN)和无监督的GANs(循环GAN),并证明了平均相对改善相等错误率分别为8.6%和7.7%。为了进一步分析,我们研究了声谱图视觉质量,音频感知质量,t-SNE嵌入和ASV分数分布的变化。我们表明,我们的带宽扩展导致的现象,如移动电话(测试)嵌入宽带(训练)信号,感知质量与下游性能的负相关性,和条件无关的分数校准。
2022-09-04 eess.AS
A Supervised Speech enhancement Approach with Residual Noise Control for Voice Communication
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
对于语音通信,重要的是从其噪声版本中提取语音而不引入不自然的人工噪声。通过研究非监督语音增强方法的子带均方误差(MSE),揭示其与已有的有监督语音增强方法的损失函数之间的关系,导出了考虑残余噪声控制的有监督语音增强方法的广义损失函数。我们的广义损失函数包含著名的MSE损失函数和许多其他常用的损失函数作为特殊情况。与传统的损失函数相比,本文提出的广义损失函数能够更灵活地在语音失真和噪声抑制之间进行权衡。这是因为可以引入一组经过充分研究的噪声整形方案来控制实际应用中的残余噪声。客观和主观测试结果验证了残余噪声控制对有监督语音增强方法的重要性。
2019-12-08 cs.SD eess.AS
A Unified Neural Codec Language Model for Selective Editable Text to Speech Generation
School of Electronic Information, Wuhan University, China(武汉大学电子信息学院);Microsoft Corporation(微软公司)
SpeechEdit是一种通过选择性控制机制实现灵活属性控制的神经编码语言模型,用于可编辑的文本到语音生成。
2026-01-18 cs.SD eess.AS
Multi-Input Multi-Output Target-Speaker Voice Activity Detection For Unified, Flexible, and Robust Audio-Visual Speaker Diarization
针对传统TS-VAD易受重叠语音干扰、视觉模态存在缺失与遮挡问题,提出MIMO-TSVAD框架,依托统一序列到序列架构实现多模态灵活融合的说话人分割,在多个数据集上取得SOTA性能且鲁棒性优异。
2025-07-31 eess.AS
Wavenet based low rate speech coding
Google Inc.(谷歌公司);DeepMind(深度思维);Victoria University of Wellington(惠灵顿维多利亚大学)
传统的语音参数编码虽然速率低,但由于模型的不足,重建质量差。我们描述了如何可以使用WaveNet生成语音模型来从以2.4 kb/s操作的标准参数编码器的比特流生成高质量的语音。我们比较这个参数编码器与波形编码器的基础上相同的生成模型,并表明,近似的信号波形会导致一个大的速率惩罚。我们的实验证实了基于WaveNet的编码器的高性能,并表明该系统产生的语音能够额外执行隐式带宽扩展,并且不会显着损害人类听众对原始扬声器的识别,即使该扬声器在生成模型的训练期间没有使用。
2017-12-01 cs.SD eess.AS eess.SP
TutorNet: Towards Flexible Knowledge Distillation for End-to-End Speech Recognition
近年来,在开发端到端语音识别模型方面进行了大量的研究,这使得能够简化传统的流水线并实现有希望的结果。尽管端到端模型的性能有了显著的提高,但它们通常需要昂贵的计算成本才能显示出成功的性能。为了减少这种计算负担,知识蒸馏(KD),这是一种流行的模型压缩方法,已被用于将知识从深层和复杂的模型(教师)转移到浅层和简单的模型(学生)。之前的KD方法通常通过减少教师模型的每层宽度或层数来设计学生模型的架构。这种结构简化方案可能会限制模型选择的灵活性,因为学生模型结构应该与给定教师的模型结构相似。为了应对这一限制,我们提出了一种用于端到端语音识别的新KD方法,即TutorNet,它可以在隐藏表示级别和输出级别跨不同类型的神经网络传输知识。在具体实现上,首先在初始化阶段采用表示级知识提取(RKD),然后结合原始任务学习采用软最大级知识提取(SKD)。当学生用RKD训练时,我们使用帧加权来指出教师模型更关注的帧。通过在LibriSpeech数据集上的大量实验,验证了该方法不仅能够提取不同拓扑结构网络之间的知识,而且能够显著提高提取后学生的误词率(WER)性能。有趣的是,TutorNet允许学生模型在某些特定情况下超越教师的表现。
2021-09-17 eess.AS