Blind Room Impulse Response Identification via Reverberant Speech Spectrum Reconstruction
Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
提出Rec-RIR方法,基于卷积传递函数近似,通过多任务深度神经网络顺序去除噪声和混响,并利用混响语音频谱重建估计CTF滤波器,再通过伪侵入式测量转换为RIR,实现盲RIR识别,性能达到SOTA。
2026-06-29 eess.AS eess.SP
Modulation-Domain Kalman Filtering for Monaural Blind Speech Denoising and Dereverberation
Imperial College London(帝国理工学院)
本文提出了一种基于调制域卡尔曼滤波的单声道语音增强算法,对语音和混响的时频对数幅度谱进行盲跟踪。我们提出了一种自适应算法,执行盲联合去噪和去混响,同时考虑帧间语音动态,通过估计的后验分布的语音对数幅度谱给定的对数幅度谱的嘈杂的混响语音。卡尔曼滤波器更新步骤对语音、噪声和混响对数谱之间的非线性关系进行建模。卡尔曼滤波算法使用考虑混响时间、$T_{60}$和直达混响能量比(DRR)的混响参数的信号模型,并且还估计和跟踪每个频率仓中的$T_{60}$和DRR,以便改进语音对数幅度谱的估计。卡尔曼滤波算法进行了测试和图形描绘的估计混响功能随时间的推移进行检查。所提出的算法进行评估的语音质量,语音清晰度和混响性能的混响参数和信噪比的范围内,在不同的噪声类型,也比较竞争的去噪和去混响技术。对含噪混响语音的实验结果表明了该增强算法的有效性。
2018-07-26 cs.SD eess.AS
Joint Blind Room Acoustic Characterization From Speech And Music Signals Using Convolutional Recurrent Neural Networks
Logitech Europe S.A.(罗技欧洲股份公司)
声学环境表征为声音再现创新、智能E Qing、语音增强、助听器和取证打开了大门。混响时间、清晰度和直达混响比是已经被定义为描述混响环境的声学参数。它们与语音清晰度和声音质量密切相关。如ISO 3382标准中所解释的,它们可以从称为房间脉冲响应(RIR)的房间测量中得出。然而,测量RIR需要特定的设备和播放侵入性声音。最近的音频与机器学习的结合表明,人们可以使用语音或音乐信号来盲估计这些参数。我们遵循这些进展,并提出了一个强大的端到端的方法来实现盲联合声学参数估计使用语音和/或音乐信号。我们的研究结果表明,卷积循环神经网络在这项任务中表现最好,并且在训练中包含音乐也有助于改善语音推理。
2020-10-21 cs.LG cs.SD eess.AS
cSTMM: A Unified Complex Spherical Student's $t$ Mixture Model for Directional Statistics in Mask-Based Blind Speech Separation
Artificial Intelligence Research Center, AIST(日本产业技术综合研究所人工智能研究中心)
提出复球面学生t混合模型(cSTMM),通过自由度参数ν统一cACGMM、cBMM和cWMM,并推导基于广义MM的参数估计方法,在无噪声混响语音分离中取得优于cACGMM的SDRi增益。
2026-08-07 eess.AS
Blind Signal Dereverberation for Machine Speech Recognition
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一种方法来消除未知的卷积噪声引入语音混响的记录环境,利用一定量的训练语音数据的混响环境,和任何可用的非混响语音数据。使用在理想情况下覆盖整个房间脉冲响应的长时间窗口上计算的傅里叶变换,我们将房间诱导卷积转换为对数谱域中的加法。接下来,我们从在对数谱域中的混响以及干净语音上收集的统计数据计算谱归一化向量。在操作期间,该归一化向量用于减轻来自在相同混响条件下记录的复杂语音频谱的混响。这种去混响的复语音频谱用于计算复FDLP-频谱图以用于自动语音识别。
2022-09-30 cs.CL cs.SD eess.AS
Blind Mask to Improve Intelligibility of Non-Stationary Noisy Speech
Military Institute of Engineering(军事工程学院)
本文提出了一种新的盲声掩模(BAM)设计自适应检测噪声成分和保留目标语音段在时域。一个强大的标准偏差估计应用于非平稳噪声语音识别噪声掩蔽元素。所提出的解决方案的主要贡献是使用这种噪声统计来导出自适应信息,以定义和选择具有较低噪声比例的样本。从而保持语音清晰度。另外,该非理想掩模先前不需要目标语音和噪声信号统计的信息。BAM和三个竞争的方法,理想的二进制掩码(IBM),目标二进制掩码(TBM),和非平稳噪声估计语音增强(NNESE),考虑语音信号被破坏的三个非平稳声学噪声和六个值的信噪比(SNR)进行评估。结果表明,BAM技术实现可懂度增益与理想的面具,同时保持良好的语音质量。
2020-08-20 cs.SD eess.AS eess.SP
Exploring Speech Enhancement for Low-resource Speech Synthesis
本文研究低资源语音合成中的数据质量问题,提出用TF-GridNet语音增强ASR语料再训练离散单元TTS模型的流程,并在阿拉伯语数据上验证其显著降低ASR WER。
2023-09-19 eess.AS
Multichannel blind speech source separation with a disjoint constraint source model
CIAIC, Northwestern Polytechnical University(西北工业大学)
针对多通道盲语音源分离中未充分利用语音信号稀疏性的问题,本研究利用Bingham和Laplace分布构建不相交约束正则化项,将其整合到MNMF和ILRMA中,推导出s-MNMF和s-ILRMA两种增强算法,实验证明其能有效提升分离性能。
2024-01-03 cs.SD eess.AS
Blind Room Parameter Estimation Using Multiple-Multichannel Speech Recordings
CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Loria(洛林计算机科学及其应用研究所)
知道房间的几何和声学参数可以有益于诸如音频增强现实、语音去混响或音频取证之类的应用。在本文中,我们研究的问题,联合估计的总表面积,体积,以及频率相关的混响时间和平均表面吸收的房间在一个盲目的方式,基于双通道嘈杂的语音记录从多个,未知的源接收器的位置。提出了一种新的利用单通道和通道间线索的卷积神经网络架构,并在一个大型的、逼真的模拟数据集上进行了训练。模拟和真实数据的结果表明,在一个房间中使用多个观测值显着减少了所有目标量的估计误差和方差,使用两个通道有助于估计表面和体积。该模型优于最近提出的盲体积估计方法所考虑的数据集。
2021-07-29 cs.LG cs.SD eess.AS
UBGAN: Enhancing Coded Speech with Blind and Guided Bandwidth Extension
Fraunhofer IIS(弗劳恩霍夫研究所信息技术研究中心);International Audio Laboratories(国际音频实验室)
UBGAN通过模块化轻量的GAN模型实现宽带语音的带宽扩展,提升编码语音的感知质量并增强多编解码器的适应性。
2026-02-24 cs.SD eess.AS
Blind Speech Separation and Dereverberation using Neural Beamforming
Graz University of Technology(格拉茨技术大学)
在本文中,我们提出了盲语音分离和去混响(BSSD)网络,它同时执行说话人分离,去混响和说话人辨识在一个单一的神经网络。说话人分离是由一组预定义的空间线索。利用神经波束形成进行混响消除,并通过嵌入向量和三元组挖掘辅助说话人辨识。我们介绍了一个频领域模型,它使用复值神经网络,和一个时域变量,执行波束形成的潜在空间。此外,我们提出了一个块在线模式来处理较长的音频记录,因为它们发生在会议场景中。我们评估我们的系统在尺度无关的信号失真比(SI-SDR),字出错率(WER)和相等的出错率(EER)。
2021-11-05 cs.LG cs.SD eess.AS
Target Speech Extraction Based on Blind Source Separation and X-vector-based Speaker Selection Trained with Data Augmentation
从混合语音中提取所需的语音是一项有意义且具有挑战性的任务。端到端的基于DNN的方法虽然有吸引力,但面临泛化问题。在本文中,我们探讨了一个顺序的方法,目标语音提取相结合的盲源分离(BSS)的x-向量为基础的说话人识别(SR)模块。利用并比较了两种基于信源独立性假设的盲源分离方法:独立低秩矩阵分析(ILRMA)和多通道变分自编码(MVAE)。ILRMA采用非负矩阵分解(NMF)来捕获源信号的频谱结构,MVAE利用深度神经网络(DNN)的强大建模能力。然而,MVAE的研究一直局限于很少的说话人的训练,通常包括测试说话人的语音信号。我们使用500个说话人的干净语音信号扩展MVAE的训练,以评估其对未见过的说话人的泛化。为了提高正确提取率,我们采用了两种数据增强策略来训练SR模块。所提出的级联方法的性能进行了研究与测试数据构建不同环境下的真实房间脉冲响应。
2020-10-30 eess.AS eess.SP
Deficient Basis Estimation of Noise Spatial Covariance Matrix for Rank-Constrained Spatial Covariance Matrix Estimation Method in Blind Speech Extraction
The University of Tokyo(东京大学);National Institute of Technology, Kagawa College(国立高等专门学校机构 香川高等专门学校)
秩约束空间协方差矩阵估计(RCSCME)是一种适用于单向目标语音和扩散噪声混合情况的语音盲提取方法。在本文中,我们提出了一个新的算法扩展RCSCME。RCSCME补充了扩散噪声空间协方差矩阵的不足一个秩,这不能通过预处理,如独立的低秩矩阵分析估计,并同时估计源模型参数。在传统的RCSCME中,亏基的方向是预先固定的,并且仅估计规模;然而,该亏基的候选通常不是唯一的。在所提出的RCSCME模型中,不足的基础本身可以准确地估计为一个向量变量,通过解决一个向量优化问题。此外,我们推导出新的更新规则的基础上EM算法。我们确认,该方法优于传统的方法在几个噪声条件下。
2021-05-06 cs.SD eess.AS
VINP: Variational Bayesian Inference with Neural Speech Prior for Joint ASR-Effective Speech Dereverberation and Blind RIR Identification
Zhejiang University(浙江大学);Westlake University(西湖大学);School of Engineering(工程学院);Westlake Institute for Advanced Study(西湖研究学院)
提出VINP框架,将神经语音先验融入变分贝叶斯推断,联合实现语音去混响与盲RIR识别,在MOS、WER及RT60估计上达到SOTA性能。
2025-09-09 cs.AI cs.LG eess.AS
Exploring the Power of Pure Attention Mechanisms in Blind Room Parameter Estimation
本研究针对盲房间参数估计任务,提出无卷积的 Audio Spectrogram Transformer 模型,结合分块、注意力机制与预训练 Vision Transformer 跨模态迁移学习,在多种任务中显著提升性能并增强对变长输入的鲁棒性。
2024-04-25 eess.AS
Exploring Speech Foundation Models for Speaker Diarization Across Lifespan
University of Southern California(南加州大学)
本文研究了语音基础模型在跨生命周期说话人分离中的鲁棒性,通过统一的端到端神经分离框架(EEND-VC)评估了儿童、成人和老年人的语音样本,比较了零样本跨年龄推理、联合多年龄训练和领域特定适应方法,发现成人训练模型在儿童和老年人数据上性能下降,而联合多年龄训练和针对性年龄组适应提升了分离性能,特别是使用Whisper编码器时。
2026-05-19 eess.AS
PhonoVoxtLM: Exploring Single-Codebook Phonological Tokens for Speech Understanding and Generation
Johns Hopkins University(约翰斯·霍普金斯大学);The University of Tokyo(东京大学);Carnegie Mellon University(卡内基梅隆大学)
PhonoVoxtLM基于VoxtLM框架采用单码本音系标记构建,在语音理解、生成及口语问答任务上均优于HuBERT基线,为统一多任务语音建模提供了实用方案。
2026-10-14 eess.AS
A lightweight and robust method for blind wideband-to-fullband extension of speech
本文提出一种仅约370K参数、140 MFLOPS的轻量鲁棒盲宽带至全频带扩展方法,帧长10 ms、前瞻0.27 ms,与Opus 1.5配合在9 kb/s下可达到3GPP EVS 9.6 kb/s及Opus 1.4 18 kb/s的质量,实现向后兼容的质量提升。
2025-07-18 cs.SD eess.AS
Acceleration of rank-constrained spatial covariance matrix estimation for blind speech extraction
The University of Tokyo(东京大学);National Institute of Technology, Kagawa College(国立高等专门学校机构 香川高等专门学校)
本文提出了一种新的秩约束空间协方差模型估计的加速更新规则,该规则能有效地提取弥散背景噪声中的方向性目标源,而朴素的更新规则需要大量的矩阵求逆或矩阵乘法运算.我们通过扩展矩阵求逆以降低计算复杂性来解决这个问题;在参数更新步骤中,我们既不需要矩阵求逆也不需要乘法。在一个实验中,我们表明,建议的加速更新规则实现了87倍的速度比天真的计算。
2019-08-06 cs.SD eess.AS
Exploring Universal Speech Attributes for Speaker Verification with an Improved Cross-stitch Network
本文提出利用发音方式和部位构建通用语音属性单元,并通过改进的交叉缝合多任务学习框架将其融入 x-vector 训练,在 NIST SRE10 上一致提升了说话人验证性能。
2023-05-31 eess.AS
BLINC: Blind Calibration For Training-Free Speech Enhancement Adaptation
University of Stuttgart(斯图加特大学)
BLINC提出免训练的测试时自适应方法,通过直方图匹配将预测掩码重映射到盲特征参数化的双峰分布,提升语音增强模型在域偏移下的性能,无需反向传播且开销极小。
2026-09-21 cs.SD eess.AS
Switching divergences for spectral learning in blind speech dereverberation
Instituto de Investigación en Señales, Sistemas e Inteligencia Computacional, sinc(i), UNL, CONICET, FICH(信号、系统与计算智能研究所(sinc(i)),国立滨海大学,国家科学技术研究委员会,水利科学学院);Instituto de Matemática Aplicada del Litoral, IMAL, UNL, CONICET(滨海应用数学研究所(IMAL),国立滨海大学,国家科学技术研究委员会);Universidad Nacional del Litoral(国立滨海大学)
当在一个封闭的房间里录制时,声音信号肯定会受到混响的影响。这不仅破坏了音频质量,还给许多使用语音作为输入的人机交互技术带来了问题。在这项工作中,提出了一种新的盲的,两阶段的去混响方法的基础上,广义β-散度作为一个保真度项在非负表示。第一阶段包括仅从观察到的频谱图学习信号的频谱结构,而第二阶段致力于模型混响。这两个步骤都是通过最小化成本函数来实现的,其中的目标是通过改变所涉及的分歧来构建字典或良好的表示。此外,还提出了一种为字典学习寻找最佳保真度参数的方法。一种算法,用于实现所提出的方法进行了描述和测试对国家的最先进的方法。结果表明,人工混响和真实录音的改善。
2018-09-19 cs.SD eess.AS
Exploring data augmentation in bias mitigation against non-native-accented speech
本研究针对佛兰芒语ASR系统对非母语口音语音的偏差问题,探索了速度/音调扰动、跨语言语音转换和SpecAugment等数据增强方法,发现结合应用于母语和非母语口音语音可最大程度减少偏差,改善非母语口音识别。
2023-12-24 eess.AS
Efficient Independent Vector Extraction of Dominant Target Speech
当只需要一个特定目标说话人的语音时,由盲声源分离执行的完全分解在计算上是苛刻的并且是多余的。在本文中,我们提出了一种计算效率的盲语音提取方法的基础上,通常使用的独立向量分析算法的适当修改,温和的假设下,感兴趣的信号的平均功率超过干扰语音源。考虑到最小失真原则不能实现,因为完整的混合矩阵是不可用的,我们还设计了一个单位的缩放操作来解决缩放模糊。仿真结果验证了该方法在提取语音主导成分方面的有效性。
2020-08-01 cs.SD eess.AS
Neural Blind Source Separation and Diarization for Distant Speech Recognition
National Institute of Advanced Science and Technology (AIST)(日本产业技术综合研究所);Carnegie Mellon University(卡内基梅隆大学)
针对远场多说话人语音识别中 GSS 依赖说话人日志的问题,提出弱监督神经推理模型,仅用多通道混合及说话人活动时间标注训练,实现联合盲源分离与日志,并在 AMI 上词错误率优于带 oracle 日志的 GSS。
2024-06-12 cs.AI eess.AS
Determined blind source separation via modeling adjacent frequency band correlations in speech signals
Northwestern Polytechnical University(西北工业大学);University of Toulouse(图卢兹大学);INP-ENSEEIHT(国立高等电子与电工技术工程师学院);CIAIC(中国航空工业集团公司第六三一研究所);Shaanxi Provincial Key Laboratory of Artificial Intelligence(陕西省人工智能重点实验室);IRIT(图卢兹计算机科学研究所)
本文针对语音信号中相邻频带相关性显著强于远距离频带的特点,提出加权Sinkhorn散度ILRMA(wsILRMA),通过引入频间相关性约束同时建模频间依赖和联合概率分布,在SDR和SIR指标上优于现有MBSS方法。
2025-04-05 cs.SD eess.AS
Revisiting the Privacy of Low-Frequency Speech Signals: Exploring Resampling Methods, Evaluation Scenarios, and Speaker Characteristics
Jade University of Applied Sciences, Oldenburg(奥尔登堡贾德应用科学大学);Carl von Ossietzky Universität Oldenburg(奥尔登堡卡尔·冯·奥西茨基大学)
本文研究了低频语音信号在隐私保护中的有效性,通过比较抗混叠滤波器对词错误率和语音活动检测的影响,探讨了重采样方法和说话人特征对隐私的影响。
2025-08-04 eess.AS
Fast and Blind Speech Copy-Move Detection and Localization in Noise
Tencent Holdings Ltd.(腾讯控股有限公司)
针对语音复制-移动伪造检测中计算复杂且对重复单词敏感的问题,提出基于局部特征张量的检测算法,将问题转化为张量匹配过程,实现了高效、鲁棒的盲检测与定位。
2023-09-08 cs.IT cs.SD eess.AS
Exploring Cross-Utterance Speech Contexts for Conformer-Transducer Speech Recognition Systems
本文研究了四种用于C-T语音识别系统的跨话语上下文建模方法及高效批处理训练方案,在四个多语言基准数据集上显著降低了错误率,证明了该方法的优越性与潜力。
2025-08-14 eess.AS
Exploring Length Generalization For Transformer-based Speech Enhancement
针对 Transformer 语音增强模型难以泛化到长话语的问题,本文实证比较多种位置编码,并提出每注意力头仅用一个可训练参数的 LearnLin,在四种目标和五项指标上取得相当或更优性能。
2025-06-07 eess.AS
Directional Sparse Filtering using Weighted Lehmer Mean for Blind Separation of Unbalanced Speech Mixtures
Nanyang Technological University(南洋理工大学);Delta-NTU Corporate Lab for Cyber-Physical Systems(Delta-南大网络物理系统联合实验室);Delta Electronics Inc(台达电子公司)
在语音信号的盲源分离中,源频谱中固有的不平衡性对依赖于单源优势来估计混合矩阵的方法提出了挑战。我们提出了一种算法的基础上的方向稀疏滤波(DSF)的框架,利用Lehmer平均与可学习的权重,自适应占源不平衡。在多个真实声学环境中的性能评估显示,与基线方法相比,源分离有所改善。
2021-05-14 cs.LG cs.SD eess.AS
BUDDy: Single-Channel Blind Unsupervised Dereverberation with Diffusion Models
Aalto University(阿尔托大学);Universität Hamburg(汉堡大学)
本文提出BUDDy方法,利用扩散模型后验采样在单通道无监督条件下联合实现盲去混响和房间脉冲响应估计,无需成对数据且对未知声学环境更鲁棒。
2024-05-07 cs.LG cs.SD eess.AS
ArrayDPS: Unsupervised Blind Speech Separation with a Diffusion Prior
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Columbia University(哥伦比亚大学);Southern University of Science and Technology(南方科技大学)
针对麦克风阵列盲语音分离中阵列结构、RIR和源信号均未知的难题,提出基于扩散后验采样的无监督生成式方法ArrayDPS,通过优化近似似然与房间声学特性,仅需单说话人扩散先验即可实现优于现有无监督方法、媲美有监督方法的分离性能。
2025-06-17 cs.LG cs.MM cs.SD
BERP: A Blind Estimator of Room Parameters for Single-Channel Noisy Speech Signals
School of Information Science, Japan Advanced Institute of Science and Technology(信息科学学部,日本先进科学研究所)
提出通用盲估计框架BERP,通过结合注意力与卷积的统一编码器及独立预测器,从单通道带噪语音中联合估计房间声学、几何参数及占用率,实现了SOTA性能与优异的现实场景适应性。
2025-05-30 cs.SD eess.AS
Exploring Generative Error Correction for Dysarthric Speech Recognition
Kore University of Enna(科雷大学恩纳分校);Politecnico di Torino(托里诺理工学院);Università di Palermo(巴勒莫大学)
针对构音障碍语音识别难题,提出结合先进ASR模型与LLM生成式纠错的两阶段框架,并在语音可访问性项目数据集上验证了其在结构化与自发语音上的有效性。
2025-05-26 cs.CL eess.AS
Exploring Phoneme-Level Speech Representations for End-to-End Speech Translation
Carnegie Mellon University(卡内基梅隆大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
以前的语音端到端翻译工作主要使用帧级特征作为语音表示,这会创建比文本更长、更稀疏的序列。我们表明,一个天真的方法来创建压缩音素的语音表示是更有效和高效的翻译比传统的帧级语音功能。具体来说,我们为语音帧生成音素标签,并对具有相同标签的连续帧进行平均,以创建更短,更高级别的源序列进行翻译。我们在高资源和低资源语言对上都看到了高达5个BLEU的改进,训练时间减少了60%。我们的改进适用于多种数据大小和两种语言对。
2019-06-04 cs.CL cs.SD eess.AS
SPG-Codec: Exploring the Role and Boundaries of Semantic Priors in Ultra-Low-Bitrate Neural Speech Coding
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tencent(腾讯)
本文研究了在超低比特率下,将冻结语义先验(如HuBERT和Whisper)整合到神经语音编码中的作用与限制,发现语义约束在1.5kbps时可降低WER约10%,但6kbps后效果下降,揭示了实际容量边界,并提出了一种基于比特率的调节策略以平衡语义一致性和感知自然度。
2026-04-29 eess.AS
Exploring the Capability of Mamba in Speech Applications
CyberAgent, Inc.(赛博代理公司);Tokyo Metropolitan University(东京都立大学)
本研究探索基于状态空间模型的Mamba架构在语音领域的应用潜力,通过在自动语音识别、文本转语音等多类语音任务上与主流Transformer变体对比,验证了其性能可比肩甚至更优,且在长语音处理中具备效率优势。
2024-06-24 cs.SD eess.AS
Exploring WavLM on Speech Enhancement
Institute for Information & communications Technology Promotion(信息与通信技术振兴院);Microsoft Research Asia(微软亚洲研究院)
近年来,对用于端到端语音编码的自监督学习方法的兴趣激增,因为它们取得了巨大的成功。特别是,WavLM在各种语音处理任务上表现出了最先进的性能。为了更好地了解自我监督学习模型用于语音增强的功效,在这项工作中,我们设计并进行了一系列实验,结合WavLM和两个高质量的语音增强系统的三个资源条件。此外,我们提出了一个基于回归的WavLM训练目标和噪声混合数据配置,以进一步提高下游增强性能。DNS挑战数据集和仿真数据集上的实验表明,WavLM有利于语音增强任务的语音质量和语音识别精度,特别是对于低微调资源。对于高微调资源条件,仅字错误率得到实质性改善。
2022-11-18 cs.SD eess.AS
Exploring Tradeoffs in Models for Low-latency Speech Enhancement
Google Research(谷歌研究院);Google Chrome Audio(谷歌Chrome音频团队)
我们探讨了各种神经网络配置的单通道和双通道频谱掩模为基础的语音增强。我们的最佳模型在CHiME2语音增强任务上的先前最先进的性能上提高了0.4分贝的信号失真比(SDR)。我们研究权衡,如非因果前瞻,计算和参数计数与增强性能,发现零前瞻模型可以实现,平均而言,在0.03 dB SDR的最佳双向模型。此外,我们发现,200毫秒的前瞻性足以实现与我们最好的双向模型相当的性能。
2018-11-16 cs.SD eess.AS
Hearing's Blind Spots: Toward Perceptual Compute Allocation in Neural Text-to-Speech
Deployment Inc.(迪普洛门特公司)
该研究针对神经文本到语音(TTS)的听觉盲区问题,提出低能量优先策略,在频谱退化移除任务中表现优于随机删除和心理声学掩蔽策略,为感知计算分配提供基线并推动解码器内相关测试。
2026-10-14 cs.SD eess.AS
Exploring In-Context Learning of Textless Speech Language Model for Speech Classification Tasks
National Taiwan University(台湾大学);Meta AI
本文针对无文本语音语言模型缺乏上下文学习能力的问题,通过热身训练赋予其示例学习能力,首次实现以 ICL 方式完成未见过的语音分类任务。
2024-06-15 cs.AI cs.CL eess.AS
Should we hard-code the recurrence concept or learn it instead ? Exploring the Transformer architecture for Audio-Visual Speech Recognition
Trinity College Dublin(都柏林圣三一学院)
视听语音融合策略AV Align在具有挑战性的LRS2数据集上的视听语音识别(AVSR)中表现出显着的性能改进。性能提高范围在7%到30%之间,具体取决于除了听觉模态之外还利用语音的视觉模态时的噪声水平。这项工作提出了AV Align的一个变体,其中经常性的长短期记忆(LSTM)计算块被最近提出的Transformer块取代。我们比较了这两种方法,更详细地讨论了它们的优点和缺点。我们发现,Transformers也学习跨模态单调对齐,但与LSTM模型一样存在视觉收敛问题,需要对机器学习中的主导模态问题进行更深入的研究。
2020-05-19 cs.LG eess.AS
DARAS: Dynamic Audio-Room Acoustic Synthesis for Blind Room Impulse Response Estimation
School of Information Science and Technology, Beijing University of Technology(信息科学与技术学院,北京理工大学);Unseen AI Inc.(Unseen AI公司)
针对现有盲房间脉冲响应估计精度不足的问题,提出DARAS深度学习框架,通过深度音频编码器、基于Mamba的盲房间参数估计模块、交叉注意力特征融合及动态声学调整解码器,从单耳混响语音中有效合成RIR,显著优于基线模型。
2025-11-04 cs.SD eess.AS
Exploring Efficient-tuning Methods in Self-supervised Speech Models
National Taiwan University(国立台湾大学);Amazon AI(亚马逊人工智能)
在这项研究中,我们的目标是探索有效的语音自监督学习的调整方法。最近的研究表明,自监督学习(SSL)可以学习不同的语音任务的强大的表示。然而,为每个下游任务微调预训练模型是参数效率低下的,因为SSL模型非常大,有数百万个参数。适配器是NLP中常用的轻量级模块,用于解决这个问题。在下游任务中,SSL模型的参数被冻结,并且只训练适配器。由于缺乏研究,一般探索适配器的自我监督语音任务的有效性,我们打算通过在预训练的语音SSL模型中添加各种适配器模块来填补这一空白。我们表明,性能的奇偶校验可以实现超过90%的参数减少,并讨论了有效的调整技术的优点和缺点。这是第一次全面调查各种适配器类型的语音任务。
2023-01-30 cs.LG cs.SD eess.AS
Exploring Effective Fusion Algorithms for Speech Based Self-Supervised Learning Models
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学)
自监督学习(Self-supervised learning,SSL)在包括语音处理在内的各个领域都取得了巨大的成功。最近,在SUPERB基准测试中,基于语音的SSL模型与传统手工特征(例如FBank,MFCC)相比,能够在一系列下游任务上提取卓越的通用表示。然而,不同类型的SSL模型可能在不同的下游任务上表现出不同的优势。为了更好地发挥SSL模型的潜力,在这项工作中,我们探索了多个SSL模型的有效融合。针对SUPERB测试中的两个典型任务:说话人辨识(SID)和自动语音识别(ASR),结合Hubert和Data 2 vec两种SSL模型,研究和比较了一系列模型融合算法。实验结果表明,我们提出的融合算法可以进一步提高个人模型显着。
2022-12-20 cs.SD eess.AS
Exploring Speech Foundation Models for Speaker Diarization in Child-Adult Dyadic Interactions
University of Southern California(南加州大学);Boston University(波士顿大学)
本文评估语音基础模型在儿童-成人双人互动说话人日志中的表现,通过音频窗口、人群特征和训练数据比例等基准实验,证明其显著降低日志错误与说话人混淆。
2024-06-12 cs.CL cs.LG eess.AS
PolySpeech: Exploring Unified Multitask Speech Models for Competitiveness with Single-task Models
China Mobile Research Institute(中国移动研究院)
本文提出多任务语音模型PolySpeech,以多模态语言模型为核心,通过语义语音嵌入标记化与语音重建方法,在语音识别、合成和分类任务上取得与单任务模型相当甚至更优的性能。
2024-06-12 cs.CL cs.SD eess.AS
Bemba Speech Translation: Exploring a Low-Resource African Language
Kreasof AI Research Labs(Kreasof人工智能研究实验室);African Institute for Mathematical Sciences (AIMS)(非洲数学科学研究所);Trinity College Dublin(都柏林三一学院)
本文针对IWSLT 2025低资源赛道,基于Whisper和NLLB-200构建Bemba到英语的级联语音翻译系统,并采用回译等数据增强技术探究合成数据的影响。
2025-06-02 cs.CL cs.SD eess.AS
Exploring the Best Loss Function for DNN-Based Low-latency Speech Enhancement with Temporal Convolutional Networks
Carnegie Mellon University(卡内基梅隆大学);Sony Corporation(索尼公司);Sony Europe B.V.(索尼欧洲有限公司)
近年来,深度神经网络(DNN)已成功用于语音增强,基于DNN的语音增强正成为一个有吸引力的研究领域。虽然基于短时傅里叶变换(STFT)的时频掩蔽在过去几年中已经广泛用于基于DNN的语音增强,但是也已经提出了诸如时域音频分离网络(TasNet)的时域方法。最合适的方法取决于数据集的规模和任务的类型。在本文中,我们探讨了最佳的语音增强算法在两个不同的数据集。我们提出了一个基于STFT的方法和损失函数,使用问题不可知的语音编码器(PASE)功能,以提高主观质量的较小的数据集。我们提出的方法在Voice Bank + DEMAND数据集上是有效的,并且与其他最先进的方法相比毫不逊色。我们还实现了一个低延迟版本的TasNet,我们将其提交给了DNS Challenge,并通过开源将其公开。我们的模型在DNS Challenge数据集上实现了出色的性能。
2020-08-20 cs.SD eess.AS
Exploring Timbre Disentanglement in Non-Autoregressive Cross-Lingual Text-to-Speech
NetEase Games AI Lab(网易游戏人工智能实验室)
本文从多个方面研究了非自回归跨语言TTS模型中说话人和语言表征的分离问题。我们提出了一个音素长度调节器,解决了IPA输入序列和单语对齐结果之间的长度不匹配问题。使用音素长度调节器,我们提出了一个基于FastPitch的跨语言模型,IPA符号作为输入表示。我们的实验表明,语言独立的输入表示(如IPA符号),越来越多的训练扬声器,语音方差信息的显式建模都鼓励非自回归跨语言TTS模型解开扬声器和语言表示。主观评价表明,我们提出的模型可以实现体面的自然度和说话人的相似性在跨语言的语音克隆。
2022-08-31 cs.SD eess.AS
Unsupervised Blind Joint Dereverberation and Room Acoustics Estimation with Diffusion Models
Universität Hamburg(汉堡大学);Aalto University(阿尔托大学)
本文提出无监督方法BUDDy,结合扩散模型与贝叶斯采样,联合估计房间冲激响应并去混响,在盲场景中优于现有基线,适应性强,并支持高分辨率歌声去混响。
2025-03-25 cs.LG cs.SD eess.AS
Exploring the Effect of Segmentation and Vocabulary Size on Speech Tokenization for Speech Language Models
The University of Tokyo(东京大学);Keio University(.keio大学);Graduate School of Information Science and Technology(信息科学与技术研究生院);Faculty of Science and Technology(科学与技术学部)
本文研究语音标记化中分割宽度和聚类大小对语音语言模型的影响,发现适度粗粒度分割和较大聚类可提升零样本口语理解性能,并实现训练数据减半和运行时间降低70%。
2025-05-31 cs.CL cs.SD eess.AS
Exploring Continuous Integrate-and-Fire for Adaptive Simultaneous Speech Translation
National Taiwan University(台湾大学)
同步语音翻译(SimulST)是一个具有挑战性的任务,旨在翻译流语音之前,观察到完整的输入。SimulST系统通常包括两个组件:聚合语音信息的预决策和决定读或写的策略。虽然最近的工作提出了各种策略来改善预决策,他们主要采用固定的wait-k政策,离开自适应政策很少探讨。本文提出了模型的自适应政策,通过适应连续集成和消防(CIF)。与单调多头注意(MMA)相比,我们的方法具有计算简单,在低延迟,更好的质量和更好的推广长话语的优点。我们在Must-C V2数据集上进行了实验,并证明了我们的方法的有效性。
2022-10-03 cs.CL cs.SD eess.AS