One-shot conditional audio filtering of arbitrary sounds
我们考虑的问题,从一个单一的通道混合分离一个特定的声源,仅基于一个短样本的目标源。使用SoundFilter,一种波到波神经网络架构,我们可以训练一个模型,而不使用任何声音类标签。使用与源分离网络联合学习的调节编码器模型,训练的模型可以被“配置”为过滤任意声源,甚至是在训练期间没有看到的声源。在FSD 50 k数据集上进行评估,我们的模型对于两种声音的混合物获得了9.6 dB的SI-SDR改进。在Libripeech上训练时,我们的模型在从两个说话者的混合物中分离出一个声音时,实现了14.0 dB的SI-SDR改进。此外,我们表明,由条件编码器学习的表示在嵌入空间中将声学上相似的声音聚集在一起,即使它是在不使用任何标签的情况下训练的。
2020-11-04 eess.AS
No-audio speaking status detection in crowded settings via visual pose-based filtering and wearable acceleration
TU Delft(代尔夫特理工大学);Instituto Tecnologico de Costa Rica(哥斯达黎加技术学院)
在拥挤的场景中识别谁在说话是理解内部社会互动的关键挑战。仅从身体运动检测说话状态为分析无法获得个人音频的社交场景打开了大门。视频和可穿戴传感器使其能够以一种不引人注目、保护隐私的方式识别说话。考虑到视频模态,在动作识别问题中,传统上使用限界框定位和分割目标主体,然后识别其中发生的动作,然而,交叉污染、遮挡和人体的关节特性使得这种方法在拥挤的场景中具有挑战性。在这里,我们利用关节的身体姿势进行主体定位,并在随后的语音检测阶段。我们表明,姿势关键点周围局部特征的选择对泛化性能有积极影响,同时也显着减少了考虑的局部特征的数量,使方法更有效。使用两个具有不同主题观点的野外数据集,我们研究了交叉污染在这种效应中的作用。我们还利用通过可穿戴传感器测量的加速度来完成相同的任务,并提出了一种结合这两种方法的多模式方法。
2022-11-01 cs.CV cs.LG cs.SD
SynSonic: Augmenting Sound Event Detection through Text-to-Audio Diffusion ControlNet and Effective Sample Filtering
Department of Electrical and Computer Engineering(电气与计算机工程系)
SynSonic 利用能量包络 ControlNet 引导的文本到音频扩散模型生成时间连贯的声音事件,并通过双分类器联合分数过滤保证样本质量,从而提升 SED 的时间定位与类别判别性能。
2025-09-23 cs.AI cs.SD eess.AS
Attentive Filtering Networks for Audio Replay Attack Detection
Johns Hopkins University(约翰斯·霍普金斯大学);University of Edinburgh(爱丁堡大学);University of Lisbon(里斯本大学);INESC-ID(葡萄牙系统与计算机工程研究所 - 里斯本分院);National Institute of Informatics(国立信息学研究所)
攻击者可以使用各种技术来欺骗自动说话者验证系统,使其接受他们为真正的用户。同时,反欺骗方法旨在使系统对此类攻击具有鲁棒性。ASVspoof 2017挑战赛特别关注重放攻击,旨在衡量重放攻击检测的极限,并制定应对措施。在这项工作中,我们提出了我们的重放攻击检测系统- Attentive Filtering Network,它由一个基于注意力的过滤机制和一个基于ResNet的分类器组成,该机制增强了频域和时域的特征表示。我们表明,该网络使我们能够可视化的自动获取的特征表示,这有助于欺骗检测。Attentive Filtering Network在ASVspoof 2017版本2.0数据集上获得了8.99 $\%$的评估EER。通过系统融合,我们的最佳系统比ASVspoof 2017增强型基线系统进一步获得了30 $\%$的相对改进。
2018-10-31 cs.CL cs.SD eess.AS
From 2.1M Hours of Raw Broadcast Audio to Finnish Speech SSL: Confidence Filtering and Architectural Analysis at Scale
Aalto University(阿尔托大学);Walton Institute, South East Technological University(东南理工大学沃尔顿研究所);Finnish National Audiovisual Institute (KAVI)(芬兰国家视听研究所(KAVI))
本研究以210万小时广播音频为基础,提出用ASR置信度过滤预训练数据,在匹配参数预算下对比多种语音SSL架构,构建的芬兰语SSL模型性能优于现有基准。
2026-10-12 cs.CL cs.SD eess.AS
Harmonic enhancement using learnable comb filter for light-weight full-band speech enhancement model
Nanjing University(南京大学);ByteDance(字节跳动);Horizon Robotics(地平线机器人)
针对轻量级全频带语音增强中传统梳状滤波器依赖基频估计、易损伤语音质量的问题,本文提出端到端训练的可学习梳状滤波器及DNN基频估计器,实验显示其优于PercepNet和DeepFilterNet。
2023-06-01 cs.SD eess.AS
Model-matching Principle Applied to the Design of an Array-based All-neural Binaural Rendering System for Audio Telepresence
National Tsing Hua University(国立清华大学)
Telepresence的目标是为近端的用户在远端创建沉浸式但虚拟的视听场景体验。在这篇文章中,我们提出了一个基于阵列的双耳渲染系统,将阵列麦克风信号转换为头相关的传递函数(HRTF)滤波输出信号的耳机渲染。所提出的方法是根据模型匹配原理(MMP)制定的,并且能够提供比传统的定位-波束形成-HRTF滤波(LBH)方法更身临其境的体验。基于MMP的渲染系统可以通过多通道逆滤波(MIF)和多通道深度滤波(DIF)来实现。在这项研究中,我们采用了ESTA的方法,并使用LBH以及MIF作为基线。全神经系统联合捕获空间信息(空间渲染),保留环境声音(增强),并在生成双耳输出之前减少噪声(增强)。客观和主观的测试进行比较,建议的远程呈现系统与两个基线。
2023-03-06 cs.SD eess.AS
End-to-End Probabilistic Inference for Nonstationary Audio Analysis
Queen Mary University of London(伦敦玛丽女王大学);Aalto University(阿尔托大学)
典型的音频信号处理流水线包括多个不相交的分析阶段,包括时频表示的计算,随后是基于频谱的特征分析。我们展示了如何时间-频率分析和非负矩阵分解可以联合制定为一个频谱混合高斯过程模型与非平稳先验的振幅方差参数。此外,我们制定了这个非线性模型的状态空间表示,使其服从无限地平线高斯过程回归与近似推理通过期望传播,其规模线性的时间步长和二次的状态维数。通过这样做,我们能够处理具有数十万个数据点的音频信号。我们演示了,在各种任务的经验数据,这个推理方案如何优于更多的标准技术,依赖于扩展卡尔曼滤波。
2019-04-27 cs.LG cs.SD eess.AS
Unsupervised Voice Activity Detection by Modeling Source and System Information using Zero Frequency Filtering
语音活动检测(VAD)是语音技术应用的重要预处理步骤。该任务包括导出包含语音信息的音频信号的段边界。近年来,已经表明,可以使用零频率滤波(ZFF)提取语音源和声道系统信息,而无需对语音信号进行任何明确的模型假设。本文研究了零频率滤波在联合建模声源和声道系统信息方面的潜力,并提出了两种用于VAD的方法。第一种方法使用由不同的零频率滤波信号组成的复合信号来划分浊音区域。第二种方法将复合信号作为输入馈送到rVAD算法。这些方法与文献中的其他监督和无监督VAD方法进行了比较,并在Aurora-2数据库上进行了评估,SNR范围为20至-5 dB。我们的研究表明,所提出的基于ZFF的方法执行的最先进的VAD方法相比,更不变的增加退化和不同的信道特性。
2022-06-27 eess.AS eess.SP
End-to-End Neural Speech Coding for Real-Time Communications
Communication University of China(中国传媒大学);Microsoft Research Asia(微软亚洲研究院)
基于深度学习的方法在音频编码方面已经显示出其相对于传统方法的优势,但对实时的【形】通信(RTC)的关注有限。本文提出了TFNet,一个端到端的神经语音编解码器,具有低延迟的RTC。它采用了编码器-时间滤波-解码器范式,这在音频编码中很少被研究。提出了一种用于时间滤波的交织结构,以捕获短期和长期的时间依赖性。此外,通过端到端优化,TFNet与语音增强和丢包隐藏进行了联合优化,为三项任务提供了一个一对多的网络。主观和客观的结果表明,所提出的TFNet的效率。
2022-02-15 cs.LG cs.SD eess.AS
Unified AI for Accurate Audio Anomaly Detection
The University of Tulsa(塔尔萨大学)
本文提出一个统一AI框架,结合谱减法、自适应滤波、MFCCs与OpenL3特征提取,并融合SVM、CNNs等模型,在TORGO和LibriSpeech数据集上实现了高精度的含糊与正常语音异常检测。
2025-05-20 cs.LG cs.SD eess.AS
IS${}^3$ : Generic Impulsive--Stationary Sound Separation in Acoustic Scenes using Deep Filtering
提出 IS${}^3$ 神经网络,利用深度滤波从平稳背景中分离脉冲声学事件,并设计数据生成流程,在客观指标上优于现有方法。
2025-09-12 cs.AI cs.SD eess.AS
PicoAudio: Enabling Precise Timestamp and Frequency Controllability of Audio Events in Text-to-audio Generation
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Lab(上海人工智能实验室);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
PicoAudio提出一种时间可控的音频生成框架,通过整合时间信息并利用数据爬取、分割、过滤和模拟细粒度对齐数据,显著提升了音频事件的时间戳与频率可控性。
2024-07-17 cs.SD eess.AS
SURE-Voice: A Front-End Baseline for Speech-Evidence Filtering in Speech LLMs
该研究定义SURE-Challenge评估语音大语言模型生成前的准入步骤,以Qwen2-Audio和能量加Whisper评分规则开展实验,发现了仅答案评分遗漏的生成前错误模式。
2026-09-15 cs.CL cs.SD eess.AS
FLAMO: An Open-Source Library for Frequency-Domain Differentiable Audio Processing
提出开源库FLAMO,基于频率采样滤波器设计方法实现可微分线性时不变音频系统,简化开发流程,通过人工混响器和有源声学系统优化案例验证其实际应用价值。
2025-04-14 eess.AS
Enhancing Crowdsourced Audio for Text-to-Speech Models
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心);Centre de Llenguatge i Computació (CLiC), Universitat de Barcelona(巴塞罗那大学语言与计算中心);Universität Zürich(苏黎世大学)
本文针对众包音频质量不足的问题,在 Common Voice 加泰罗尼亚语子集上提出音频增强加 NISQA 自动过滤的去噪流水线,使扩散 TTS 模型的 UTMOS 分数提升 0.4。
2024-10-17 cs.SD eess.AS
An Investigation of Noise Robustness for Flow-Matching-Based Zero-Shot TTS
Microsoft Corporation(微软公司)
本文针对零样本TTS在含噪音频提示下性能下降的问题,提出结合掩码语音去噪预训练、DNSMOS数据过滤和随机噪声混合微调的训练策略,显著提升了生成语音的可懂度、说话人相似度和整体质量。
2024-06-09 cs.AI eess.AS eess.SP
Speech Denoising by Accumulating Per-Frequency Modeling Fluctuations
Tel Aviv University(特拉维夫大学)
我们提出了一种音频去噪的方法,该方法结合了在时域和时频域中进行的处理。给定有噪声的音频片段,该方法训练深度神经网络来拟合该信号。由于拟合仅部分成功,并且能够比噪声更好地捕获潜在的干净信号,因此网络的输出有助于将干净音频与其余信号分离。这是通过累积每个时间-频率仓的拟合分数并基于所获得的分数应用时间-频率域滤波来完成的。该方法是完全无监督的,并且仅在正在被去噪的特定音频片段上训练。我们的实验表明,与文献方法相比,良好的性能。我们的代码和示例可在www.example.com上获得,并作为补充。索引术语:音频去噪;无监督学习
2020-06-08 cs.LG cs.SD eess.AS
DNN driven Speaker Independent Audio-Visual Mask Estimation for Speech Separation
University of Stirling(斯特林大学);Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);University of Sheffield(谢菲尔德大学)
人类的听觉皮层擅长选择性地抑制背景噪音,以专注于目标说话者。已知大脑中的选择性注意过程是根据上下文利用可用的音频和视觉线索来更好地关注目标说话者,同时过滤掉其他噪音。在这项研究中,我们提出了一种新的基于深度神经网络(DNN)的视听(AV)掩模估计模型。所提出的AV掩模估计模型结合了音频和抗噪声视觉特征的时间动态,以改进掩模估计和语音分离。对于最佳AV特征提取和理想二进制掩码(IBM)估计,利用混合DNN架构来利用堆叠的长短期记忆(LSTM)和卷积LSTM网络的互补优势。在语音质量和可懂度方面的比较仿真结果表明,我们提出的AV掩模估计模型相比,音频和视觉掩模估计方法的扬声器相关和独立的情况下,显着的性能改善。
2018-07-31 cs.CV cs.LG cs.SD
Deep Audio Watermarks are Shallow: Limitations of Post-Hoc Watermarking Techniques for Speech
Northwestern University(西北大学);Adobe Research(奥多比研究院)
针对语音事后水印技术,研究统一扩展音频变换对水印可检测性的评估,证明无需了解水印方案即可移除最先进事后音频水印且音频质量退化极小,揭示其局限性。
2025-04-15 cs.SD eess.AS
A Near-Real-Time Processing Ego Speech Filtering Pipeline Designed for Speech Interruption During Human-Robot Interaction
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Utrecht University(乌得勒支大学)
提出一种结合卷积神经网络与谱减法的单通道音频处理流水线,用于过滤机器人自我语音并近实时提取打断的人类语音,优于先前方法和重训练的最先进系统,并在Pepper机器人上验证可行性。
2024-05-22 cs.HC cs.SD eess.AS
Automatic Conflict Detection in Police Body-Worn Audio
UCLA Institute for Pure and Applied Mathematics(加州大学洛杉矶分校纯粹与应用数学研究所)
随着穿戴式技术的出现,自动冲突检测已经变得越来越重要,但现有的指标,如轮流和重叠,是警察与公众互动中冲突的不良指标。此外,当应用于这种多样化和嘈杂的环境时,计算它们的标准技术不足。我们开发了一个管道,以满足这一任务相结合的自适应噪声消除,非语音过滤和新的措施的冲突的基础上重复和强度的短语在语音。我们证明了我们的方法对洛杉矶警察局收集的身体佩戴的音频数据的有效性。
2018-02-14 cs.SD eess.AS stat.ML
Meta Audiobox Aesthetics: Unified Automatic Quality Assessment for Speech, Music, and Sound
FAIR at Meta(Meta FAIR实验室);Reality Labs at Meta(Meta Reality Labs)
本文提出Meta Audiobox Aesthetics,通过四轴标注指南和无参考逐项预测模型,统一自动评估语音、音乐与声音的美学质量,性能达到或超越人类MOS与现有方法,并开源模型与数据集。
2025-02-07 cs.LG cs.SD eess.AS
Audio Signal Processing Using Time Domain Mel-Frequency Wavelet Coefficient
University of York(约克大学)
针对MFCC缺乏时间信息且小波变换计算复杂的问题,提出时域Mel频率小波系数(TMFWC)方法,结合储备池计算显著提升音频信号处理效率。
2025-10-30 cs.AI cs.SD eess.AS
Enhancement by postfiltering for speech and audio coding in ad-hoc sensor networks
Aalto University(阿尔托大学);School of Electrical Engineering(电气工程学院)
针对传统无线声学传感器网络增强方法因量化噪声高斯近似在低比特率下性能受限的问题,提出一种显式建模样量化噪声的贝叶斯后置滤波方法,经多指标实验验证可有效提升自组织传感器网络的信号质量。
2020-11-07 cs.SD eess.AS
Audio-Based Linguistic Feature Extraction for Enhancing Multi-lingual and Low-Resource Text-to-Speech
Graduate School of Artificial Intelligence, POSTECH(浦项科技大学人工智能研究生院);Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程系)
针对多语言低资源文本转语音中语言表征学习不足的问题,提出直接从音频提取语言学特征并过滤声学信息的新方法,实验证明其在多语言合成和未见语言迁移学习中表现优越。
2024-09-27 cs.SD eess.AS
Isolated and Ensemble Audio Preprocessing Methods for Detecting Adversarial Examples against Automatic Speech Recognition
University of Chicago(芝加哥大学);University of Florida(佛罗里达大学)
对抗攻击是一种利用过程,其中对自然输入进行微小的改变,导致输入被神经模型错误分类。在语音识别领域,这已经成为一个越来越重要的问题。虽然对抗攻击最初是在计算机视觉中引入的,但它们已经渗透到语音识别领域。2017年,基因攻击被证明对语音命令模型非常有效。有限词汇语音分类器,如语音命令模型,用于各种应用程序,特别是电话;因此,这种攻击产生的对抗性示例构成了重大的安全威胁。本文探讨了各种方法来检测这些敌对的例子与音频预处理的组合。一种结合了压缩、语音编码、过滤和音频平移的特定组合防御被证明对语音命令模型的攻击非常有效,检测音频对抗性示例的准确率为93.5%,召回率为91.2%。
2018-09-11 cs.CL cs.CR cs.LG
MOS-FAD: Improving Fake Audio Detection Via Automatic Mean Opinion Score Prediction
本研究将自动平均意见得分(MOS)预测应用于伪造音频检测任务,提出MOS-FAD方法,通过MOS实现训练数据筛选与模型融合门控,有效提升检测性能。
2024-01-25 cs.MM eess.AS
Audio-Based Activities of Daily Living (ADL) Recognition with Large-Scale Acoustic Embeddings from Online Videos
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
多年来,活动感测和识别已被证明在从可持续性和人机交互到医疗保健的广泛应用中发挥着关键的促进作用。虽然许多识别任务传统上采用惯性传感器,但基于声学的方法提供了捕获丰富上下文信息的好处,这在区分复杂活动时可能很有用。鉴于深度学习技术的出现和利用新的大规模多媒体数据集,本文重新审视了训练基于音频的分类器的机会,而无需注释音频数据的繁重和耗时的任务。我们提出了一个基于音频的活动识别框架,该框架利用了来自公共在线视频声音剪辑的数百万个嵌入特征。基于过采样和深度学习方法的组合,我们的框架不需要进一步的特征处理或离群值过滤。我们在日常生活活动(ADL)的背景下评估了我们的方法,通过识别14名参与者在自己家中的15项日常活动,在前1和前3分类方面分别实现了64.2%和83.6%的平均受试者内准确度。本文还考察了单个类的表现,以进一步研究活动的共现特性和框架的鲁棒性。
2018-11-18 cs.HC cs.LG cs.SD
Spontaneous Informal Speech Dataset for Punctuation Restoration
University of Waterloo(滑铁卢大学);Recognition Technologies, Inc.(识别技术公司);Columbia University(哥伦比亚大学)
针对现有标点恢复模型仅在规范语料评估、与现实自发语音场景不匹配的问题,本研究构建了包含标点和大小写信息的非正式自发语音数据集SponSpeech,提出兼顾音文质量的过滤流水线,并搭建挑战性测试集,相关资源全部开源。
2024-09-17 cs.CL cs.HC cs.LG
Enhancements for Audio-only Diarization Systems
Microsoft(微软)
在本文中,两种不同的方法来提高性能的最具挑战性的组成部分的发言人日记系统,即说话人聚类部分。提出了一种结合非线性滤波的时间平滑处理来增强输入特征的处理步骤。我们还提出了对深度嵌入式聚类(DEC)算法的改进-一种非线性特征变换。这些增强的性能与不同的聚类算法,如UISRNN,k-Means,谱聚类和x-Means进行了比较。评估针对三个不同的任务进行,即AMI、DIHARD和内部会议转录任务。所提出的方法假设已知数量的扬声器和音频文件的时间分割。因为,我们只关注这项工作的日志化的聚类组件,所以假设提供的分割是完美的。最后,我们提出了如何监督,在给定的扬声器配置文件的形式,可以进一步提高整体的日记性能。当说话人数目已知时,所提出的改进在所有3个任务中产生了实质性的相对改善,在AMI中比最佳日记系统好20%,在DIHARD任务中比最佳日记系统好19%。
2019-08-30 cs.SD eess.AS
Neural Directional Filtering: Far-Field Directivity Control With a Small Microphone Array
Fraunhofer IIS(弗劳恩霍夫应用集成电路研究所);Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)(埃尔朗根-纽伦堡弗里德里希-亚历山大大学)
提出基于DNN的神经方向滤波方法,通过估计单通道复数掩蔽并应用于参考麦克风,用小型麦克风阵列实现了高阶远场指向性控制。
2024-09-20 cs.SD eess.AS
X-TaSNet: Robust and Accurate Time-Domain Speaker Extraction Network
基于目标说话人的参考语音从混合音频中提取目标说话人的语音是语音处理中具有挑战性但功能强大的技术。最近对与说话者无关的语音分离的研究,如TasNet,通过在时域波形上应用深度神经网络,已经显示出了有希望的结果。这种分离神经网络在指定目标说话人时不能直接产生可靠和准确的输出,因为说话人数量的必要先验以及在处理不存在说话人的音频时缺乏鲁棒性。在本文中,我们打破了这些限制,引入了一种新的扬声器感知的语音掩蔽方法,称为X-TaSNet。我们的建议采用了新的策略,包括基于失真的损失和相应的交替训练方案,以更好地解决鲁棒性问题。X-TaSNet显著提高了提取的语音质量,与最先进的语音滤波方法相比,输出语音音频的SDRi和SI-SNRi加倍。X-TaSNet还通过将输出音频中的扬声器身份的准确性提高到95.4%来提高结果的可靠性,使得在目标扬声器不存在的大多数情况下,它返回无声音频。这些结果表明X-TaSNet向说话人提取技术的更实际应用迈出了坚实的一步。
2020-10-24 eess.AS
Neuron-Level Emotion Control in Speech-Generative Large Audio-Language Models
1 Center for Language;Speech Processing (CLSP), Johns Hopkins University, USA 2 Group on Language, Audio \& Music (GLAM), Imperial College London, UK
本文首次在语音生成大音频-语言模型中研究神经层面的情感控制,通过识别紧凑的情感敏感神经元(ESNs)实现无需训练的情感引导,实验表明其在不同模型上均能提升情感表现并支持自动与人工评估。
2026-03-18 cs.CL eess.AS
Enhancing Synthetic Training Data for Speech Commands: From ASR-Based Filtering to Domain Adaptation in SSL Latent Space
IRIT;Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);Toulouse INP(图卢兹国立综合理工学院);UT3(图卢兹第三大学)
本研究针对语音命令分类,提出基于ASR的过滤方法提升合成数据质量,并利用CycleGAN在自监督潜在空间中缩小合成与真实语音差距,实验验证了性能提升。
2024-09-19 cs.AI cs.LG cs.SD
A Fully Convolutional Neural Network Approach to End-to-End Speech Enhancement
The Cooper Union(库珀联盟学院)
本文将描述一种新的方法,鸡尾酒会的问题,依赖于一个完全卷积神经网络(FCN)架构。FCN将噪声音频数据作为输入,并执行非线性滤波操作,以在输出端产生目标语音的干净音频数据。我们的方法为一个特定的扬声器学习一个模型,然后能够从串音背景噪声中提取扬声器的声音。实验结果表明,该方法具有推广到新的说话人的能力,并且对不同信噪比的新噪声环境具有鲁棒性。这种方法的一个潜在应用是用于助听器。预先训练的模型可以快速地为个人家庭成员和亲密的朋友进行微调,并部署到助听器上,以在嘈杂的环境中帮助听众。
2018-07-20 cs.LG cs.SD eess.AS
FastAudio: A Learnable Audio Front-End for Spoof Speech Detection
语音助手,如智能扬声器,已经大受欢迎。据估计,智能音箱在美国成年人群中的采用率已经超过35%。制造商已经集成了说话人辨识技术,该技术试图确定说话人的身份,以向同一家庭的不同成员提供个性化服务。说话人辨识也可以在控制智能扬声器的使用方式方面发挥重要作用。例如,在播放音乐时正确识别用户并不重要。但是,当大声阅读用户的电子邮件时,正确验证发出请求的发言者是授权用户至关重要。因此,需要认证说话者身份的说话者验证系统作为看门人,以防止旨在冒充注册用户的各种欺骗攻击。本文比较了流行的可学习前端,通过与下游任务(端到端)的联合训练来学习音频的表示。我们通过定义两种通用架构对前端进行分类,然后根据学习约束分析这两种类型的过滤阶段。我们建议用一个可以更好地适应反欺骗任务的可学习层取代固定滤波器组。然后使用两个流行的后端测试拟议的FastAudio前端,以测量ASVspoof 2019数据集的LA轨道上的性能。与固定前端相比,FastAudio前端实现了27%的相对改进,在此任务上优于所有其他可学习的前端。
2021-09-06 cs.CR cs.LG cs.SD
Revisiting the Privacy of Low-Frequency Speech Signals: Exploring Resampling Methods, Evaluation Scenarios, and Speaker Characteristics
Jade University of Applied Sciences, Oldenburg(奥尔登堡贾德应用科学大学);Carl von Ossietzky Universität Oldenburg(奥尔登堡卡尔·冯·奥西茨基大学)
本文研究了低频语音信号在隐私保护中的有效性,通过比较抗混叠滤波器对词错误率和语音活动检测的影响,探讨了重采样方法和说话人特征对隐私的影响。
2025-08-04 eess.AS
Efficient speech detection in environmental audio using acoustic recognition and knowledge distillation
Tilburg University(蒂尔堡大学);Naturalis Biodiversity Center(自然生物多样性中心)
针对生态监测中大型语音检测模型难以部署在紧凑型设备的问题,提出基于知识蒸馏的轻量学生模型,用MobileNetV3-Small-Pi构建学生模型与EcoVAD教师模型对比,经多配置和蒸馏技术评估,实现相当性能,助力实时生态监测。
2023-12-14 cs.AI cs.LG cs.SD
Quantum Fourier Transform Based Denoising: Unitary Filtering for Enhanced Speech Clarity
CRL Bharat Electronics Limited(巴拉特电子有限公司中央研究实验室);Indian Institute of Technology Delhi(印度理工学院德里分校)
本研究提出将量子傅里叶变换(QFT)集成到经典音频增强流水线的量子启发去噪框架,替换传统滤波器中的FFT,在多SNR条件下实现最高15dB的SNR提升,且低SNR与非平稳噪声下鲁棒性好、无额外开销,为量子增强语音处理提供可扩展路径。
2025-09-05 cs.ET cs.SD eess.AS
Deep Learning for Personalized Binaural Audio Reproduction
Lab of Artificial Intelligence for Education, East China Normal University(人工智能教育实验室,华东师范大学);Guangdong Key Laboratory of Intelligent Information Processing, College of Electronics and Information Engineering, Shenzhen University(智能信息处理重点实验室,深圳大学电子与信息工程学院);Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学);School of Electronics and Communication Engineering, Guangzhou University(电子与通信工程学院,广州大学);School of Computer Science and Technology, East China Normal University(计算机科学与技术学院,华东师范大学);Medizinische Physik, Carl von Ossietzky University of Oldenburg(医学物理,奥尔登堡大学);Institute of Acoustics, Chinese Academy of Sciences(声学研究所,中国科学院)
本综述梳理了深度学习在个性化双耳音频重放领域的进展,将方法分为显式个性化滤波与端到端渲染两类,总结了相关数据集与评估指标,并探讨了应用、局限与研究方向。
2025-08-30 cs.SD eess.AS
Exploiting spatial information with the informed complex-valued spatial autoencoder for target speaker extraction
本研究针对传统多通道音频增强分步滤波的局限,扩展复值空间自编码器COSPA为iCOSPA,通过注入目标说话人位置信息实现联合频谱-空间滤波,可有效提取目标说话人并学习空间选择性模式。
2023-03-14 cs.SD eess.AS
Towards Improved Speech Recognition through Optimized Synthetic Data Generation
本文提出利用具备声音克隆能力的 TTS 模型从纯文本生成合成语音,并通过微调、过滤和评估优化数据,以训练端到端 ASR 模型;魁北克法语实验证明可显著提升识别性能。
2025-08-29 eess.AS
Lip-Reading Driven Deep Learning Approach for Speech Enhancement
提出了一种新的唇读驱动的深度学习语音增强框架。所提出的方法利用了深度学习和分析声学建模(基于滤波的方法)两者的互补优势,与最近发布的仅依赖于深度学习的相对简单的基准方法相比。建议的视听语音增强框架在两个层面上运作。在第一级中,采用了一种新的基于深度学习的唇读回归模型。在第二级中,唇读近似干净的音频功能,利用增强的,视觉推导的维纳滤波器(EVWF),干净的音频功率谱估计。具体地,基于堆叠的长短期记忆(LSTM)的唇读回归模型被设计用于仅使用考虑不同数量的先前视觉帧的时间视觉特征的干净音频特征估计。对于干净的语音谱估计,一个新的滤波器组域EVWF制定,利用估计的语音特征。将所提出的EVWF与使用理想AV映射和LSTM驱动的AV映射的传统谱减法和对数最小均方误差方法进行比较。建议的语音增强框架的潜力进行评估下,不同的动态现实世界的商业动机的情况下(例如咖啡馆,公共交通,行人区)在不同的SNR水平(从低到高的SNR)使用基准网格和ChiME3语料库。对于客观测试,使用语音质量的感知评估来评估恢复语音的质量。对于主观测试,使用标准的平均意见得分方法与推理统计。比较仿真结果表明显着的唇读和语音增强改善语音质量和语音清晰度。
2018-07-31 cs.CV cs.LG cs.SD
GigaSpeech: An Evolving, Multi-domain ASR Corpus with 10,000 Hours of Transcribed Audio
1 SpeechColab 2 Seasalt AI Inc 3 Dept EE, Tsinghua University 4 Tencent AI Lab 5 Xiaomi Corporation 6 CLSP \& HLTCOE, The Johns Hopkins University 7 Carnegie Mellon University 8 KE Holdings Inc
本文提出GigaSpeech语料库,包含10,000小时高质量标注音频和40,000小时总音频,通过新的强制对齐与分段流程构建多领域英语ASR训练数据,并提供多规模子集及多个工具包的基线系统。
2021-06-13 cs.CL cs.SD eess.AS
Spectral oversubtraction? An approach for speech enhancement after robot ego speech filtering in semi-real-time
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Utrecht Universiteit(乌得勒支大学)
针对机器人自语音滤波中频谱减法导致的基频过减问题,提出双掩码 CMGAN 与增量流式处理,提升半实时语音识别准确率和真实 HRI 鲁棒性。
2024-09-10 cs.RO cs.SD eess.AS
Deep Filtering: Signal Extraction and Reconstruction Using Complex Time-Frequency Filters
International Audio Laboratories Erlangen(埃尔朗根国际音频实验室);Friedrich-Alexander-University Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Fraunhofer IIS(弗劳恩霍夫集成电路研究所)
从具有额外不期望信号的单通道混合信号中提取信号最常用时频(TF)掩模来执行。通常,利用深度神经网络(DNN)来估计掩模,并且逐元素地应用于复杂混合短时傅立叶变换(STFT)表示以执行提取。理想的掩模幅度对于TF仓中的单独不期望的信号为零,并且对于总的相消干涉为未定义的。通常,掩码有一个上限,以有限的提取能力为代价提供定义良好的DNN输出。我们提出用DNN估计每个混合TF箱的复TF滤波器,其将相应混合物中的STFT区域映射到期望的TF箱,以解决混合TF箱中的相消干扰。DNN通过最小化所提取的信号与地面实况期望信号之间的误差来优化,从而允许学习TF滤波器而不必指定地面实况TF滤波器。我们将我们的方法与复杂的和实值的TF掩码进行比较,通过从Google AudioSet语料库中分离出各种不同的声音和噪声类来分离语音。我们还处理混合STFT与陷波滤波器和零整个时间帧,模拟传输过程中的数据包丢失,证明我们的方法的重建能力。所提出的方法优于基线,特别是当陷波滤波器和时间帧归零。
2019-12-09 cs.SD eess.AS
Voice Activity Detection (VAD) in Noisy Environments
Johns Hopkins University(约翰斯·霍普金斯大学)
本文针对噪声环境下语音与非语音难以区分的问题,提出结合专用滤波技术的新型VAD算法,并通过测试验证其在多种背景噪声中的高精度与鲁棒性。
2023-12-10 cs.SD eess.AS
ESB: A Benchmark For Multi-Domain End-to-End Speech Recognition
Hugging Face(拥抱脸公司)
语音识别应用程序涵盖一系列不同的音频和文本分布,具有不同的说话风格、背景噪声、转录标点和字符大小写。然而,许多语音识别系统需要特定于语音集的调谐(音频滤波、标点符号去除和大小写的归一化),因此假设音频和文本分布两者的先验知识。这种调优要求可能导致系统无法推广到其他数据集和域。为了促进多域语音系统的发展,本文引入了端到端语音基准测试(ESB),用于评估单个自动语音识别(ASR)系统在大量语音数据集上的性能。基准测试系统必须跨数据集使用相同的数据预处理和后处理算法-假设音频和文本数据分布是先验未知的。我们在此基准测试中比较了一系列最先进的(SoTA)端到端(E2 E)系统,展示了如何在广泛的数据分布上应用和评估单个语音系统。我们发现E2 E系统在数据集上是有效的:在一个公平的比较中,E2 E系统在2.6%的SoTA系统中实现了对特定数据集的调整。我们的分析表明,转录文物,如标点符号和套管,造成的ASR系统的困难,应包括在评估。我们相信,在一系列数据集上的E2 E基准测试促进了多领域语音识别系统的研究。ESB可以从https://huggingface.co/esb获得。
2022-10-24 cs.CL cs.SD eess.AS