Silence is Golden: Leveraging Adversarial Examples to Nullify Audio Control in LDM-based Talking-Head Generation
ReLER, CCAI, Zhejiang University(ReLER,中国人工智能学会,浙江大学);School of Cyber Science and Technology, Sun Yat-sen University(信息科学与技术学院,孙中山大学);Department of Statistics, University of Wisconsin–Madison(统计学系,威斯康星大学麦迪逊分校)
针对基于LDM的说话人头生成中参考人像易被音频操控且扰动易被净化的问题,本文提出两阶段方法Silencer,通过置零损失消除音频控制并结合抗净化损失生成鲁棒扰动,实现前瞻性人像隐私保护。
2025-06-02 cs.CR cs.CV cs.GR
Circumventing shortcuts in audio-visual deepfake detection datasets with unsupervised learning
Bitdefender;Politehnica Bucharest(巴尔干理工大学)
本文揭示广泛使用的音视频深度伪造数据集存在开头静音的虚假捷径特征,提出仅在真实数据上训练模型并对齐自监督音视频表示的无监督学习方法,消除了对数据集特定偏差的依赖,提升了检测鲁棒性。
2025-05-29 cs.CV cs.LG cs.SD
The silence of the weights: a structural pruning strategy for attention-based audio signal architectures with second order metrics
本文提出一种针对注意力机制的通道剪枝技术,通过二阶指标评估参数重要性,验证在AST和Whisper模型中50%参数剪枝后性能仍保持良好。
2026-03-16 cs.LG cs.SD
Listening to Sounds of Silence for Speech Denoising
Columbia University(哥伦比亚大学);SoftBank Group Corp.(软银集团)
我们引入了一个用于语音去噪的深度学习模型,这是音频分析中的一个长期挑战,在许多应用中出现。我们的方法基于对人类语言的一个关键观察:每个句子或单词之间通常有一个短暂的停顿。在记录的语音信号中,这些停顿引入了一系列时间周期,在这些时间周期期间仅存在噪声。我们利用这些偶然的无声间隔来学习仅给定单通道音频的自动语音去噪模型。随着时间的推移检测到的无声间隔不仅暴露纯噪声,而且暴露其时变特征,从而允许模型学习噪声动态并从语音信号中抑制噪声。在多个数据集上的实验证实了无声间隔检测在语音去噪中的关键作用,我们的方法优于几种最先进的去噪方法,包括那些只接受音频输入的方法(如我们的方法)和那些基于视听输入的方法(因此需要更多信息)。我们还表明,我们的方法具有出色的泛化性能,例如对训练过程中看不到的口语进行去噪。
2020-10-22 cs.LG cs.SD eess.AS
Hearing from Silence: Reasoning Audio Descriptions from Silent Videos via Vision-Language Model
Chinese Academy of Sciences(中国科学院);University of Chinese Academy of Sciences(中国科学院大学);Tencent AI Lab(腾讯AI实验室);Institute of Automation School of Artificial Intelligence(自动化研究所人工智能学院)
针对多模态大模型在视频转音频推理中难以获取音频描述的问题,提出从无声视频推理音频描述(SVAD)任务,构建CoT-AudioCaps数据集并采用基于思维链的监督微调策略,显著提升了模态失配推理能力。
2025-05-28 cs.MM cs.SD eess.AS
Noise-to-mask Ratio Loss for Deep Neural Network based Audio Watermarking
Tampere University(坦佩雷大学)
本文提出一种基于噪声掩蔽比的感知损失函数用于深度神经网络音频水印,通过NMR损失训练模型,使水印更透明,经PEAQ和MUSHRA测试验证优于传统MSE损失。
2024-08-28 cs.SD eess.AS
Structure from Silence: Learning Scene Structure from Ambient Sound
University of Michigan(密歇根大学)
从旋转的吊扇到滴答作响的时钟,我们听到的声音随着我们在场景中的移动而微妙地变化。我们问这些环境声音是否传达有关3D场景结构的信息,如果是这样,它们是否为多模态模型提供了有用的学习信号。为了研究这一点,我们从各种安静的室内场景中收集了配对音频和RGB-D录音的数据集。然后,我们训练模型,估计到附近墙壁的距离,只给音频作为输入。我们还使用这些录音通过自我监督来学习多模态表示,通过训练网络将图像与相应的声音相关联。这些结果表明,环境声音传达了惊人的信息量的场景结构,它是一个有用的信号学习多模态功能。
2021-11-10 cs.CV cs.MM cs.RO
Mamba2 Meets Silence: Robust Vocal Source Separation for Sparse Regions
Kwangwoon University(光云大学)
Mamba2模型通过双路径架构和带宽分割策略,在稀疏区域实现更精准的语音分离,取得11.03 dB的cSDR最佳成绩。
2025-12-31 cs.AI cs.SD eess.AS
Forensic Similarity for Speech Deepfakes
Politecnico di Milano(米兰理工学院)
本研究提出语音深度伪造取证相似度方法,构建含特征提取器与相似度网络的深度学习系统,可判断音频取证痕迹是否同源,对未知痕迹泛化性强,适用于源验证与拼接检测。
2025-10-03 cs.SD
Increase Apparent Public Speaking Fluency By Speech Augmentation
Stony Brook University(石溪大学)
流利而自信的演讲是每个演讲者所渴望的。但是专业的演讲需要大量的经验和练习。在本文中,我们提出了一个语音流处理系统,它可以帮助非专业的扬声器产生流畅,专业的语音内容,反过来有助于更好的听众参与和理解。我们建议通过操纵人类语言中的不流利来实现这一任务,比如“嗯”和“嗯”的声音,填充词和尴尬的长时间沉默。考虑到任何未经排练的演讲,我们将填充的停顿分段并使其沉默,并通过使用专业语音数据集学习的预测模型来处理强加的沉默的持续时间以及其他长的停顿(“不流利”)。最后,我们输出一个音频流,与他/她录制的原始语音相比,扬声器听起来更流利,自信和熟练。根据我们的量化评估,我们通过减少停顿和填充语的频率来显著提高语音的流畅性。
2019-08-03 cs.SD eess.AS
OBHS: An Optimized Block Huffman Scheme for Real-Time Audio Compression
Department of Computer Science, American International University - Bangladesh (AIUB), Dhaka, Bangladesh(计算机科学系,美国国际大学-孟加拉国(AIUB),达卡,孟加拉国);Department of Data Science, University of North Texas, Denton, TX, USA(数据科学系,德克萨斯大学,丹顿,德克萨斯州,美国)
本文提出面向实时音频流的无损压缩算法OBHS,采用带规范码与智能回退的分块哈夫曼编码,以O(n)线性复杂度实现高压缩比,适配资源受限场景。
2025-11-15 cs.SD eess.AS
Voice Activity Detection for Ultrasound-based Silent Speech Interfaces using Convolutional Neural Networks
University of Szeged(塞格德大学)
当输入音频信号有噪声时,语音活动检测(VAD)不是一件容易的事情,当输入甚至不是音频记录时,它甚至更加复杂。这是无声语音接口(SSI)的情况下,我们记录的发音器官在讲话过程中的运动,我们的目标是从这个记录重建语音信号。我们的SSI系统从舌头运动的超声波视频合成语音,并且所得到的语音信号的质量通过诸如底层神经网络的均方误差损失函数和与原始相比重建语音的梅尔倒谱系数失真(MCD)的度量来评估。在这里,我们首先证明,在训练数据中的沉默量可以有MCD评估指标和神经网络模型的性能的影响。然后,我们训练一个卷积神经网络分类器来分离无声和含语音的超声舌图像,使用传统的VAD算法从相应的语音信号创建训练标签。在实验中,我们的基于超声的语音/沉默分离器实现了约85%的分类准确率和约86%的AUC得分。
2021-09-18 cs.SD eess.AS
DawDreamer: Bridging the Gap Between Digital Audio Workstations and Python Interfaces
以前只存在于GUI受限的数字音频工作站、livecoding环境或C++ API中的音频制作技术现在可以通过我们新的Python模块DawDreamer访问。因此,DawDreamer在真正的声音工程师和通过离线批处理模仿他们的编码员之间架起了一座桥梁。像这个领域的当代模块一样,DawDreamer可以创建音频处理器的有向非循环图,例如生成或操纵音频流的VST。DawDreamer还可以动态编译和执行来自Faust的代码,Faust是一种功能强大的信号处理语言,可以部署到许多平台和微控制器上。我们讨论了DawDreamer的独特功能,详细和潜在的应用程序在音乐信息检索,包括声源分离,转录,音频效果参数推断。我们提供了完全跨平台的PyPI安装程序、Linux Dockerfile和一个示例的PyPI notebook。
2021-11-18 cs.SD eess.AS
Sounds of COVID-19: exploring realistic performance of audio-based digital testing
University of Cambridge(剑桥大学);University of Southampton(南安普顿大学)
研究人员一直在努力解决我们如何有效、经济和大规模地识别冠状病毒疾病(COVID-19)病例的问题。最近的工作已经显示了如何基于音频的方法,收集呼吸音频数据(咳嗽,呼吸和声音)可以用于测试,但是缺乏探索偏见和方法决策如何影响这些工具在实践中的性能。在本文中,我们探讨了基于音频的COVID-19数字测试的真实性能。为了调查这一点,我们通过移动应用程序收集了一个大型的众包呼吸音频数据集,以及最近的COVID-19测试结果和症状,旨在作为基础事实。在收集的数据集中,我们从2,478名参与者中选择了5,240个样本,并将它们分成不同的独立于参与者的集合,用于模型开发和验证。其中,我们控制了潜在的混杂因素(如人口统计学和语言)。无偏模型将从呼吸、咳嗽和语音信号中提取的特征作为预测因子,并产生AUC-ROC为0.71(95\% CI:0.65 $-$ 0.77)。我们进一步探讨了不同的不平衡分布,以显示偏见和参与者分裂如何影响绩效。最后,我们讨论了如何将所提出的现实模型整合到临床实践中,以实现连续的,无处不在的,可持续的和负担得起的人口规模的测试。
2021-06-29 cs.LG cs.SD eess.AS
When can I Speak? Predicting initiation points for spoken dialogue agents
Stanford University(斯坦福大学)
当前的口语对话系统在长时间的沉默(700- 1000 ms)之后启动它们的回合,这导致很少的实时反馈、迟缓的响应和总体上呆板的会话流。人类通常在200毫秒内做出反应,成功地提前预测起始点将允许口语对话代理做同样的事情。在这项工作中,我们预测的前置时间启动使用韵律功能从一个预先训练的语音表示模型(wav 2 vec 1.0)上操作的用户音频和单词功能从一个预先训练的语言模型(GPT-2)上操作的增量transmittance。为了评估错误,我们提出了两个度量w.r.t.预测和真实的交货时间。我们训练和评估的Switchboard语料库的模型,发现我们的方法优于功能从以前的工作在这两个指标,大大优于常见的方法,等待700毫秒的沉默。
2022-08-07 cs.CL cs.SD eess.AS
Investigating self-supervised representations for audio-visual deepfake detection
Bitdefender;Politehnica Bucharest(巴蒂亚努大学)
本文系统评估了自监督表示在多模态和多领域中的检测效果、信息可解释性和跨模态互补性,发现音频引导的表示在深度伪造检测中表现最佳。
2026-03-24 cs.CV cs.LG cs.SD
Do Audio-Visual Segmentation Models Truly Segment Sounding Objects?
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Tsinghua University(清华大学)
该研究针对当前视听分割模型存在的依赖视觉显著性、忽略音频线索的偏差问题,构建了含多种负向音频场景的鲁棒基准AVSBench-Robust,并提出结合负样本均衡训练与分类器引导相似度学习的方法,有效提升了模型的分割性能与鲁棒性。
2025-02-20 cs.AI cs.LG cs.MM
The Rest is Silence: Leveraging Unseen Species Models for Computational Musicology
Institut für Musikforschung, Julius-Maximilians-Universität Würzburg(音乐研究研究所,维尔茨堡大学);Institute of Formal and Applied Linguistics, Charles University(形式与应用语言学研究所,查尔斯大学);KreativInstitut.OWL, Paderborn University(创新研究所.OWL,帕德博恩大学);RISM Digital Center, Bern, Switzerland(RISM数字中心,瑞士巴塞尔)
本文首次将生态学中的未见物种模型引入音乐学,通过四个案例研究定量估计音乐数据库的缺失规模与覆盖程度,为计算音乐学提供新方法。
2025-07-19 cs.SD eess.AS stat.AP
Investigating Multi-Feature Selection and Ensembling for Audio Classification
Mehran University of Engineering and Technology(梅赫拉工程技术大学);ADAPT – Science Foundation Ireland Research Centre(ADAPT——爱尔兰科学基金会研究中心);Dublin City University(都柏林城市大学);Lero – the Irish Software Research Centre(Lero——爱尔兰软件研究中心);National University of Ireland, Galway(爱尔兰国立高威大学)
深度学习(DL)算法在不同领域都表现出了令人印象深刻的性能。其中,音频在过去的几十年里吸引了许多研究人员,由于一些有趣的模式-特别是在音频数据的分类。为了获得更好的音频分类性能,特征选择和组合起着关键作用,因为它们有可能成就或破坏任何DL模型的性能。为了研究这一作用,我们对几种尖端DL模型的性能进行了广泛的评估(即,卷积神经网络、EfficientNet、MobileNet、超向量机和多感知器)与各种最先进的音频特征(即,Mel频谱图、Mel频率倒谱系数和过零率)独立地或作为组合(即,通过集成)在三个不同的数据集上(即,Free Spoken Digits Dataset、Audio Urdu Digits Dataset和Audio Gujarati Digits Dataset)。总体而言,结果表明特征选择取决于数据集和模型。然而,特征组合应当仅限于在单独使用时已经实现良好性能的特征(即,主要是Mel频谱图、Mel频率倒谱系数)。这样的功能组合/集成使我们能够超越以前的国家的最先进的结果,无论我们选择的DL模型。
2022-06-15 cs.LG cs.SD eess.AS
Audiogram Digitization Tool for Audiological Reports
Systems and Computer Engineering(系统与计算机工程系);Carleton University(卡尔顿大学)
针对人工解读传真或扫描听力图导致索赔裁决耗时的问题,提出首个听力图数字化算法,可自动提取听阈,多数误差在5 dB以内,并公开代码与NIHL标注门户桌面实现。
2022-09-13 cs.CV cs.SD
Sound of Guns: Digital Forensics of Gun Audio Samples meets Artificial Intelligence
Hamad Bin Khalifa University(哈马德·本·哈利法大学)
根据武器的枪口冲击波对武器进行分类是一项具有挑战性的任务,在各种安全和军事领域都有重要的应用。大多数现有的工作依赖于空间上不同的麦克风传感器的ad-hoc部署,以捕获同一枪声的多个副本,这使得能够准确地检测和识别声源。然而,在诸如犯罪现场取证的场景中难以获得仔细控制的设置,使得上述技术不适用且不切实际。我们介绍了一种新的技术,需要零知识的录音设置,是完全不可知的麦克风和射手的相对位置。我们的解决方案可以识别枪支的类别,口径和型号,在从YouTube视频中提取的3655个样本组成的数据集上达到90%以上的准确率。我们的研究结果表明,应用卷积神经网络(CNN)在枪击分类的有效性和效率,消除了需要一个特设的设置,同时显着提高分类性能。
2021-03-01 cs.LG cs.SD eess.AS
Audio Tampering Detection Based on Shallow and Deep Feature Representation Learning
Central China Normal University(华中师范大学);Hubei University of Technology(湖北工业大学)
数字音频篡改检测可以用于验证数字音频的真实性。然而,大多数当前方法使用标准电子网络频率(ENF)数据库来进行数字音频的ENF连续性的视觉比较分析,或者通过机器学习方法来执行用于分类的特征提取。ENF数据库获取通常比较棘手,视觉方法的特征表示能力较弱,而机器学习方法在特征上有较多的信息丢失,导致检测准确率较低。本文提出了一种融合浅层和深层特征的方法,充分利用ENF信息,利用不同层次特征的互补性,更准确地描述篡改操作对原始数字音频产生的不一致性变化。该方法在三个经典数据库上实现了97.03%的准确率:Carioca 1,Carioca 2和New Spanish。此外,我们在新建的数据库GAUDI-DI上的准确率达到了88.31%。实验结果表明,该方法优于现有方法。
2022-10-19 cs.SD eess.AS
Digital Audio Tampering Detection Based on ENF Spatio-temporal Features Representation Learning
Hubei University of Technology(湖北工业大学);Central China Normal University(华中师范大学)
基于电网频率(ENF)的数字音频篡改检测方法大多只利用ENF的静态空间信息,忽略了ENF在时间序列上的变化,限制了ENF特征的表达能力,降低了篡改检测的准确性。提出了一种基于ENF时空特征表示学习的数字音频篡改检测新方法。利用CNN和BiLSTM构建并行时空网络模型,深入提取ENF空间特征信息和ENF时间特征信息,增强特征表示能力,提高篡改检测精度。为了提取ENF的空间和时间特征,本文首先利用数字音频高精度离散傅里叶变换分析提取ENF的相位序列。通过自适应帧移将不等相位序列划分为多个帧,得到相同大小的特征矩阵来表征ENF的空间特征。同时,基于ENF时变信息将相位序列划分为多帧,以表征ENF的时域特征。然后分别使用CNN和BiLSTM进一步提取深度时空特征,并使用注意力机制对深度时空特征进行自适应权值分配,获得表征能力更强的时空特征。最后,使用深度神经网络来确定音频是否被篡改。在公共数据库Carioca,New Spanish下的实验结果表明,与现有方法相比,该方法的准确率提高了2.12%-7.12%。
2022-08-25 cs.SD eess.AS
DeepFake Doctor: Diagnosing and Treating Audio-Video Fake Detection
TU Darmstadt(图宾根大学)
本文针对音视频DeepFake检测基准测试中数据集、检测方法和评估协议的关键问题,首次为DeepSpeak v1数据集提出评估协议,并提出极简多模态基线SIMBA及音频捷径缓解策略,为领域发展指明方向。
2025-06-06 cs.AI cs.MM cs.SD
Bypassing Direct Reconstruction: Speech Detection from MEG via Large-Scale Audio Retrieval
Center for BioMed-X Research, Academy for Advanced Interdisciplinary Studies, Peking University(北京大学生物医学交叉研究学院,先进跨学科研究学院);Speech and Hearing Research Center, School of Intelligence Science and Technology, Peking University(北京大学智能科学与技术学院语音听力研究中心);State Key Laboratory of General Artificial Intelligence, Beijing, China(一般人工智能国家重点实验室,中国北京);National Biomedical Imaging Center, State Key Laboratory of Membrane Biology, Institute of Molecular Medicine, Peking-Tsinghua Center for Life Sciences, College of Future Technology, Peking University(国家生物医学成像中心,膜生物学国家重点实验室,分子医学研究院,北京大学-清华大学生命科学学院,未来技术学院,北京大学)
本文提出一种两阶段框架,通过大规模音频库检索匹配语音片段,再直接生成二元静音/语音序列,有效提升MEG语音检测性能。
2026-05-13 cs.SD
The MSXF TTS System for ICASSP 2022 ADD Challenge
Mashang Consumer Finance Co., Ltd.(马上消费金融股份有限公司)
本文介绍了我们的MSXF TTS系统,用于2022年音频深度合成检测(ADD)挑战赛的任务3.1。我们使用一个端到端的文本到语音转换系统,并在训练阶段加入一个约束损失。端到端TTS系统是VITS,预训练自监督模型是wav2vec 2.0。并探讨了语速和音量对欺骗效果的影响。语音越快意味着音频中的无声部分越少,就越容易欺骗检测器。我们还发现,体积越小,欺骗能力越好,尽管我们对提交的体积进行了归一化。我们的队伍被确定为C2,我们在挑战赛中获得了第四名。
2022-01-27 cs.AI cs.SD eess.AS
What the Waveform Knows: Transparent-first Speech and Audio Intelligence with Caption Studio
Faculty of Science, Agriculture, and Engineering, Newcastle University Singapore(新加坡纽卡斯尔大学科学、农业与工程学院);School of Information and Control Engineering, Qingdao University of Technology(青岛理工大学信息与控制工程学院);Department of EEE, Amrita School of Engineering, Amrita Vishwa Vidyapeetham(阿姆瑞塔工程学院电气与电子工程系,阿姆瑞塔大学)
研究借助字幕工作室平台实现透明优先的语音和音频智能。核心方法是构建基于FastAPI的三层架构系统。主要贡献为提出透明优先框架,明确指标性质,提升语音分析的可追溯性、可解释性与可靠性,还介绍了相关系统架构等内容。
2026-07-22 cs.AI cs.SD
Spectral and Rhythm Features for Audio Classification with Deep Convolutional Neural Networks
Target Innovation AI
研究使用深度卷积神经网络评估多种频谱与节奏特征在音频分类中的表现,发现mel尺度频谱图和MFCCs效果显著最优。
2024-10-18 cs.AI cs.CV cs.LG
Audio Defect Detection in Music with Deep Networks
Analysis-Synthesis Team, UMR 9912 STMS - IRCAM, CNRS, Sorbonne Université(分析与合成团队,UMR 9912 STMS - IRCAM,法国国家科学研究中心,索邦大学)
随着越来越多的音乐被数字化地从制作转移到发行,需要确定媒体质量的自动手段。数字音频处理工具中的保护机制没有消除位于分发链下游的制作实体评估音频质量并检测进一步插入上游的缺陷的需要。这种分析通常仅依赖于接收到的音频和稀缺的元数据。故意使用流行音乐中的点击等伪像以及现代音频编码中的腐败所导致的最近的缺陷需要以数据为中心和上下文敏感的检测解决方案。我们提出了一个卷积网络架构,端到端的编码器解码器配置开发检测器的两个示例性的音频缺陷。一个点击检测器的训练和比较传统的信号处理方法,与上下文敏感性的讨论。额外的后处理用于数据增强和工作流模拟。我们的模型捕捉方差的能力,探索在检测器中的文物从损坏的MP3压缩音频的解压缩。对于这两个任务,我们描述了人工制品的合成生成控制检测器的训练和评估。我们在大型开源免费音乐档案(FMA)和特定类型的数据集上评估我们的检测器。
2022-02-11 cs.LG cs.SD eess.AS
The AeroSonicDB (YPAD-0523) Dataset for Acoustic Detection and Classification of Aircraft
AeroSonicDB;Soundsensing AS
针对音频数据集稀缺问题,本文提出 AeroSonicDB 飞机声音数据集,含 625 段录音及多标签,并给出二分类基线结果,推动机器听觉研究。
2023-11-10 cs.LG cs.SD eess.AS
BreathGRU: A Novel Semi-Supervised Bidirectional Gated Recurrent Unit Framework for Speech and Breath Segmentation for Respiratory Audio
Aberystwyth University(阿伯里斯特威斯大学);University of Southampton(南安普顿大学)
针对呼吸音频分析中语音-呼吸分割的不足,提出半监督双向门控循环单元框架BreathGRU,结合特征提取、双向建模、伪标签精炼和维特比解码,在多项指标上优于现有方法,实现高效分割。
2026-09-28 cs.LG cs.SD eess.AS
A Critical Assessment of Visual Sound Source Localization Models Including Negative Audio
Universitat Pompeu Fabra(庞培法布拉大学);MARL-IDM, New York University(纽约大学MARL-IDM)
该研究针对现有视觉声源定位模型评估的三大缺陷,构建含三类负样本音频的测试集与指标,发现多数SOTA模型未有效利用音频、判别力不足,无法适配无先验信息的真实场景定位。
2025-01-10 cs.CV cs.SD eess.AS
Do LLM Decoders Listen Fairly? Benchmarking How Language Model Priors Shape Bias in Speech Recognition
The Ohio State University(俄亥俄州立大学);Air Force Research Laboratory(空军研究实验室)
研究评估九种模型在不同人口特征上的语音识别性能,发现LLM解码器在种族偏见上表现更公平,但Whisper在印度口音语音上出现病理学幻觉,且音频压缩对口音公平性影响更大。
2026-04-23 cs.AI cs.CL cs.SD
DualTurn: Learning Turn-Taking from Dual-Channel Generative Speech Pretraining
Anyreach AI
DualTurn通过双通道生成式语音预训练,实现了更自然的轮流对话处理,优于现有方法在代理动作预测和词级轮流预测上的表现。
2026-03-09 cs.CL cs.SD eess.AS
Audio Captcha Recognition Using RastaPLP Features by SVM
Middle Tennessee State University(中田纳西州立大学);Goats(三羊公司)
如今,CAPTCHA是计算机生成的测试,人类可以通过,但目前的计算机系统不能。它们在各种Web服务中具有共同的用途,以便能够自主地从计算机程序中检测人。通过这种方式,所有者可以保护他们的Web服务免受机器人攻击。除了由失真图像(主要是测试图像)组成的视觉CAPTCHA之外,用户还必须编写一些关于该图像的描述,还有大量的音频CAPTCHA。简而言之,音频验证码是声音文件,其中包括在重噪声下的人类声音,其中扬声器连续发出一串数字。一般来说,在这些声音文件中,有一些周期性和非周期性的噪音,很难用程序识别它们,但对于人类听众来说却不是这样。我们收集了大量随机收集的音频文件进行训练,然后使用我们的SVM算法进行测试,以便能够从每个对话中提取数字。
2019-01-08 cs.LG cs.SD eess.AS
Unsupervised Speaker Diarization in Distributed IoT Networks Using Federated Learning
Michigan State University(密歇根州立大学)
本文针对分布式物联网音频设备提出了基于联邦学习的无监督说话人日志记录框架,通过无监督更新机制、说话人变化检测技术和聚类方法,实现了非IID数据下的高效识别,降低了计算开销和检测误差。
2024-11-29 cs.LG cs.SD eess.AS
AudioMNIST: Exploring Explainable Artificial Intelligence for Audio Analysis on a Simple Benchmark
Fraunhofer Heinrich-Hertz-Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Korea University(高丽大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);BIFOLD – Berlin Institute for the Foundations of Learning and Data(BIFOLD——柏林学习与数据基础研究所)
本文提出开源音频数据集AudioMNIST,利用LRP技术对处理波形和频谱图的神经网络进行事后解释,通过输入操作验证特征选择假设,并引入可听热图,在用户研究中证明其优于视觉解释。
2023-11-27 cs.AI cs.LG cs.SD
Modulation Discovery with Differentiable Digital Signal Processing
Centre for Digital Music, Queen Mary University of London, UK(伦敦大学女王学院数字音乐中心);Independent Researcher, Singapore(新加坡独立研究者)
提出一种基于调制提取、约束控制信号参数化和可微分数字信号处理的神经声音匹配方法,用于发现声音中的调制,并在合成与真实音频上验证其有效性与可解释性权衡。
2025-10-07 cs.LG cs.SD eess.AS
Acoustic Echo Cancellation by Combining Adaptive Digital Filter and Recurrent Neural Network
Haier Smart Home Co., Ltd.(海尔智家股份有限公司)
声学回声消除(AEC)在语音交互中起着关键作用。由于显式的数学原理和适应条件的智能性质,具有不同类型实现的自适应滤波器总是用于AEC,具有相当大的性能。然而,在结果中会有一些种类的残留回声,包括由估计与实际之间的失配引入的线性残留和主要由音频设备上的非线性分量引起的非线性残留。线性残差可以通过精细的结构和方法来减少,而非线性残差则难以抑制。虽然人们已经提出了一些非线性处理方法,但这些方法都比较复杂,抑制效果不好,而且会对语音造成损害。本文提出了一种自适应滤波与神经网络相结合的AEC融合方案。通过自适应滤波可以大幅度地降低回波,从而使残留回波很小。虽然它比语音小得多,但它也可以被人耳感知,并使交流变得烦人。精心设计和训练神经网络以抑制这种残留回声。实验结果表明,该方法具有较好的融合效果和优越性。
2020-05-19 cs.LG cs.SD eess.AS
Listen, Do Not Copy: Internalizing Audio-Grounded Scaffold Context for Robust Omni-Model Speech Understanding
研究针对全模型在嘈杂重叠语音中准确率下降问题,提出音频基础的支架上下文(AGSC)方法,通过三步构建线索,经测试优化后用于训练,降低了无线索错误率,还制定联合任务,内化后几乎不增加推理开销。
2026-07-30 cs.SD
Streamable Neural Audio Synthesis With Non-Causal Convolutions
IRCAM(声学音乐研究与协调研究所);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学)
深度学习模型大多以离线推理的方式使用。然而,这严重限制了这些模型在音频生成设置中的使用,因为大多数创意工作流程都基于实时数字信号处理。虽然基于递归网络的方法可以自然地适应这种基于缓冲区的计算,但卷积的使用仍然带来了一些严重的挑战。为了解决这个问题,已经提出了因果流卷积的使用。然而,这需要特定的复杂化训练,并可能影响最终的音频质量。在本文中,我们介绍了一种新的方法,允许产生非因果流模型。这允许使任何卷积模型与基于实时缓冲器的处理兼容。由于我们的方法是基于模型的训练后重新配置,我们证明了它能够将没有因果约束的训练模型转换为流模型。我们展示了我们的方法可以适应复杂的架构与并行分支。为了评估我们的方法,我们将其应用于最近的RAVE模型,该模型提供了高质量的实时音频合成。我们在多个音乐和语音数据集上测试了我们的方法,并表明它比附加方法更快,同时对生成质量没有影响。最后,我们介绍了两个开源的实现我们的工作作为Max/MSP和PureData外部,并作为一个VST音频插件。这允许在笔记本电脑CPU上赋予传统的数字音频工作站实时神经音频合成。
2022-04-14 cs.LG cs.SD eess.AS
PEAF: Learnable Power Efficient Analog Acoustic Features for Audio Recognition
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL));Logitech Europe S.A.(罗技欧洲股份有限公司);Reexen Technology(Reexen科技公司(注:若为专有名词可保留原英文名,此处按含义直译))
在摩尔定律结束时,需要新的计算范式来延长可穿戴和物联网智能音频设备的电池寿命。理论分析和物理验证表明,在中低信噪比的应用领域,模拟信号处理(ASP)比数字信号处理具有更高的功率效率。此外,ASP允许与模拟麦克风直接接口,而无需高功耗的模数转换器。在这里,我们提出了高能效的模拟声学功能(PEAF),由制造的CMOS芯片验证运行音频识别。线性、非线性和可学习的PEAF变体在许多电池供电设备中需要的两个语音处理任务上进行评估:唤醒词检测(WWD)和关键词定位(KWS)。与数字声学特征相比,可以获得具有竞争力的分类精度的更高的功率效率。建立了一个新的基于信息论的理论框架来分析特征提取流程中各个阶段的信息流。该分析确定了信息瓶颈,并帮助将KWS准确性提高了7%。这项工作可能为构建具有一流推理性能的更节能的智能音频设备铺平道路。
2022-03-29 cs.SD eess.AS eess.SP
Trigger Sound Suppression for Misophonia
University of Washington(华盛顿大学);Duke Center for Misophonia and Emotion Regulation(杜克大学恐音症与情绪调节中心)
本研究提出神经触发声音抑制方法,利用流式双路径网络选择性移除恐音症患者的触发声音,并通过临床聆听研究验证其能显著降低痛苦和唤醒度、改善效价。
2026-10-01 cs.SD
DDSP-SFX: Acoustically-guided sound effects generation with differentiable digital signal processing
Dolby Laboratory(杜比实验室)
本文提出DDSP-SFX模型,基于可微分数字信号处理实现高质量音效合成,并通过瞬态建模与音色控制方法支持确定性的声学属性控制和音色迁移。
2023-09-14 cs.SD eess.AS
Whisper-CD: Accurate Long-Form Speech Recognition using Multi-Negative Contrastive Decoding
Sungkyunkwan University, Republic of Korea(全州大学,韩国)
针对Whisper长语音识别中的幻觉、重复和遗漏问题,提出无需训练的对比解码框架Whisper-CD,通过三种声学扰动构造负样本并聚合,显著降低词错误率并加速解码。
2026-06-23 cs.AI cs.SD eess.AS
ELLA-V: Stable Neural Codec Language Modeling with Alignment-guided Sequence Reordering
Shanghai Jiao Tong University(上海交通大学);Microsoft(微软)
本文提出ELLA-V,一种基于语言模型的零样本TTS框架,通过将音素token置于对应声学token之前的交错序列重排实现音素级细粒度控制,在准确率和稳定性上优于VALL-E。
2024-01-14 cs.AI cs.CL cs.SD
6KSFx Synth Dataset
Centre for Digital Music(数字音乐中心);Queen Mary University of London(伦敦玛丽女王大学)
本文提出包含6000个合成音频样本的6KSFx Synth Dataset,覆盖30个声音类别,旨在填补程序化音频领域公开数据集的空白,支持评估框架创建并推动数字声音设计研究。
2025-01-27 cs.SD eess.AS physics.data-an
Property-Aware Multi-Speaker Data Simulation: A Probabilistic Modelling Technique for Synthetic Data Generation
NVIDIA(英伟达)
提出一种多说话人语音数据模拟器,通过调节统计参数控制静音和重叠分布,生成大规模音频混合物,有效解决了说话人日志和语音活动检测的数据获取与标注难题。
2023-10-18 cs.SD eess.AS
Understanding the Algorithm Behind Audio Key Detection
Lumorobotics
本文介绍了一种通过数字信号处理分析音频调性内容并与理论调性轮廓比较,来自动检测音乐调性的算法方法。
2025-05-22 cs.SD eess.AS
Audio Dequantization for High Fidelity Audio Generation in Flow-based Neural Vocoder
Korea University(高丽大学);Netmarble Corporation(网石公司)
在最近的工作中,基于流的神经声码器在实时语音生成任务中表现出显着的改善。可逆流操作的序列允许模型将样本从简单分布转换为音频样本。然而,在离散音频数据上训练连续密度模型会由于潜在分布和实际分布之间的拓扑差异而降低模型性能。为了解决这个问题,我们提出了音频去量化方法在基于流的神经声码器高保真音频生成。数据去量化是图像生成中众所周知的方法,但尚未在音频域中进行研究。为此,我们在基于流的神经声码器中实现了各种音频去量化方法,并研究了其对生成音频的影响。我们进行了各种客观的性能评估和主观评价,以表明音频去量化可以提高音频生成质量。从我们的实验中,使用音频去量化产生波形音频具有更好的谐波结构和更少的数字伪影。
2020-08-16 cs.CL cs.SD eess.AS
OpenACE: An Open Benchmark for Evaluating Audio Coding Performance
Logitech Europe S.A.(洛吉科技欧洲公司)
针对音频语音编码领域缺乏统一开源评估方案、机器学习编解码器测试存在分布偏置的问题,本文提出覆盖多样内容的全带开源评估基准OpenACE,测试了多款主流编解码器并展示情感语音编码质量波动,助力编码领域的开放发展。
2025-08-01 cs.SD eess.AS
Voice-Light: A Full-Duplex Cascaded Voice Agent with Causal Turn-Taking and Speculative Generation
Voice-Light提出级联全双工语音智能体,结合因果轮换与投机式生成,实现低延迟交互,并通过混合控制器在真实场景中平衡误切断与轮次召回率。
2026-09-21 cs.CL cs.SD eess.AS
ART-NAD: An Articulatory Inversion-based Neural Acoustic Distance for Pathological Speech Intelligibility Assessment
Nagoya University(名古屋大学);University of Cologne(科隆大学);University of Groningen(格罗宁根大学)
针对病理语音可懂度评估,提出ART-NAD,用可解释的声道变量替换NAD的黑盒特征,在保持同等相关性(r=0.71)的同时提供发音偏差的可视化解释。
2026-09-22 cs.SD
VoxRAG: A Step Toward Transcription-Free RAG Systems in Spoken Question Answering
Columbia University(哥伦比亚大学)
VoxRAG提出免转录的语音到语音检索增强生成系统,通过静音分割、说话人分离和CLAP嵌入实现直接音频检索,实验证明其可行性但精确性待提升。
2025-05-22 cs.IR cs.SD eess.AS