An Interpretable, Controllable Time-Varying IIR Denoiser for On-Device Assistive Hearing
提出TVF,一种轻量级、可解释的时变滤波降噪模型,通过神经网络控制35个二阶IIR滤波器级联,实现低延迟、设备端实时语音增强,并提供显式的抑制-保留权衡控制。
2026-09-22 cs.AI cs.LG cs.SD
Interpretable Audio Editing Evaluation via Chain-of-Thought Difference-Commonality Reasoning with Multimodal LLMs
College of Computer Science, Nankai University, Tianjin, China(南开大学计算机科学学院,天津,中国);Academy for Advanced Interdisciplinary Studies, Nankai University, Tianjin, China(南开大学先进跨学科研究学院,天津,中国)
提出首个基于自然语言的音频编辑自动评估框架,利用Qwen2-Audio和链式思维推理策略,实现可解释且与人类判断高度一致的评估。
2026-06-16 cs.SD eess.AS
ICGAN: An implicit conditioning method for interpretable feature control of neural audio synthesis
University of Sydney(悉尼大学)
针对神经音频合成依赖离散标签、难以细微控制声音的问题,本文提出基于GAN的隐式条件化方法ICGAN,构建连续条件空间实现无显式标签的可解释音色操控,并用新指标验证其域内与跨域音效控制效果。
2024-06-11 cs.SD eess.AS
Lightweight and interpretable neural modeling of an audio distortion effect using hyperconditioned differentiable biquads
iZotope, Inc.(iZotope公司)
在这项工作中,我们建议使用可微级联biquads模型的音频失真效果。我们将可训练的无限脉冲响应(IIR)滤波器扩展到超条件的情况下,在这种情况下,学习变换以直接将失真效应的外部参数映射到其内部滤波器和增益参数,以及确保滤波器稳定性所需的激活。我们提出了一种新的,有效的IIR滤波器的训练计划,通过傅里叶变换。相对于使用有限脉冲响应滤波器的更传统的黑盒神经音频效果建模方法,我们的模型具有更少的参数和更低的复杂性。我们最小、性能最好的模型充分模拟了44.1 kHz的BOSS MT-2踏板,总共使用了40个双四边形,只有210个参数。它的模型参数是可解释的,可以与原始模拟音频电路相关联,甚至可以在模型训练后由机器学习非专家直观地改变。定量和定性的结果说明了所提出的方法的有效性。
2021-03-15 cs.SD eess.AS eess.SP
Spectrotemporal Modulation: Efficient and Interpretable Feature Representation for Classifying Speech, Music, and Environmental Sounds
New York University(纽约大学);Queen Mary University of London(伦敦大学女王学院);Max Planck Society(马克斯·普朗克协会)
本文提出基于频谱时间调制(STM)特征的无预训练音频分类方法,在语音、音乐和环境声音上达到与预训练音频DNN相当的性能,证明STM高效且可解释,并为听觉科学、脑机接口和认知计算开辟新方向。
2025-05-29 cs.LG cs.SD eess.AS
Interpretable All-Type Audio Deepfake Detection with Audio LLMs via Frequency-Time Reinforcement Learning
Communication University of China(中国通信大学);Machine Intelligence, Ant Group(蚂蚁集团机器智能部);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出FT-GRPO方法,通过频率-时间强化学习实现多类型音频深度伪造检测的可解释性与高性能。
2026-01-06 cs.AI cs.SD
Learning an Interpretable End-to-End Network for Real-Time Acoustic Beamforming
Xiamen University(厦门大学);Lund University(隆德大学)
本文提出DAMAS-FISTA-Net,一种基于模型展开的可解释端到端深度学习网络,用于实时声学波束形成,兼具计算高效性与物理可解释性,实验验证其性能优于现有方法。
2023-06-19 cs.SD eess.AS
audioLIME: Listenable Explanations Using Source Separation
Institute of Computational Perception, Johannes Kepler University(约翰内斯·开普勒大学计算感知研究所);Interactive Audio Lab, Northwestern University(西北大学交互音频实验室);LIT Artificial Intelligence Lab, Johannes Kepler University(约翰内斯·开普勒大学LIT人工智能实验室)
深度神经网络(DNN)已成功应用于各种音乐信息检索(MIR)任务,但它们的预测通常不可解释。我们提出了audioLIME,一种基于本地可解释模型不可知的解释(LIME)扩展的音乐定义的地方的方法。LIME中使用的扰动是通过切换由声源分离提取的开/关分量来创建的,这使得我们的解释是可解释的。我们验证audioLIME两个不同的音乐标记系统,并表明它产生合理的解释的情况下,竞争的方法不能。
2020-09-07 cs.IR cs.LG cs.SD
When Speech Meets Lips: Interpretable Audio-Visual Synchronization for L2 Pronunciation Assessment
Wenzhou-Kean University(温州肯恩大学)
针对二语发音评估忽视语音与发音动作时间同步的问题,提出可解释音视频同步框架,通过时滞轨迹和稳定性指数量化同步,连接自动评分与训练反馈。
2026-09-09 cs.CV cs.SD
Leveraging Pre-Trained Autoencoders for Interpretable Prototype Learning of Music Audio
Universitat Pompeu Fabra(庞培法布拉大学)
提出PECMAE模型,通过解耦训练过程并利用预训练自编码器EnCodecMAE和扩散解码器,实现音乐音频分类的可解释原型学习,在乐器和流派识别任务中保持性能并提升可解释性。
2024-02-14 cs.AI cs.MM cs.SD
Towards Interpretable Framework for Neural Audio Codecs via Sparse Autoencoders: A Case Study on Accent Information
University of Southern California(南加州大学)
本文通过稀疏自编码器分析神经音频编解码器的可解释性,探讨口音信息的编码机制,发现DAS和SpeechTokenizer在可解释性上表现最佳,低比特率EnCodec变体也具有较高可解释性。
2026-07-08 cs.SD
Perceptual Musical Features for Interpretable Audio Tagging
National Technical University of Athens(雅典国立技术大学)
本文针对自动音乐标注中深度模型不可解释的问题,提出结合符号知识、辅助深度网络与信号处理提取感知特征,并训练可解释模型,在MTG-Jamendo和GTZAN数据集上验证了以少量性能损失换取可解释性的可行性。
2024-02-23 cs.AI cs.SD eess.AS
Interpretable Representation Learning for Speech and Audio Signals Based on Relevance Weighting
Indian Institute of Science(印度科学学院)
从原始数据中学习可解释的表示对语音等时间序列数据提出了重大挑战。在这项工作中,我们提出了一个相关的加权方案,允许在模型本身的前向传播的语音表示的解释。相关性加权是使用子网络方法来实现的,该方法执行特征选择任务。应用于对原始语音信号进行操作的卷积神经网络模型的第一层的输出上的相关子网络充当具有相关性加权的声学滤波器组(FB)层。在第二卷积层上应用的类似相关性子网络执行具有相关性加权的调制滤波器组学习。由相关子网络、卷积层和前馈层组成的全声学模型针对Aurora-4、CHiME-3和VOiCES数据集中的噪声和混响语音的语音识别任务进行训练。所提出的表示学习框架也适用于UrbanSound 8 K数据集中的声音分类任务。通过模型学习的相关性权重的详细分析表明,相关性权重捕获关于底层语音/音频内容的信息。此外,语音识别和声音分类实验表明,在神经网络结构中的相关加权的结合显着提高了性能。
2020-10-29 cs.SD eess.AS
Focal Modulation Networks for Interpretable Sound Classification
Concordia University(康考迪亚大学);Université Laval(拉瓦尔大学);Mila-Quebec AI Institute(魁北克人工智能研究所)
本文首次将焦点调制网络(FocalNets)应用于环境声音分类,在ESC-50数据集上实现了优于同等规模视觉变换器的准确性和可解释性,并与专门的事后解释方法PIQ竞争。
2024-02-05 cs.LG cs.SD eess.AS
Interpretable Embeddings of Speech Enhance and Explain Brain Encoding Performance of Audio Models
Mortimer B. Zuckerman Mind Brain Behavior Institute(莫蒂默·B·齐克曼脑行为研究所);Columbia University(哥伦比亚大学);Microsoft Research(微软研究院)
本研究通过方差划分分析,发现语音基础模型与大脑反应的对应主要源于其编码简单可解释特征的能力,且存在层级权衡,并随模型规模增大而增强语义编码,据此提出结合可解释特征构建更优脑编码模型的方法。
2026-10-22 cs.SD eess.AS q-bio.NC
Explainable by-design Audio Segmentation through Non-Negative Matrix Factorization and Probing
LIUM;Le Mans University(勒芒大学);IRIT;IDS, Telecom Paris(巴黎电信学院IDS);ViVoLab, University of Zaragoza(萨拉戈萨大学ViVoLab)
针对音频分割黑盒模型缺乏可解释性的问题,提出基于非负矩阵分解的可解释性设计音频分割模型,兼具良好分割性能与可解释隐表示,为可解释表示评估提供新方向。
2024-06-19 cs.AI cs.SD eess.AS
Interpretable Temporal Class Activation Representation for Audio Spoofing Detection
Toronto Metropolitan University, Canada(多伦多 Metropolitan 大学,加拿大);Shenzhen Key Laboratory of Ubiquitous Data Enabling, Tsinghua Shenzhen International Graduate School, Tsinghua University, China(深圳 ubiquitous 数据赋能关键实验室,清华大学深圳国际研究生院,清华大学,中国)
提出融合 wav2vec 2.0 与注意力话语级特征的可解释时间类激活表示,并采用欺骗类型多标签训练,在 ASVspoof2019-LA 上达到最先进性能。
2024-06-16 cs.CR cs.SD eess.AS
Towards Interpretable Framework for Neural Audio Codecs via Sparse Autoencoders: Exploration toward Age, Gender, and Accent Steering
University of Southern California(南加州大学)
本文利用稀疏自编码器引导神经音频编解码器中的年龄、性别和口音信息,发现所选维度可引发目标偏移,但存在质量下降,凸显了分离特质信息的必要性。
2026-09-29 cs.SD
The smarty4covid dataset and knowledge base: a framework enabling interpretable analysis of audio signals
National Technical University of Athens(雅典国立技术大学);Sismanoglion General Hospital(西斯马诺格利翁综合医院);University of Southern California(南加州大学)
本文提出smarty4covid数据集与OWL知识库,整合咳嗽、呼吸和语音等众包音频数据,并利用该知识库为不透明的AI COVID-19风险检测模型生成反事实解释,提升可解释性。
2023-07-11 cs.SD eess.AS
Activation Patching for Interpretable Steering in Music Generation
Sapienza University of Rome(罗马大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
本文首次在文本到音乐生成中研究大型音频模型的潜在方向向量,通过均值差方法计算速度、音色等二元属性的引导向量并注入中间激活,实现了细粒度可控音乐生成,证明了基于方向的引导是一种更具机制性和可解释性的方法。
2025-04-06 cs.SD
Audio Palette: A Diffusion Transformer with Multi-Signal Conditioning for Controllable Foley Synthesis
New York University(纽约大学)
Audio Palette通过多信号条件和LoRA技术实现可控Foley合成,提供高效、可解释的音频生成与控制方法。
2025-12-05 cs.SD eess.AS
A Gray Box Interpretable Visual Debugging Approach for Deep Sequence Learning Model
University of Dhaka(达卡大学);United International University(联合国际大学)
深度学习算法通常被用作黑盒类型的学习,并且它们太复杂而难以理解。深度学习算法在解决各种机器学习问题方面的广泛可用性要求对内部表示和决策进行深入而透明的理解。此外,学习模型,训练的顺序数据,如音频和视频数据,有复杂的内部推理过程,由于其复杂的分布特征。因此,视觉模拟器可能有助于跟踪内部决策机制以响应对抗性输入数据,并且有助于调试和设计适当的深度学习模型。然而,解释深度学习模型的内部推理在文献中并没有得到很好的研究。在这项工作中,我们开发了一个可视化的交互式Web应用程序,即d-DeVIS,它有助于可视化在音频数据上训练的学习模型的内部推理。所提出的系统允许感知的行为,以及通过交互式地生成对抗音频数据点调试模型。d-DeVIS的Web应用程序可在ddevis.herokuapp.com上获得。
2018-11-20 cs.HC cs.LG cs.SD
Interpretable Acoustic Representation Learning on Breathing and Speech Signals for COVID-19 Detection
Verisk Analytics Inc.(Verisk分析公司)
在本文中,我们描述了一种用于COVID-19检测任务的音频信号表示学习方法。原始音频样本用一组1-D卷积滤波器进行处理,这些滤波器被参数化为余弦调制高斯函数。这些内核的选择允许的平滑带通滤波器的滤波器组的解释。过滤后的输出被合并,日志压缩,并在一个自我关注的相关性加权机制。相关性加权强调了时频分解的关键区域,这些区域对于下游任务很重要。模型的后续层由循环体系结构组成,模型经过训练用于COVID-19检测任务。在我们对Coswara数据集的实验中,我们表明该模型在基线系统以及其他表示学习方法上实现了显着的性能改进。此外,所提出的方法被证明是统一适用于语音和呼吸信号,并从一个更大的数据集的迁移学习。
2022-06-27 cs.LG cs.SD eess.AS
MIDI-DDSP: Detailed Control of Musical Performance via Hierarchical Modeling
Mila, Quebec Artificial Intelligence Institute(米拉魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Northwestern University(西北大学);Google Brain(谷歌大脑);New York University(纽约大学)
音乐表达需要控制什么音符被演奏,以及如何演奏。传统的音频合成器提供了详细的表达控制,但以现实主义为代价。黑盒神经音频合成和级联采样器可以产生逼真的音频,但几乎没有控制机制。在这项工作中,我们引入MIDI-DDSP的乐器,使逼真的神经音频合成和详细的用户控制的层次模型。从可解释的可微分数字信号处理(DDSP)合成参数开始,我们推断出音符及其表达性能的高级属性(如音色,颤音,动态和清晰度)。这创建了一个3级层次结构(笔记,性能,合成),为个人提供了在每个级别进行干预的选项,或者利用受过训练的先验(性能给定笔记,合成给定性能)进行创造性帮助。通过定量实验和听力测试,我们证明了这个层次结构可以重建高保真音频,准确地预测性能属性的一个音符序列,独立地操纵一个给定的性能的属性,并作为一个完整的系统,从一个新的音符序列生成逼真的音频。通过利用具有多个粒度级别的可解释层次结构,MIDI-DDSP打开了辅助工具的大门,使个人能够获得各种各样的音乐体验。
2022-03-17 cs.LG cs.SD eess.AS
Audio Language Model for Deepfake Detection Grounded in Acoustic Chain-of-Thought
Carnegie Mellon University, USA(卡内基梅隆大学,美国)
本文提出CoLMbo-DF,通过整合深度伪造检测与显式的声学推理,利用结构化文本表示提升检测准确性,实验表明其在解释性深度伪造语音检测中取得显著进展。
2026-03-31 cs.SD
Audio Physical Dynamics Inspired Deepfake Detection for Voice Authentication Systems
School of Information Technology, Deakin University(信息科技学院,德金大学)
本文提出一种结合物理指导的深度伪造检测与边缘学习不确定性的框架,用于提升网络语音认证系统的鲁棒性。
2026-08-19 cs.AI cs.SD eess.AS
Towards Interpretable Polyphonic Transcription with Invertible Neural Networks
Austrian Research Institute for Artificial Intelligence (OFAI)(奥地利人工智能研究所);Institute of Computational Perception, Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校计算感知研究所)
我们探索一种新的方式概念化的任务,复调音乐转录,使用所谓的可逆神经网络。可逆模型将判别和生成方面统一在一个函数中,共享一组参数。引入可逆性使从业者能够直接检查判别模型已经学习了什么,并准确地确定哪些输入导致哪些输出。对于将复调音频转录为符号形式的任务,这些模型可能特别有用,因为它们允许我们观察,例如,单音符的概念在多大程度上可以单独从复调音乐语料库中学习(这在最近的研究中被认为是一个严重的问题)。这是一种全新的音频转录方法,首先需要一些基础工作。在这篇文章中,我们从最简单的可逆转录模型开始,然后深入研究它的性质。最后,我们将迈出第一步,迈向更复杂和更有能力的版本。我们使用钢琴转录的任务,特别是MAPS数据集,作为这些调查的基础。
2019-09-04 cs.SD eess.AS
From Sound to Setting: AI-Based Equalizer Parameter Prediction for Piano Tone Replication
提出一种基于AI的钢琴音色复刻系统,直接从音频特征预测可解释的EQ参数,神经网络在多频段任务上MSE达0.0216。
2025-09-29 cs.LG cs.SD eess.AS
Tackling Interpretability in Audio Classification Networks with Non-negative Matrix Factorization
Laboratoire de Traitement et Communication de l’Information (LTCI)(信息处理与通信实验室(LTCI));Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
本文提出基于非负矩阵分解的解释器,用于事后与设计两种模式下生成可听的音频解释,增强决策相关信号,并在多标签音频与音乐分类任务中验证了有效性。
2023-05-11 cs.LG cs.SD eess.AS
A Model You Can Hear: Audio Identification with Playable Prototypes
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS(LIGM、巴黎桥路学院、古斯塔夫·埃菲尔大学、法国国家科学研究中心);LASTIG, Univ Gustave Eiffel, IGN, ENSG(LASTIG、古斯塔夫·埃菲尔大学、法国国家地理研究所、法国国立地理科学学院);STMS Lab, UMR 9912 (IRCAM, CNRS, Sorbonne University)(STMS实验室、UMR 9912(声学/音乐研究与协作学院、法国国家科学研究中心、索邦大学));INRIA and DIENS (ENS-PSL, CNRS, INRIA)(法国国家信息与自动化研究所、巴黎高等师范学院计算机系(巴黎高等师范学院-巴黎文理研究大学、法国国家科学研究中心、法国国家信息与自动化研究所))
机器学习技术已经证明对于分类和分析音频内容是有用的。然而,最近的方法通常依赖于难以解释的抽象和高维表示。受针对图像和3D数据开发的变换不变方法的启发,我们提出了一种基于可学习频谱原型的音频识别模型。这些原型配备了专用的转换网络,可用于对来自大量声音集合的输入音频样本进行聚类和分类。我们的模型可以在有监督或无监督的情况下进行训练,并在说话者和乐器识别方面达到最先进的结果,同时保持易于解释。代码可在以下网址获得:https://github.com/romainloiseau/a-model-you-can-hear
2022-08-05 cs.SD eess.AS
Predicting Timbre Traits for Interpretable Assessment of Musical Sound Synthesizers
Arizona State University, School of Music, Dance and Theatre(亚利桑那州立大学音乐、舞蹈和戏剧学院);Arturia
提出一个深度神经音色特征预测器,使用CLAP嵌入和浅层可学习组件,基于RWC乐器数据库和人类判断训练,用于评估神经声音合成器,提供与FAD相当的排名并支持单声音的定性分析。
2026-06-29 cs.SD
Toward end-to-end interpretable convolutional neural networks for waveform signals
Monash University(莫纳什大学);Singapore Management University(新加坡管理大学)
本文提出一种面向原始波形信号的端到端可解释CNN框架,在语音情感识别上优于梅尔频谱特征且可替代MFCC,并在心音数据上验证了其轻量高效与可解释性。
2024-05-03 cs.AI cs.SD eess.AS
Exploring Conditioning for Generative Music Systems with Human-Interpretable Controls
Dalhousie University(达尔豪斯大学);Vector Institute(向量研究所)
Performance RNN是一个机器学习系统,主要用于使用基于事件(而不是音频)的表示生成钢琴独奏表演。更具体地说,Performance RNN是一种基于长短期记忆(LSTM)的递归神经网络,其利用表达性定时和动态来对复调音乐进行建模(Oore et al.,2018年)。神经网络使用基于乐器数字接口(Musical Instrument Digital Interface,MIDI)文件格式的简单语言模型。Performance RNN在e-Piano Junior Competition Dataset(2018年国际钢琴电子竞赛)上进行训练,这是专家钢琴家的钢琴独奏表演的集合。作为一种艺术工具,原始模型的局限性之一是缺乏可用的控件。性能RNN的标准形式可以生成有趣的片段,但对具体生成的内容几乎没有控制。本文探讨了一套基于条件的控制,用于影响生成过程。
2019-08-04 cs.LG cs.SD eess.AS
AR&D: A Framework for Retrieving and Describing Concepts for Interpreting AudioLLMs
Australian Institute for Machine Learning, University of Adelaide(澳大利亚机器学习研究所,阿德莱德大学);Dolby Laboratories(杜比实验室);School of Computer and Mathematical Sciences, University of Adelaide, Australia(计算机与数学科学学院,阿德莱德大学,澳大利亚)
AR&D框架通过稀疏自编码器解构音频大语言模型的多义激活,实现对模型内部特征的可解释性增强,为高风险领域应用提供可靠部署基础。
2026-02-24 cs.SD
Interpretable Timbre Synthesis using Variational Autoencoders Regularized on Timbre Descriptors
Technological University Dublin(都柏林理工大学)
针对深度生成模型潜在空间在人类感知层面可解释性有限的问题,提出融入音色描述符的正则化VAE潜在空间,并利用声音谐波含量压缩表示以降低潜在空间维度,提升音色生成的可控性与可解释性。
2023-07-18 cs.SD eess.AS
Pay Attention to the cough: Early Diagnosis of COVID-19 using Interpretable Symptoms Embeddings with Cough Sound Signal Processing
Saama AI Research(萨马人工智能研究院)
由SARS-CoV-2引起的COVID-19(2019冠状病毒病)大流行给人类带来了一场危险和毁灭性的灾难。在撰写本文时,没有推荐使用特定的抗病毒药物或疫苗来控制感染传播和扩散。目前COVID-19的诊断是通过逆转录聚合物链反应(RT-PCR)检测完成的。然而,这种方法是昂贵的,耗时的,并不容易在贫困地区。基于咳嗽声音特征和症状元数据设计和开发了可解释的COVID-19诊断AI框架,以克服这些限制。使用包含30000个音频片段的症状和人口统计数据的医疗数据集评估了所提出的框架的性能,其中328个咳嗽声音来自150名患者,具有四种咳嗽类别(COVID-19,哮喘,支气管炎和健康)。实验结果表明,该模型捕获了更好和鲁棒的特征嵌入,以区分COVID-19患者咳嗽和几种类型的非COVID-19咳嗽,具有更高的特异性和准确性,分别为95.04 $\pm$ 0.18%和96.83 $\pm$ 0.18%,同时保持可解释性。
2020-10-12 cs.LG cs.SD eess.AS
AIBA: Attention-based Instrument Band Alignment for Text-to-Audio Diffusion
Department of Artificial Intelligence, Yonsei University(人工智能系,延世大学);MAAP LAB, MODULABS(MODULABS 音频实验室);KRAFTON;AI Matics;Department of Media Software, Sungkyul University(媒体软件系,松谷大学)
AIBA是一种轻量级、无需训练的流程,通过交叉注意力投影和可解释指标量化文本到音频扩散模型在时频平面上的注意力,在Slakh2100上揭示了乐器依赖趋势并实现高精度。
2025-09-25 cs.SD
DeepGB-TB: A Risk-Balanced Cross-Attention Gradient-Boosted Convolutional Network for Rapid, Interpretable Tuberculosis Screening
DeepGB-TB通过结合跨注意力机制和梯度提升决策树,实现快速、可解释的肺结核筛查,具有高准确率和低资源需求。
2026-02-02 cs.AI cs.LG cs.SD
Enabling Factorized Piano Music Modeling and Generation with the MAESTRO Dataset
Google Brain(谷歌大脑);DeepMind(深度思维)
直接用神经网络生成音乐音频是非常困难的,因为它需要在许多不同的时间尺度上连贯地建模结构。幸运的是,大多数音乐也是高度结构化的,可以表示为乐器上演奏的离散音符事件。在这里,我们表明,通过使用笔记作为中间表示,我们可以训练一套模型,能够转录,合成和合成的音频波形与连贯的音乐结构的时间跨度为6个数量级(~0.1毫秒到~100秒),我们称之为波2 Midi 2 Wave的过程。我们发布的新MAESTRO(为同步曲目和组织编辑的音乐和音频)数据集实现了这一最先进技术的巨大进步,该数据集由超过172小时的钢琴演奏组成,在音符标签和音频波形之间精确对齐(约3 ms)。该网络和数据集一起为创建新的表达和可解释的音乐神经模型提供了一种有前途的方法。
2019-01-17 cs.LG cs.SD eess.AS
Blind Audio Source Separation with Minimum-Volume Beta-Divergence NMF
Université de Mons(蒙斯大学)
考虑到混合信号组成的各种音频源和记录与一个单一的麦克风,我们认为在本文中的盲音频源分离问题,其中包括在隔离和提取每个源。为了执行此任务,基于Kullback-Leibler和Itakura-Saito $β$ -发散的非负矩阵分解(NMF)是使用信号的时频表示的标准和最先进的技术。我们提出了一个新的NMF模型更适合这项任务。它是基于最小化的$β$ -发散以及一个惩罚项,促进列的字典矩阵有一个小的体积。在一些温和的假设和无噪声条件下,我们证明了该模型是可证明的能够识别的来源。为了解决这个问题,我们提出了乘法更新,其推导是基于标准的优化最小化框架。我们的几个数值实验表明,我们的新模型是能够获得更多的解释比标准NMF模型的结果。此外,我们表明,它是能够恢复的源,即使当源的数量存在于混合信号被高估。事实上,我们的模型在这种情况下会自动将源设置为零,从而自动执行模型顺序选择。
2020-04-28 cs.LG cs.SD eess.AS
Structure Across Voices: Comparing acoustic-event type accumulation and sequence dependence across four vocal corpora using frozen audio encoders
本研究用冻结音频编码器比较四种声音库,发现声学事件累积与序列依赖性差异取决于测量属性与时间尺度,而非单一等级。
2026-11-18 cs.AI cs.SD
DDSP Guitar Amp: Interpretable Guitar Amplifier Modeling
National Taiwan University(台湾大学);Positive Grid
本文提出基于可微数字信号处理的“DDSP guitar amp”模型,通过模拟吉他放大器四大组件实现可解释建模,在保持与黑盒基线相当性能的同时将每样本计算量降至10%以下,更适用于实时应用。
2024-08-21 cs.SD eess.AS
Multimodal Confidence Modeling in Audio-Visual Quality Assessment
Texas State University Department of Computer Science(德克萨斯州立大学计算机科学系)
本文提出MCM-AVQA框架,通过多模态置信度感知方法提升音频视频质量评估的准确性与可解释性,特别在处理不对称退化时表现更优。
2026-05-02 cs.CV cs.MM cs.SD
ART-NAD: An Articulatory Inversion-based Neural Acoustic Distance for Pathological Speech Intelligibility Assessment
Nagoya University(名古屋大学);University of Cologne(科隆大学);University of Groningen(格罗宁根大学)
针对病理语音可懂度评估,提出ART-NAD,用可解释的声道变量替换NAD的黑盒特征,在保持同等相关性(r=0.71)的同时提供发音偏差的可视化解释。
2026-09-22 cs.SD
Are Nearby Neighbors Relatives?: Testing Deep Music Embeddings
Delft University of Technology(代尔夫特理工大学)
深度神经网络经常用于从原始输入数据直接学习对给定任务有用的表示。在整体性能指标方面,据报道,经常采用深度表示的机器学习解决方案大大优于使用手工制作的特征表示的解决方案。同时,他们可能会注意到数据中占主导地位的方面,但实际上没有意义或不可解释。因此,在本文中,我们提出了一种系统的方法来测试的可信度深音乐表示,考虑音乐语义。潜在的假设是,在要信任深度表示的情况下,应该在输入音频空间和对应的潜在深度空间两者中保持已知相关点之间的距离一致性。我们通过语义上有意义的变换生成已知的相关点,同时考虑到不可察觉和严重的变换。然后,我们研究了空间内和空间间的距离,既考虑了音频空间,也考虑了潜在的嵌入空间,后者是传统特征提取器或深度编码器的结果。我们说明了我们的方法,作为特定任务的性能的补充,提供了可解释的洞察网络可能已经从训练数据信号中捕获。
2019-10-17 cs.LG cs.SD eess.AS
Interpretable Style Transfer for Text-to-Speech with ControlVAE and Diffusion Bridge
Xiamen University(厦门大学)
本文提出一种结合ControlVAE、量化VAE扩散桥和扩散细化器的TTS系统,在LibriTTS上实现了可解释且高保真的风格迁移,优于基线模型。
2023-07-11 cs.SD eess.AS
AnyAudio-Judge: A Dynamic Rubric-Based Benchmark and Evaluator for Audio Instruction Following
Zhejiang University(浙江大学);Shanghai Innovation Institute(上海创新研究院);Shanghai Jiao Tong University(上海交通大学);Tencent Hunyuan(腾讯文脉)
针对指令引导音频生成中复杂指令解耦困难、评估缺乏可解释性和细粒度属性匹配的问题,提出基于动态评分标准的评估范式,通过自适应分解音频描述为可验证的二元评分项,并构建包含7920个样本的双语基准和105K训练语料,结合SFT与GRPO训练专用评估器,在零样本对齐检测和下游强化学习指令对齐中取得显著提升。
2026-09-18 cs.AI cs.SD eess.AS
DDSP: Differentiable Digital Signal Processing
Google Research(谷歌研究院)
大多数音频生成模型直接在两个域之一生成样本:时间或频率。虽然足以表达任何信号,但这些表示是低效的,因为它们没有利用关于声音如何产生和感知的现有知识。第三种方法(声码器/合成器)成功地结合了信号处理和感知的强大领域知识,但由于有限的表达性和与现代基于自动微分的机器学习方法集成的困难,研究较少。在本文中,我们介绍了可微分数字信号处理(DDSP)库,它可以直接集成经典信号处理元素与深度学习方法。专注于音频合成,我们实现了高保真的生成,而不需要大的自回归模型或对抗性损失,这表明DDSP能够利用强归纳偏差,而不会失去神经网络的表达能力。此外,我们表明,结合可解释的模块允许操纵每个单独的模型组件,与应用程序,如独立控制的音高和响度,现实的外推到训练过程中看不到的音高,室内声学的盲去混响,提取的室内声学转移到新的环境中,和不同来源之间的音色的转换。简而言之,DDSP实现了可解释和模块化的生成建模方法,而不会牺牲深度学习的优势。该库在https://github.com/magenta/ddsp上公开,我们欢迎社区和领域专家的进一步贡献。
2020-01-14 cs.LG cs.SD eess.AS
Interpretable MEG Decoding of Perceived Speech: Cortical Sources and the Stimulus Features That Drive Retrieval
HSE University(高等经济大学);ITMO University(ITMO大学)
本研究重新设计MEG到音频检索架构,在MEG-MASC数据集上实现39.75±0.34%的Top-1准确率,通过源映射与输入干预明确了驱动语音检索的关键刺激特征。
2026-08-04 cs.LG cs.SD q-bio.NC
Explaining Deep Learning Embeddings for Speech Emotion Recognition by Predicting Interpretable Acoustic Features
Carnegie Mellon University(卡内基梅隆大学);Harvard University(哈佛大学);McGovern Institute(麦戈文研究所);Massachusetts Institute of Technology (MIT)(麻省理工学院)
针对语音情感识别中深度学习嵌入可解释性不足的问题,提出改进探测方法,通过重要维度子集的声学特征预测能力推断关键特征,实验验证了四类声学特征的信息量排序及方法效用。
2024-09-14 cs.AI cs.SD eess.AS
Neural Codec Source Tracing: Toward Comprehensive Attribution in Open-Set Condition
Communication University of China(中国传媒大学);University of Chinese Academy of Sciences(中国科学院大学);Chinese Academy of Sciences(中国科学院);Tsinghua University(清华大学);Tencent(腾讯)
针对现有音频深度伪造来源追踪仅适用于闭集的问题,本文定义开放集NCST任务,构建含11种神经编解码器双语样本及ALM分布外样本的ST-Codecfake数据集,建立基准并发现模型在真实未见过音频分类上鲁棒性不足。
2025-01-11 cs.AI cs.SD eess.AS
Explainable Multi-Modal Deep Learning for Automatic Detection of Lung Diseases from Respiratory Audio Signals
Albukhary International University(阿尔布胡亚国际大学)
本研究提出一种可解释的多模态深度学习框架,通过结合频谱-时间编码器和手工制作的声学特征编码器,利用呼吸音频信号自动检测肺部疾病,实现了高准确率和良好的泛化能力。
2025-11-29 cs.AI cs.LG cs.SD
NAS-FM: Neural Architecture Search for Tunable and Interpretable Sound Synthesis based on Frequency Modulation
Hong Kong Baptist University(香港浸会大学);Hong Kong University of Science and Technology(香港科技大学);Microsoft Research Asia(微软亚洲研究院);Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences(中国科学院香港创新研究院)
提出NAS-FM,采用神经架构搜索自动构建可微分频率调制合成器,无需专家知识即可从声音自动开发可调谐且可解释的合成器,实验证明其优于手工合成器。
2023-05-22 cs.AI cs.CL cs.LG
Constructing Composite Features for Interpretable Music-Tagging
University of Oxford(牛津大学);Independent Researcher(独立研究员);University of Toronto(多伦多大学);University of Essex(埃塞克斯大学)
本文提出基于遗传编程的复合特征构建方法,通过数学结合基础音乐特征提升音乐标签性能,保留可解释性并优于传统深度学习方法。
2026-03-30 cs.LG cs.MM cs.SD