Comparative Reasoning: Making an Audio Language Model Better at Comparing Emotions
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);The University of Texas at Dallas(德克萨斯大学达拉斯分校);NVIDIA(英伟达)
提出一种推理引导的序数情感识别框架,通过配对语音输入和推理轨迹训练音频语言模型,实现可解释的比较情感判断,仅需传统方法5%的训练数据。
2026-06-24 cs.SD eess.AS
Predicting Audio Popularity: A Comparative Study of Metadata and Acoustic Features Across Music and Sound Effects
ENSIM, Le Mans Université(勒芒大学ENSIM学院);LIUM, Le Mans Université(勒芒大学LIUM实验室)
本研究针对在线平台音频流行度预测问题,对比评估随机森林、XGBoost等模型,发现元数据预测效果最优,声学特征单独使用也能显著提升预测性能。
2026-10-14 cs.LG cs.SD
Adversarial Attacks on Audio Deepfake Detection: A Benchmark and Comparative Study
College of Innovation & Technology University of Michigan-Flint(创新与技术学院 美国密歇根大学弗林特分校)
本文基准比较了最先进的音频深度伪造检测方法,评估其在多种反取证攻击下的脆弱性,为设计更鲁棒的检测器提供指导。
2025-09-08 cs.AI cs.CV cs.LG
Comparative Analysis of Audio Feature Extraction for Real-Time Talking Portrait Synthesis
SimulaMet(西穆拉梅特);Forzasys(福扎西斯);The University of Tromsø(特罗姆瑟大学)
本文提出用OpenAI Whisper替代传统音频特征提取模型,构建实时说话人头像系统以降低延迟并提升渲染质量,在三个数据集上验证了其在面试官培训中的有效性。
2024-11-20 cs.AI cs.HC cs.SD
Comparative Evaluation of Text and Audio Simplification: A Methodological Replication Study
University of Arizona(亚利桑那大学)
本研究通过44名参与者的方法学复制实验,验证了文本简化在提升音频形式医疗信息理解方面的有效性,并揭示了教育水平与语言熟练程度对健康信息获取的影响。
2025-08-20 cs.SD eess.AS
A Comparative Analysis of Poetry Reading Audio: Singing, Narrating, or Somewhere In Between?
Indiana University(印第安纳大学);Smule, Inc.(Smule公司)
本文通过信号处理方法对大规模诗歌朗读音频进行分析,发现诗歌朗读在静音模式、音高变化和节拍稳定性上兼具歌唱与叙述的声学特征。
2024-03-31 cs.SD eess.AS
A Comparative Study of Multilateration Methods for Single-Source Localization in Distributed Audio
Orange Labs Cesson-Sévigné(Orange实验室塞松塞维涅)
在这篇文章中,我们分析了最先进的定位-家庭的定位方法,使距离差观测。这些方法是计算效率高,信号无关,灵活的传感节点的数量和它们的空间布置。然而,在一般情况下,定位问题不承认一个封闭的形式的解决方案,和定位性能的条件下的距离差估计的准确性。因此,我们考虑一个简化的用例,其中多个分布式麦克风捕获来自近场声源的信号,并讨论它们对估计误差的鲁棒性。除了调查相关的参考书目,我们提出了一些“主流”的反演算法的小规模基准测试的结果,基于内部的房间脉冲响应数据集。
2020-07-28 cs.SD eess.AS eess.SP
Comparative Analysis of Mel-Frequency Cepstral Coefficients and Wavelet Based Audio Signal Processing for Emotion Detection and Mental Health Assessment in Spoken Speech
Bowie State University(鲍伊州立大学)
本研究比较CNN和LSTM模型在小波特征与MFCCs上的语音情感检测性能,CNN准确率61%优于LSTM的56%,并提出改进建议以助力心理健康评估。
2024-12-12 cs.LG cs.SD eess.AS
Comparative Analysis of Modality Fusion Approaches for Audio-Visual Person Identification and Verification
该研究针对音视频人员识别与验证任务,对比三种多模态融合策略,通过实验验证了不同融合方式在两类任务上的性能差异,给出了最优方案及对应指标。
2024-11-02 cs.CV cs.MM cs.SD
Enhancing Lie Detection Accuracy: A Comparative Study of Classic ML, CNN, and GCN Models using Audio-Visual Features
本研究提出基于多模态transformer架构的测谎方法,融合视听特征与手势注释,CNN Conv1D模型达95.4%准确率,为非侵入性测谎提供新方案。
2024-10-26 cs.AI cs.CV cs.MM
Sound effects in media:A comparative analysis of recorded and synthetic samples in live-action and animation
Centre for Digital Music (C4DM),Queen Mary University of London(数字音乐中心(C4DM)、伦敦女王玛丽大学)
通过比较程序化生成的合成音效与真实录制音效在实拍和动画场景中的可信度,发现合成音效在戏剧和科幻场景中表现良好,但在卡通日常动作中可信度较低。
2026-05-29 cs.MM cs.SD
COVID-19 Detection System: A Comparative Analysis of System Performance Based on Acoustic Features of Cough Audio Signals
University of Western Australia(西澳大学);King Khalid University(国王哈立德大学)
本研究对比不同声学特征与机器学习算法的组合效果,提出基于咳嗽音频的COVID-19检测系统CovCepNet,在两个公开数据集上取得了优异的检测性能。
2024-06-19 cs.LG cs.SD eess.AS
DCASE 2022: Comparative Analysis Of CNNs For Acoustic Scene Classification Under Low-Complexity Considerations
Universitat Politecnica de Valencia(瓦伦西亚理工大学);Instituto Tecnologico de Informatica(信息技术技术研究所)
声学场景分类是一个自动收听问题,旨在根据其音频数据将音频记录分配到预定义的场景。多年来(以及在DCASE的过去版本中),这个问题通常通过称为集成的技术来解决(使用几个机器学习模型在推理阶段组合它们的预测)。虽然这些解决方案可以在准确性方面表现出性能,但它们在计算能力方面可能非常昂贵,因此无法在物联网设备中部署它们。由于这一研究领域的漂移,这项任务在模型复杂性方面有两个限制。应该注意的是,不匹配的设备也增加了复杂性(所提供的音频由不同的信息源记录)。本技术报告对两种不同的网络架构进行了比较研究:传统的CNN和Conv-mixer。虽然两个网络都超过了比赛要求的基线,但传统的CNN表现出更高的性能,超过基线8个百分点。基于Conv-mixer架构的解决方案表现出更差的性能,尽管它们是更轻的解决方案。
2022-06-16 cs.LG cs.SD eess.AS
A Comparative Study of Modular and Joint Approaches for Speaker-Attributed ASR on Monaural Long-Form Audio
Microsoft Corp.(微软公司)
说话人属性自动语音识别(SA-ASR)是从多个说话人的录音中识别“谁说了什么”的任务。SA-ASR系统通常由语音分离、说话人日志化和ASR等多个模块组成。另一方面,考虑到联合优化,最近提出了一种端到端(E2 E)SA-ASR模型,并在仿真数据上取得了令人满意的结果。在本文中,我们提出了我们最近的研究比较真实的单声道录音,这种模块化和联合的方法对SA-ASR。我们通过利用大规模训练数据,包括7.5万小时的ASR训练数据和用于说话人表示学习的VoxCeleb语料库,为模块化和联合方法开发最先进的SA-ASR系统。我们还提出了一个新的管道,执行E2 E SA-ASR模型后,扬声器聚类。在AMI会议语料库上的评价表明,经过少量的实际数据微调后,联合系统的准确率比最好的模块系统提高了8.9- 29.9%,而模块系统在微调前的准确率更高。我们还进行了各种误差分析,以显示单耳SA-ASR的剩余问题。
2021-09-17 cs.CL cs.SD eess.AS
LearnAFE: Circuit-Algorithm Co-design Framework for Learnable Audio Analog Front-End
Nanyang Technological University(南洋理工大学);Agency for Science, Technology and Research(科技研究局);University of Michigan(密歇根大学)
本文提出LearnAFE电路-算法协同设计框架,通过SNR感知训练联合优化模拟带通滤波器组与后端分类器,在SKY130 130nm工艺下以22k参数实现10关键词分类90.5%-94.2%准确率,并降低功耗与面积。
2025-07-01 cs.AI cs.SD eess.AS
PEAF: Learnable Power Efficient Analog Acoustic Features for Audio Recognition
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL));Logitech Europe S.A.(罗技欧洲股份有限公司);Reexen Technology(Reexen科技公司(注:若为专有名词可保留原英文名,此处按含义直译))
在摩尔定律结束时,需要新的计算范式来延长可穿戴和物联网智能音频设备的电池寿命。理论分析和物理验证表明,在中低信噪比的应用领域,模拟信号处理(ASP)比数字信号处理具有更高的功率效率。此外,ASP允许与模拟麦克风直接接口,而无需高功耗的模数转换器。在这里,我们提出了高能效的模拟声学功能(PEAF),由制造的CMOS芯片验证运行音频识别。线性、非线性和可学习的PEAF变体在许多电池供电设备中需要的两个语音处理任务上进行评估:唤醒词检测(WWD)和关键词定位(KWS)。与数字声学特征相比,可以获得具有竞争力的分类精度的更高的功率效率。建立了一个新的基于信息论的理论框架来分析特征提取流程中各个阶段的信息流。该分析确定了信息瓶颈,并帮助将KWS准确性提高了7%。这项工作可能为构建具有一流推理性能的更节能的智能音频设备铺平道路。
2022-03-29 cs.SD eess.AS eess.SP
Open-Amp: Synthetic Data Framework for Audio Effect Foundation Models
University of Edinburgh(爱丁堡大学);Aalto University(阿尔托大学)
本文提出Open-Amp合成数据框架,通过众包神经网络仿真生成大规模音频效果数据,训练吉他效果编码器和一对多模型,在分类任务上取得最先进结果并展现对模拟效果的迁移能力。
2024-11-22 cs.AI cs.LG cs.SD
Continuous-Time Analog Filters for Audio Edge Intelligence: Review on Circuit Designs
Institute of Neuroinformatics, University of Zürich and ETH Zürich(苏黎世大学与苏黎世联邦理工学院神经信息学研究所)
本文综述面向低功耗音频边缘智能的连续时间模拟滤波器电路,梳理其从 OTA 到源极跟随器架构的二阶滤波器设计演进,并分析传递函数及边缘音频应用。
2023-04-21 cs.AR cs.SD eess.AS
Comparative Analysis of Finite Difference and Finite Element Method for Audio Waveform Simulation
Juliette FLORIN(独立研究者)
本研究通过模拟吉他弦振动和自行车铃声,比较有限差分法与有限元法在音频波形模拟中的准确性、可行性和时间,发现两者误差相近,但FEM收敛快,FDM计算快且稳定,FEM因灵活性仍为工业首选。
2025-07-07 cs.SD eess.AS
ASM: Audio Spectrogram Mixer
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);Neusoft Reach Automotive Technology(Dalian) Co.,Ltd.(东软睿驰汽车技术(大连)有限公司)
本文提出首个基于 Mixer 的音频分类模型 Audio Spectrogram Mixer,在三个音频数据集上与 AST 对比,并评估多种激活函数,以更低复杂度实现有效分类。
2024-01-20 cs.SD eess.AS
Bandwidth Extension on Raw Audio via Generative Adversarial Networks
University of Michigan(密歇根大学);University of Washington(华盛顿大学)
基于神经网络的方法最近已经展示了关于图像合成和超分辨率任务的最先进的结果,特别是通过使用具有监督特征损失的生成对抗网络(GANs)的变体。然而,以前的特征丢失公式依赖于大型辅助分类器网络的可用性,以及使这些分类器能够被训练的标记数据集。此外,探索基于GAN的方法对图像和视频以外的领域的适用性的工作相对较少。在这项工作中,我们探索了一种基于GAN的音频处理方法,并开发了一种卷积神经网络架构来执行音频超分辨率。除了用于音频处理的几个新的架构构建块之外,我们方法的一个关键组成部分是使用基于自动编码器的损失,该损失能够在GAN框架中进行训练,其中特征损失来自未标记的数据。我们探讨了我们的建筑选择的影响,并展示了显着的改善,在客观和感知质量方面比以前的作品。
2019-03-21 cs.SD eess.AS
Auto-Regressive vs Flow-Matching: a Comparative Study of Modeling Paradigms for Text-to-Music Generation
The Hebrew University(希伯来大学);Meta Fundamental AI Research(Meta 基础人工智能研究)
本研究聚焦文本到音乐生成的建模范式,通过受控实验系统比较自回归解码与条件流匹配的多维度性能,明确两类范式的优劣,为该领域后续架构与训练决策提供参考。
2025-09-04 cs.AI cs.LG cs.SD
A comparative study of performance of fpga based mel filter bank & bark filter bank
Techno India(Techno India(印度科技印度学院))
人耳的灵敏度依赖于频率,而频率在整个音频频谱中是非线性分辨的,为了提高类似非线性方法的识别性能,需要进行前端设计,经验证据表明。因此,基于线性预测的分析的一种流行的替代方案是滤波器组分析,因为这提供了一种更直接的途径来获得所需的非线性频率分辨率。MEL滤波器组和BARK滤波器组是两种流行的滤波器组分析技术。本文提出了基于FPGA实现不同带宽和不同信号频谱范围的MEL滤波器组和BARK滤波器组。设计采用VHDL语言实现,并在Xilinx 11.1环境下进行了仿真和验证。本文还对这两种滤波器组进行了比较研究。
2012-06-07 cs.SD
Hyper Recurrent Neural Network: Condition Mechanisms for Black-box Audio Effect Modeling
National Taiwan University(台湾大学)
针对黑盒音频效果建模中拼接式条件机制调制能力有限的问题,本文提出三种新型 RNN 条件机制,依据控制参数调制模型,并在多项指标上超越现有 RNN 与 CNN 架构。
2024-08-09 cs.SD eess.AS
Conditional Generation of Audio from Video via Foley Analogies
University of Michigan(密歇根大学);Yale University(耶鲁大学);Adobe Research(奥多比研究院)
本文提出条件拟音问题,通过从同一视频中采样条件音视频片段的预训练任务和基于用户示例的条件生成模型,实现根据指定示例为无声视频生成可变音效。
2023-04-17 cs.CV cs.MM cs.SD
Steerable discovery of neural audio effects
Queen Mary University of London(伦敦玛丽女王大学)
音频效果的深度学习应用通常集中在模拟效果建模或学习控制效果以模仿训练有素的音频工程师。然而,深度学习方法也有潜力通过神经音频效果来扩展创造力,从而实现新的声音转换。虽然最近的工作表明,具有随机权重的神经网络可以产生引人注目的音频效果,但对这些效果的控制是有限的,而且不直观。为了解决这个问题,我们介绍了一种可操纵的神经音频效果的发现方法。该方法允许使用用户提供的示例录音来设计效果。我们演示了这种方法如何产生类似于目标效果的效果,以及有趣的不准确性,同时还提供了感知相关的控制。
2021-12-06 cs.SD eess.AS
Music Boundary Detection using Convolutional Neural Networks: A comparative analysis of combined input features
University of Zaragoza(萨拉戈萨大学)
音乐作品的结构分析仍然是人工智能的一项挑战,特别是在深度学习领域。它需要预先识别音乐作品的结构边界。这种结构边界分析最近已经用无监督方法和\textit{end-to-end}技术进行了研究,例如卷积神经网络(CNN),其使用Mel标度对数幅度谱图特征(MLS)、自相似矩阵(SSM)或自相似滞后矩阵(SSLM)作为输入并用人类注释进行训练。已经发表的几项研究分为无监督和\textit{end-to-end}方法,其中预处理以不同的方式完成,使用不同的距离度量和音频特征,因此缺少用于计算模型输入的通用预处理方法。这项工作的目的是建立一个通用的方法,通过比较从不同的池化策略,距离度量和音频特性计算的输入,这些输入进行预处理,还考虑到计算时间来获得它们。我们还建立了要传递到CNN的输入的最有效组合,以便建立提取音乐作品的结构的限制的最有效的方式。与输入矩阵和池化策略的适当组合,我们得到的测量精度$F_1$为0.411,优于目前在相同条件下获得的。
2021-12-01 cs.LG cs.SD eess.AS
Synthesizing Diverse, High-Quality Audio Textures
Google(谷歌)
基于神经网络特征激活的Gram矩阵匹配的纹理合成技术在图像领域取得了巨大的成功。在本文中,我们将这些技术扩展到音频域。我们证明,合成不同的音频纹理是具有挑战性的,并认为这是因为音频数据是相对低维的。因此,我们引入了两个新的条款,原来的Grammian损失:自相关项,保留节奏,和多样性项,鼓励优化过程,以合成独特的纹理。我们定量地研究了我们的设计选择对合成音频质量的影响,通过引入一个音频模拟的初始损失,我们称之为VGGish损失。我们发现,有一个折衷的多样性和质量的合成音频使用这种技术。我们还进行了一些实验,定性地研究这些设计选择如何影响合成音频的质量。最后,我们描述了这些结果的音频风格转移的问题的影响。
2018-06-20 cs.SD eess.AS
Techniques for Feature Extraction In Speech Recognition System : A Comparative Study
SGB Amravati University(圣加吉巴巴阿姆拉瓦蒂大学)
语音信号的时域波形携带所有的听觉信息。从音系学的角度来看,它几乎不能说的基础上的波形本身。然而,过去在数学、声学和语音技术方面的研究已经提供了许多方法来转换数据,如果正确解释,这些数据可以被视为信息。为了从输入数据中找到一些统计上相关的信息,重要的是具有用于将音频信号中的每个段的信息减少为相对少量的参数或特征的机制。这些特征应该以一种特有的方式描述每个片段,以便通过比较它们的特征可以将其他类似的片段分组在一起。有很多有趣的和特殊的方式来描述语音信号的参数。虽然,它们都有自己的优点和缺点,但我们已经介绍了一些最常用的方法及其重要性。
2013-05-06 cs.CL cs.SD
Graph Representation learning for Audio & Music genre Classification
Mercedes-Benz R&D India(梅赛德斯-奔驰印度研发中心)
音乐类型可以说是音乐和音频内容的最重要和最有区别性的信息之一。基于视觉表示的方法已经在用于音乐流派分类的谱图上进行了探索。然而,缺乏高质量的数据和增强技术使得很难成功地使用深度学习技术。我们讨论了图神经网络在此类任务中的应用,因为它们具有很强的归纳偏差,并表明CNN和GNN的组合能够在GTZAN和AudioSet(不平衡音乐)数据集上实现最先进的结果。我们还讨论了Siamese神经网络作为学习边缘相似性权重的GNN的类似物的作用。此外,我们还进行视觉分析,以了解我们的模型的视野到基于体裁标签的频谱图。
2019-10-23 cs.LG cs.SD stat.ML
SignalTrain: Profiling Audio Compressors with Deep Neural Networks
Belmont University(贝尔蒙特大学);ARiA Acoustics(ARiA声学公司);Fraunhofer Institute for Digital Media Technology(弗劳恩霍夫数字媒体技术研究所)
在这项工作中,我们提出了一种数据驱动的方法来预测的行为(即,剖析)给定的非线性音频信号处理效果(此后称为“音频效果”)。我们的目标是学习一个映射函数,该函数使用时域样本将未处理的音频映射到要分析的音频效果处理的音频。为此,我们采用了一个深度自动编码器模型,该模型以时域样本和目标音频效果的控制参数为条件。作为一个测试案例研究,我们专注于两个动态范围压缩音频效果,一个基于软件和其他模拟的离线分析。选择压缩器是因为它们是一组广泛使用且重要的效果,并且因为它们的参数化非线性时间相关性质使它们对于旨在剖析“一般”音频效果的系统而言是一个具有挑战性的问题。从我们的实验过程的结果表明,压缩器的主要功能和听觉特性可以被捕获,但是仍然有足够的可听噪声,值得进一步调查,然后才将这些方法应用于现实世界的音频处理工作流程。
2019-05-30 cs.LG cs.SD eess.AS
Deep Learning for Tube Amplifier Emulation
Aalto University(阿尔托大学)
模拟音频效果和合成器通常将其独特的声音归功于电路的非线性。在虚拟模拟软件中忠实地对原始声音的这些重要方面进行建模可能具有挑战性。目前的工作提出了一种通用的数据驱动的方法来虚拟模拟建模,并将其应用到芬德Bassman 56 F-A真空管放大器。具体地,WaveNet深度神经网络的前馈变体被训练以对从管放大器的SPICE模型的输入到输出的音频波形样本执行回归。输出信号被预强调以帮助模型学习高频内容。听力测试的结果表明,所提出的模型准确地模拟参考设备。特别是,该模型响应用户控制的变化,并忠实地恢复在原始设备的配置中发现的声波特性的范围。
2019-02-20 cs.SD eess.AS
Evaluation of Neural Surrogates for Physical Modelling Synthesis of Nonlinear Elastic Plates
Centre for Digital Music, Queen Mary, University of London, London, United Kingdom(伦敦大学女王学院数字音乐中心)
本文比较评估了多种神经网络代理模型在非线性弹性板振动预测中的表现,揭示其在长序列自回归预测中的局限,并为实时音频合成提出改进方向。
2025-07-16 cs.LG cs.SD eess.AS
Music Artist Classification with Convolutional Recurrent Neural Networks
University of Toronto(多伦多大学)
音乐艺术家分类的先前尝试使用在短时间间隔内概括频率内容的帧级音频特征。相比之下,最近的音乐信息检索任务使用深度卷积和递归模型来利用音频频谱图中的时间结构。本文重新审视艺术家分类与这个新的框架和实证研究的影响,将时间结构的特征表示。为此,一个既定的分类架构,卷积递归神经网络(CRNN),适用于艺术家20音乐艺术家识别数据集下的一组全面的条件。其中包括音频剪辑长度,这是这项工作中的一个新贡献,以及先前确定的考虑因素,如数据集分割和特征级别。我们的研究结果改进了基线工作,验证了生产者效应对分类性能的影响,并展示了音频长度和训练集大小之间的权衡。在三项独立试验中,表现最好的模型的平均F1评分为0.937,这是在类似条件下相对于相应基线的实质性改善。此外,为了展示CRNN的特征提取能力的有效性,我们在模型的瓶颈层可视化音频样本,证明学习的表示分割成属于各自艺术家的集群。
2019-03-14 cs.LG cs.MM cs.SD
Exploring the User Experience of AI-Assisted Sound Searching Systems for Creative Workflows
Centre for Vision, Speech and Signal Processing, University of Surrey(视觉、语音和信号处理中心,萨里大学);Research and Development, British Broadcasting Corporation(英国广播公司研发部)
本研究探索了基于CLAP模型的无人工标注声音搜索系统CLAP-UI,通过与BBC音效库对比实验,证明其能显著提升生产力并减少挫败感,为AI辅助声音搜索设计提供见解。
2025-04-22 cs.SD eess.AS
Applying Visual Domain Style Transfer and Texture Synthesis Techniques to Audio - Insights and Challenges
National University of Singapore(新加坡国立大学)
风格转移是一种基于深度学习神经网络架构中的激活和特征统计来组合两个图像的技术。本文研究了音频领域的类似任务,并对采用原始的基于视觉的框架来处理声谱图表示时出现的问题进行了批判性的研究。我们的结论是,具有基于2D表示和卷积的特征的CNN架构更适合于视觉图像,而不是音频的时频表示。尽管不合适,但实验表明,确定音频“风格”的Gram矩阵与没有时间结构的音色签名更接近,而确定音频“内容”的网络层活动似乎捕获更多的音高和节奏结构。我们通过说明性的例子深入了解了域差异的几个原因。我们鼓励使用几种类型的一维CNN,这些CNN生成的结果比基于为图像构建的现有架构的结果更好地与音频纹理的直观概念保持一致。这些想法也促使探索音频纹理合成与建筑的变体扩展到无限的纹理,多纹理,参数控制的感受野和恒定Q变换作为一种替代的频谱图的频率缩放。
2019-01-29 cs.SD eess.AS
Saving the Sonorine: Photovisual Audio Recovery Using Image Processing and Computer Vision Techniques
本文提出了一种新的技术,以恢复从sonorines,20世纪初的模拟声音存储形式的音频。我们的方法使用高分辨率的照片sonorines在不同的照明条件下观察的物理表面特征的反射行为的变化,并创建一个三维的表面高度图。然后可以利用表面凹槽内的高度信息提取声音,模仿留声机上的物理触针。与传统的播放方法不同,我们的方法具有非接触式的优点:媒体不会因重复播放而损坏和磨损。我们比较我们的技术的结果,以前成功的非接触式方法,使用平板扫描的sonorines,并得出结论,未来的研究,可以应用到这个photovisual方法音频恢复。
2020-05-22 cs.CV cs.GR cs.SD
Lightweight and interpretable neural modeling of an audio distortion effect using hyperconditioned differentiable biquads
iZotope, Inc.(iZotope公司)
在这项工作中,我们建议使用可微级联biquads模型的音频失真效果。我们将可训练的无限脉冲响应(IIR)滤波器扩展到超条件的情况下,在这种情况下,学习变换以直接将失真效应的外部参数映射到其内部滤波器和增益参数,以及确保滤波器稳定性所需的激活。我们提出了一种新的,有效的IIR滤波器的训练计划,通过傅里叶变换。相对于使用有限脉冲响应滤波器的更传统的黑盒神经音频效果建模方法,我们的模型具有更少的参数和更低的复杂性。我们最小、性能最好的模型充分模拟了44.1 kHz的BOSS MT-2踏板,总共使用了40个双四边形,只有210个参数。它的模型参数是可解释的,可以与原始模拟音频电路相关联,甚至可以在模型训练后由机器学习非专家直观地改变。定量和定性的结果说明了所提出的方法的有效性。
2021-03-15 cs.SD eess.AS eess.SP
CNN Architectures for Large-Scale Audio Classification
Google, Inc.(谷歌公司)
卷积神经网络(CNN)已被证明在图像分类中非常有效,并显示出对音频的承诺。我们使用各种CNN架构对70M训练视频(524万小时)的数据集的音轨进行分类,其中包含30,871个视频级别标签。我们研究了完全连接的深度神经网络(DNN),AlexNet [1],VGG [2],Inception [3]和ResNet [4]。我们研究了训练集和标签词汇的大小,发现图像分类中使用的CNN的类似物在我们的音频分类任务中表现良好,并且较大的训练集和标签集在一定程度上有所帮助。使用来自这些分类器的嵌入的模型在音频集[5]声学事件检测(AED)分类任务上比原始特征要好得多。
2017-01-10 cs.LG cs.SD stat.ML
Modulation Extraction for LFO-driven Audio Effects
Christopher Mitcheltree Christian J. Steinmetz Marco Comunità Joshua D. Reiss
提出一种从处理后的音频中提取任意LFO信号的框架,并将其与处理网络耦合,实现了仅用干湿音频对训练未见过的LFO驱动音频效果的端到端黑盒模型。
2023-05-22 cs.LG cs.SD eess.AS
SoundSpring: Loss-Resilient Audio Transceiver with Dual-Functional Masked Language Modeling
Beijing University of Posts and Telecommunications(北京邮电大学)
SoundSpring利用掩码语言建模实现音频压缩与丢包隐藏的双功能,在分层架构中兼顾JSCC鲁棒性,实验表明其信号保真度和感知质量优于现有系统。
2025-01-22 cs.SD eess.AS eess.SP
Exploring Quality and Generalizability in Parameterized Neural Audio Effects
Belmont University(贝尔蒙特大学)
深度神经网络在音乐音频信号处理应用中表现出了希望,通常超过了先前的方法,特别是作为波形域中的端到端模型。然而,迄今为止的结果往往受到低采样率、噪声、信号类型的窄域和/或缺乏参数化控制(即“旋钮”)的限制,使得它们仍然缺乏对专业音频工程工作流程的适用性。这项工作扩展了先前发表的关于通过深度神经网络对与音乐制作相关的非线性时间相关信号处理效果进行建模的研究,其中包括模拟您在模拟设备上看到的参数化设置的能力,其目标是最终产生商业上可行的高质量音频,即16位分辨率下的44.1 kHz采样率。本文中的结果突出了通过架构和优化变化对这些效果进行建模的进展,从而提高计算效率,降低信噪比,并扩展到更多种类的非线性音频效果。为了达到这些目的,所采用的策略涉及三管齐下的方法:模型的速度,模型的准确性和模型的概括性。除了数据集操作之外,大多数方法在原始模型的输出精度上都有边际或没有增加。我们发现,限制数据集的音频内容,例如仅使用单个乐器的数据集,与在更一般的数据集上训练的模型相比,模型的准确性得到了显着提高。
2020-06-10 cs.LG cs.SD eess.AS
LC-Protonets: Multi-Label Few-Shot Learning for World Music Audio Tagging
School of ECE, National Technical University of Athens(雅典国立技术大学电气与计算机工程学院);Centre for Digital Music, Queen Mary University of London(伦敦玛丽女王大学数字音乐中心)
本文提出 LC-Protonets,通过为标签组合生成原型解决多标签少样本分类问题,并在世界音乐音频标注任务上显著优于现有方法,且无需微调即可取得高性能。
2025-02-08 cs.LG cs.SD eess.AS
A Comparison of Virtual Analog Modelling Techniques for Desktop and Embedded Implementations
我们开发了一个虚拟的模拟模型的Klon半人马座吉他踏板电路,比较各种电路建模技术。分析的技术包括传统的建模技术,如节点分析和波数字滤波器,以及使用递归神经网络的机器学习技术。我们在两个用例的上下文中研究这些技术:一个设计用于在消费级台式计算机上运行的音频插件,以及一个在嵌入式设备上运行的吉他踏板风格效果。最后,我们讨论了每种技术的优点和优势,为不同的电路建模,并针对不同的平台。
2020-09-06 cs.SD eess.AS
On Synchronization of Wireless Acoustic Sensor Networks in the Presence of Time-varying Sampling Rate Offsets and Speaker Changes
Paderborn University(帕德博恩大学)
如果网络设备的模数转换器(ADC)不同步,则无线声学传感器网络记录具有音频流之间的采样时间和采样速率偏移的音频信号。在这里,我们引入了一个新的采样率偏移模型来模拟时变采样频率,例如,由ADC晶体振荡器的温度变化引起的,并提出了一种估计算法来处理这种动态方面与不断变化的声源位置相结合。此外,我们还展示了如何使用基于深度神经网络的麦克风和人类说话者之间距离的估计来确定采样时间偏移。这使得音频流能够同步以反映飞行的物理时差。
2021-10-25 cs.SD eess.AS
Masked Conditional Neural Networks for Audio Classification
Department of Electronic Engineering University of York(约克大学电子工程系);University of York(约克大学)
本文提出了用于时间信号识别的条件神经网络(CLNN)和掩蔽条件神经网络(MCLNN)。CLNN考虑到声音信号的时间性质,MCLNN通过二进制掩码在CLNN上扩展,以保留特征的空间局部性,并允许自动探索特征组合,类似于手工制作识别任务的最相关特征。MCLNN在GTZAN和ISMIR2004音乐数据集上实现了具有竞争力的识别精度,超过了几种最先进的基于神经网络的架构和手工制作的方法。
2019-03-23 cs.LG cs.SD eess.AS
Linear probing enables Ship-Radiated Noise recognition with pretrained audio embeddings
Centre of Mathematics and Computer Science, Stochastics group(数学与计算机科学中心,随机组);Vrije Universiteit, Department of Mathematics(自由大学,数学系);Naturalis Biodiversity Center(自然多样性中心)
本文提出利用预训练音频嵌入和线性探测方法,有效实现水下声学目标识别,降低对高质量标注数据的依赖。
2026-09-23 cs.LG cs.SD eess.AS