Musical Audio Similarity with Self-supervised Convolutional Neural Networks
Epidemic Sound（流行病声音公司）
我们已经建立了一个音乐相似性搜索引擎，让视频制作人搜索的音乐摘录，作为传统的全文搜索的补充。我们的系统通过训练具有三重损失项和音乐变换的自监督卷积神经网络，在大型音乐目录中建议类似的发声轨道段。半结构化的用户访谈表明，我们可以成功地打动专业视频制作人的搜索体验的质量，并在用户测试中的查询轨道平均7.8/10感知相似性。我们相信这个搜索工具将提供更自然的搜索体验，更容易找到音乐和配乐视频。
2022-02-04 cs.IR cs.LG cs.MM
The language of sound search: Examining User Queries in Audio Search Engines
Huawei Technologies（华为技术有限公司）；Universitat Pompeu Fabra（庞培法布拉大学）
本研究通过分析定制调查和Freesound日志中的用户查询，揭示了声音搜索引擎中用户查询的长度、关键词偏好及影响因素，为开发以用户为中心的基于文本的音频检索系统提供了关键见解。
2024-10-10 cs.CL cs.HC cs.IR
Audio Effect Estimation with DNN-Based Prediction and Search Algorithm
本文提出一种结合预测与搜索的方法，通过DNN预测干信号和效果配置，再基于湿信号重建进行搜索，提升音频效果估计的准确性。
2026-04-24 cs.SD eess.AS
Differentiable Dictionary Search: Integrating Linear Mixing with Deep Non-Linear Modelling for Audio Source Separation
Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
本文介绍了几个改进的信号分解的新方法，我们最近制定的名称下的微分字典搜索（DDS）。DDS的基本思想是利用一类强大的深度可逆密度估计器（称为归一化流），以线性分解方法（如NMF）对字典进行建模，有效地在字典元素空间和相关概率空间之间创建双射，允许在估计密度的指导下通过字典空间进行可微搜索。由于最初的公式是一个概念证明，有一些实际的限制，我们将提出几个步骤，使其可扩展，希望提高计算复杂性的方法和信号分解能力。作为实验评估的测试平台，我们选择了框架级钢琴转录的任务，其中信号被分解为活动归因于单个钢琴音符的源。为了突出改进的非线性建模源的影响，我们比较我们的方法的变体的线性过完备NMF基线。实验结果将表明，即使在没有额外的约束，我们的模型产生越来越稀疏和精确的分解，根据两个相关的评估措施。
2022-11-28 cs.LG cs.SD eess.AS
Audio representations for deep learning in sound synthesis: A review
Technological University of Dublin（都柏林理工大学）
深度学习算法的兴起导致许多研究人员放弃使用经典的信号处理方法来生成声音。深度学习模型已经实现了富有表现力的语音合成、逼真的声音纹理和来自虚拟乐器的音符。然而，最合适的深度学习架构仍在研究中。架构的选择与音频表示紧密耦合。声音的原始波形可能过于密集和丰富，以至于深度学习模型无法有效处理-复杂性增加了训练时间和计算成本。此外，它并不代表声音的方式，它被认为是。因此，在许多情况下，原始音频已经使用上采样、特征提取或甚至通过采用波形的更高级别的图示而被转换为压缩且更有意义的形式。此外，有条件的形式选择，额外的条件表示，不同的模型架构，和众多的指标，用于评估重建的声音进行了研究。本文概述了使用深度学习应用于声音合成的音频表示。此外，它还介绍了使用深度学习模型开发和评估声音合成架构的最重要方法，这些方法始终取决于音频表示。
2022-01-07 cs.LG cs.SD eess.AS
Similar but Faster: Manipulation of Tempo in Music Audio Embeddings for Tempo Prediction and Search
SiriusXM-Pandora
本文提出节奏平移函数，在保持流派等属性的同时高效操控音乐音频嵌入中的节奏，用于检索相似但节奏不同的音轨，并验证其可提升节奏预测训练和最近邻检索效果。
2024-01-17 cs.DL cs.IR cs.LG
LVNS-RAVE: Diversified audio generation with RAVE and Latent Vector Novelty Search
University of Oslo（奥斯陆大学）；Institute for Clarity in Documentation（文献清晰度研究所）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗康分校）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）；Palmer Research Laboratories（帕尔默研究实验室）
本文提出 LVNS-RAVE 方法，结合进化算法与生成式深度学习，利用 RAVE 模型生成声音、VGGish 模型评估新颖性，实现可控且多样化的逼真新颖音频生成。
2024-04-22 cs.LG cs.NE cs.SD
Efficient Audio-Visual Speech Enhancement via Reinforcement Learning-Based Neural Architecture Search
University of Stirling（斯特林大学）；Edinburgh Napier University（爱丁堡龙比亚大学）；University of Technology and Applied Sciences（技术与应用科学大学）
该研究提出RL-NAS框架，通过强化学习引导神经架构搜索，在仅评估35个候选架构的情况下，得到参数量仅为基线1/9的轻量AVSE模型，性能接近基线且部署效率显著提升。
2026-10-12 cs.AI cs.SD eess.AS
Bridging the Perception Gap: A Lightweight Coarse-to-Fine Architecture for Edge Audio Systems
Duke University（杜克大学）
CoFi-Agent通过工具增强的条件边缘-云协作，在边缘音频系统中实现了更高效的感知与准确性提升。
2026-01-22 cs.LG cs.SD eess.AS
Learning with Out-of-Distribution Data for Audio Classification
University of Surrey（萨里大学）
在有监督的机器学习中，训练数据被正确标记的假设并不总是得到满足。在本文中，我们研究了一个分类任务的标签错误实例，其中数据集被分布外（OOD）实例损坏：不属于任何目标类的数据，但被标记为这样。我们发现，检测和重新标记某些OOD实例，而不是丢弃它们，可以对学习产生积极的影响。所提出的方法使用一个辅助分类器，训练的数据是已知的分布，检测和重新标记。所需的数据量是很小的。在FSDnoisy18k音频数据集上进行了实验，其中OOD实例非常普遍。所提出的方法被证明是提高性能的卷积神经网络的显着保证金。与其他抗噪声技术的比较同样令人鼓舞。
2020-02-11 cs.LG cs.SD eess.AS
AudRandAug: Random Image Augmentations for Audio Classification
Dublin City University（都柏林城市大学）；Norwegian University of Science and Technology（挪威科技大学）；University of Galway（高威大学）
本文提出AudRandAug，将RandAug方法适配于音频数据，通过专用音频搜索空间随机选择增强策略，在多种模型和数据集上的实验证明其准确率优于现有方法。
2023-09-09 cs.AI cs.CV cs.LG
A proposal and evaluation of new timbre visualisation methods for audio sample browsers
Université de Sherbrooke（舍布鲁克大学）；CIRMMT（多媒体音乐技术跨学科研究中心）
在庞大的声音样本库中搜索可能是一项艰巨而耗时的任务。现代音频示例浏览器使用声学属性和视觉属性之间的映射来在视觉上区分所显示的项。很少有研究关注这些映射如何帮助用户搜索特定的样本。我们提出了新的方法来产生纹理标签和定位样本的基础上感知表示的音色。我们进行了一系列的研究，以评估的好处，使用形状，颜色或纹理作为标签，在一个已知的项目搜索任务。我们描述的动机和实施的研究，并提出了深入的分析结果。我们发现，形状显着提高任务性能，而颜色和纹理的影响不大。我们还比较了面对面和在线参与者之间的结果，并提出了进一步研究的研究方向。
2020-11-30 cs.HC cs.SD eess.AS
Audio-Based Search and Rescue with a Drone: Highlights from the IEEE Signal Processing Cup 2019 Student Competition
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林研究与信息学实验室）；Université de Rennes（雷恩大学）；IRISA（信息与自动化研究所（IRISA））；Friedrich-Alexander University of Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；University of Genoa（热那亚大学）；Department of Electrical, Electronics and Telecommunication Engineering and Naval Architecture（电气、电子与电信工程及船舶建筑系）
无人驾驶飞行器（UAV），通常被称为无人机，近年来引起了越来越多的兴趣。在紧急情况下需要在难以进入的地区迅速找到人的搜索和救援场景是这项技术的一个重要应用领域。虽然研究工作主要集中在开发基于视频的解决方案，这一任务\cite{lopez2017cvemergency}，无人机嵌入式音频为基础的定位已收到相对较少的关注。然而，配备麦克风阵列的无人机可能对紧急情况下的人员定位有重要帮助，特别是当视频传感器因照明条件差或障碍物限制视野而缺乏视觉反馈时。这激发了第六届IEEE信号处理杯（SP杯）的主题：搜索和救援的无人机嵌入式声源定位挑战。在这篇文章中，我们分享了IEEE SP杯的经验，包括比赛任务，参赛队伍，技术方法和统计数据。
2019-07-03 cs.SD eess.AS eess.SP
Spend Where It Matters: Particle Search with MH Refinement for Budget-Constrained Audio-Visual Alignment
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
该研究提出SWIM框架，结合自适应粒子搜索与MH优化，在固定计算预算下提升视听对齐效果，在JavisBench-Mini及SD1.5图像生成任务上均取得优于基线方法的性能。
2026-10-12 cs.CV cs.SD eess.AS
Audio Representation Learning by Distilling Video as Privileged Information
Queen’s University（女王大学）
与单模态方法相比，使用多模态视听数据的深度音频表示学习通常会导致更好的性能。然而，在现实世界的场景中，这两种模态在推理时并不总是可用的，从而导致针对多模态推理训练的模型的性能下降。在这项工作中，我们提出了一种新的方法，深度音频表示学习使用视听数据时，视频模态是缺席的推理。为此，我们在利用特权信息学习的框架下采用师生知识蒸馏。虽然以前为LUPI提出的方法使用教师生成的软标签，但在我们提出的方法中，我们使用教师学习的嵌入来训练学生网络。我们将我们的方法集成在两种不同的设置中：连续数据，其中特征在整个时间内被划分为多个段，以及非连续数据，其中整个特征被视为一个完整的段。在非顺序设置中，教师和学生网络都由编码器组件和任务头组成。我们使用教师的编码器组件产生的嵌入来训练学生的编码器，而学生的任务头使用地面实况标签进行训练。在顺序设置中，网络具有放置在编码器和任务头之间的附加聚合组件。我们使用教师的编码器和聚合组件产生的两组嵌入来训练学生。与非顺序设置类似，学生网络的任务头使用地面实况标签进行训练。我们测试了我们的框架上两个不同的视听任务，即说话人识别和语音情感识别，并显示出相当大的改进，在单一的基于音频的识别，以及以前的作品，使用LUPI。
2023-02-06 cs.LG cs.SD eess.AS
Dual Transformer Decoder based Features Fusion Network for Automated Audio Captioning
University of Surrey（萨里大学）；Izmir Katip Celebi University（伊兹密尔卡蒂普·切莱比大学）
本文提出 LHDFF 模型，通过残差 PANNs 编码器融合低维与高维音频特征，并采用双 Transformer 解码器并行生成描述，实验表明其性能优于现有音频描述模型。
2023-05-30 cs.SD eess.AS
High-precision Voice Search Query Correction via Retrievable Speech-text Embedings
Google（谷歌）
针对ASR假设文本与音频不匹配导致检索精确度低的问题，提出直接使用多模态语音-文本嵌入网络生成音频嵌入查询纠正数据库并评分候选，使相关话语词错率相对降低6%且不影响整体。
2024-01-08 cs.CL cs.SD eess.AS
DroneAudioset: An Audio Dataset for Drone-based Search and Rescue
School of Computing, National University of Singapore（computing学院，新加坡国立大学）
针对无人机搜救中视觉方法易失效的问题，提出包含23.5小时多场景标注音频的DroneAudioset数据集，支持噪声抑制与分类方法评估，推动无人机听觉系统发展。
2025-10-17 cs.AI cs.SD eess.AS
Small-Footprint Keyword Spotting on Raw Audio Data with Sinc-Convolutions
Infineon Technologies AG（英飞凌科技股份公司）
关键字定位（KWS）可在智能设备上实现基于语音的用户交互。智能设备的始终在线和电池供电的应用场景对硬件资源和功耗提出了限制，同时也要求高精度和实时能力。以前的架构首先提取声学特征，然后应用神经网络对关键字概率进行分类，优化内存占用和执行时间。与以前的出版物相比，我们采取了额外的措施来降低功耗和内存消耗，而不会降低分类精度。通过直接从原始音频进行分类，消除了功耗音频预处理和数据传输步骤。为此，我们的端到端架构使用参数化Sinc-convolutions提取光谱特征。它的内存占用进一步减少分组dependently可分离卷积。我们的网络在Google的语音命令测试集上达到了96.4%的准确率，只有62 k个参数。
2020-05-03 cs.CL cs.SD eess.AS
Gumbel Rao Monte Carlo based Bi-Modal Neural Architecture Search for Audio-Visual Deepfake Detection
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；Norwegian University of Science Technology（挪威科技大学）
针对现有多模态深度伪造检测器适配性差、融合方法简单的问题，提出基于Gumbel-Rao蒙特卡洛的双模态神经架构搜索框架，通过改进采样方法与两级搜索优化融合策略，在两个数据集上以极少参数实现95.4%的AUC。
2024-10-09 cs.CR cs.SD eess.AS
Inference-time Scaling for Diffusion-based Audio Super-resolution
The Hong Kong University of Science and Technology（香港科学与技术大学）；University of Surrey（萨里大学）；Chinese University of Hong Kong（香港中文大学）
本文提出一种基于扩散模型的音频超分辨率推理时扩展方法，通过验证器与搜索算法探索多条采样轨迹，在语音、音乐等任务上显著提升音质，如美学评分提升9.70%。
2025-08-04 cs.AI cs.SD eess.AS
Audio Description from Image by Modal Translation Network
Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Northwestern Polytechnical University（西北工业大学）
音频是视障者获取信息的主要形式。在现实中，各种视觉数据总是存在的，但音频数据在许多情况下并不存在。为了帮助视觉障碍者更好地感知周围的信息，本文提出了一种图像到音频描述（I2 AD）任务来从图像生成音频描述。为了完成这一全新的任务，提出了从视觉到听觉的模态翻译网络（MT-Net）。所提出的MT-Net包括三个渐进子网络：1）特征学习，2）跨模态映射和3）音频生成。首先，特征学习子网络旨在从图像和音频中学习语义特征，包括图像特征学习和音频特征学习。其次，跨模态映射子网络将图像特征转换为与音频特征具有相同语义概念的跨模态表示。通过这种方式，有效地挖掘了模态间数据的相关性，以缓解图像和音频之间的异构性差距。最后，设计了音频生成子网络，用于从交叉模态表示中生成音频波形。根据采样频率对生成的音频波形进行插值，得到相应的音频文件。作为探索I2 AD任务的第一次尝试，构建了三个具有大量手动音频描述的大规模数据集。实验结果验证了直接从图像中生成清晰语音的可行性和方法的有效性。
2021-03-18 cs.MM cs.SD eess.AS
Advancing Continual Learning for Robust Deepfake Audio Classification
University of New South Wales（新南威尔士大学）
针对音频深度伪造检测中未知攻击识别难、传统重训练存储成本高的问题，提出持续学习方法CADE，通过固定内存存样、双层蒸馏损失实现旧知识保留与性能提升，在ASVspoof2019上优于基线。
2024-07-14 cs.SD eess.AS
Straight Through Gumbel Softmax Estimator based Bimodal Neural Architecture Search for Audio-Visual Deepfake Detection
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；Norwegian University of Science Technology（挪威科技大学）
针对现有多模态深度伪造检测器传统融合方法适应性差的问题，提出基于直通Gumbel-Softmax的两级搜索神经架构搜索框架，在极小参数量下实现了94.4%的AUC检测性能。
2024-06-19 cs.CV cs.MM cs.SD
Self-Learning for Personalized Keyword Spotting on Ultra-Low-Power Audio Sensors
KU Leuven（鲁汶大学）；GreenWaves Technologies（绿波科技公司）
本文提出一种基于伪标签的自学习方法，在超低功耗音频传感器上对个性化KWS模型进行增量微调，并在公开数据集和MCU平台上验证了准确率提升及低功耗实时运行效果。
2025-03-07 cs.LG cs.SD eess.AS
SMC-ITA: Sequential Monte Carlo Inference-Time Alignment for Video-to-Audio Generation
The University of Tokyo（东京大学）；University of Rochester（罗切斯特大学）
提出SMC-ITA方法，通过前瞻奖励估计和序列蒙特卡洛重采样，在推理时优化流匹配V2A生成，显著降低不同步率并提升音频质量。
2026-06-07 eess.AS
HARP: Agentic Hybrid Retrieval and Analysis for Long-Form Audio
Carnegie Mellon University（卡内基梅隆大学）；Hippocratic AI（希波克拉底人工智能公司）
HARP提出智能体混合检索框架，结合关键词与向量搜索及多模态证据，将长音频分析答案准确率提升约10%，并强调超越答案准确率的评估。
2026-09-15 cs.SD eess.AS
Hardware Accelerator and Neural Network Co-Optimization for Ultra-Low-Power Audio Processing Devices
University of Tübingen（图宾根大学）
人工神经网络的日益普及并没有止步于超低功耗边缘设备。然而，这些通常具有很高的计算需求，需要专门的硬件加速器来确保设计满足功耗和性能限制。手动优化神经网络以及相应的硬件加速器可能非常具有挑战性。本文介绍了HANNAH（Hardware Accelerator and神经网络seArcH），这是一个用于深度神经网络和硬件加速器的自动化和组合硬件/软件协同设计的框架，适用于资源和功率受限的边缘设备。优化方法使用基于进化的搜索算法、神经网络模板技术和可配置UltraTrail硬件加速器模板的分析KPI模型，以找到优化的神经网络和加速器配置。我们证明，HANNAH可以找到合适的神经网络与最小的功耗和高精度的不同的音频分类任务，如单类唤醒词检测，多类关键字检测，语音活动检测，这是优于相关的工作。
2022-09-29 cs.NE cs.SD eess.AS
Dynamic Portal Occlusion for Precomputed Interactive Sound Propagation
Microsoft Research（微软研究院）
游戏和虚拟现实中的沉浸式视听体验需要快速计算基于衍射的声学效果。为了保持可扩展性，效果必须在几何复杂场景中保持源和收听者运动的空间平滑度。预先计算的基于波的技术可以以低运行时CPU成本渲染这样的结果，但仍然限于静态场景。对动态门户（如门）的遮挡效果进行建模是保持视听一致性的一个尚未解决的挑战。我们提出了一个快速的解决方案，可实现为一个下拉扩展到现有的预计算系统。Key是一种新颖的门户搜索方法，它利用预先计算的传播延迟和方向数据，在运行时找到连接动态源和侦听器的衍射最短路径的门户。在最坏的情况下，该方法与门户的数量呈线性关系，远比显式全局路径搜索与场景区域成比例。我们将讨论进一步加速的剔除技术。搜索算法与几何声学近似相结合，以模拟额外的直接和间接的能量损失，从干预门户网站取决于他们的动态关闭状态。我们展示了合理的视听动画在我们的系统集成虚幻引擎4（TM）和AudioKinetic Wwise（TM）。
2021-07-27 cs.GR cs.SD eess.AS
Few-shot Class-variable Incremental Audio Classification via Prototype Adaptation and Pseudo Class-variable Training
School of Electronic and Information Engineering, South China University of Technology（华南理工大学电子与信息学院）
针对实际中类别数量增减的少样本类变量增量音频分类问题，提出一种结合原型适应网络和伪类变量训练策略的方法，在三个公开数据集上平均准确率超过现有方法。
2026-06-16 cs.AI cs.LG eess.AS
1-Dimensional polynomial neural networks for audio signal related problems
University of Winnipeg（温尼伯大学）
除了极端非线性之外，现代问题需要数百万甚至数十亿个参数来解决或至少获得解决方案的良好近似，并且已知神经网络通过深化和扩大其拓扑结构来吸收这种复杂性，以增加更好近似所需的非线性水平。然而，紧凑的拓扑结构总是比更深的拓扑结构更受欢迎，因为它们提供了使用更少计算单元和更少参数的优势。这种紧凑性是以减少非线性为代价的，因此，有限的解决方案搜索空间。我们提出了1维多项式神经网络（1DPNN）模型，该模型使用1维卷积神经网络（1DCNN）的自动多项式核估计，并从第一层引入了高度的非线性，可以补偿对深度和/或宽拓扑结构的需求。我们表明，这种非线性使该模型能够在与音频信号相关的各种分类和回归问题上产生比常规1DCNN更低的计算和空间复杂性更好的结果，尽管它在神经元层面上引入了更多的计算和空间复杂性。实验在三个公开可用的数据集上进行，并证明，在所解决的问题上，所提出的模型可以在更短的时间和更少的内存中从数据中提取比1DCNN更多的相关信息。
2022-01-12 cs.LG cs.SD eess.AS
Multilingual Speech Emotion Recognition With Multi-Gating Mechanism and Neural Architecture Search
Columbia University（哥伦比亚大学）；JP Morgan AI Research（摩根大通人工智能研究院）
语音情感识别（SER）将音频分为情感类别，如快乐，愤怒，恐惧，厌恶和中性。虽然语音情感识别（SER）是流行语言的常见应用，但它仍然是低资源语言的问题，即，没有预先训练的语音到文本识别模型的语言。本文首先提出了一种从多个预先训练好的语音模型中提取情感信息的特定语言模型，然后设计了一种多领域模型，可以同时对多种语言进行SER。我们的多域模型采用多门机制，以产生独特的加权特征组合，为每种语言，也搜索特定的神经网络结构，为每种语言通过神经架构搜索模块。此外，我们引入了一个对比辅助损失，以建立更可分离的音频数据表示。我们的实验表明，我们的模型提高了3%的最先进的准确性为德国和法国的14.3%。
2022-11-16 cs.CL cs.SD eess.AS
An Intra-BRNN and GB-RVQ Based END-TO-END Neural Audio Codec
ByteDance（字节跳动）；Beijing University of Posts and Telecommunications（北京邮电大学）；Murdoch University（默多克大学）
针对低比特率语音编码中帧内相关性利用不足、量化误差影响音质的问题，提出结合1D-CNN与Intra-BRNN交错结构、采用GB-RVQ的CBRC端到端神经编解码器，3kbps下性能优于12kbps的Opus，适用于实时通信。
2024-02-02 cs.SD eess.AS
Learning Temporal Resolution in Spectrogram for Audio Classification
University of Surrey（萨里大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出可微分时间分辨率建模方法DiffRes，在音频频谱图与分类器之间动态合并冗余时间帧，在五个音频分类任务上以至少25%的计算成本降低实现相当或更好的精度。
2024-01-12 cs.AI cs.MM cs.SD
Language-based Audio Retrieval with Co-Attention Networks
School of Advanced Technology, Xi’an Jiaotong-Liverpool University（西交利物浦大学先进技术学院）
本文提出一种基于级联协同注意力网络的框架，通过堆叠协同注意力模块逐步细化文本与音频的语义对齐，用于基于语言的音频检索，并在Clotho和AudioCaps数据集上分别取得16.6%和15.1%的性能提升。
2024-12-30 cs.IR cs.SD eess.AS
Diet deep generative audio models with structured lottery
Institut de Recherche et Coordination Acoustique / Musique (IRCAM)（声学/音乐研究与协调学院（IRCAM））；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
深度学习模型在大多数音频应用领域提供了非常成功的解决方案。然而，这些模型的高精度是以巨大的计算成本为代价的。在评估所提出的模型的质量时，这方面几乎总是被忽视。然而，在评价模型时不应不考虑其复杂性。这一点在音频应用中尤为重要，因为音频应用严重依赖于具有实时约束的专用嵌入式硬件。在本文中，我们通过研究深度生成音频模型的彩票假设，建立在最近的观察结果基础上，即深度模型是高度过度参数化的。这个假设指出，深度模型中存在非常高效的小型子网络，如果孤立地训练，它将提供比大型模型更高的准确性。然而，彩票是通过依赖非结构化掩蔽来发现的，这意味着所得到的模型在磁盘大小或推理时间方面都没有提供任何增益。相反，我们在这里开发一种方法，旨在执行结构化修剪。我们表明，这需要依赖于全球选择，并引入一个特定的标准的基础上互信息。首先，我们确认了一个令人惊讶的结果，即较小的模型比大型模型提供更高的准确性。我们进一步表明，我们可以删除高达95%的模型权重，而不会显着降低准确性。因此，我们可以通过流行的方法（如Wavenet，SING或DDSP）获得非常轻的生成音频模型，这些方法的精度高达100倍。我们研究了在Raspberry Pi和Arduino上嵌入这些模型的理论界限，并表明我们可以在CPU上获得与大型GPU模型质量相当的生成模型。最后，我们讨论了在嵌入式平台上实现深度生成音频模型的可能性。
2020-07-31 cs.LG cs.MM cs.SD
Is Attention always needed? A Case Study on Language Identification from Speech
Department of Computer Science and Engineering, Jadavpur University（计算机科学与工程系，贾达沃大学）；Wipro AI Lab, Wipro India Limited（惠普AI实验室，惠普印度有限公司）；School of Languages and Linguistics, Jadavpur University（语言学系，贾达沃大学）
本研究提出了一种基于CRNN的语音语言识别方法，通过比较CNN和带注意力机制的CRNN，实现了对多种印度语言的高准确率识别，并在噪声环境下表现出良好的鲁棒性。
2023-10-25 cs.CL cs.LG cs.SD
LenslessMic: Audio Encryption and Authentication via Lensless Computational Imaging
Audiovisual Communications Laboratory, EPFL, Switzerland（埃因霍温联邦理工学院音频视觉通讯实验室）
本文提出LenslessMic，利用无透镜计算成像作为物理层安全手段，实现音频鲁棒认证和接近256位数字标准的加密强度，并通过低成本Raspberry Pi原型验证。
2025-09-19 cs.AI cs.CR cs.CV
Fully Automated End-to-End Fake Audio Detection
University of Science and Technology of China（中国科学技术大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
现有的虚假音频检测系统往往依赖专家经验来设计声学特征或手动设计网络结构的超参数。然而，人为调整参数会对结果产生比较明显的影响。手动设置最佳参数集几乎是不可能的。因此，本文提出了一种全自动端到端虚假音频检测方法。我们首先使用wav2vec预训练模型来获得语音的高级表示。此外，对于网络结构，我们使用一个修改版本的微分架构搜索（DARTS）命名为轻DARTS。它学习深度语音表示，同时自动学习和优化由卷积运算和残差块组成的复杂神经结构。在ASVspoof 2019 LA数据集上的实验结果表明，我们提出的系统实现了1.08%的等出错率（EER），优于最先进的单一系统。
2022-08-20 cs.AI cs.SD eess.AS
