Noise Flooding for Detecting Audio Adversarial Examples Against Automatic Speech Recognition
The College University of Chicago（芝加哥大学学院）；University of Colorado Colorado Springs（科罗拉多斯普林斯分校科罗拉多大学）
神经模型在各种任务中得到广泛使用，并已成为许多工业系统的关键组成部分。尽管它们有效且广受欢迎，但它们并非没有可利用的缺陷。最初应用于计算机视觉系统，对抗性示例的生成是对图像进行看似不可感知的扰动的过程，目的是诱导基于深度学习的分类器对图像进行错误分类。由于语音处理的最新趋势，这已经成为语音识别模型中的一个值得注意的问题。在2017年底，一种攻击被证明对语音命令分类模型非常有效。词汇量有限的语音分类器，如语音命令模型，在各种应用程序中使用得非常频繁，特别是在电话环境中管理自动话务员。因此，这种攻击产生的对抗性例子可能会产生现实世界的后果。虽然以前在防御这些对抗性示例方面的工作已经研究了使用音频预处理来减少或扭曲对抗性噪声，但这项工作探索了用随机噪声淹没音频信号的特定频带以检测对抗性示例的想法。这种不需要重新训练或修改模型的泛洪技术受到计算机视觉工作的启发，并建立在语音分类器对自然噪声相对鲁棒的想法之上。一种结合了5个不同频带的组合防御方法，用于用噪声淹没信号，其性能优于音频空间中其他现有的防御方法，检测对抗性示例的准确率为91.8%，召回率为93.5%。
2018-12-25 cs.CL cs.CR cs.LG
A Robust Approach for Securing Audio Classification Against Adversarial Attacks
École de Technologie Supérieure (ÉTS), University of Quebec（魁北克大学高等技术学院）
对抗性音频攻击可以被认为是一种人耳无法感知的小扰动，它被故意添加到音频信号中，并导致机器学习模型出错。这对机器学习模型的安全性提出了安全问题，因为对抗攻击可以欺骗这些模型进行错误的预测。在本文中，我们首先回顾了一些可能影响音频信号及其2D表示的强对抗攻击，并评估了最常见的机器学习模型的弹性，即深度学习模型和在2D音频表示上训练的支持向量机（SVM），如短时傅立叶变换（STFT），离散小波变换（DWT）和交叉递归图（CRP）对几个国家的最先进的对抗攻击。接下来，我们提出了一种新的方法，基于预处理的DWT表示的音频信号和SVM，以确保音频系统免受对抗攻击。所提出的架构有几个预处理模块，用于生成和增强频谱图，包括降维和平滑。我们使用加速鲁棒特征（SURF）算法从频谱图的小块中提取特征，该算法进一步用于使用K-Means++算法生成码本。最后，码字被用来训练的SURF生成的矢量的码本上的SVM。所有这些步骤产生了一种新的音频分类方法，该方法在准确性和弹性之间提供了良好的权衡。在三个环境声音数据集上的实验结果表明，与深度神经网络相比，所提出的方法在准确性和对强对抗攻击的鲁棒性方面都具有竞争力。
2019-11-25 cs.CR cs.LG cs.SD
Kapre: On-GPU Audio Preprocessing Layers for a Quick Implementation of Deep Neural Network Models with Keras
Queen Mary University of London（伦敦玛丽女王大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们引入Kapre，Keras层用于音频和音乐信号预处理。使用深度神经网络的音乐研究需要一个繁重而繁琐的预处理阶段，为此，音频处理参数在参数优化中往往被忽略。为了解决这个问题，Kapre实现了时频转换、归一化和数据增强作为Keras层。我们报告了简单的基准测试结果，显示实时GPU预处理增加了合理的计算量。
2017-06-19 cs.LG cs.MM cs.SD
A Comparison of Audio Signal Preprocessing Methods for Deep Neural Networks on Music Tagging
Queen Mary University of London（伦敦玛丽女王大学）；Centre for Digital Music（数字音乐中心）；EECS（电子工程与计算机科学学院）；New York University（纽约大学）；Center for Data Science（数据科学中心）
在本文中，我们实证研究了音频预处理对深度神经网络音乐标记的影响。我们进行全面的实验，涉及音频预处理使用不同的时间-频率表示，对数幅度压缩，频率加权和缩放。我们发现，许多常用的输入预处理技术是多余的，除了幅度压缩。
2021-02-22 cs.CV cs.IR cs.LG
Robust Speech Recognition Using Generative Adversarial Networks
Baidu Research（百度研究院）
本文描述了一个通用的，可扩展的，端到端的框架，使用生成对抗网络（GAN）的目标，使强大的语音识别。使用所提出的方法训练的编码器通过学习将嘈杂音频映射到与干净音频相同的嵌入空间来享受改进的不变性。与以前的方法不同，新框架不依赖于信号处理中经常需要的领域专业知识或简化假设，而是以数据驱动的方式直接鼓励鲁棒性。我们表明，新方法提高了香草序列到序列模型的模拟远场语音识别，而无需专门的前端或预处理。
2017-11-05 cs.CL cs.LG
Representation Matters in Randomized Smoothing for Audio Classification
University of California, Berkeley（加州大学伯克利分校）
研究随机平滑在音频分类中的表示问题，通过实验揭示预处理和表示选择对认证鲁棒性的影响，并提出报告规范。
2026-06-28 cs.LG cs.SD eess.AS
Improving Speech Recognition Accuracy Using Custom Language Models with the Vosk Toolkit
Southern Arkansas University（南阿肯色大学）
本研究利用Vosk工具包和定制语言模型，构建Python转录流水线，支持多种音频格式，降低词错误率，提供经济高效的离线高准确率语音识别方案。
2025-03-26 cs.LG cs.SD eess.AS
When De-noising Hurts: A Systematic Study of Speech Enhancement Effects on Modern Medical ASR Systems
EkaCare (Orbi Health Private Limited)（EkaCare（Orbi Health Private Limited））
本研究发现语音增强预处理会降低现代医疗ASR系统性能，建议避免使用噪声减少技术以提高转录准确性。
2025-12-19 cs.AI cs.LG cs.SD
X-Vector based voice activity detection for multi-genre broadcast speech-to-text
BBC Research & Development（BBC 研发部）
语音激活检测（VAD）是自动语音识别中的一个基本的预处理步骤。在广播行业中尤其如此，在广播行业中，会遇到各种各样的音频材料和记录条件。基于以前的研究表明，xvector嵌入可以应用于一组不同的音频分类任务，我们调查的适用性的x-向量在区分语音噪声。我们发现，所提出的基于x-向量的VAD系统在检测干净的语音AVA-Speech上实现了最好的报告分数，同时在存在噪声和音乐的情况下保持了稳健的VAD性能。此外，我们将基于x向量的VAD系统集成到现有的STT管道中，并将其在多个广播数据集上的性能与WebRTC VAD基线系统进行比较。至关重要的是，我们提出的基于x向量的VAD提高了真实世界广播音频上STT转录的准确性
2021-12-09 cs.SD eess.AS
When Audio Separation Hurts Zero-Shot ASR: Evaluating SAM-Audio with Whisper on Bengali and English Speech
Department of Computer Science and Engineering, University of Rajshahi（计算机科学与工程系，拉贾沙希大学）；Anan National College of Technology（安安国立技术学院）
研究发现，SAM-Audio预处理虽提升信号质量，但导致零样本ASR识别性能下降，揭示了机器识别与人类感知的不匹配问题。
2026-07-16 cs.AI cs.LG cs.SD
Contrastive Learning With Audio Discrimination For Customizable Keyword Spotting In Continuous Speech
Shanghai Jiao Tong University（上海交通大学）；AISpeech Ltd（思必驰科技有限公司）
针对连续语音关键词识别中协同发音和流式分词易导致误报的问题，提出CLAD方法，通过滑动窗口级InfoNCE损失同时学习音频-文本匹配与音频-音频判别，在LibriSpeech上显著优于无音频判别的对比学习及两阶段方法。
2024-01-12 cs.SD eess.AS
Stride-k Subsampling: Train-Free Audio Token Reduction for Whisper
Chung-Ang University（中央大学）
该研究提出无需训练的步长k子采样方法，可减少Whisper音频令牌，降低计算量与延迟，在多数ASR基准上仅产生小的WER损失，适用于Whisper及基于其的语音语言模型。
2026-09-01 cs.AI cs.SD
Locality Matters for Training-Free Audio Token Compression in Audio-Language Models
Zhejiang University（浙江大学）
提出局部时间二分图合并（LTBM）方法，通过显式时间窗口约束合并相似邻近音频令牌，实现免训练的编码器空间压缩，并验证了局部性归纳偏置在音频令牌压缩中的任务依赖性优势。
2026-05-24 cs.CL
Bagpiper: Solving Open-Ended Audio Tasks via Rich Captions
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；LY Corporation（LY公司）；NVIDIA Research（NVIDIA研究）
提出Bagpiper，一个8B参数音频基础模型，通过丰富描述（自然语言描述）实现音频理解和生成的统一，在MMAU和AIRBench上超越Qwen-2.5-Omni，生成质量优于CosyVoice3和TangoFlux。
2026-08-04 cs.CL cs.SD
A Comparison of Audio Preprocessing Techniques and Deep Learning Algorithms for Raga Recognition
MIT World Peace University（MIT世界和平大学）
Ragas是印度古典音乐的基础。Raga识别的任务在最近的过去在音乐信息检索社区中获得了牵引力，这可以归因于印度古典音乐的细微差别，这些细微差别导致了计算中的大量研究问题。在这项工作中，我们使用了两种不同的数字音频信号处理技术来预处理Carnatic经典ragas的音频样本，然后通过各种深度学习模型进行处理。他们的结果进行了比较，以推断哪种DASP技术更适合拉加识别的任务。我们获得了最先进的结果，我们最好的模型达到了98.1%的测试精度。我们还比较了每种模型区分相似ragas的能力。
2022-12-10 cs.IR cs.SD eess.AS
BreathGRU: A Novel Semi-Supervised Bidirectional Gated Recurrent Unit Framework for Speech and Breath Segmentation for Respiratory Audio
Aberystwyth University（阿伯里斯特威斯大学）；University of Southampton（南安普顿大学）
针对呼吸音频分析中语音-呼吸分割的不足，提出半监督双向门控循环单元框架BreathGRU，结合特征提取、双向建模、伪标签精炼和维特比解码，在多项指标上优于现有方法，实现高效分割。
2026-09-28 cs.LG cs.SD eess.AS
SAKE: Towards Editing Auditory Attribute Knowledge of Large Audio-Language Models
本文提出SAKE基准，用于评估大型音频-语言模型中听觉属性知识的编辑方法，发现多数方法在可靠性上表现良好，但在听觉泛化和多模态知识传播方面存在不足，细调模态连接器比直接编辑LLM更稳健。
2026-03-15 cs.AI cs.CL cs.SD
Automatic speech recognition for the Nepali language using CNN, bidirectional LSTM and ResNet
Tribhuvan University（特里布万大学）
本文提出一种结合双向 LSTM、ResNet 和一维 CNN 的端到端深度学习模型，用于尼泊尔语自动语音识别，在 OpenSLR 数据集上实现了 17.06% 的字符错误率。
2024-06-25 cs.CL cs.SD eess.AS
SANTLR: Speech Annotation Toolkit for Low Resource Languages
Carnegie Mellon University（卡内基梅隆大学）
虽然低资源语音识别已经吸引了语音社区的大量关注，但是有一些工具可用于促进低资源语音收集。在这项工作中，我们提出了SANTLR：语音注释工具包低资源语言。它是一个基于网络的工具包，允许研究人员轻松地收集和注释低资源语言的语音语料库。注释者可以将此工具包用于两个目的：转录或记录。在转录中，注释者将转录研究人员提供的音频文件;在记录中，注释者将通过阅读提供的文本来记录他们的声音。我们强调这个工具包的两个属性。首先，SANTLR具有非常用户友好的用户界面（UI）。研究人员和注释者都可以使用这个简单的Web界面进行交互。注释者不需要具备音频或文本处理方面的专业知识。该工具包将处理所有预处理和后处理步骤。其次，我们采用了多步排名机制，促进注释过程。特别地，工具包将给予更高优先级的话语更容易注释并且更有利于实现注释的目标，例如快速训练声学模型。
2019-08-02 cs.CL cs.SD eess.AS
Context-Aware Multimodal Claim Verification in Spoken Dialogues
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Sheffield（谢菲尔德大学）
提出MAD2基准和上下文感知多模态融合方法，验证对话音频中的声明，发现对话结构比虚假信息框架对验证更重要。
2026-11-04 cs.CL cs.SI
A Crowdsourced Open-Source Kazakh Speech Corpus and Initial Speech Recognition Baseline
Institute of Smart Systems and Artificial Intelligence (ISSAI)（智能系统与人工智能研究所（ISSAI））；Nazarbayev University（纳扎尔巴耶夫大学）
我们提出了一个哈萨克语的开源语音语料库。哈萨克语语音语料库（KSC）包含约332小时的转录音频，其中包括来自不同地区和年龄组以及性别的参与者所说的153，000多句话。它由哈萨克族母语人士仔细检查，以确保高质量。KSC是最大的公开数据库，旨在推进各种哈萨克语语音和语言处理应用程序。在本文中，我们首先描述了数据收集和预处理程序，然后描述了数据库规格。我们也分享我们的经验和面临的挑战，在数据库建设，这可能会有益于其他研究人员计划建立一个低资源的语言语音语料库。为了证明数据库的可靠性，我们进行了初步的语音识别实验。实验结果表明，音频和成绩单的质量是有希望的（2.8%的字符错误率和8.7%的单词错误率的测试集）。为了实现实验的可重复性并简化语料库的使用，我们还为我们的语音识别模型发布了ESPnet配方。
2021-01-13 cs.CL cs.SD eess.AS
Content Anonymization for Privacy in Long-form Audio
本文提出了一种基于内容的语音匿名化方法，通过上下文重写转录文本以消除说话者特定风格，从而保护长音频中的隐私。
2026-07-24 cs.CL cs.SD
Recurrent Models for Auditory Attention in Multi-Microphone Distance Speech Recognition
Carnegie Mellon University（卡内基梅隆大学）
多个麦克风数据的集成是在噪声环境中或当说话者位于距输入设备一定距离处时实现鲁棒的语音识别的关键方法之一。诸如波束形成的信号处理技术被广泛用于从背景噪声中提取感兴趣的语音信号。然而，这些技术高度依赖于关于麦克风和系统被使用的环境的先前空间信息。在这项工作中，我们提出了一种神经注意力网络，它直接结合多通道音频来生成语音状态，而不需要任何麦克风布局的先验知识或任何显式的语音增强信号预处理。我们在基于递归神经网络（RNN）的声学模型中嵌入了一个注意力机制，以自动将其注意力调整到更可靠的输入源。与传统的多通道预处理不同，我们的系统可以一步优化到所需的输出。虽然基于注意力的模型最近在序列到序列学习方面取得了令人印象深刻的结果，但以前没有注意力机制被应用于学习潜在的异步和非平稳的多个输入。我们在CHiME-3挑战任务上评估了我们的神经注意力模型，并表明该模型使用纯粹的数据驱动方法实现了与波束成形相当的性能。
2016-01-07 cs.CL cs.LG
Methods to Increase the Amount of Data for Speech Recognition for Low Resource Languages
NVIDIA（英伟达）；Buymie
本文以亚美尼亚语和格鲁吉亚语为例，研究低资源语言语音识别数据扩展方法，发现付费众包在成本与质量间平衡最佳，扩展数据训练的FastConformer模型词错误率分别降至5.73%和9.9%，并开源了模型。
2025-02-07 cs.CL cs.SD eess.AS
Artificial Neural Networks to Recognize Speakers Division from Continuous Bengali Speech
Daffodil International University（水仙国际大学）；The University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）
本文提出基于人工神经网络和MFCC及Delta特征的方法，利用633名说话人超45小时的连续孟加拉语语音数据识别其所属行政区，最高准确率达85.44%。
2024-04-18 cs.HC cs.LG cs.SD
Unifying Isolated and Overlapping Audio Event Detection with Multi-Label Multi-Task Convolutional Recurrent Neural Networks
University of Oxford（牛津大学）；NIHR Oxford Biomedical Research Centre（英国国家健康研究所牛津生物医学研究中心）
我们提出了一个基于卷积递归神经网络的多标签多任务框架，以统一检测孤立和重叠的音频事件。该框架利用了卷积递归神经网络架构的强大功能;卷积层学习有效的特征，更高的递归层在这些特征上执行顺序建模。此外，输出层被设计为处理任意程度的事件重叠。在循环输出序列中的每个时间步，输出三元组专用于每个感兴趣的事件类别，以联合建模事件发生和时间边界。也就是说，网络通过估计每个循环时间步长处的起始和偏移位置来联合确定该类别的事件是否发生以及何时发生。然后，我们介绍了网络训练的三个连续损失：多标签分类损失，距离估计损失和置信度损失。我们在两个数据集上表现出良好的泛化能力：ITC-Irst用于孤立音频事件检测，TUT-SED-Synthetic-2016用于重叠音频事件检测。
2019-02-18 cs.LG cs.SD eess.AS
Approach to Learning Generalized Audio Representation Through Batch Embedding Covariance Regularization and Constant-Q Transforms
Carnegie Mellon University（卡内基梅隆大学）；Carnegie Mellon Institute（卡内基梅隆研究所）
在包括音频任务在内的许多应用场景中，通用嵌入对于Few-Shot甚至零样本学习都是非常理想的。为了更好地理解表示，我们对HEAR 2021提交结果进行了彻底的错误分析和可视化。受分析的启发，这项工作实验了不同的前端音频预处理方法，包括恒定Q变换（CQT）和短时傅立叶变换（STFT），并提出了一个批量嵌入协方差正则化（BECR）项，以揭示人类听觉系统接收的频率信息的更全面的模拟。我们在HEAR 2021任务套件上测试了这些模型，这些任务涵盖了广泛的任务类别。初步结果表明：（1）BECR可以在测试集上产生更分散的嵌入，（2）BECR在不增加计算复杂度的情况下改进了PaSST模型，（3）STFT预处理在我们测试的所有任务中都优于CQT。Github网站：https://github.com/ankitshah009/general_audio_embedding_hear_2021
2023-03-07 cs.LG cs.MM cs.SD
GPU-Accelerated Viterbi Exact Lattice Decoder for Batched Online and Offline Speech Recognition
NVIDIA（英伟达）
我们提出了一种优化的加权有限状态转换器（WFST）解码器，能够使用图形处理单元（GPU）的音频的在线流和离线批处理。该解码器是有效的内存利用率，输入/输出（I/O）带宽，并使用一种新颖的Viterbi实现设计，以最大限度地提高并行性。减少内存占用使解码器能够处理比以前大得多的图形，同时优化I/O增加了支持的并发流的数量。网格段的GPU预处理使得中间网格结果能够在流式推理期间返回给请求者。总的来说，所提出的算法产生了高达240倍的加速比单核CPU解码，高达40倍的速度比当前最先进的GPU解码器的解码，同时返回等效的结果。这种解码器设计可以在从大型数据中心服务器到低功耗边缘设备的各种系统上部署生产级ASR模型。
2020-02-14 cs.CL eess.AS
Robustness of Neural Architectures for Audio Event Detection
Carnegie Mellon University（卡内基梅隆大学）
传统上，在音频识别流水线中，噪声被抑制在“前端”，依赖于语音增强等预处理技术。但是，不能保证噪声不会级联到下游管道中。为了了解噪声对整个音频管道的实际影响，在本文中，我们直接研究了噪声对不同类型的神经模型的影响，而无需预处理步骤。我们测量了4种不同的神经网络模型在3种类型的噪声下对环境声音分类任务的识别性能：\emph{occlusion}（模拟间歇性噪声），\emph{Gaussian}噪声（模拟连续噪声）和\emph{adversarial perturbations}（最坏情况）。我们的直觉是，这些模型处理其输入的不同方式（即CNN具有很强的局部诱导偏差，而Transformers没有）应该会导致性能和/或鲁棒性方面的可观察差异，对这些差异的理解将有助于进一步改进。我们在AudioSet上进行了大量的实验，AudioSet是最大的弱标记声音事件数据集。我们还试图通过输出分布变化和权重可视化来解释不同模型的行为。
2022-07-29 cs.SD eess.AS
Meta-Learning in Audio and Speech Processing: An End to End Comprehensive Review
PES University（PES大学）
该文系统综述音频与语音处理中的元学习方法，涵盖数据、特征、元学习器、任务选择、数据集与应用，并展望未来方向。
2024-08-19 cs.LG cs.SD eess.AS
Bootstrapping deep music separation from primitive auditory grouping principles
Illinois Institute of Technology（伊利诺伊理工学院）
将音频场景（如鸡尾酒会）分离成组成的、有意义的分量是计算机试听中的核心任务。深度网络是最先进的方法。它们在由隔离的声源录音制成的音频合成混合物上进行训练，以便知道分离的基础事实。然而，绝大多数可用的音频并不是孤立的。大脑使用独立于任何特定声源的特性的原始线索来执行音频场景的初始分割。我们提出了一种通过使用多个原始线索来引导用于音乐声源分离的深度模型的方法，而无需地面实况。我们将我们的方法应用于训练来自YouTube的大量未标记音乐录音的网络，以将人声与伴奏分离，而不需要地面实况隔离源或人工训练混合物。
2019-10-23 cs.LG cs.SD eess.AS
TACNET: Temporal Audio Source Counting Network
Sharif University of Technology（谢里夫理工大学）；Institute for Advanced Studies in Basic Sciences（基础科学高级研究所）
本文提出TaCNet，一种直接处理原始音频的时序声源计数网络，无需复杂预处理，在LibriCount数据集上11类平均准确率达74.18%，具备跨语言适应性。
2023-11-04 cs.AI cs.LG cs.SD
Unsupervised Representations Improve Supervised Learning in Speech Emotion Recognition
University of Tehran（德黑兰大学）
本文提出将基于Wav2Vec的自监督特征提取与定制CNN分类器相结合用于语音情感识别，在ShEMO数据集上超越SVM、迁移学习基线及现有最优方法，证明无监督表示学习能显著提升SER性能。
2023-09-22 cs.LG cs.SD eess.AS
Toward Deep Drum Source Separation
Politecnico di Milano（米兰理工大学）
针对鼓声源分离数据不足的问题，该研究推出1224小时的大规模鼓分轨数据集StemGMD，并基于该数据集开发专用U-Net架构的LarsNet模型，实现快于实时的5轨鼓分离且性能超越传统方法。
2024-05-20 cs.LG cs.SD eess.AS
Learning Speech Representations from Raw Audio by Joint Audiovisual Self-Supervision
Imperial College London（帝国理工学院）；Samsung AI Centre, Cambridge（三星人工智能中心（剑桥））；Facebook London（Facebook（伦敦））
音频和视觉模态之间的直观交互对于跨模态自监督学习是有价值的。这一概念已被证明为通用的视听任务，如视频动作识别和声学场景分类。然而，自我监督仍然没有充分探讨视听讲话。我们提出了一种从原始音频波形中学习自监督语音表示的方法。我们训练一个原始的音频编码器相结合的音频只有自我监督（通过预测信息音频属性）与视觉自我监督（通过生成说话的脸从音频）。视觉托词任务驱动音频表示来捕获与嘴唇运动相关的信息。这丰富了音频编码器的视觉信息和编码器可以用于评估没有视觉模态。我们的方法相对于现有的自监督音频特征在已建立的孤立词分类基准上具有竞争力的性能，并且在从较少的标签中学习方面显着优于其他方法。值得注意的是，我们的方法还优于完全监督训练，从而为语音相关任务提供了强大的初始化。我们的研究结果表明，在视听语音学习良好的音频表示的多模态自我监督的潜力。
2020-07-08 cs.CL cs.CV cs.LG
Foley-Omni: A Unified Multimodal Generation Model from Task-Level Audio Synthesis to Complete Video Soundtrack Generation
School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）；Video Rebirth；Shanghai Jiao Tong University（上海交通大学）；Beijing Jiaotong University（北京交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
提出Foley-Omni统一多模态音频生成模型，通过共享潜变量生成过程联合建模语音、音效和音乐，实现从孤立任务级合成到完整视频配乐生成，并构建V2ST-Bench基准进行综合评估。
2026-06-02 cs.MM cs.SD
Finding Strength in Weakness: Learning to Separate Sounds with Weak Supervision
Northwestern University（西北大学）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
虽然使用深度学习技术来分离语音和音乐音频信号已经取得了很大的最新进展，但这些系统通常需要在训练过程中收集大量的隔离源。当将音频声源分离算法扩展到诸如环境监测之类的更一般的领域时，可能无法获得用于训练的隔离信号。在这里，我们提出了目标函数和网络架构，使训练弱标签的声源分离系统。在这种情况下，弱标签是与强时频（TF）标签（诸如从隔离源获得的那些标签）相反地定义的，并且是指帧级弱标签，其中人们仅能够访问音频混合中不同源活跃的时间段，或者是指剪辑级弱标签，其仅指示整个音频剪辑中声音的存在或不存在。我们训练一个分离器，它为每种类型的声音事件估计TF掩码，使用声音事件分类器作为分离器性能的评估器，以弥合TF级分离与仅在帧或剪辑级可用的地面真实弱标签之间的差距。我们的目标函数要求分类器应用到一个单独的源分配高概率的类对应于该源和低概率的所有其他类。目标函数还强制分离的源相加为混合物。我们基准测试我们的算法的性能，使用从城市环境中记录的声音数据库中创建的重叠事件的合成混合物。与使用孤立源训练网络相比，我们的模型实现了略低但仍然显着的SI-SDR改进，即使在声音事件重叠的情况下也是如此。
2020-08-28 cs.LG cs.SD eess.AS
Voice command generation using Progressive Wavegans
University of Augsburg（奥格斯堡大学）；Group on Language, Audio, and Music, Imperial College London（伦敦帝国理工学院语言、音频与音乐研究组）
生成对抗网络（GANs）在广泛的数据驱动的研究领域中非常受欢迎，部分原因是它们在图像生成方面取得了成功。它们生成新样本的能力，通常只从少量的输入数据，使它们成为数据资源有限的领域令人兴奋的研究工具。GANs的一个较少探索的应用是语音和音频样本的合成。在这里，我们提出了一组WaveGAN范式的扩展，WaveGAN范式是最近提出的使用GANs生成声音的方法。这些扩展的目的-预处理，音频到音频生成，跳过连接和渐进结构-是为了提高合成语音样本的人类相似性。与原始WaveGAN方法相比，使用所提出的扩展，30名志愿者的听力测试分数显示出适度的改善（科恩d系数为0.65）。
2019-03-13 cs.CL cs.LG cs.SD
Emotion Recognition Using Fusion of Audio and Video Features
École de Technologie Supérieure, University of Québec（魁北克大学高等技术学院）
在本文中，我们提出了一种融合的方法来连续的情感识别，结合视觉和听觉模态在其表示空间来预测唤醒和效价水平。所提出的方法采用预训练的卷积神经网络和迁移学习从捕获情感内容的视频帧中提取特征。对于听觉内容，一个最小的参数集，如韵律，激励，声道，和频谱描述符被用作功能。这两种模态的融合是在训练单个支持向量回归器（SVR）之前在特征级进行的，或者是在为每种模态训练一个SVR之后在预测级进行的。该方法还包括预处理和后处理技术，有助于提高一致性相关系数（CCC）。在RECOLA数据集上预测自发和自然情绪的实验结果表明，所提出的方法利用了视觉和听觉模态的互补信息，并分别为唤醒和效价提供了0.749和0.565的CCC。
2019-06-25 cs.LG cs.SD eess.AS
Time-Domain Based Embeddings for Spoofed Audio Representation
Tel Aviv University (TAU)（特拉维夫大学（TAU））；Afeka Tel Aviv Academic College of Engineering（阿菲卡特拉维夫工程学术学院）；Avignon University（阿维尼翁大学）
反欺骗是语音认证的任务。也就是说，与欺骗性语音相比，识别真正的人类语音。本文的主要重点是提出新的表示为真正的和假冒的语音，基于概率质量函数（PMF）估计的音频波形的幅度。本文介绍了一种新的语音音频信号特征提取方法：与传统方法不同，我们的方法是基于直接处理的时域音频样本。PMF是利用设计一个基于不同的PMF距离和相似性措施的特征提取器。作为附加步骤，我们使用了滤波器组预处理，这显著影响了特征的区分特性，并有助于方便地可视化欺骗攻击的可能聚类。此外，我们使用扩散映射来揭示数据所在的底层流形。建议的嵌入允许使用简单的线性分隔符来实现良好的性能。此外，我们提出了一种方便的方法来可视化的数据，这有助于评估不同的欺骗技术的效率。实验结果表明，使用多通道PMF为基础的功能的反欺骗任务的潜力，除了使用扩散图作为分析工具和嵌入工具的好处。
2022-10-27 cs.SD eess.AS
Three-Class Emotion Classification for Audiovisual Scenes Based on Ensemble Learning Scheme
Xihua University（西华大学）；Beibu Gulf University（北部湾大学）
本文提出基于音频的集成学习框架，用于对电影场景进行三类情感分类，实验结果显示在现实数据集上达到86%的准确率。
2025-11-22 cs.HC cs.SD
Amphion: An Open-Source Audio, Music and Speech Generation Toolkit
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shanghai AI Laboratory（上海人工智能实验室）
本研究推出开源音频、音乐与语音生成工具包Amphion，构建统一可扩展框架，提供新手友好流程与预训练模型，初始版本支持TTS、TTA、SVC等任务及配套组件，助力相关领域研究者快速开展项目。
2024-09-16 cs.SD eess.AS
TranssionADD: A multi-frame reinforcement based sequence tagging model for audio deepfake detection
Transsion（传音）
针对音频深度伪造检测挑战赛（ADD 2023）Track 2的篡改区域定位难题，提出TranssionADD系统，通过适配序列标注任务、数据增强技术及引入多帧检测模块与孤立帧惩罚损失，有效提升了模型的鲁棒性与泛化能力，最终获得第二名。
2023-06-27 cs.LG cs.SD eess.AS
Automated Activity Recognition of Construction Equipment Using a Data Fusion Approach
University of Utah（犹他大学）；Louisiana State University（路易斯安那州立大学）；Texas A&M University（得克萨斯农工大学）
施工作业的自动化监控，特别是设备和机器的操作，是成本估算和施工项目规划的重要一步。近年来，提出了许多方法来识别建筑设备的活动。这些方法基于处理单一类型的数据（音频、视觉或运动学数据）。考虑到建筑工地的复杂性，使用一个数据源不足以覆盖所有条件和场景。为了解决这个问题，我们使用了一种数据融合方法：这种方法基于收集音频和运动学数据，包括以下步骤：1）记录机器生成的音频和运动学数据，2）预处理数据，3）提取时域和频域特征，4）特征融合，5）使用机器学习算法对活动进行分类。该方法在多台机器上实现，实验表明，与使用单一数据源的情况相比，可以获得高达25%的准确结果。
2019-06-05 cs.LG cs.SD eess.AS
Multimodal Emotion Recognition from Raw Audio with Sinc-convolution
Beijing JiaoTong University（北京交通大学）；Research Center of 6G Mobile Communications（6G移动通信研究中心）；School of Cyber Science and Engineering（网络空间科学与工程学院）；Wuhan National Laboratory for Optoelectronics（武汉光电国家研究中心）；Huazhong University of Science and Technology（华中科技大学）
针对语音情感识别任务，提出利用Sinc-卷积层从原始音频提取声学特征并结合LSTM、语言特征和对话情感解码策略，在IEMOCAP数据集上达到85.1%的加权准确率。
2024-02-19 cs.MM cs.SD eess.AS
MMAG: A Multi-Control Mixed Audio Generation Benchmark
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Lab（上海人工智能实验室）
本研究针对现有音频生成基准的不足，推出MMAG混合音频生成基准，构建含4000个标注音频的数据集，提出系统评估协议，测试发现各类模型在多控制能力间存在性能权衡，为该领域提供综合基准。
2026-08-10 cs.SD eess.AS
Codec-Robust Attacks on Audio LLMs
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Qualcomm（高通）
提出CodecAttack，通过在神经音频编解码器的连续潜在空间中优化扰动，实现对抗Opus、MP3和AAC-LC等有损压缩的鲁棒攻击，平均目标子串攻击成功率85.5%。
2026-05-21 cs.AI cs.SD
Hierarchical Activity Recognition and Captioning from Long-Form Audio
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey, U.K.（视觉、语音和信号处理中心（CVSSP），英国萨里大学）
本文提出MultiAct数据集和统一层次模型，用于从长音频中识别复杂活动并生成多分辨率描述。
2026-02-06 cs.SD
Instrument-Independent Dastgah Recognition of Iranian Classical Music Using AzarNet
K.N. Toosi University of Technology（霍斯拉维·纳赛尔·托西理工大学）；University of Tabriz（大不里士大学）；Islamic Azad University, Sari branch（伊斯兰阿扎德大学萨里分校）
本文提出了一种深度神经网络（DNN）AzarNet来识别Maryam伊朗古典音乐（MICM）数据集中的七种不同的伊朗古典音乐Dastgahs。在过去的几年里，人们对采用特征学习和DNN产生了极大的兴趣，这导致了所需的工程工作量的减少。与浅层处理架构相比，DNN在许多分类任务（例如音频信号分类）中表现出更好的性能。尽管有图像数据，但音频数据需要一些预处理步骤来提取频谱和时间特征。一些变换，如短时傅立叶变换（STFT）已被用于在现有技术的研究状态，从时域到时频域的音频信号变换提取的时间和频谱特征。在这项研究中，提取的特征STFT输出结果提供给AzarNet进行学习和分类过程。值得注意的是，上述数据集包含由两种乐器（小提琴和稻草）组成的音乐曲目。AzarNet在测试集上的总体f1得分，所有七个类别的平均值为86.21%，这是根据我们最好的知识在Dastgah分类中报告的最好结果。
2019-01-09 cs.LG cs.SD eess.AS
Rethinking Continual Learning for Speech and Audio: A Representation-Centric Taxonomy and Open Problems
University of Melbourne, Melbourne, Australia（墨尔本大学）
本文从表征中心视角重新审视语音持续学习，提出基于表征几何演化的新分类法，并指出现有假设与语音基础模型行为的关键不匹配，最后概述开放挑战与未来方向。
2026-05-29 cs.SD eess.AS
End-to-end Contrastive Language-Speech Pretraining Model For Long-form Spoken Question Answering
本文提出CLSR模型，通过将音频特征转换为文本表示，提升长音频问答任务的性能，实验表明其优于现有方法。
2026-04-11 cs.CL cs.SD
Comparison of spectrogram scaling in multi-label Music Genre Recognition
Poznań University of Economics and Business（波兹南经济大学）
本文针对多标签音乐流派识别中流派组合复杂的问题，比较多种频谱图缩放预处理与模型训练方法，并在超过18000条人工标注数据集上验证。
2025-06-02 cs.LG cs.SD eess.AS
Explainable Multi-Modal Deep Learning for Automatic Detection of Lung Diseases from Respiratory Audio Signals
Albukhary International University（阿尔布胡亚国际大学）
本研究提出一种可解释的多模态深度学习框架，通过结合频谱-时间编码器和手工制作的声学特征编码器，利用呼吸音频信号自动检测肺部疾病，实现了高准确率和良好的泛化能力。
2025-11-29 cs.AI cs.LG cs.SD
Efficient Audio-Visual Speech Separation with Discrete Lip Semantics and Multi-Scale Global-Local Attention
Department of Computer Science and Technology, Institute for AI, BNRist, Tsinghua University, Beijing（计算机科学与技术系，人工智能研究院，BNRist，清华大学，北京）；IDG/McGovern Institute for Brain Research, Tsinghua University, Beijing（IDG/麦克戈文脑研究 institute，清华大学，北京）；Chinese Institute for Brain Research (CIBR), Beijing（中国脑科学研究院（CIBR），北京）
Dolphin通过离散唇语语义和多尺度全局-局部注意力实现高效音频-视觉语音分离，提升分离质量和效率。
2026-03-11 cs.CV cs.SD
