Learning to Detect Novel and Fine-Grained Acoustic Sequences Using Pretrained Audio Representations
Apple（苹果公司）
本研究针对无可用非目标音频的新型细粒度声学序列小样本检测问题，开发了预训练音频表示的流程及迁移方法，实验验证了预训练嵌入的通用性及对小样本检测框架的支撑作用。
2023-05-03 cs.LG cs.SD eess.AS
Towards Audio Domain Adaptation for Acoustic Scene Classification using Disentanglement Learning
Fraunhofer IDMT（弗劳恩霍夫数字媒体技术研究所）；International Audio Laboratories（国际音频实验室）
在现实生活中的应用中，机器监听算法的部署经常受到例如由不同麦克风特性引起的域偏移的阻碍。本文提出了一种基于解纠缠学习的域自适应策略。我们的目标是在分析的音频记录中解开特定于任务和特定于领域的特征。特别是，我们结合了两种策略：首先，我们将不同的二进制掩码应用于内部嵌入表示，其次，我们提出了一种新的分类交叉熵和基于方差的损失的组合。我们的研究结果证实了这两个任务在嵌入水平上的解纠缠，但在声学场景分类性能方面只有微小的改善，当可以使用来自这两个域的训练数据时。作为第二个发现，我们可以确认最先进的无监督域自适应策略的有效性，该策略在特征级别上执行跨域自适应。
2021-10-26 cs.SD eess.AS
Towards End-to-End Acoustic Localization using Deep Learning: from Audio Signal to Source Position Coordinates
University of Alcalá（阿尔卡拉大学）
提出了一种基于卷积神经网络（CNN）的麦克风阵列室内声源定位方法。据我们所知，所提出的解决方案是第一个公开的工作，其中CNN被设计为直接估计声源的三维位置，使用原始音频信号作为输入信息，避免使用手工制作的音频特征。鉴于有限的本地化数据，本文提出了一种基于两个步骤的训练策略。我们首先使用从近距离谈话语音记录生成的半合成数据来训练我们的网络，并且在其中我们模拟从源传播到麦克风阵列的信号中所遭受的时间延迟和失真。然后，我们使用少量的实际数据来微调这个网络。我们的实验结果表明，这种策略是能够产生的网络，显着改善现有的定位方法的基础上\textit{SRP-PHAT}战略。此外，我们的实验表明，我们的CNN方法表现出更好的抵抗不同性别的发言人和不同的窗口大小相比，其他方法。
2018-07-29 cs.SD eess.AS
DashengTokenizer: One layer is enough for unified audio understanding and generation
MiLM Plus（小米公司）；Xiaomi Inc.（小米公司）；Beijing, China（中国北京）
本文提出DashengTokenizer，通过融合语义特征与音频信息，实现音频理解和生成任务的统一，优于传统音频编解码器和编码器基线，挑战了VAE架构是音频合成必要条件的假设。
2026-03-26 cs.SD eess.AS
A Joint Framework for Audio Tagging and Weakly Supervised Acoustic Event Detection Using DenseNet with Global Average Pooling
Amazon.com Inc.（亚马逊公司）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
本文提出了一种主要用于音频标记的网络架构，该架构也可用于弱监督声事件检测（AED）。建议的网络由一个修改后的DenseNet作为特征提取器，和一个全局平均池（GAP）层在推理时预测帧级标签。该架构受到Zhou等人提出的工作的启发，一个众所周知的框架，使用GAP来本地化给定图像级标签的视觉对象。虽然大多数弱监督AED的先前工作使用具有基于注意力的机制的递归层来定位声学事件，但所提出的网络使用DenseNet提取的特征图直接定位事件，而无需任何递归层。在DCASE 2017的音频标记任务中，我们的方法在绝对值方面在开发集上的F1得分中显著优于最先进的方法5.3%，在评估集上为6.0%。对于DCASE 2018中的弱监督AED任务，我们的模型通过使用数据增强和tri-training来利用未标记的数据，在绝对值方面，我们的模型在基于事件的F1中的性能优于最先进的方法8.1%，在eval集上的性能优于0.5%。
2020-08-07 cs.SD eess.AS
Prompting Audios Using Acoustic Properties For Emotion Representation
Microsoft（微软）
针对离散情感标签难以表达情感多样性的问题，提出基于音高、强度等声学属性自动生成提示，并用对比学习对齐语音与提示，从而提升 EAR 与 SER 性能。
2023-12-07 cs.AI cs.SD eess.AS
Relation-guided acoustic scene classification aided with event embeddings
Ghent University（根特大学）
在现实生活中，声学场景和音频事件自然相关。人类本能地依赖于细粒度的音频事件以及整体声音特征来区分不同的声学场景。然而，大多数先前的方法将声学场景分类（ASC）和音频事件分类（AEC）视为两个独立的任务。一些关于场景和事件联合分类的研究要么使用与真实世界几乎不匹配的合成音频数据集，要么简单地使用多任务框架同时执行两个任务。这两种方法都没有充分利用细粒度事件和粗粒度场景之间的内在联系。为此，本文提出了一个关系引导的ASC（RGASC）模型，以进一步开发和协调的场景和事件识别的互惠互利的场景和事件的关系。TUT Urban Acoustic Scenes 2018数据集（TUT 2018）通过简单高效的音频相关预训练模型PANN（最先进的AEC模型之一）使用事件的伪标签进行注释。然后，先验场景-事件关系矩阵被定义为每个场景类中每个事件类型存在的平均概率。最后，双塔RGASC模型在真实数据集TUT 2018上进行联合训练，用于场景和事件分类。取得了以下成果。1)RGASC有效地协调了粗粒度场景的真实信息和细粒度事件的伪信息。2)在先验场景-事件关系的指导下从伪标签学习的事件嵌入有助于减少相似声学场景之间的混淆。3)与其他（非集成）方法相比，RGASC提高了对真实数据集的场景分类精度。
2022-05-01 cs.SD eess.AS
NEAL: An open-source tool for audio annotation
Trinity College Dublin（都柏林圣三一学院）
被动声监测在生态学、生物多样性和保护研究中有着广泛的应用。通过声学监测收集的数据集通常非常大，并且可以使用人工智能和机器学习模型自动处理，这些模型旨在复制领域专家的工作。作为监督学习算法的这些模型需要在专家产生的高质量注释上进行训练。由于专家通常资源有限，因此需要一个具有成本效益的音频注释过程，以最大限度地利用数据。我们提出了一个开源的交互式音频数据标注工具，NEAL（自然+能源音频标签）。该工具使用R和相关的Shiny框架构建，提供了一个反应式环境，用户可以快速注释音频文件并调整设置，自动更改用户界面的相应元素。该应用程序的设计目标是让专业观鸟者和公民科学家为声学注释项目做出贡献。R编程在生物声学中的流行性和灵活性意味着Shiny应用程序可以针对其他鸟类标签数据集进行修改，甚至可以用于通用的音频标签任务。我们通过标记从爱尔兰各地的风电场收集的数据来展示该应用程序。
2022-12-08 cs.SD eess.AS
Describing emotions with acoustic property prompts for speech emotion recognition
Microsoft（微软）
情绪存在于一个广泛的连续体上，将情绪视为离散的类别限制了模型捕捉连续体中细微差别的能力。挑战在于如何描述情感的细微差别，以及如何使模型能够学习这些描述。在这项工作中，我们设计了一种方法来自动创建一个描述（或提示）为给定的音频计算声学特性，如音高，响度，语速和清晰度。我们使用5种不同的情感数据集将提示与其对应的音频配对。我们使用这些音频文本对训练了一个神经网络模型。然后，我们使用另一个数据集来评估模型。我们研究了该模型如何学习将音频与描述相关联，从而提高语音情感识别和语音音频检索的性能。我们希望我们的发现能激发研究，
2022-11-14 cs.LG cs.SD eess.AS
On The Effect Of Coding Artifacts On Acoustic Scene Classification
University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；International Audio Laboratories（国际音频实验室）
以前的DCASE挑战有助于提高声学场景分类系统的性能。最先进的分类器需要大量的处理能力和内存，这对于资源受限的移动或物联网边缘设备来说是一个挑战。因此，更有可能在更强大的硬件上部署这些模型，并对先前从低功耗边缘设备上传（或流式传输）的音频记录进行分类。在这种情况下，边缘设备可以应用感知音频编码来降低传输数据速率。本文使用DCASE 2020挑战贡献[1]探索感知音频编码对分类性能的影响。我们发现，与对原始（未压缩）音频进行分类相比，分类准确性最多可降低57%。我们进一步展示了模型训练期间的有损音频压缩技术如何提高压缩音频信号的分类准确性，即使是对于训练过程中不包括的音频编解码器和编解码器比特率。
2021-12-09 cs.MM cs.SD eess.AS
A Transformer-based Audio Captioning Model with Keyword Estimation
NTT Corporation（日本电报电话公司）
自动音频字幕（AAC）的问题之一是对应于音频事件/场景的词选择的不确定性。由于一个声学事件/场景可以用几个词来描述，因此它导致可能的字幕的组合爆炸和训练的困难。为了解决这个问题，我们提出了一个基于transformer的音频字幕模型与关键字估计称为TRACKE。它在执行声学事件检测/声学场景分类的子任务（即，关键字估计）。TRACKE估计关键词，其包括与输入音频中的音频事件/场景相对应的词集合，并且在参考估计的关键词的同时生成字幕以减少词选择的不确定性。在公共AAC数据集上的实验结果表明，TRACKE实现了最先进的性能，并成功地估计了标题及其关键字。
2020-08-08 cs.LG cs.SD eess.AS
Neurobench: DCASE 2020 Acoustic Scene Classification benchmark on XyloAudio 2
SynSense
本研究作为Neurobench项目的一部分，将DCASE 2020声学场景分类基准部署到超低功耗音频芯片XyloAudio 2上，介绍了相关数据、预处理、网络训练方法，并给出模型性能及芯片的功耗、延迟测试结果。
2024-10-31 cs.NE cs.SD eess.AS
Task 1A DCASE 2021: Acoustic Scene Classification with mismatch-devices using squeeze-excitation technique and low-complexity constraint
声场景分类是机器听觉领域的热点问题之一。这个问题的目的是分类的音频剪辑到一个预定义的场景，只使用音频数据。多年来，这个问题在DCASE的不同版本中取得了相当大的进展。它通常有几个子任务，允许用不同的方法来解决这个问题。本报告中提出的子任务对应于ASC问题，该问题受到模型复杂性的限制，并且具有从不同设备（称为失配设备（真实和模拟））记录的音频。本报告中介绍的工作遵循了该小组前几年进行的研究路线。具体而言，提出了一种基于两个步骤的系统：使用Gamamtone滤波器组的音频的二维表示和使用挤压激励技术的卷积神经网络。所提出的系统比基线高出约17个百分点。
2021-07-30 cs.LG cs.SD eess.AS
SpectNet : End-to-End Audio Signal Classification Using Learnable Spectrograms
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
从音频信号中进行模式识别是一个活跃的研究课题，包括音频标记、声学场景分类、音乐分类和其他领域。频谱图和梅尔倒谱系数（MFCC）是音频信号分析和分类中最常用的特征之一。最近，深度卷积神经网络（CNN）已成功用于使用基于频谱图的2D特征的音频分类问题。在本文中，我们提出了SpectNet，这是一个集成的前端层，可以在CNN架构中提取频谱图特征，可用于音频模式识别任务。前端层利用可学习的gammatone滤波器，这些滤波器使用梅尔尺度滤波器进行初始化。所提出的层输出2D频谱图图像，其可以被馈送到2D CNN中用于分类。整个网络的参数，包括前端滤波器组，可以通过反向传播进行更新。该训练方案允许根据目标音频数据集微调频谱图图像特征。所提出的方法进行评估，在两个不同的音频信号分类任务：心音异常检测和声学场景分类。与经典的谱图图像特征相比，该方法在心音分类任务中的MACC提高了1.02%，在声学场景分类任务中的准确率提高了2.11%.我们实验的源代码可以在\url{https://github.com/mHealthBuet/SpectNet}上找到
2022-11-17 cs.SD eess.AS eess.SP
Exploiting Parallel Audio Recordings to Enforce Device Invariance in CNN-based Acoustic Scene Classification
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
在训练和应用时看到的数据之间的分布不匹配仍然是机器学习所有应用领域的主要挑战。我们在机器监听的背景下研究这个问题（DCASE 2019挑战赛的任务1b）。我们提出了一种新的方法来学习域不变的分类器在一个端到端的方式，通过实施平等的隐藏层表示域并行的样本，即时间对齐的记录从不同的记录设备。我们的域自适应（DA）方法不需要分类标签，这使得数据收集过程更便宜。
2019-09-04 cs.LG cs.SD eess.AS
Where Does the Sound Go? Tracing Acoustic Information Loss in Audio-Conditioned LLMs
Seoul National University（首尔大学）；KAIST（韩国科学技术院）；NAVER Cloud（NAVER云）
本文通过对比不同前端编码器并追踪信息流，发现音频条件大语言模型对声学信息利用不足主要源于读出对齐瓶颈，而非编码器信息丢失。
2026-09-09 cs.AI cs.SD
Enhancing Sound Texture in CNN-Based Acoustic Scene Classification
The Chinese University of Hong Kong（香港中文大学）
声学场景分类是识别从其记录音频信号的场景的任务。卷积神经网络（CNN）模型在声学场景分类中被广泛采用并取得了成功。然而，在CNN中如何感知音频场景的见解很少，正如在图像识别研究中所证明的那样。在本研究中，类激活映射（CAM）被用来分析如何对数幅度梅尔规模滤波器组（log-Mel）功能的不同声学场景中学习的CNN分类器。注意，音频信号的不同的高能量时频分量通常不对应于CAM上的强激活，而背景声音纹理在CNN中被很好地学习。为了使声音纹理更加突出，我们提出了应用高斯差分（DoG）和Sobel算子处理的log-Mel特征和增强边缘信息的时频图像。DCASE 2017 ASC挑战赛的实验结果表明，使用边缘增强的log-Mel图像作为CNN的输入特征显著提高了音频场景分类的性能。
2019-01-06 cs.LG cs.SD eess.AS
Acoustic Scene Classification Based on a Large-margin Factorized CNN
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
在本文中，我们提出了一个声学场景分类框架的基础上，大间隔分解卷积神经网络（CNN）。我们采用因式分解的CNN通过将2D核分解为两个独立的1D核来学习时频域中的模式。因子分解核导致学习两种模式的主要成分：长期环境和短期事件声音，这是音频场景分类的关键模式。在训练我们的模型时，我们考虑基于三重采样的损失函数，使得来自不同环境的相同音频场景样本最小化，同时不同音频场景样本最大化。利用该损失函数，将来自同一音频场景的样本独立于环境进行聚类，从而在未知环境下得到具有更好泛化能力的分类器。我们使用DCASE挑战2019 task1A的数据集评估了我们的音频场景分类框架。实验结果表明，该算法提高了基线网络的性能，并减少了三分之一的参数数量。此外，性能增益更高的未知数据，这表明该算法具有更好的泛化能力。
2019-10-14 cs.LG cs.SD eess.AS
SoundPlot: An Open-Source Framework for Birdsong Acoustic Analysis and Neural Synthesis with Interactive 3D Visualization
Electrical Engineering Sukkur IBA University（电气工程 Sukkur IBA大学）
SoundPlot是一种开源框架，用于分析鸟类叫声并通过神经合成和交互式3D可视化进行声学处理，支持高保真的音频重建和多维特征空间分析。
2026-01-19 cs.LG cs.SD
Automated Audio Captioning using Audio Event Clues
音频字幕是一个重要的研究领域，旨在为音频片段生成有意义的描述。现有的大多数研究提取音频片段的声学特征作为编码器-解码器和Transformer架构的输入，以序列到序列的方式产生字幕。由于数据不足和架构的学习能力不足，需要额外的信息来生成自然语言句子以及声学特征。为了解决这些问题，提出了一种编码器-解码器架构，该架构从声学特征和提取的音频事件标签两者作为输入来学习。该模型基于预训练的声学特征和音频事件检测。各种实验使用不同的声学特征，词嵌入模型，音频事件标签提取方法和实现配置，以显示哪些组合在音频字幕任务上具有更好的性能。在多个数据集上进行的大量实验结果表明，使用具有声学特征的音频事件标签提高了识别性能，并且所提出的方法优于最先进的模型或取得了与最先进的模型竞争的结果。
2022-04-18 cs.SD eess.AS
Past, Present, and Future of Spatial Audio and Room Acoustics
National Institute of Informatics（情报信息研究所）；University of Surrey（萨里大学）；Australian National University（澳大利亚国立大学）；Dolby Laboratories（杜比实验室）；Politecnico di Milano（米兰理工大学）
本文综述空间音频与房间声学领域的发展脉络，围绕空间音频录制重放及房间声学仿真、建模、分析与控制，总结历史成就、近期进展并展望未来方向。
2025-03-17 cs.SD eess.AS
GWA: A Large High-Quality Acoustic Dataset for Audio Processing
University of Maryland（马里兰大学）
我们提出了几何波声学（GWA）数据集，一个大规模的音频数据集约200万合成房间脉冲响应（IR）及其相应的详细的几何和模拟配置。我们的数据集从超过6.8K的高质量多样化和专业设计的房屋中采样声学环境，这些房屋表示为语义标记的3D网格。我们还提出了一种新的现实世界的声学材料分配方案的基础上语义匹配，使用一个句子Transformer模型。我们计算高品质的脉冲响应对应于准确的低频和高频波的影响，通过自动校准几何声波射线跟踪与有限差分时域波解算器。我们通过与复杂的现实环境中记录的IR进行比较，证明了我们的IR具有更高的准确性。此外，我们强调了GWA在音频深度学习任务上的优势，如自动语音识别、语音增强和语音分离。该数据集是第一个在复杂场景中进行精确波浪声学模拟的数据。代码和数据可在https://gamma.umd.edu/pro/sound/gwa上获得。
2022-06-20 cs.SD eess.AS
The MUSE Benchmark: Probing Music Perception and Auditory Relational Reasoning in Audio LLMS
针对现有评估可能掩盖多模态大语言模型关系推理缺陷的问题，研究者推出含10项任务的MUSE音乐感知开源基准，测试发现四款SOTA音频大模型能力差异大且与人类有差距，CoT提示效果不稳定。
2025-10-21 cs.AI cs.SD eess.AS
Improving Speech Prosody of Audiobook Text-to-Speech Synthesis with Acoustic and Textual Contexts
Rakuten Group, Inc.（乐天集团）；The University of Tokyo（东京大学）
我们提出了一个多扬声器日本有声读物文本到语音（TTS）系统，利用多模态上下文信息的声学上下文和双边文本上下文，以提高合成语音的韵律。以往的研究要么使用单通道语境，要么使用单通道语境，不能完全表征语境信息。该方法使用一个声学上下文编码器和一个文本上下文编码器来聚合上下文信息，并将其馈送到TTS模型，这使得该模型能够预测上下文相关的韵律。我们进行了全面的客观和主观评价的多扬声器日本有声读物数据集。实验结果表明，该方法显着优于以前的两个作品。此外，我们提出的见解不同的选择的背景下-模态，横向信息和长度-有声读物TTS，从来没有讨论过的文献。
2022-11-04 cs.SD eess.AS
ELSA: Acoustic Event-Level Semantic Alignment for Fine-Grained Reference-Free Text-to-Audio Evaluation
Keio University（Keio大学）
提出ELSA指标，通过将生成音频分解为文本查询中的声学事件并评估事件级对齐，实现细粒度无参考文本到音频评估，在四个基准上比现有指标更符合人类评分。
2026-06-17 cs.SD eess.AS
Neural Speech Tracking in a Virtual Acoustic Environment: Audio-Visual Benefit for Unscripted Continuous Speech
Carl von Ossietzky University of Oldenburg（奥尔登堡大学）
本研究在虚拟声学环境中用非脚本自然语音探究视听增益，通过EEG和皮层语音追踪分析不同条件及说话者特征的影响，发现噪声下视听增强显著，唇部运动作用关键，验证了自然刺激下皮层语音追踪的可行性。
2025-01-14 cs.SD eess.AS
Acoustic Impulse Responses for Wearable Audio Devices
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个开放获取的数据集，其中包含来自160个麦克风的8000多个声脉冲，这些麦克风分布在身体各处，并固定在可穿戴配件上。这些数据可用于评估使用助听器、耳机、眼镜、珠宝和服装等可穿戴设备的音频捕获和阵列处理系统。我们分析了身体不同部位的声学传递函数，测量了麦克风上穿着的衣服的影响，比较了来自人体模型的测量结果，并模拟了几种波束形成器的降噪性能。结果表明，分布在身体上的麦克风阵列比局限于单个设备的麦克风更有效。
2019-03-05 cs.SD eess.AS
Relational Synthesis: Structure-Mediated Concatenative Synthesis for Foley and Retrieval-Augmented Audio Generation
University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出关系合成方法，通过Gromov式结构代价将参考音频的时间结构与幅度运动转移到源音频颗粒拼接中，实现不复制片段且保持声学一致的拟音生成，并可与神经RAG自然集成。
2026-10-06 cs.AI cs.LG cs.SD
DARAS: Dynamic Audio-Room Acoustic Synthesis for Blind Room Impulse Response Estimation
School of Information Science and Technology, Beijing University of Technology（信息科学与技术学院，北京理工大学）；Unseen AI Inc.（Unseen AI公司）
针对现有盲房间脉冲响应估计精度不足的问题，提出DARAS深度学习框架，通过深度音频编码器、基于Mamba的盲房间参数估计模块、交叉注意力特征融合及动态声学调整解码器，从单耳混响语音中有效合成RIR，显著优于基线模型。
2025-11-04 cs.SD eess.AS
Audio-Visual Model Distillation Using Acoustic Images
Istituto Italiano di Tecnologia（意大利理工学院）；Università degli Studi di Genova（热那亚大学）；Università di Verona（维罗纳大学）；Huawei Technologies Ltd.（华为技术有限公司）
在本文中，我们研究了如何学习丰富和强大的特征表示的音频分类从视觉数据和声学图像，一种新的音频数据形态。以前的模型从单个麦克风获取的原始信号或频谱数据中学习音频表示，在分类和检索方面取得了显着的效果。然而，这样的表示对于可变的环境声音条件不是那么鲁棒。我们通过利用混合视听传感器获取的新的多模态标记动作识别数据集来解决这个缺点，该传感器提供RGB视频，原始音频信号和空间化声学数据，也称为声学图像，其中视觉和声学图像在空间上对齐并在时间上同步。利用这些更丰富的信息，我们以师生模式训练音频深度学习模型。特别是，我们从视觉和声学图像教师中提取知识到音频网络中。我们的实验表明，学习到的表示比从仅使用单麦克风音频数据训练的模型中学习到的特征更强大，并且具有更好的泛化能力。
2020-02-11 cs.CV cs.SD eess.AS
CodecBench: A Comprehensive Benchmark for Acoustic and Semantic Evaluation
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
本文提出 CodecBench，一个在四个数据域上从声学和语义两个角度综合评估音频编解码器性能的基准，旨在揭示现有局限并推动音频编解码器发展。
2025-08-28 cs.SD eess.AS
AudioFormer: Audio Transformer learns audio feature representations from discrete acoustic codes
该研究提出AudioFormer方法，将音频分类视为自然语言理解任务，基于离散声学码训练掩码语言模型并结合多正样本对比学习，在多个音频分类数据集上取得优于主流单模态甚至部分多模态模型的性能。
2023-08-25 cs.LG cs.SD eess.AS
Improving the Performance of Automated Audio Captioning via Integrating the Acoustic and Semantic Information
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
自动音频字幕（AAC）近年来发展迅速，它涉及到声学信号处理和自然语言处理，为音频片段生成人类可读的句子。目前的模型通常基于神经编码器-解码器架构，并且它们的解码器主要使用从基于CNN的编码器提取的声学信息。然而，他们忽略了可以帮助AAC模型生成有意义的描述的语义信息。本文提出了一种新的方法，自动音频字幕的基础上结合语义和声学信息。具体来说，我们的音频字幕模型包括两个子模块。(1)预训练的关键字编码器利用预训练的ResNet 38初始化其参数，然后将提取的关键字作为标签进行训练。(2)多模态注意解码器采用基于LSTM的解码器，其包含语义和声学注意模块。实验表明，我们提出的模型在Clotho数据集上实现了最先进的性能。我们的代码可以在https://github.com/WangHelin1997/DCASE2021_Task6_PKU上找到
2021-10-12 cs.MM cs.SD eess.AS
Zero-Shot Audio Classification with Factored Linear and Nonlinear Acoustic-Semantic Projections
在本文中，我们研究了zero-shot学习音频分类，通过分解的线性和非线性的声学语义之间的投影音频实例和声音类。音频分类中的Zero-shot学习是指识别声音类别的音频实例的分类问题，这些音频实例没有可用的训练数据，而只有语义边信息。在本文中，我们通过采用分解的线性和非线性声学语义投影来解决零激发学习（zero-shot learning）。我们通过将秩分解应用于双线性模型来开发因子线性投影，并使用非线性激活函数（如tanh）来模拟声学嵌入和语义嵌入之间的非线性。实验结果表明，与传统的双线性模型相比，本文提出的投影方法能够有效地提高音频分类中zero-shot学习的分类性能。
2021-02-02 eess.AS
Multi-channel Acoustic Modeling using Mixed Bitrate OPUS Compression
最近的文献表明，具有多通道音频输入的学习前端可以优于用于自动语音识别（ASR）的传统波束形成算法。在本文中，我们提出了我们的研究多通道声学建模使用OPUS压缩与不同的比特率为不同的渠道。我们分析了字出错率（WER）作为音频编码比特率的函数的退化，并表明WER相对于未压缩音频在16kpbs时退化了12.6%。我们表明，它总是更可取的是有一个多通道的音频输入在一个单一的通道音频输入给定的有限带宽。我们的研究结果表明，对于最佳WER，当两个通道中的一个可以用高于32kbps的比特率编码时，最佳的是用尽可能高的比特率编码另一个通道。对于低于该值的比特率，最好在两个通道之间平均分配比特率。我们进一步表明，通过在混合比特率输入上训练声学模型，使用单个模型可以恢复高达50%的退化。
2020-02-01 cs.SD eess.AS
DEAF: A Benchmark for Diagnostic Evaluation of Acoustic Faithfulness in Audio Language Models
University of Oxford（牛津大学）；XJTLU；HNU（湖南大学）；CUHK(SZ)（香港中文大学（深圳））；PKU（北京大学）；HKUST(GZ)（香港科技大学（广州））
DEAF基准通过2700多个冲突刺激，评估音频语言模型对声音信号的真实处理能力，揭示模型在语音基准测试中的表现与真实声音理解间的差距。
2026-10-12 cs.AI cs.SD eess.AS
Hidden in the Noise: Unveiling Backdoors in Audio LLMs Alignment through Latent Acoustic Pattern Triggers
针对音频大语言模型（ALLM）的安全隐患，本文提出HIN后门攻击框架，构建AudioSafe基准，通过实验验证现有ALLM易受声学特征触发器攻击且该攻击隐蔽性强。
2025-11-18 cs.CL cs.SD eess.AS
Relational Proxy Loss for Audio-Text based Keyword Spotting
Samsung Research（三星研究院）
本文提出关联代理损失（RPL），利用声学与文本嵌入内部结构关系改进音频-文本关键词识别，并在WSJ语料库上验证了性能提升。
2024-06-08 cs.AI eess.AS eess.SP
Acoustic Modeling for Automatic Lyrics-to-Audio Alignment
National University of Singapore（新加坡国立大学）
歌词到复调音频的自动对齐是一项具有挑战性的任务，这不仅是因为人声被背景音乐破坏，而且缺乏有效的声学建模的注释复调语料库。在这项工作中，我们提出（1）使用额外的语音和音乐信息特征，以及（2）使用少量的域内数据将在大量独唱声乐上训练的声学模型调整为复调音乐。将诸如发声和听觉特征的附加信息与常规声学特征一起描述旨在针对歌唱声中增加的频谱-时间变化带来鲁棒性。通过使用少量的复调音频数据来适应声学模型，我们减少了训练数据和测试数据之间的域失配。我们进行了几个对齐实验，并提出了深入的声学特征的对齐误差分析，和模型自适应技术。结果表明，所提出的策略提供了一个显着的错误减少字边界对齐可比现有的系统，特别是更具有挑战性的复调数据与长时间的音乐插曲。
2019-06-25 cs.CL cs.SD eess.AS
Optimizing Audio Augmentations for Contrastive Learning of Health-Related Acoustic Signals
Google Research（谷歌研究院）
本文利用带有 Slowfast NFNet 主干网络的自监督框架 SimCLR 进行健康声学对比学习，通过深入分析音频数据增强策略，发现合适的增强组合能产生超越单一增强的协同效应，有效提升了模型在多种健康声学任务上的性能。
2023-09-11 cs.LG cs.SD eess.AS
EntangleCodec: A Unified Discrete Audio Tokenizer via Semantic-Acoustic Entanglement
Fudan University（复旦大学）
提出EntangleCodec，一种通过将音频与丰富标题对齐学习语义-声学联合表示的统一离散音频分词器，在紧凑令牌流中捕获语言内容、说话人身份、情感、韵律和声学场景，并通过流匹配扩散解码器实现高质量重建，在音频理解和生成任务上均取得领先性能。
2026-09-04 cs.AI cs.SD eess.AS
AND: Audio Network Dissection for Interpreting Deep Acoustic Models
National Taiwan University（台湾大学）；UC San Diego（加州大学圣迭戈分校）
该研究提出首个音频网络拆解框架AND，利用LLMs生成声学神经元的自然语言解释，验证了其描述准确性，并展示了其在音频机器遗忘中的应用，还揭示了声学模型的两类行为特性。
2024-06-26 cs.AI cs.SD eess.AS
Temporally Heterogeneous Graph Contrastive Learning for Multimodal Acoustic event Classification
Harbin University of Science（哈尔滨理工大学）；Technology The University of Melbourne（技术墨尔本大学）
本文提出时序异构图对比学习框架THGCL，通过高斯过程、Hawkes过程和对比学习区分模态内与模态间时序依赖，在AudioSet上实现多模态声学事件分类的最优性能。
2025-09-18 cs.SD eess.AS
BEATs: Audio Pre-Training with Acoustic Tokenizers
Microsoft（微软）
在过去的几年里，自我监督学习（SSL）在语言、视觉、语音和音频领域中得到了大规模的发展。虽然离散标签预测被广泛用于其他模态，但最先进的音频SSL模型仍然采用重建损失进行预训练。与重建损失相比，语义丰富的离散标签预测鼓励SSL模型抽象高级音频语义并丢弃人类感知中的冗余细节。然而，由于音频的连续性和不可用的音素序列（如语音），用于一般音频预训练的语义丰富的声学分词器通常不是直接获得的。为了应对这一挑战，我们提出了BEAT，这是一种迭代音频预训练框架，用于从音频Transformers学习双向编码器表示，其中声学标记器和音频SSL模型通过迭代进行优化。在第一次迭代中，我们使用随机投影作为声学标记器，以掩码和标签预测的方式训练音频SSL模型。然后，我们通过从预训练或微调的音频SSL模型中提取语义知识，为下一次迭代训练声学标记器。重复迭代，希望声学标记器和音频SSL模型相互促进。实验结果表明，我们的声学标记器可以生成具有丰富音频语义的离散标签，并且我们的音频SSL模型在各种音频分类基准中实现了最先进的结果，甚至优于使用更多训练数据和模型参数的先前模型。具体来说，我们在AudioSet-2 M上为纯音频模型设置了一个新的最先进的mAP 50.6%，而不使用任何外部数据，在ESC-50上设置了98.1%的准确率。代码和预训练模型可在https://aka.ms/beats上获得。
2022-12-18 cs.AI cs.CL cs.LG
SAIL: Spatial Audio Intelligence with Large Language Models via Disentangled Acoustic-Spatial Encoding and Dual-Stream Q-Former
Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）；Tencent Hy Frontier Lab（腾讯Hy前沿实验室）；Beijing Institute of Technology（北京理工大学）；University of Surrey（萨里大学）
SAIL提出解耦声学-空间编码与双流Q-Former，保持源级对应，提升多声源空间理解与推理性能。
2026-09-29 cs.AI cs.SD eess.AS
Visual Acoustic Matching
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta AI；Stanford University（斯坦福大学）；Reality Labs at Meta（Meta现实实验室）
我们介绍了视觉声学匹配任务，其中音频剪辑被转换为听起来像是在目标环境中记录的。给定目标环境的图像和源音频的波形，目标是重新合成音频以匹配目标房间声学，如其可见几何形状和材料所建议的。为了解决这个新的任务，我们提出了一个跨模态的Transformer模型，使用视听注意力注入到音频的视觉属性，并产生逼真的音频输出。此外，我们设计了一个自我监督的训练目标，可以学习声学匹配在野生网络视频，尽管他们缺乏声学不匹配的音频。我们证明，我们的方法成功地将人类语音翻译到图像中描绘的各种真实世界环境中，优于传统的声学匹配和更严格的监督基线。
2022-06-13 cs.CV cs.MM cs.SD
On Synchronization of Wireless Acoustic Sensor Networks in the Presence of Time-varying Sampling Rate Offsets and Speaker Changes
Paderborn University（帕德博恩大学）
如果网络设备的模数转换器（ADC）不同步，则无线声学传感器网络记录具有音频流之间的采样时间和采样速率偏移的音频信号。在这里，我们引入了一个新的采样率偏移模型来模拟时变采样频率，例如，由ADC晶体振荡器的温度变化引起的，并提出了一种估计算法来处理这种动态方面与不断变化的声源位置相结合。此外，我们还展示了如何使用基于深度神经网络的麦克风和人类说话者之间距离的估计来确定采样时间偏移。这使得音频流能够同步以反映飞行的物理时差。
2021-10-25 cs.SD eess.AS
MRMAD: A Multi-Round Multi-Audio Benchmark for Evaluating Acoustic Degradation Perception in Large Audio-Language Models
Northeastern University（东北大学）；Bose Corporation（博士公司）；Stony Brook University（石溪大学）
该研究提出MRMAD多轮多音频基准，评估18种LALMs的音频降级感知，发现现有模型难可靠推理降级，为构建鲁棒LALMs提供基础。
2026-09-02 cs.LG cs.SD eess.AS
Audio Bank: A High-Level Acoustic Signal Representation for Audio Event Recognition
Seoul National University（首尔大学）
本文提出计算高效的高层音频表示 Audio Bank，结合非负矩阵分解降维，在多种分类器上取得高识别性能。
2023-04-11 cs.IR cs.SD eess.AS
Self-Supervised Visual Acoustic Matching
UT Austin（德克萨斯大学奥斯汀分校）；FAIR, Meta（Meta人工智能研究院）
提出自监督视觉声学匹配方法，仅用目标图像和音频，通过条件GAN和新指标解耦声学并重合成音频，在多数据集上超越现有技术。
2023-11-24 cs.CV cs.MM cs.SD
Scene-Aware Audio Rendering via Deep Acoustic Analysis
University of Maryland（马里兰大学）；Adobe Research（奥多比研究院）
我们提出了一种新的方法来捕获使用商品设备的真实世界的房间的声学特性，并使用捕获的特性来生成类似的声源与虚拟模型。给定捕获的音频和真实世界房间的近似几何模型，我们提出了一种新的基于学习的方法来估计其声学材料特性。我们的方法是基于深度神经网络，估计混响时间和均衡的房间从记录的音频。这些估计被用来计算材料属性相关的房间混响使用一种新的材料优化目标。我们使用估计的声学材料特性的音频渲染使用交互式几何声音传播和突出的性能在许多现实世界的情况下。我们还进行了用户研究，以评估录制的声音和我们渲染的音频之间的感知相似性。
2020-02-09 cs.GR cs.MM cs.SD
A Joint Spectro-Temporal Relational Thinking Based Acoustic Modeling Framework
School of Electrical Engineering and Telecommunications, University of New South Wales（新南威尔士大学电气与通信工程学院）；School of Computing and Information Systems, University of Melbourne（墨尔本大学计算与信息系统学院）
本文提出一种基于联合频谱-时间关系思维的声学建模框架，通过生成概率图建模跨时频域的语音片段关系并聚合嵌入到潜在表示中，在TIMIT数据集上音素识别任务提升7.82%，显著改善元音识别能力。
2024-09-17 cs.CL cs.LG cs.SD
Predicting Different Acoustic Features from EEG and towards direct synthesis of Audio Waveform from EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在[1，2]中，作者提供了从脑电图（EEG）特征合成语音的初步结果，其中他们首先从EEG特征预测声学特征，然后使用griffin lim重建算法从预测的声学特征重建语音。在本文中，我们首先介绍了一种深度学习模型，该模型将原始EEG波形信号作为输入，并直接产生音频波形作为输出。然后，我们展示了从EEG特征预测16种不同的声学特征。在本文中，我们展示了我们的研究结果为口语和听力条件。本文提出的结果显示了不同的声学特征是如何与非侵入性的神经脑电信号记录在语音感知和生产。
2020-05-29 cs.LG cs.SD eess.AS
Real Acoustic Fields: An Audio-Visual Room Acoustics Dataset and Benchmark
University of Michigan（密歇根大学）；Meta；Reality Labs Research（现实实验室研究部）
本文提出了真实声场（RAF）数据集，包含密集的房间脉冲响应、多视角图像和6DoF位姿数据，用于评估视听声学模型并验证sim2real方法在少样本学习中的有效性。
2024-03-27 cs.CV cs.MM cs.SD
