Augmenting Large Audio Language Models with Low-Level Acoustic Features for Dysarthric Speech Detection
Idiap Research Institute（伊迪亚普研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
提出微调大型音频语言模型（LALMs）结合低级声学特征与说话者人口统计信息进行构音障碍语音检测，优于深度学习基线，Qwen2-Audio-Instruct达最先进性能。
2026-10-05 eess.AS
Low-complexity acoustic scene classification for multi-device audio: analysis of DCASE 2021 Challenge systems
本文介绍了DCASE 2021挑战赛中任务1A声学场景分类的细节。该任务的目标是开发具有良好泛化性能的低复杂度解决方案。所提供的基线系统基于CNN架构和参数的训练后量化。该系统使用所有可用的训练数据进行训练，没有任何处理设备不匹配的特定技术，并获得47.7%的总体准确度，对数损失为1.473。该任务收到了来自30个团队的99份提交，大多数提交的系统都超过了基线。提交的数据中使用最多的技术是残差网络和权重量化，顶级系统的准确率超过70%，对数损失低于0.8。声学场景分类任务仍然是挑战中的一个热门任务，尽管设置的难度越来越大。
2021-07-20 eess.AS
Domain-Incremental Learning for Audio Classification
本文提出一种用于音频分类的领域增量学习动态网络架构，通过保留共享声学特征并逐步学习特定领域特征，有效平衡了新知识获取与旧知识遗忘，在多场景音频分类任务中取得显著效果。
2024-12-23 eess.AS
Zero-Shot Audio Classification via Semantic Embeddings
本文通过从文本标签和声音类的句子描述中提取语义嵌入，研究了音频分类中的zero-shot学习。我们的目标是获得一个分类器，能够识别没有可用的训练样本，但只有语义侧信息的声音类的音频实例。我们采用双线性兼容性框架来学习音频实例和声音类的中间级表示之间的声学语义投影，即，声学嵌入和语义嵌入。我们使用VGGish从音频片段中提取深度声学嵌入，并使用预训练的语言模型（Word 2 Vec，GloVe，BERT）从文本标签中生成标签嵌入或从声音类的句子描述中生成句子嵌入。音频分类由线性兼容性函数执行，该线性兼容性函数测量声学嵌入和语义嵌入的兼容程度。我们评估所提出的方法上的一个小的平衡数据集ESC-50和一个大规模的不平衡的音频子集的AudioSet。实验结果表明，分类性能显着提高，涉及声音类，语义接近的测试类在训练中。同时，我们证明了标签嵌入和句子嵌入对于zero-shot学习都是有用的。分类性能通过连接不同语言模型生成的标签/句子嵌入来提高。通过它们的混合级联，结果得到进一步改善。
2021-02-11 eess.AS
When Vocal Tone and Literal Meaning Diverge: An Acoustic-Semantic Incongruity Study for Large Audio-Language Models
The Fu Foundation School of Engineering and Applied Science, Columbia University（哥伦比亚大学富兰克林工程与应用科学学院）；School of Nursing, Columbia University（哥伦比亚大学护理学院）
本研究针对LALMs在语调与字面意义不一致场景下的表现问题，构建CREMA-ASIS数据集，经实验发现其受语义主导且难识别不一致，监督式微调可显著提升其性能。
2026-09-01 eess.AS
Spatio-temporal Latent Representations for the Analysis of Acoustic Scenes in-the-wild
本研究针对真实环境声学场景分析，基于WE-LIVE数据集，结合自监督学习、YAMNet事件识别及VAE，提出提取时空潜在表示的开创性方法，可区分室内与地铁等声学场景。
2024-12-10 eess.AS
Automated Audio Captioning using Audio Event Clues
音频字幕是一个重要的研究领域，旨在为音频片段生成有意义的描述。现有的大多数研究提取音频片段的声学特征作为编码器-解码器和Transformer架构的输入，以序列到序列的方式产生字幕。由于数据不足和架构的学习能力不足，需要额外的信息来生成自然语言句子以及声学特征。为了解决这些问题，提出了一种编码器-解码器架构，该架构从声学特征和提取的音频事件标签两者作为输入来学习。该模型基于预训练的声学特征和音频事件检测。各种实验使用不同的声学特征，词嵌入模型，音频事件标签提取方法和实现配置，以显示哪些组合在音频字幕任务上具有更好的性能。在多个数据集上进行的大量实验结果表明，使用具有声学特征的音频事件标签提高了识别性能，并且所提出的方法优于最先进的模型或取得了与最先进的模型竞争的结果。
2022-04-18 cs.SD eess.AS
Protecting Voice-Controlled Devices against LASER Injection Attacks
针对MEMS麦克风易受激光注入攻击的问题，本文提出基于离散小波变换与高阶统计特征、利用SVM分类器的检测框架，在190条音频上实现98%至100%的分类准确率。
2023-10-13 eess.AS
Acoustic Prompt Tuning: Empowering Large Language Models with Audition Capabilities
提出 APT 适配器，通过指令感知音频对齐器生成软提示并结合课程学习与交错音文输入，使冻结 LLM/VLM 获得音频理解、推理和跨模态问答能力。
2025-02-18 eess.AS
Past, Present, and Future of Spatial Audio and Room Acoustics
National Institute of Informatics（情报信息研究所）；University of Surrey（萨里大学）；Australian National University（澳大利亚国立大学）；Dolby Laboratories（杜比实验室）；Politecnico di Milano（米兰理工大学）
本文综述空间音频与房间声学领域的发展脉络，围绕空间音频录制重放及房间声学仿真、建模、分析与控制，总结历史成就、近期进展并展望未来方向。
2025-03-17 cs.SD eess.AS
Multi-dimensional Edge-based Audio Event Relational Graph Representation Learning for Acoustic Scene Classification
Ghent University（根特大学）；University of Cambridge（剑桥大学）；University of Manchester（曼彻斯特大学）；Baidu Inc.（百度公司）；University of Surrey（萨里大学）
大多数现有的基于深度学习的声学场景分类（ASC）方法直接利用从频谱图中提取的表示来识别目标场景。然而，这些方法很少关注发生在场景中的音频事件，尽管它们提供了重要的语义信息。本文进行的第一项研究，调查是否可以可靠地识别现实生活中的声学场景的基础上，描述了有限数量的音频事件的功能。为了对粗粒度声学场景和细粒度音频事件之间的任务特定关系进行建模，我们提出了一个用于ASC的事件关系图表示学习（ERGL）框架。具体而言，ERGL从输入音频中学习声学场景的图形表示，其中每个事件的嵌入被视为节点，而从每对事件嵌入中导出的关系线索由学习的多维边缘特征描述。在一个复调声学场景数据集上的实验表明，所提出的ERGL在ASC上实现了有竞争力的性能，只使用有限数量的音频事件嵌入，而没有任何数据增强。该框架的有效性证明了基于事件关系图的声学场景识别的可行性。我们的代码可以在我们的主页上找到（https：//github.com/Yuanbo2020/ERGL）。
2022-11-01 cs.SD eess.AS
HoliDubber: Holistic Video Dubbing for Complex Acoustic Scenes via Text-Guided Audio Synthesis
Xiamen University（厦门大学）；Shanghai Innovation Institute（上海创新研究院）；Shanghai Jiao Tong University（上海交通大学）；Joy Future Academy（京东探索研究院）
提出HoliDubber框架，基于补丁自回归扩散Transformer，从单一文本提示联合生成语音和音效，实现全景视频配音，显著优于现有方法。
2026-06-16 eess.AS
Audio-Visual Model Distillation Using Acoustic Images
Istituto Italiano di Tecnologia（意大利理工学院）；Università degli Studi di Genova（热那亚大学）；Università di Verona（维罗纳大学）；Huawei Technologies Ltd.（华为技术有限公司）
在本文中，我们研究了如何学习丰富和强大的特征表示的音频分类从视觉数据和声学图像，一种新的音频数据形态。以前的模型从单个麦克风获取的原始信号或频谱数据中学习音频表示，在分类和检索方面取得了显着的效果。然而，这样的表示对于可变的环境声音条件不是那么鲁棒。我们通过利用混合视听传感器获取的新的多模态标记动作识别数据集来解决这个缺点，该传感器提供RGB视频，原始音频信号和空间化声学数据，也称为声学图像，其中视觉和声学图像在空间上对齐并在时间上同步。利用这些更丰富的信息，我们以师生模式训练音频深度学习模型。特别是，我们从视觉和声学图像教师中提取知识到音频网络中。我们的实验表明，学习到的表示比从仅使用单麦克风音频数据训练的模型中学习到的特征更强大，并且具有更好的泛化能力。
2020-02-11 cs.CV cs.SD eess.AS
AudioFormer: Audio Transformer learns audio feature representations from discrete acoustic codes
该研究提出AudioFormer方法，将音频分类视为自然语言理解任务，基于离散声学码训练掩码语言模型并结合多正样本对比学习，在多个音频分类数据集上取得优于主流单模态甚至部分多模态模型的性能。
2023-08-25 cs.LG cs.SD eess.AS
GWA: A Large High-Quality Acoustic Dataset for Audio Processing
University of Maryland（马里兰大学）
我们提出了几何波声学（GWA）数据集，一个大规模的音频数据集约200万合成房间脉冲响应（IR）及其相应的详细的几何和模拟配置。我们的数据集从超过6.8K的高质量多样化和专业设计的房屋中采样声学环境，这些房屋表示为语义标记的3D网格。我们还提出了一种新的现实世界的声学材料分配方案的基础上语义匹配，使用一个句子Transformer模型。我们计算高品质的脉冲响应对应于准确的低频和高频波的影响，通过自动校准几何声波射线跟踪与有限差分时域波解算器。我们通过与复杂的现实环境中记录的IR进行比较，证明了我们的IR具有更高的准确性。此外，我们强调了GWA在音频深度学习任务上的优势，如自动语音识别、语音增强和语音分离。该数据集是第一个在复杂场景中进行精确波浪声学模拟的数据。代码和数据可在https://gamma.umd.edu/pro/sound/gwa上获得。
2022-06-20 cs.SD eess.AS
ELSA: Acoustic Event-Level Semantic Alignment for Fine-Grained Reference-Free Text-to-Audio Evaluation
Keio University（Keio大学）
提出ELSA指标，通过将生成音频分解为文本查询中的声学事件并评估事件级对齐，实现细粒度无参考文本到音频评估，在四个基准上比现有指标更符合人类评分。
2026-06-17 cs.SD eess.AS
Neural Speech Tracking in a Virtual Acoustic Environment: Audio-Visual Benefit for Unscripted Continuous Speech
Carl von Ossietzky University of Oldenburg（奥尔登堡大学）
本研究在虚拟声学环境中用非脚本自然语音探究视听增益，通过EEG和皮层语音追踪分析不同条件及说话者特征的影响，发现噪声下视听增强显著，唇部运动作用关键，验证了自然刺激下皮层语音追踪的可行性。
2025-01-14 cs.SD eess.AS
Structural and Statistical Audio Texture Knowledge Distillation for Acoustic Classification
Department of Electrical and Computer Engineering, Texas A&M University（得克萨斯大学电气与计算机工程系）
本文提出SSATKD框架，结合高层上下文信息与低层结构统计音频纹理，提升复杂声学环境下的分类性能，实验验证其在多个数据集上的有效性。
2026-03-23 cs.SD eess.AS
Acoustic Impulse Responses for Wearable Audio Devices
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个开放获取的数据集，其中包含来自160个麦克风的8000多个声脉冲，这些麦克风分布在身体各处，并固定在可穿戴配件上。这些数据可用于评估使用助听器、耳机、眼镜、珠宝和服装等可穿戴设备的音频捕获和阵列处理系统。我们分析了身体不同部位的声学传递函数，测量了麦克风上穿着的衣服的影响，比较了来自人体模型的测量结果，并模拟了几种波束形成器的降噪性能。结果表明，分布在身体上的麦克风阵列比局限于单个设备的麦克风更有效。
2019-03-05 cs.SD eess.AS
DARAS: Dynamic Audio-Room Acoustic Synthesis for Blind Room Impulse Response Estimation
School of Information Science and Technology, Beijing University of Technology（信息科学与技术学院，北京理工大学）；Unseen AI Inc.（Unseen AI公司）
针对现有盲房间脉冲响应估计精度不足的问题，提出DARAS深度学习框架，通过深度音频编码器、基于Mamba的盲房间参数估计模块、交叉注意力特征融合及动态声学调整解码器，从单耳混响语音中有效合成RIR，显著优于基线模型。
2025-11-04 cs.SD eess.AS
Characterizing dynamically varying acoustic scenes from egocentric audio recordings in workplace setting
University of Southern California（南加州大学）
能够对声学场景进行检测和分类的设备具有许多应用，诸如提供上下文感知的用户体验。在本文中，我们解决的任务，从可穿戴麦克风收集的录音在工作场所设置的声学场景的特征。声学场景，跟踪与蓝牙收发器，动态变化与时间从自我中心的角度来看，移动用户。我们的数据集包含从医院的临床提供者收集的经验采样长音频记录，他们在多个轮班期间佩戴音频徽章。为了处理长时间的自我中心记录，我们提出了一个基于时间延迟神经网络（TDNN）的分段级建模。实验表明，TDNN在声学场景分类任务中优于其他模型。我们调查的影响，主要发言人的讲话确定声学场景从音频徽章，并提供了不同的模型之间的性能比较。此外，我们探讨了用户所经历的声学场景的序列和他们的工作性质之间的关系，并发现我们的模型预测的场景序列往往具有类似的关系。初步的有希望的结果揭示了许多研究方向的声学场景分类通过可穿戴设备以及自我中心的分析，动态声学场景中遇到的用户。
2019-11-10 cs.LG cs.SD eess.AS
Room-acoustic simulations as an alternative to measurements for audio-algorithm evaluation
Treble Technologies
本文提出利用房间声学模拟替代测量，评估音频算法的有效性，比较了不同模拟方法的可靠性。
2025-09-05 cs.LG eess.AS
Learning to Detect Novel and Fine-Grained Acoustic Sequences Using Pretrained Audio Representations
Apple（苹果公司）
本研究针对无可用非目标音频的新型细粒度声学序列小样本检测问题，开发了预训练音频表示的流程及迁移方法，实验验证了预训练嵌入的通用性及对小样本检测框架的支撑作用。
2023-05-03 cs.LG cs.SD eess.AS
CodecBench: A Comprehensive Benchmark for Acoustic and Semantic Evaluation
Fudan University（复旦大学）；Shanghai Innovation Institute（上海创新研究院）
本文提出 CodecBench，一个在四个数据域上从声学和语义两个角度综合评估音频编解码器性能的基准，旨在揭示现有局限并推动音频编解码器发展。
2025-08-28 cs.SD eess.AS
Improving the Performance of Automated Audio Captioning via Integrating the Acoustic and Semantic Information
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
自动音频字幕（AAC）近年来发展迅速，它涉及到声学信号处理和自然语言处理，为音频片段生成人类可读的句子。目前的模型通常基于神经编码器-解码器架构，并且它们的解码器主要使用从基于CNN的编码器提取的声学信息。然而，他们忽略了可以帮助AAC模型生成有意义的描述的语义信息。本文提出了一种新的方法，自动音频字幕的基础上结合语义和声学信息。具体来说，我们的音频字幕模型包括两个子模块。(1)预训练的关键字编码器利用预训练的ResNet 38初始化其参数，然后将提取的关键字作为标签进行训练。(2)多模态注意解码器采用基于LSTM的解码器，其包含语义和声学注意模块。实验表明，我们提出的模型在Clotho数据集上实现了最先进的性能。我们的代码可以在https://github.com/WangHelin1997/DCASE2021_Task6_PKU上找到
2021-10-12 cs.MM cs.SD eess.AS
BEATs: Audio Pre-Training with Acoustic Tokenizers
Microsoft（微软）
在过去的几年里，自我监督学习（SSL）在语言、视觉、语音和音频领域中得到了大规模的发展。虽然离散标签预测被广泛用于其他模态，但最先进的音频SSL模型仍然采用重建损失进行预训练。与重建损失相比，语义丰富的离散标签预测鼓励SSL模型抽象高级音频语义并丢弃人类感知中的冗余细节。然而，由于音频的连续性和不可用的音素序列（如语音），用于一般音频预训练的语义丰富的声学分词器通常不是直接获得的。为了应对这一挑战，我们提出了BEAT，这是一种迭代音频预训练框架，用于从音频Transformers学习双向编码器表示，其中声学标记器和音频SSL模型通过迭代进行优化。在第一次迭代中，我们使用随机投影作为声学标记器，以掩码和标签预测的方式训练音频SSL模型。然后，我们通过从预训练或微调的音频SSL模型中提取语义知识，为下一次迭代训练声学标记器。重复迭代，希望声学标记器和音频SSL模型相互促进。实验结果表明，我们的声学标记器可以生成具有丰富音频语义的离散标签，并且我们的音频SSL模型在各种音频分类基准中实现了最先进的结果，甚至优于使用更多训练数据和模型参数的先前模型。具体来说，我们在AudioSet-2 M上为纯音频模型设置了一个新的最先进的mAP 50.6%，而不使用任何外部数据，在ESC-50上设置了98.1%的准确率。代码和预训练模型可在https://aka.ms/beats上获得。
2022-12-18 cs.AI cs.CL cs.LG
DEAF: A Benchmark for Diagnostic Evaluation of Acoustic Faithfulness in Audio Language Models
University of Oxford（牛津大学）；XJTLU；HNU（湖南大学）；CUHK(SZ)（香港中文大学（深圳））；PKU（北京大学）；HKUST(GZ)（香港科技大学（广州））
DEAF基准通过2700多个冲突刺激，评估音频语言模型对声音信号的真实处理能力，揭示模型在语音基准测试中的表现与真实声音理解间的差距。
2026-10-12 cs.AI cs.SD eess.AS
Hidden in the Noise: Unveiling Backdoors in Audio LLMs Alignment through Latent Acoustic Pattern Triggers
针对音频大语言模型（ALLM）的安全隐患，本文提出HIN后门攻击框架，构建AudioSafe基准，通过实验验证现有ALLM易受声学特征触发器攻击且该攻击隐蔽性强。
2025-11-18 cs.CL cs.SD eess.AS
Audio Event-Relational Graph Representation Learning for Acoustic Scene Classification
Ghent University（根特大学）；University of Leicester（莱斯特大学）；University College London（伦敦大学学院）；University of Surrey（萨里大学）
针对现有声学场景分类方法可解释性不足的问题，提出基于音频事件关系图的表示学习框架ERGL，以事件嵌入为节点、多维边特征表征关系，仅用少量音频事件嵌入学习就在真实数据集上取得有竞争力的分类性能，同时可明确解释分类线索。
2023-10-05 cs.SD eess.AS
STACodec: Semantic Token Assignment for Balancing Acoustic Fidelity and Semantic Information in Audio Codecs
Dept. of Electrical and Computer Engineering, University of California, Los Angeles, USA（电气与计算机工程系，加州大学洛杉矶分校）
STACodec通过语义令牌分配和预蒸馏模块，在音频编码中实现音频保真度与语义信息的平衡。
2026-02-05 cs.CL eess.AS
Leveraging Self-supervised Audio Representations for Data-Efficient Acoustic Scene Classification
Xi'an Jiaotong-Liverpool University（西交利物浦大学）；Nanjing University of Posts and Telecommunications（南京邮电大学）
本文提出一种数据高效且低复杂度的声学场景分类系统，利用BEATs自监督预训练模型提取通用音频表示，并通过集成不同微调策略与知识蒸馏技术，在有限标注数据下实现了56.7%的平均准确率。
2024-08-27 cs.SD eess.AS
Visual Acoustic Matching
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta AI；Stanford University（斯坦福大学）；Reality Labs at Meta（Meta现实实验室）
我们介绍了视觉声学匹配任务，其中音频剪辑被转换为听起来像是在目标环境中记录的。给定目标环境的图像和源音频的波形，目标是重新合成音频以匹配目标房间声学，如其可见几何形状和材料所建议的。为了解决这个新的任务，我们提出了一个跨模态的Transformer模型，使用视听注意力注入到音频的视觉属性，并产生逼真的音频输出。此外，我们设计了一个自我监督的训练目标，可以学习声学匹配在野生网络视频，尽管他们缺乏声学不匹配的音频。我们证明，我们的方法成功地将人类语音翻译到图像中描绘的各种真实世界环境中，优于传统的声学匹配和更严格的监督基线。
2022-06-13 cs.CV cs.MM cs.SD
Joint framework with deep feature distillation and adaptive focal loss for weakly supervised audio tagging and acoustic event detection
Shanghai Normal University（上海师范大学）；Unisound AI Technology Co., Ltd.（云知声人工智能科技股份有限公司）；ByteDance（字节跳动）
一个好的联合训练框架有助于同时提高弱监督音频标记和声学事件检测的性能。在这项研究中，我们提出了三种方法来改进IEEE AASP声学场景和事件检测和分类挑战赛（DCASE）2019任务4中的最佳师生框架，用于音频标记和声学事件检测任务。首先提出了一种基于帧级目标事件的深度特征提取方法，旨在利用弱监督框架中有限的强标记数据来学习更好的中间特征图。然后，我们提出了一个自适应的焦点损失和两个阶段的训练策略，使一个有效的和更准确的模型训练，其中的贡献，硬和容易的声学事件的总代价函数可以自动调整。此外，一个特定的事件后处理的设计，以提高目标事件的时间戳的预测。在公开的DCASE 2019 Task 4数据集上进行了实验，结果表明，该方法在AT（81.2% F1-score）和AED（49.8% F1-score）任务上都取得了较好的性能.
2022-02-12 cs.SD eess.AS
Acoustic Modeling for Automatic Lyrics-to-Audio Alignment
National University of Singapore（新加坡国立大学）
歌词到复调音频的自动对齐是一项具有挑战性的任务，这不仅是因为人声被背景音乐破坏，而且缺乏有效的声学建模的注释复调语料库。在这项工作中，我们提出（1）使用额外的语音和音乐信息特征，以及（2）使用少量的域内数据将在大量独唱声乐上训练的声学模型调整为复调音乐。将诸如发声和听觉特征的附加信息与常规声学特征一起描述旨在针对歌唱声中增加的频谱-时间变化带来鲁棒性。通过使用少量的复调音频数据来适应声学模型，我们减少了训练数据和测试数据之间的域失配。我们进行了几个对齐实验，并提出了深入的声学特征的对齐误差分析，和模型自适应技术。结果表明，所提出的策略提供了一个显着的错误减少字边界对齐可比现有的系统，特别是更具有挑战性的复调数据与长时间的音乐插曲。
2019-06-25 cs.CL cs.SD eess.AS
Optimizing Audio Augmentations for Contrastive Learning of Health-Related Acoustic Signals
Google Research（谷歌研究院）
本文利用带有 Slowfast NFNet 主干网络的自监督框架 SimCLR 进行健康声学对比学习，通过深入分析音频数据增强策略，发现合适的增强组合能产生超越单一增强的协同效应，有效提升了模型在多种健康声学任务上的性能。
2023-09-11 cs.LG cs.SD eess.AS
Self-Supervised Visual Acoustic Matching
UT Austin（德克萨斯大学奥斯汀分校）；FAIR, Meta（Meta人工智能研究院）
提出自监督视觉声学匹配方法，仅用目标图像和音频，通过条件GAN和新指标解耦声学并重合成音频，在多数据集上超越现有技术。
2023-11-24 cs.CV cs.MM cs.SD
Scene-Aware Audio Rendering via Deep Acoustic Analysis
University of Maryland（马里兰大学）；Adobe Research（奥多比研究院）
我们提出了一种新的方法来捕获使用商品设备的真实世界的房间的声学特性，并使用捕获的特性来生成类似的声源与虚拟模型。给定捕获的音频和真实世界房间的近似几何模型，我们提出了一种新的基于学习的方法来估计其声学材料特性。我们的方法是基于深度神经网络，估计混响时间和均衡的房间从记录的音频。这些估计被用来计算材料属性相关的房间混响使用一种新的材料优化目标。我们使用估计的声学材料特性的音频渲染使用交互式几何声音传播和突出的性能在许多现实世界的情况下。我们还进行了用户研究，以评估录制的声音和我们渲染的音频之间的感知相似性。
2020-02-09 cs.GR cs.MM cs.SD
EntangleCodec: A Unified Discrete Audio Tokenizer via Semantic-Acoustic Entanglement
Fudan University（复旦大学）
提出EntangleCodec，一种通过将音频与丰富标题对齐学习语义-声学联合表示的统一离散音频分词器，在紧凑令牌流中捕获语言内容、说话人身份、情感、韵律和声学场景，并通过流匹配扩散解码器实现高质量重建，在音频理解和生成任务上均取得领先性能。
2026-09-04 cs.AI cs.SD eess.AS
AND: Audio Network Dissection for Interpreting Deep Acoustic Models
National Taiwan University（台湾大学）；UC San Diego（加州大学圣迭戈分校）
该研究提出首个音频网络拆解框架AND，利用LLMs生成声学神经元的自然语言解释，验证了其描述准确性，并展示了其在音频机器遗忘中的应用，还揭示了声学模型的两类行为特性。
2024-06-26 cs.AI cs.SD eess.AS
Predicting Different Acoustic Features from EEG and towards direct synthesis of Audio Waveform from EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在[1，2]中，作者提供了从脑电图（EEG）特征合成语音的初步结果，其中他们首先从EEG特征预测声学特征，然后使用griffin lim重建算法从预测的声学特征重建语音。在本文中，我们首先介绍了一种深度学习模型，该模型将原始EEG波形信号作为输入，并直接产生音频波形作为输出。然后，我们展示了从EEG特征预测16种不同的声学特征。在本文中，我们展示了我们的研究结果为口语和听力条件。本文提出的结果显示了不同的声学特征是如何与非侵入性的神经脑电信号记录在语音感知和生产。
2020-05-29 cs.LG cs.SD eess.AS
Real Acoustic Fields: An Audio-Visual Room Acoustics Dataset and Benchmark
University of Michigan（密歇根大学）；Meta；Reality Labs Research（现实实验室研究部）
本文提出了真实声场（RAF）数据集，包含密集的房间脉冲响应、多视角图像和6DoF位姿数据，用于评估视听声学模型并验证sim2real方法在少样本学习中的有效性。
2024-03-27 cs.CV cs.MM cs.SD
AC-Foley: Reference-Audio-Guided Video-to-Audio Synthesis with Acoustic Transfer
The Hong Kong University of Science and Technology（香港科学与技术大学）；University of Central Florida（佛罗里达中央大学）
本文提出AC-Foley模型，通过直接利用参考音频实现精确的音频合成与声学迁移，解决传统方法在语义粒度和文本模糊性上的瓶颈，提升音频生成质量与细粒度控制能力。
2026-03-20 cs.CV cs.LG cs.MM
SAIL: Spatial Audio Intelligence with Large Language Models via Disentangled Acoustic-Spatial Encoding and Dual-Stream Q-Former
Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）；Tencent Hy Frontier Lab（腾讯Hy前沿实验室）；Beijing Institute of Technology（北京理工大学）；University of Surrey（萨里大学）
SAIL提出解耦声学-空间编码与双流Q-Former，保持源级对应，提升多声源空间理解与推理性能。
2026-09-29 cs.AI cs.SD eess.AS
Towards Audio Domain Adaptation for Acoustic Scene Classification using Disentanglement Learning
Fraunhofer IDMT（弗劳恩霍夫数字媒体技术研究所）；International Audio Laboratories（国际音频实验室）
在现实生活中的应用中，机器监听算法的部署经常受到例如由不同麦克风特性引起的域偏移的阻碍。本文提出了一种基于解纠缠学习的域自适应策略。我们的目标是在分析的音频记录中解开特定于任务和特定于领域的特征。特别是，我们结合了两种策略：首先，我们将不同的二进制掩码应用于内部嵌入表示，其次，我们提出了一种新的分类交叉熵和基于方差的损失的组合。我们的研究结果证实了这两个任务在嵌入水平上的解纠缠，但在声学场景分类性能方面只有微小的改善，当可以使用来自这两个域的训练数据时。作为第二个发现，我们可以确认最先进的无监督域自适应策略的有效性，该策略在特征级别上执行跨域自适应。
2021-10-26 cs.SD eess.AS
MRMAD: A Multi-Round Multi-Audio Benchmark for Evaluating Acoustic Degradation Perception in Large Audio-Language Models
Northeastern University（东北大学）；Bose Corporation（博士公司）；Stony Brook University（石溪大学）
该研究提出MRMAD多轮多音频基准，评估18种LALMs的音频降级感知，发现现有模型难可靠推理降级，为构建鲁棒LALMs提供基础。
2026-09-02 cs.LG cs.SD eess.AS
Multi-channel Acoustic Modeling using Mixed Bitrate OPUS Compression
最近的文献表明，具有多通道音频输入的学习前端可以优于用于自动语音识别（ASR）的传统波束形成算法。在本文中，我们提出了我们的研究多通道声学建模使用OPUS压缩与不同的比特率为不同的渠道。我们分析了字出错率（WER）作为音频编码比特率的函数的退化，并表明WER相对于未压缩音频在16kpbs时退化了12.6%。我们表明，它总是更可取的是有一个多通道的音频输入在一个单一的通道音频输入给定的有限带宽。我们的研究结果表明，对于最佳WER，当两个通道中的一个可以用高于32kbps的比特率编码时，最佳的是用尽可能高的比特率编码另一个通道。对于低于该值的比特率，最好在两个通道之间平均分配比特率。我们进一步表明，通过在混合比特率输入上训练声学模型，使用单个模型可以恢复高达50%的退化。
2020-02-01 cs.SD eess.AS
Audio Bank: A High-Level Acoustic Signal Representation for Audio Event Recognition
Seoul National University（首尔大学）
本文提出计算高效的高层音频表示 Audio Bank，结合非负矩阵分解降维，在多种分类器上取得高识别性能。
2023-04-11 cs.IR cs.SD eess.AS
Towards End-to-End Acoustic Localization using Deep Learning: from Audio Signal to Source Position Coordinates
University of Alcalá（阿尔卡拉大学）
提出了一种基于卷积神经网络（CNN）的麦克风阵列室内声源定位方法。据我们所知，所提出的解决方案是第一个公开的工作，其中CNN被设计为直接估计声源的三维位置，使用原始音频信号作为输入信息，避免使用手工制作的音频特征。鉴于有限的本地化数据，本文提出了一种基于两个步骤的训练策略。我们首先使用从近距离谈话语音记录生成的半合成数据来训练我们的网络，并且在其中我们模拟从源传播到麦克风阵列的信号中所遭受的时间延迟和失真。然后，我们使用少量的实际数据来微调这个网络。我们的实验结果表明，这种策略是能够产生的网络，显着改善现有的定位方法的基础上\textit{SRP-PHAT}战略。此外，我们的实验表明，我们的CNN方法表现出更好的抵抗不同性别的发言人和不同的窗口大小相比，其他方法。
2018-07-29 cs.SD eess.AS
Building Audio-Visual Digital Twins with Smartphones
University of Pennsylvania（宾夕法尼亚大学）
AV-Twin通过智能手机实现可编辑的音频-视觉数字孪生，结合移动RIR捕获和视觉辅助声场模型，实现房间声学的高效重建与材料属性的动态更新。
2025-12-11 cs.MM cs.SD eess.AS
Audio Captioning with Composition of Acoustic and Semantic Information
Başkent University（Başkent大学）
音频字幕生成是一个新的研究领域，它结合了音频和自然语言处理，为音频片段创建有意义的文本描述。为了解决这个问题，以前的研究大多使用基于编码器-解码器的模型，而不考虑语义信息。为了填补这一空白，我们提出了一种新的编码器-解码器架构，使用双向门控递归单元（BiGRU）与音频和语义嵌入。我们通过从音频片段标题中获取主语和动词来提取语义嵌入，并将这些嵌入与音频嵌入相结合，以提供基于BiGRU的编码器-解码器模型。为了使测试音频的语义嵌入，我们引入了多层感知器分类器来预测这些片段的语义嵌入。我们还提出了详尽的实验，以显示我们提出的模型的音频字幕任务的不同功能和数据集的效率。为了提取音频特征，我们使用对数梅尔能量特征，VGGish嵌入和预训练的音频神经网络（PANN）嵌入。在两个音频字幕数据集Clotho和AudioCaps上的大量实验表明，我们提出的模型在不同的评估指标上优于最先进的音频字幕模型，并且使用语义信息提高了字幕性能。关键词：音频字幕; PANN; VGGish; GRU; BiGRU。
2021-05-13 cs.LG cs.SD eess.AS
DashengTokenizer: One layer is enough for unified audio understanding and generation
MiLM Plus（小米公司）；Xiaomi Inc.（小米公司）；Beijing, China（中国北京）
本文提出DashengTokenizer，通过融合语义特征与音频信息，实现音频理解和生成任务的统一，优于传统音频编解码器和编码器基线，挑战了VAE架构是音频合成必要条件的假设。
2026-03-26 cs.SD eess.AS
Acoustic Prompting via Stage-wise Modulation for Few-Shot Learning in Audio Language Models
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出在音频编码器中引入可训练提示以捕获任务特定声学特征，与文本提示结合提升少样本适应性能，在11个数据集上验证有效性。
2026-06-16 cs.LG cs.MM cs.SD
Prompting Audios Using Acoustic Properties For Emotion Representation
Microsoft（微软）
针对离散情感标签难以表达情感多样性的问题，提出基于音高、强度等声学属性自动生成提示，并用对比学习对齐语音与提示，从而提升 EAR 与 SER 性能。
2023-12-07 cs.AI cs.SD eess.AS
LoSATok: Low-Dimensional Semantic-Acoustic Tokenizer for Cross-Domain Audio Understanding and Generation
Shenzhen International Graduate School, Tsinghua University, China（清华大学深圳国际研究生院，中国）；ModelBest Inc., China（ModelBest公司，中国）
提出低维音频分词器LoSATok，通过语义瓶颈压缩和双级语义监督，在紧凑潜空间中联合捕获语义和声学细节，提升扩散Transformer的生成性能。
2026-09-15 cs.AI cs.SD eess.AS
