SpectNet : End-to-End Audio Signal Classification Using Learnable Spectrograms
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）
从音频信号中进行模式识别是一个活跃的研究课题，包括音频标记、声学场景分类、音乐分类和其他领域。频谱图和梅尔倒谱系数（MFCC）是音频信号分析和分类中最常用的特征之一。最近，深度卷积神经网络（CNN）已成功用于使用基于频谱图的2D特征的音频分类问题。在本文中，我们提出了SpectNet，这是一个集成的前端层，可以在CNN架构中提取频谱图特征，可用于音频模式识别任务。前端层利用可学习的gammatone滤波器，这些滤波器使用梅尔尺度滤波器进行初始化。所提出的层输出2D频谱图图像，其可以被馈送到2D CNN中用于分类。整个网络的参数，包括前端滤波器组，可以通过反向传播进行更新。该训练方案允许根据目标音频数据集微调频谱图图像特征。所提出的方法进行评估，在两个不同的音频信号分类任务：心音异常检测和声学场景分类。与经典的谱图图像特征相比，该方法在心音分类任务中的MACC提高了1.02%，在声学场景分类任务中的准确率提高了2.11%.我们实验的源代码可以在\url{https://github.com/mHealthBuet/SpectNet}上找到
2022-11-17 cs.SD eess.AS eess.SP
Data-driven audio recognition: a supervised dictionary approach
Laboratoire BMBI Compiègne（贡比涅BMBI实验室）；Université de Technologie de Compiègne（贡比涅技术大学）
机器听觉是一个新兴领域。出于对机器监听领域应用的原则性框架的需求，我们提出了一种通用的数据驱动的表示学习方法。为此，提出了一种新颖有效的监督式字典学习方法。实验进行计算听觉场景（东安格利亚和鲁昂）和合成音乐和弦识别数据集。获得的结果表明，我们的方法是能够达到国家的最先进的手工制作的功能，为这两个应用程序
2020-12-29 cs.SD eess.AS
HEAR: Hearing Enhanced Audio Response for Video-grounded Dialogue
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；Chung-Ang University（中央大学）
针对视频对话系统忽略音频信息的“失聪响应”问题，提出模型无关的HEAR框架，通过选择性关注音频提升系统准确性和可听性，在两个数据集上验证了对多种系统的有效性。
2025-04-13 cs.CL cs.SD eess.AS
Exploring Pre-trained General-purpose Audio Representations for Heart Murmur Detection
Communication Science Laboratories, Nippon Telegraph and Telephone Corporation（日本电报电话公司通信科学实验室）
本研究探索利用大规模数据集预训练的通用音频表示进行心脏杂音检测迁移学习，实验表明M2D模型在CirCor数据集上优于现有方法，并通过模型集成进一步提升性能。
2024-04-26 cs.SD eess.AS
"Did You Hear That?" Learning to Play Video Games from Audio Cues
Queen Mary University of London（伦敦玛丽女王大学）
游戏AI研究长期以来一直专注于从视觉输入或符号信息中学习玩视频游戏。然而，人类受益于更广泛的传感器，我们利用这些传感器来导航我们周围的世界。特别是，声音和音乐是我们中有多少人感知世界并影响我们做出决定的关键。在本文中，我们提出了初步的实验，玩游戏的代理学习玩视频游戏，完全从音频线索。我们扩展了视频游戏描述语言以允许音频规范，并扩展了通用视频游戏AI框架以提供新的音频游戏和用于学习代理的API以利用音频观察。我们分析了游戏和音频游戏的设计过程，包括简单的Q~学习代理的初步结果，并鼓励在这方面的进一步研究。
2019-06-11 cs.AI cs.LG cs.SD
What You Hear Is What You See: Audio Quality Metrics From Image Quality Metrics
University of Bristol（布里斯托尔大学）；Universitat de Valencia（瓦伦西亚大学）
本研究提出利用图像感知度量通过频谱图评估音频质量，基于听觉与视觉神经机制相似性，并定制心理声学度量，在音乐数据集上验证了其与人类感知质量的相关性。
2023-08-30 cs.CV cs.LG cs.SD
What all do audio transformer models hear? Probing Acoustic Representations for Language Delivery and its Structure
IIIT-Delhi（德里印度理工学院信息技术学院）；Adobe（奥多比公司）；State University of New York at Buffalo（纽约州立大学布法罗分校）
最近，基于BERT的Transformer模型已经成为文本处理模型的“技术栈”中不可分割的一部分。在语音领域也观察到类似的进展，许多模型通过使用音频Transformer模型对语音进行编码来观察最先进的结果。这就引出了一个问题，这些音频Transformer模型在学习什么。此外，尽管标准方法是为任何下游任务选择最后一层嵌入，但它是最佳选择吗？我们试图回答这些问题的两个最近的音频Transformer模型，Mockingjay和wave2vec2.0。我们比较了一套全面的语言交付和结构特征，包括音频，流畅性和发音功能。此外，我们探讨了音频模型的理解的文本表面，语法和语义特征，并将它们与BERT。我们在本地，非本地，合成，阅读和自发语音数据集的详尽设置上这样做
2021-07-12 cs.CL cs.LG cs.SD
A Model You Can Hear: Audio Identification with Playable Prototypes
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（LIGM、巴黎桥路学院、古斯塔夫·埃菲尔大学、法国国家科学研究中心）；LASTIG, Univ Gustave Eiffel, IGN, ENSG（LASTIG、古斯塔夫·埃菲尔大学、法国国家地理研究所、法国国立地理科学学院）；STMS Lab, UMR 9912 (IRCAM, CNRS, Sorbonne University)（STMS实验室、UMR 9912（声学/音乐研究与协作学院、法国国家科学研究中心、索邦大学））；INRIA and DIENS (ENS-PSL, CNRS, INRIA)（法国国家信息与自动化研究所、巴黎高等师范学院计算机系（巴黎高等师范学院-巴黎文理研究大学、法国国家科学研究中心、法国国家信息与自动化研究所））
机器学习技术已经证明对于分类和分析音频内容是有用的。然而，最近的方法通常依赖于难以解释的抽象和高维表示。受针对图像和3D数据开发的变换不变方法的启发，我们提出了一种基于可学习频谱原型的音频识别模型。这些原型配备了专用的转换网络，可用于对来自大量声音集合的输入音频样本进行聚类和分类。我们的模型可以在有监督或无监督的情况下进行训练，并在说话者和乐器识别方面达到最先进的结果，同时保持易于解释。代码可在以下网址获得：https://github.com/romainloiseau/a-model-you-can-hear
2022-08-05 cs.SD eess.AS
Assessing the Utility of Audio Foundation Models for Heart and Respiratory Sound Analysis
NTT Communication Science Laboratories（日本通信用科学实验室）；Nippon Telegraph and Telephone Corporation（日本电信电话株式会社）
本研究评估现成音频基础模型在四个呼吸音和心音任务上的性能，发现其在干净数据上达到SOTA，在噪声数据上表现不佳，且通用模型优于专用模型，并发布代码以促进未来研究。
2025-04-25 cs.SD eess.AS
Catch Me If You Hear Me: Audio-Visual Navigation in Complex Unmapped Environments with Moving Sounds
University of Freiburg（弗莱堡大学）
视听导航结合视觉和听觉，在未映射的环境中导航到声音发射源。虽然最近的方法已经证明了音频输入在检测和找到目标方面的好处，但它们专注于干净和静态的声源，并且难以推广到听不到的声音。在这项工作中，我们提出了一种新的动态视听导航基准，它需要在嘈杂和分散注意力的声音环境中捕捉移动声源，这带来了一系列新的挑战。我们引入了一种强化学习方法，该方法可以为这些复杂的设置学习一个强大的导航策略。为了实现这一目标，我们提出了一个架构，融合视听信息的空间特征空间学习相关的几何信息固有的本地地图和音频信号。我们证明了我们的方法在两个具有挑战性的3D扫描现实世界环境（即Matterport3D和Matterport3D）中，在移动声音、未听到的声音和嘈杂环境的所有任务中，都始终优于当前最先进的方法。该基准可在http://dav-nav.cs.uni-freiburg.de上获得。
2023-01-03 cs.CV cs.LG cs.RO
Towards Detecting Neural Audio Codec Synthesized Heart Sounds
UPES；NTHU；VBSPU；IIIT-Delhi；Independent Researcher（独立研究者）
提出心音合成检测任务SHAC，发布首个基准数据集CARDIOFAKE，并设计融合频谱与自监督特征的GROOT框架，实现最优检测性能。
2026-06-23 cs.SD eess.AS
One-Shot Acoustic Matching Of Audio Signals -- Learning to Hear Music In Any Room/ Concert Hall
Stanford University（斯坦福大学）
声音产生和被听到的声学空间通过提供独特的\textit{presence}感而在如何感知声音方面起着至关重要的作用。我们听到的每一个声音都是声源固有的连续卷积运算和外部因素（如麦克风特性和房间脉冲响应）的结果。通常，研究人员使用诸如手枪射击或气球爆裂的激励作为可以创建可听化的脉冲信号。与感兴趣的信号卷积的房间“脉冲”响应可以将输入声音转换成在感兴趣的声学空间中播放的声音。在这里，我们提出了一种新的架构，可以将感兴趣的声音转换到任何其他声学空间（房间或大厅）的利益，通过使用任意的音频记录作为代理的气球流行。该架构是接地在简单的信号处理的想法，学习残余信号从学习的声学签名和输入信号。我们的框架允许神经网络调整时频表示中每个点的增益，给出合理的定性和定量结果。
2022-10-31 cs.LG cs.MM cs.SD
I Hear Your True Colors: Image Guided Audio Generation
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
我们提出了Im 2 Wav，一个图像引导的开放域音频生成系统。给定输入图像或图像序列，Im 2 Wav生成语义相关的声音。Im 2 Wav基于两个Transformer语言模型，其在从基于VQ-VAE的模型获得的分层离散音频表示上操作。我们首先使用语言模型产生低级音频表示。然后，我们使用附加的语言模型对音频令牌进行上采样以生成高保真音频样本。我们使用预训练的CLIP（对比图像预训练）嵌入的丰富语义作为视觉表示来调节语言模型。此外，为了将生成过程转向调节图像，我们应用了无分类器引导方法。结果表明，Im 2 Wav在保真度和相关性评估指标方面均显着优于评估基线。此外，我们提供了消融研究，以更好地评估每个方法组件对整体性能的影响。最后，为了更好地评估图像到音频模型，我们提出了一个域外图像数据集，表示为ImageHear。ImageHear可以用作评估未来图像到音频模型的基准。样本和代码可以在手稿中找到。
2023-02-27 cs.SD eess.AS
Exploring Finetuned Audio-LLM on Heart Murmur Features
Columbia University（哥伦比亚大学）
本研究微调音频大语言模型Qwen2-Audio于心音数据集，分类11种杂音特征，在8项上超越现有方法，并成功识别长尾特征，展现其辅助心脏病诊断的潜力。
2025-01-23 cs.AI cs.SD eess.AS
Can Large Audio-Language Models Truly Hear? Tackling Hallucinations with Multi-Task Assessment and Stepwise Audio Reasoning
National Taiwan University（台湾大学）
本文针对大型音频语言模型的幻觉问题提出三类评估任务，并引入多轮思维链方法，显著提升模型在声学事件识别、顺序判断和声源归因上的表现。
2024-12-31 cs.CL cs.SD eess.AS
A Novel Frame Structure for Cloud-Based Audio-Visual Speech Enhancement in Multimodal Hearing-aids
University of Edinburgh（爱丁堡大学）；Edinburgh Napier University（爱丁堡龙比亚大学）；University of Wolverhampton（伍尔弗汉普顿大学）
在本文中，我们设计了第一个基于云的视听（AV）语音增强（SE）的收发器（PHY层）原型，符合未来多模态听力辅助技术的高数据速率和低延迟要求。创新设计需要满足多个具有挑战性的约束，包括上/下行链路通信，传输和信号处理的延迟，以及实时AV SE模型处理。收发器包括设备检测、帧检测、频率偏移估计和信道估计能力。我们根据数据速率和延迟要求开发上行链路（助听器到云）和下行链路（云到助听器）帧结构。由于上行链路信息（音频和唇读）的变化性质，上行链路信道支持多数据速率帧结构，而下行链路信道具有固定数据速率帧结构。此外，我们使用LabVIEW NXG开发的帧结构的收发器的不同PHY层块的延迟进行评估。这可以与软件定义的无线电（例如通用软件无线电外设）一起用于实时演示场景。
2022-10-24 cs.SD eess.AS eess.SP
Heart Rate Extraction from Abdominal Audio Signals
University of Cambridge（剑桥大学）；Nokia Bell Labs（诺基亚贝尔实验室）
本文验证从腹部可穿戴设备采集的腹音中提取心率的可行性，采用小波去噪改进心跳检测，并证明其精度可媲美消费级腕戴设备。
2023-04-21 cs.SD eess.AS
Teaching Audio-Aware Large Language Models What Does Not Hear: Mitigating Hallucinations through Synthesized Negative Samples
Graduate Institute of Communication Engineering（通信工程研究生院）
本文提出LISTEN方法，通过骨干LLM合成负样本进行类对比学习训练，在不修改LLM参数、仅用轻量适配器的条件下，有效缓解音频感知大语言模型的声事件幻觉，并在现有音频问答与推理基准上保持高性能，同时数据和计算效率更高。
2025-07-01 cs.CL cs.SD eess.AS
Approach to Learning Generalized Audio Representation Through Batch Embedding Covariance Regularization and Constant-Q Transforms
Carnegie Mellon University（卡内基梅隆大学）；Carnegie Mellon Institute（卡内基梅隆研究所）
在包括音频任务在内的许多应用场景中，通用嵌入对于Few-Shot甚至零样本学习都是非常理想的。为了更好地理解表示，我们对HEAR 2021提交结果进行了彻底的错误分析和可视化。受分析的启发，这项工作实验了不同的前端音频预处理方法，包括恒定Q变换（CQT）和短时傅立叶变换（STFT），并提出了一个批量嵌入协方差正则化（BECR）项，以揭示人类听觉系统接收的频率信息的更全面的模拟。我们在HEAR 2021任务套件上测试了这些模型，这些任务涵盖了广泛的任务类别。初步结果表明：（1）BECR可以在测试集上产生更分散的嵌入，（2）BECR在不增加计算复杂度的情况下改进了PaSST模型，（3）STFT预处理在我们测试的所有任务中都优于CQT。Github网站：https://github.com/ankitshah009/general_audio_embedding_hear_2021
2023-03-07 cs.LG cs.MM cs.SD
Towards Fusion of Neural Audio Codec-based Representations with Spectral for Heart Murmur Classification via Bandit-based Cross-Attention Mechanism
IIIT-DelhiIndia（印度德里印度理工学院）；UPESIndia（印度UPES大学）；V.B.S.P.UIndia（印度V.B.S.P.U大学）；Independent ResearcherIndia（印度独立研究者）；Dhineu SolutionsIndia（印度Dhineu Solutions公司）；University of TartuEstonia（爱沙尼亚塔尔图大学）；Plaksha UniversityIndia（印度Plaksha大学）
本文提出BAOMI框架，通过bandit交叉注意力机制融合神经音频编解码器表示与频谱特征，实现心脏杂音分类性能的新最优。
2025-06-01 cs.SD eess.AS
Hear-Your-Click: Interactive Object-Specific Video-to-Audio Generation
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Huawei Technologies Co., Ltd.（华为技术有限公司）
提出交互式V2A框架Hear-Your-Click，通过点击帧为特定对象生成声音，结合OCAV微调、MVE编码器及RVS、MLM数据增强策略，实现更精确的对象级视听对齐与生成性能提升。
2025-07-13 cs.AI cs.CV cs.MM
Hear What Matters! Text-conditioned Selective Video-to-Audio Generation
Graduate School of Cultural Technology, KAIST（韩国科学技术院文化技术研究生院）；Division of AI and Software, Ewha Womans University（梨花女子大学人工智能与软件学部）
本文提出基于文本的视频到音频生成任务，通过文本提示选择性提取视频中相关声音源，提升多对象视频音频处理精度。SELVA模型通过文本提示选择视频编码器中的视觉特征，结合补充标记和自监督学习提升音频质量与同步性。
2026-03-27 cs.CV cs.LG cs.MM
What Did I Just Hear? Detecting Pornographic Sounds in Adult Videos Using Neural Networks
Bandung Institute of Technology（万隆理工学院）；The Hong Kong University of Science and Technology (HKUST)（香港科技大学（HKUST））
基于音频的色情内容检测通过利用不同的光谱特征，实现了高效的成人内容过滤，而不会牺牲性能。为了改进它，我们探索色情声音建模的基础上不同的神经架构和声学特征。我们发现，在对数梅尔频谱图上训练的CNN在Pornography-800数据集上实现了最佳性能。我们的实验结果还表明，对数梅尔声谱图可以更好地表示模型识别色情声音。最后，分类整个音频波形，而不是段，我们采用投票段音频技术，产生最好的音频电平检测结果。
2022-09-08 cs.AI cs.SD eess.AS
Tell What You Hear From What You See -- Video to Audio Generation Through Text
University of Washington（华盛顿大学）
提出多模态生成框架VATT，通过文本提示和音频字幕实现可控的视频到音频生成，在客观和主观评估中均表现出色。
2025-04-04 cs.AI cs.CV cs.LG
Solla: Towards a Speech-Oriented LLM That Hears Acoustic Context
School of Data Science, Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院、深圳大数据研究院）；Bytedance（字节跳动）
针对现有大模型忽略语音指令与音频混合输入场景的问题，提出集成音频标注模块与ASR辅助预测的Solla框架，构建含三类任务、双难度的SA-Eval基准，实验证明其联合理解语音音频的效果更优。
2025-03-19 cs.CL cs.SD eess.AS
Large Language Models Implicitly Learn to See and Hear Just By Reading
Department of Electrical Engineering Stanford University Stanford, CA 94305, USA（电气工程系 斯坦福大学）
本文发现仅在文本上训练的自回归大语言模型能隐式获得图像和音频理解能力，并在多个音频与图像分类数据集上验证了利用文本权重激活内部回路即可完成多模态任务，无需从头训练。
2025-09-23 cs.AI cs.CL cs.CV
Imagine to Hear: Auditory Knowledge Generation can be an Effective Assistant for Language Models
HJ AILAB；POSTECH
针对纯文本语言模型缺乏听觉常识且外部音频检索成本高、覆盖不足的问题，本文提出 Imagine to Hear，通过生成模型动态生成并融合听觉知识，在 AuditoryBench 上达到最先进性能。
2025-06-08 cs.AI cs.CL cs.LG
Learning What To Hear: Boosting Sound-Source Association For Robust Audiovisual Instance Segmentation
Yonsei University（延世大学）；School of AI and Software（人工智能与软件学院）；Korea Institute of Science and Technology（韩国科学技术院）
本文提出音频中心查询生成和声音感知顺序计数损失，以提升音频视觉实例分割的鲁棒性和准确性。
2026-01-29 cs.AI cs.MM cs.SD
Gotta Hear Them All: Towards Sound Source Aware Audio Generation
针对现有音频生成方法忽略局部声源细节导致沉浸感不足的问题，提出声源感知音频生成器SS2A，通过跨模态声源流形显式建模声源并混合语义，在图像到音频等任务中达到SOTA。
2025-08-12 cs.CV cs.MM cs.SD
Did You Hear That? Introducing AADG: A Framework for Generating Benchmark Data in Audio Anomaly Detection
Carnegie Mellon University（卡内基梅隆大学）；University of Technology Nuremberg（纽伦堡工业大学）；University of Pittsburgh（匹兹堡大学）
本研究提出音频异常检测基准数据生成框架AADG，受LLM-Modulo启发以LLM为世界模型模拟多场景音频，经多阶段验证生成可靠数据，填补相关资源空白并提升模型分布外处理能力。
2024-10-04 cs.AI cs.SD eess.AS
What You Read Isn't What You Hear: Linguistic Sensitivity in Deepfake Speech Detection
Independent Researcher（独立研究者）；Indiana University（印第安纳大学）；Deep Media AI（深媒体人工智能）
本研究通过转录级对抗性攻击揭示深度伪造语音检测器对语言扰动的敏感性，攻击成功率超60%，商业检测器准确率从100%降至32%，强调需在反欺骗系统中考虑语言变化。
2025-05-23 cs.CL cs.LG cs.SD
Enhanced Sound Event Localization and Detection in Real 360-degree audio-visual soundscapes
University of Southern California（南加州大学）
本研究基于纯音频SELDnet23模型，在GRU前融合音视频信息，并结合YOLO、DETIC检测器与视听数据增强及合成框架，构建出性能优于现有基线的增强型视听SELD系统。
2024-01-29 cs.AI cs.SD eess.AS
Can You Hear, Localize, and Segment Continually? An Exemplar-Free Continual Learning Benchmark for Audio-Visual Segmentation
本文提出无示例持续学习基准和ATLAS模型，通过低秩锚定缓解灾难性遗忘，验证了在动态环境下音频视频分割的持续学习能力。
2026-03-09 cs.CV eess.AS
CURE Dataset: Ladder Networks for Audio Event Classification
Microsoft Research Labs（微软研究院）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Microsoft Corporation（微软公司）
音频事件分类对于监控、音频、视频和多媒体检索等应用来说是一项重要的任务。大约有300万听力损失的人无法感知周围发生的事件。本文建立了CURE数据集，其中包含与听力损失患者最相关的特定音频事件的精选集。我们提出了一个基于梯形网络的音频事件分类器，利用5S录音来自Freesound项目。我们采用了最先进的卷积神经网络（CNN）嵌入作为这项任务的音频特征。我们还研究了极端学习机（ELM）的事件分类。在这项研究中，建议的分类与支持向量机（SVM）基线进行比较。我们提出了信号和特征归一化，旨在减少不同记录场景之间的不匹配。首先，在弱标记的Audioset数据上训练CNN。接下来，采用预训练的模型作为建议CURE语料库的特征提取器。我们将ESC-50数据集作为第二个评估集。结果和讨论验证了梯形网络的优越性ELM和SVM分类器的鲁棒性和提高分类精度。虽然梯形网络对数据不匹配具有鲁棒性，但更简单的SVM和ELM分类器对这种不匹配很敏感，其中所提出的归一化技术可以发挥重要作用。ESC-50和CURE语料库的实验研究阐明了所提出的方法提供的数据集的复杂性和鲁棒性的差异。
2020-01-12 cs.LG cs.SD eess.AS
Binaural Audio Source Remixing with Microphone Array Listening Devices
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
增强听力设备，如助听器和增强现实耳机，通过改变我们听到的声音来增强人类的感知。麦克风阵列可以提高听音系统在嘈杂环境中的性能，但大多数基于阵列的听音系统被设计为从混合声中隔离单个声源。这项工作认为，源重新混合过滤器，改变每个源的相对水平独立。重新混合而不是分离声音可以帮助提高感知透明度：它对信号频谱造成的失真较小，特别是对人类用于在空间中定位声音的耳间线索造成的失真较小。
2020-04-24 cs.SD eess.AS
What Do Language Models Hear? Probing for Auditory Representations in Language Models
Massachusetts Institute of Technology（麻省理工学院）
本研究通过线性对比探测头验证，仅文本训练的语言模型仍编码了部分物体的声音基础表征，泛化表现高于随机水平。
2024-08-16 cs.AI cs.CL cs.LG
Do Models Hear Like Us? Probing the Representational Alignment of Audio LLMs and Naturalistic EEG
School of Computer Science, Chongqing University（重庆大学计算机科学学院）；Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua University（清华大学计算机科学与技术系、人工智能研究院）；School of Economics and Business Administration, Chongqing University（重庆大学经济与商业管理学院）；School of Artificial Intelligence, Southwest University（西南大学人工智能学院）；The First Affiliated Hospital of Chongqing Medical University（重庆医科大学第一附属医院）
本研究通过比较音频大语言模型与EEG信号，揭示了模型在自然聆听中的表征对齐特性，发现排名依赖分裂、时空对齐模式及情感分离现象。
2026-02-03 cs.AI cs.SD eess.AS
I see what you hear: a vision-inspired method to localize words
Apple（苹果公司）
本文探讨了使用视觉目标检测技术的语音数据中的单词定位的可能性。目标检测已经在当代文献中针对视觉数据进行了深入的研究。注意，音频可以被解释为一维图像，对象定位技术可以从根本上用于单词定位。基于这个想法，我们提出了一个轻量级的解决方案，字检测和定位。我们使用限界框回归进行单词本地化，这使我们的模型能够检测给定音频流中关键字的出现，偏移和持续时间。我们用LibriSpeech进行实验，并训练一个模型来本地化1000个单词。与现有的工作相比，我们的方法减少了94%的模型大小，并提高了6.5%的F1分数。
2022-10-24 cs.CV cs.LG cs.SD
The Model Hears You: Audio Language Model Deployments Should Consider the Principle of Least Privilege
本文指出端到端音频语言模型相比级联流水线带来身份推断等社会技术安全风险，主张以最小权限原则指导其开发与部署，并强调现有基准的不足。
2025-09-09 cs.AI cs.CL cs.CY
What do MLLMs hear? Examining reasoning with text and sound components in Multimodal Large Language Models
The Graduate Center, CUNY（纽约城市大学研究生中心）；Brooklyn College CUNY（纽约城市大学布鲁克林学院）
本文通过文字说明与分类实验发现音频多模态大语言模型在生成音频描述时无法充分利用其LLM的文本推理能力，并探讨了听觉与文本信息分离表征导致推理通路被切断的可能原因。
2024-06-07 cs.CL cs.SD eess.AS
Some clues to build a sound analysis relevant to hearing
ENS Louis-Lumière（国立路易·卢米埃尔高等学院）
本文讨论了不同声音分析工具的假设与限制，提出了一种通用且以听觉为最终参考的分析工具，并展望了其在重新审视声音定义方面的应用。
2024-01-04 cs.SD eess.AS
It Hears, It Sees too: Multi-Modal LLM for Depression Detection By Integrating Visual Understanding into Audio Language Models
Monash University（墨尔本大学）；Massachusetts Institute of Technology（麻省理工学院）；The University of Melbourne（墨尔本大学）
本文提出了一种多模态大语言模型框架，通过整合视觉理解到音频语言模型中，提升抑郁症检测的准确性与效率。
2025-12-11 cs.CV cs.LG cs.MM
Hear Me, See Me, Understand Me: Audio-Visual Autism Behavior Recognition
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；School of Behavioral and Brain Sciences, The University of Texas at Dallas（德克萨斯大学达拉斯分校行为与脑科学学院）；Brown University（布朗大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出视听自闭症行为识别新问题，构建了最大视频数据集AV-ASD，并通过整合音视语多模态与基础模型显著提升识别性能，同时探索了多模态大语言模型的解释能力。
2024-03-22 cs.AI cs.CL cs.CV
HIDVAS: A Hearing Instrument Dataset in Various Acoustical Scenarios for Algorithm Evaluation and Training
KU Leuven（荷语鲁汶大学）
提出HIDVAS数据集，包含多种声学场景下的脉冲响应和音频录音，用于助听器算法评估和训练，涵盖不同耳塞、混响条件和音源。
2026-06-15 eess.AS
Detecting abnormal heart sound using mobile phones and on-device IConNet
Monash University（莫纳什大学）；Singapore Management University（新加坡管理大学）
针对心血管疾病早期筛查需求，提出利用手机录音并在端侧运行轻量级可解释卷积网络 IConNet，直接检测异常心音，提升效率、透明度与远程监测可及性。
2024-12-04 cs.AI cs.SD eess.AS
I Can Hear You: Selective Robust Training for Deepfake Audio Detection
Columbia University（哥伦比亚大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；New York University（纽约大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Rutgers University（罗格斯大学）
针对现有深度伪造音频检测器在多样化数据及真实损坏、对抗攻击下性能下降的问题，该研究构建了大规模公开数据集DeepFakeVox-HQ，提出聚焦高频分量的F-SAT频率选择性对抗训练方法，显著提升了检测准确率与鲁棒性。
2024-10-31 cs.AI cs.SD eess.AS
The Efficacy of Self-Supervised Speech Models for Audio Representations
National Taiwan University（台湾大学）
自监督学习（Self-supervised learning，SSL）语音模型作为提取有意义语音表征的上游模型，在语音表示学习中取得了前所未有的成功。然而，它们在非语音数据集上的有效性相对较少探索。在这项工作中，我们提出了一个集成框架，集成技术的组合，融合SSL语音模型的嵌入。在语音和非语音音频数据集上进行了大量的实验，以研究我们的集成方法及其单成分模型的表示能力。消融研究进行评估不同的集成技术，如功能平均和级联的性能。所有实验均在NeurIPS 2021 HEAR Challenge期间进行，作为竞赛官员提供的标准评估管道。结果表明，SSL语音模型在各种非语音任务上具有很强的能力，但我们也注意到，它们无法处理细粒度的音乐任务，如音高分类和音符起始检测。此外，特征集成被证明在产生更全面的表示方面具有巨大的潜力，因为我们提出的框架通常超过了最先进的SSL语音/音频模型，并且与HEAR挑战赛中的其他团队相比，在各种数据集上具有优异的性能。我们的代码可在https://github.com/tony10101105/HEAR-2021-NeurIPS-Challenge-- NTU-GURA上找到。
2023-01-31 cs.AI cs.CL cs.SD
Improving the Environmental Perception of Autonomous Vehicles using Deep Learning-based Audio Classification
The University of Alabama（阿拉巴马大学）；General Motors R&D（通用汽车研发中心）
听觉对于自动驾驶汽车（AV）更好地感知周围环境至关重要。虽然AV的视觉传感器，如摄像头，激光雷达和雷达，有助于看到其周围的环境，但AV无法看到这些传感器的视线之外。另一方面，AV的听觉不能被视线阻挡。例如，AV可以通过音频分类识别紧急车辆的警报器，即使紧急车辆不在AV的视线内。因此，听觉感知是对相机、激光雷达和基于雷达的感知系统的补充。本文提出了一种基于深度学习的鲁棒音频分类框架，旨在改善AV的环境感知。所提出的框架利用深度卷积神经网络（CNN）来对不同的音频类别进行分类。城市环境数据集UrbanSound8k用于训练和测试所开发的框架。七个音频类，即，空调、汽车喇叭、儿童玩耍、狗吠声、发动机空转、枪声和警笛，由于它们与AV相关，因此从UrbanSound8k数据集中识别。我们的框架可以以97.82%的准确率对不同的音频类别进行分类。此外，音频分类精度与所有10类，这证明了我们的框架表现更好的情况下，AV相关的声音相比，现有的音频分类框架。
2022-09-09 cs.AI cs.SD eess.AS
TapToTab : Video-Based Guitar Tabs Generation using AI and Audio Analysis
针对现有吉他六线谱自动生成方法指板检测与音符识别准确率不足的问题，提出结合YOLO实时指板检测与傅里叶变换音频分析的深度学习方法，显著提升检测准确率与鲁棒性，可用于革新吉他教学。
2024-09-13 cs.CV cs.SD eess.AS
Seeing Sound, Hearing Sight: Uncovering Modality Bias and Conflict of AI models in Sound Localization
Nanyang Technological University, Singapore（南洋理工大学）；Peking University, China（北京大学）；Shenzhen University, China（深圳大学）
本研究系统考察AI声音定位中的模态偏差，发现人类优于AI，并提出受神经科学启发的EchoPin模型，其超越现有基准并呈现类似人类的水平定位偏差。
2025-10-24 cs.AI cs.CV cs.MM
EarCough: Enabling Continuous Subject Cough Event Detection on Hearables
Tsinghua University（清华大学）；University of Washington（华盛顿大学）
咳嗽监测可以实现新的个人肺部健康应用。受试者咳嗽事件检测是持续咳嗽监测的基础。最近，智能耳机的快速增长为此类需求提供了新的机会。本文提出了EarCough，它通过利用始终开启的有源噪声消除（ANC）麦克风，在边缘计算听觉设备上实现连续的受试者咳嗽事件检测。具体来说，我们提出了一个轻量级的端到端神经网络模型-- EarCoughNet。为了评估我们的方法的有效性，我们通过用户研究构建了一个同步的运动和音频数据集。结果显示，EarCough的准确率为95.4%，F1评分为92.9%，空间需求仅为385 kB。我们设想EarCough作为未来助听器的低成本附加设备，以实现连续的受试者咳嗽事件检测。
2023-03-18 cs.HC cs.LG cs.SD
Visual-based spatial audio generation system for multi-speaker environments
Queen Mary University of London（伦敦玛丽女王大学）；Xidian University（西安电子科技大学）
针对多媒体应用中空间音频生成复杂耗时的问题，提出集成YOLOv8人脸检测、单目深度估计与空间音频技术的自动化系统，无需额外双耳数据集训练，显著提升音视频空间一致性与语音质量，助力高效制作。
2025-02-13 cs.MM cs.SD eess.AS
Learning to Model Aspects of Hearing Perception Using Neural Loss Functions
Center for Computer Research in Music and Acoustics, Stanford University（斯坦福大学计算机音乐与声学研究中心）
我们提出了一个框架，通过结合卷积架构，从经典的信号处理的想法来模拟音频信号的感知质量，并描述了一种方法来提高感知的声学质量。我们证明了这种方法，通过将一个廉价的音乐与退化的声音质量的声音，一个高品质的乐器，而不需要并行数据，这往往是很难收集。我们适应一个简单的自适应EQ滤波的经典方法学习的神经架构的客观标准，并优化它，以获得我们感兴趣的信号。由于我们根据感兴趣的信号学习自适应掩码，而不是对所有输入进行固定变换，因此我们表明浅层神经架构可以实现预期的结果。对目标和初始化的简单约束有助于我们避免对抗性的示例，否则会产生嘈杂的，难以理解的音频。我们相信，目前提出的框架具有巨大的应用，在各种问题中，人们可以根据问题学习损失函数，使用神经架构并在学习后对其进行优化。
2019-12-11 cs.SD eess.AS
Few-shot Long-Tailed Bird Audio Recognition
University of Würzburg（维尔茨堡大学）；Institute of Computer Science, University of Würzburg（维尔茨堡大学计算机科学研究所）
听鸟比看鸟容易。然而，它们仍然在自然界中发挥着至关重要的作用，是环境质量和污染恶化的良好指标。深度神经网络的最新进展使我们能够处理音频数据来检测和分类鸟类。这项技术可以帮助研究人员监测鸟类种群和生物多样性。我们提出了一个声音检测和分类管道来分析复杂的音景录音，并识别背景中的鸟鸣。我们的方法从弱标签和少量数据中学习，并从声学上识别鸟类。我们的解决方案在Kaggle举办的BirdCLEF 2022挑战赛中获得了807支球队的第18名。
2022-07-04 cs.CV cs.LG cs.SD
