Tell What You Hear From What You See -- Video to Audio Generation Through Text
University of Washington（华盛顿大学）
提出多模态生成框架VATT，通过文本提示和音频字幕实现可控的视频到音频生成，在客观和主观评估中均表现出色。
2025-04-04 cs.AI cs.CV cs.LG
GAN You Hear Me? Reclaiming Unconditional Speech Synthesis from Diffusion Models
Stellenbosch University（斯泰伦博斯大学）
我们提出了AudioStyleGAN（ASGAN），一种新的生成对抗网络（GAN），用于无条件语音合成。与StyleGAN系列图像合成模型一样，ASGAN将采样的噪声映射到一个解纠缠的潜在向量，然后将其映射到一系列音频特征，以便在每一层抑制信号混叠。为了成功地训练ASGAN，我们引入了一些新的技术，包括修改自适应增强的概率跳过更新。ASGAN在Google Speech Commands数据集上实现了最先进的无条件语音合成结果。它也比性能最好的扩散模型快得多。通过鼓励解开的设计，ASGAN能够执行语音转换和语音编辑，而无需经过明确的训练。ASGAN证明了GANs与扩散模型相比仍然具有很强的竞争力。代码，模型，样品：https://github.com/RF5/simple-asgan/.
2022-10-11 cs.AI cs.SD eess.AS
Exploring Pre-trained General-purpose Audio Representations for Heart Murmur Detection
Communication Science Laboratories, Nippon Telegraph and Telephone Corporation（日本电报电话公司通信科学实验室）
本研究探索利用大规模数据集预训练的通用音频表示进行心脏杂音检测迁移学习，实验表明M2D模型在CirCor数据集上优于现有方法，并通过模型集成进一步提升性能。
2024-04-26 cs.SD eess.AS
HEAR: Hearing Enhanced Audio Response for Video-grounded Dialogue
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））；Chung-Ang University（中央大学）
针对视频对话系统忽略音频信息的“失聪响应”问题，提出模型无关的HEAR框架，通过选择性关注音频提升系统准确性和可听性，在两个数据集上验证了对多种系统的有效性。
2025-04-13 cs.CL cs.SD eess.AS
A Model You Can Hear: Audio Identification with Playable Prototypes
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（LIGM、巴黎桥路学院、古斯塔夫·埃菲尔大学、法国国家科学研究中心）；LASTIG, Univ Gustave Eiffel, IGN, ENSG（LASTIG、古斯塔夫·埃菲尔大学、法国国家地理研究所、法国国立地理科学学院）；STMS Lab, UMR 9912 (IRCAM, CNRS, Sorbonne University)（STMS实验室、UMR 9912（声学/音乐研究与协作学院、法国国家科学研究中心、索邦大学））；INRIA and DIENS (ENS-PSL, CNRS, INRIA)（法国国家信息与自动化研究所、巴黎高等师范学院计算机系（巴黎高等师范学院-巴黎文理研究大学、法国国家科学研究中心、法国国家信息与自动化研究所））
机器学习技术已经证明对于分类和分析音频内容是有用的。然而，最近的方法通常依赖于难以解释的抽象和高维表示。受针对图像和3D数据开发的变换不变方法的启发，我们提出了一种基于可学习频谱原型的音频识别模型。这些原型配备了专用的转换网络，可用于对来自大量声音集合的输入音频样本进行聚类和分类。我们的模型可以在有监督或无监督的情况下进行训练，并在说话者和乐器识别方面达到最先进的结果，同时保持易于解释。代码可在以下网址获得：https://github.com/romainloiseau/a-model-you-can-hear
2022-08-05 cs.SD eess.AS
Assessing the Utility of Audio Foundation Models for Heart and Respiratory Sound Analysis
NTT Communication Science Laboratories（日本通信用科学实验室）；Nippon Telegraph and Telephone Corporation（日本电信电话株式会社）
本研究评估现成音频基础模型在四个呼吸音和心音任务上的性能，发现其在干净数据上达到SOTA，在噪声数据上表现不佳，且通用模型优于专用模型，并发布代码以促进未来研究。
2025-04-25 cs.SD eess.AS
Can Large Audio-Language Models Truly Hear? Tackling Hallucinations with Multi-Task Assessment and Stepwise Audio Reasoning
National Taiwan University（台湾大学）
本文针对大型音频语言模型的幻觉问题提出三类评估任务，并引入多轮思维链方法，显著提升模型在声学事件识别、顺序判断和声源归因上的表现。
2024-12-31 cs.CL cs.SD eess.AS
Evaluating robustness of You Only Hear Once(YOHO) Algorithm on noisy audios in the VOICe Dataset
Manipal Institute of Technology（曼尼帕尔理工学院）
机器监听中的声音事件检测（SED）需要识别音频文件中的不同声音并识别音频中特定声音事件的开始和结束时间。SED可用于各种应用，例如音频监视、语音识别以及多媒体数据库中的数据的基于上下文的索引和检索。然而，在现实生活中，来自各种来源的音频很少没有任何干扰噪声或干扰。在本文中，我们测试的性能，你只听到一次（YOHO）算法对嘈杂的音频数据。受计算机视觉中You Only Look Once（YOLO）算法的启发，YOHO算法可以在音乐语音检测数据集、TUT声音事件和Urban-SED数据集等数据集上与各种最先进算法的性能相匹配，但推理时间更短。在本文中，我们探讨了YOHO算法的VOICe数据集上的性能，包含在不同的声音噪声比（SNR）的噪声的音频文件。YOHO可以超越或至少匹配VOICe数据集论文中报告的最佳性能SED算法，并在更短的时间内进行推断。
2021-11-01 cs.CL cs.SD eess.AS
You Only Hear Once: A YOLO-like Algorithm for Audio Segmentation and Sound Event Detection
University of Plymouth（普利茅斯大学）；Plymouth Marine Laboratory（普利茅斯海洋实验室）
音频分割和声音事件检测是机器听力中的关键主题，旨在检测声学类别及其各自的边界。它对音频内容分析、语音识别、音频索引和音乐信息检索都很有用。近年来，大多数研究文章采用逐类分段的方法。该技术将音频划分为小帧，并单独对这些帧执行分类。在本文中，我们提出了一种名为You Only Hear Once（YOHO）的新方法，该方法受到计算机视觉中普遍采用的YOLO算法的启发。我们将声学边界的检测转换为回归问题，而不是基于帧的分类。这是通过使用单独的输出神经元来检测音频类的存在并预测其开始和结束点来完成的。与最先进的卷积递归神经网络相比，YOHO的F度量的相对改进在音频分割和声音事件检测的多个数据集上的范围从1%到6%。由于YOHO的输出是端到端的，并且需要预测的神经元更少，因此推理速度至少比分段分类快6倍。此外，由于这种方法直接预测声学边界，因此后处理和平滑速度约为7倍。
2022-09-18 cs.LG cs.SD eess.AS
Teaching Audio-Aware Large Language Models What Does Not Hear: Mitigating Hallucinations through Synthesized Negative Samples
Graduate Institute of Communication Engineering（通信工程研究生院）
本文提出LISTEN方法，通过骨干LLM合成负样本进行类对比学习训练，在不修改LLM参数、仅用轻量适配器的条件下，有效缓解音频感知大语言模型的声事件幻觉，并在现有音频问答与推理基准上保持高性能，同时数据和计算效率更高。
2025-07-01 cs.CL cs.SD eess.AS
What Did I Just Hear? Detecting Pornographic Sounds in Adult Videos Using Neural Networks
Bandung Institute of Technology（万隆理工学院）；The Hong Kong University of Science and Technology (HKUST)（香港科技大学（HKUST））
基于音频的色情内容检测通过利用不同的光谱特征，实现了高效的成人内容过滤，而不会牺牲性能。为了改进它，我们探索色情声音建模的基础上不同的神经架构和声学特征。我们发现，在对数梅尔频谱图上训练的CNN在Pornography-800数据集上实现了最佳性能。我们的实验结果还表明，对数梅尔声谱图可以更好地表示模型识别色情声音。最后，分类整个音频波形，而不是段，我们采用投票段音频技术，产生最好的音频电平检测结果。
2022-09-08 cs.AI cs.SD eess.AS
"Did You Hear That?" Learning to Play Video Games from Audio Cues
Queen Mary University of London（伦敦玛丽女王大学）
游戏AI研究长期以来一直专注于从视觉输入或符号信息中学习玩视频游戏。然而，人类受益于更广泛的传感器，我们利用这些传感器来导航我们周围的世界。特别是，声音和音乐是我们中有多少人感知世界并影响我们做出决定的关键。在本文中，我们提出了初步的实验，玩游戏的代理学习玩视频游戏，完全从音频线索。我们扩展了视频游戏描述语言以允许音频规范，并扩展了通用视频游戏AI框架以提供新的音频游戏和用于学习代理的API以利用音频观察。我们分析了游戏和音频游戏的设计过程，包括简单的Q~学习代理的初步结果，并鼓励在这方面的进一步研究。
2019-06-11 cs.AI cs.LG cs.SD
Hearing from Silence: Reasoning Audio Descriptions from Silent Videos via Vision-Language Model
Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent AI Lab（腾讯AI实验室）；Institute of Automation School of Artificial Intelligence（自动化研究所人工智能学院）
针对多模态大模型在视频转音频推理中难以获取音频描述的问题，提出从无声视频推理音频描述（SVAD）任务，构建CoT-AudioCaps数据集并采用基于思维链的监督微调策略，显著提升了模态失配推理能力。
2025-05-28 cs.MM cs.SD eess.AS
What You Hear Is What You See: Audio Quality Metrics From Image Quality Metrics
University of Bristol（布里斯托尔大学）；Universitat de Valencia（瓦伦西亚大学）
本研究提出利用图像感知度量通过频谱图评估音频质量，基于听觉与视觉神经机制相似性，并定制心理声学度量，在音乐数据集上验证了其与人类感知质量的相关性。
2023-08-30 cs.CV cs.LG cs.SD
What all do audio transformer models hear? Probing Acoustic Representations for Language Delivery and its Structure
IIIT-Delhi（德里印度理工学院信息技术学院）；Adobe（奥多比公司）；State University of New York at Buffalo（纽约州立大学布法罗分校）
最近，基于BERT的Transformer模型已经成为文本处理模型的“技术栈”中不可分割的一部分。在语音领域也观察到类似的进展，许多模型通过使用音频Transformer模型对语音进行编码来观察最先进的结果。这就引出了一个问题，这些音频Transformer模型在学习什么。此外，尽管标准方法是为任何下游任务选择最后一层嵌入，但它是最佳选择吗？我们试图回答这些问题的两个最近的音频Transformer模型，Mockingjay和wave2vec2.0。我们比较了一套全面的语言交付和结构特征，包括音频，流畅性和发音功能。此外，我们探讨了音频模型的理解的文本表面，语法和语义特征，并将它们与BERT。我们在本地，非本地，合成，阅读和自发语音数据集的详尽设置上这样做
2021-07-12 cs.CL cs.LG cs.SD
SALMONN: Towards Generic Hearing Abilities for Large Language Models
Tsinghua University（清华大学）；ByteDance（字节跳动）
本文提出SALMONN多模态模型，将文本LLM与语音及音频编码器融合，使其具备通用听觉理解、多任务竞争性能和跨模态涌现能力，并用少样本激活调优激发这些能力。
2024-04-08 cs.CL cs.SD eess.AS
HEAR: Holistic Evaluation of Audio Representations
Google（谷歌）；Adobe（奥多比）；IRCAM（声学与音乐研究中心）
本研究推出HEAR基准并举办NeurIPS 2021共享挑战赛，通过多领域下游任务评估通用音频表征，开源相关资源，同时指出单一通用音频表征能否媲美人类听觉仍是开放问题。
2022-05-29 cs.AI cs.LG cs.SD
Solla: Towards a Speech-Oriented LLM That Hears Acoustic Context
School of Data Science, Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院、深圳大数据研究院）；Bytedance（字节跳动）
针对现有大模型忽略语音指令与音频混合输入场景的问题，提出集成音频标注模块与ASR辅助预测的Solla框架，构建含三类任务、双难度的SA-Eval基准，实验证明其联合理解语音音频的效果更优。
2025-03-19 cs.CL cs.SD eess.AS
HEAR: Real Voices, Real Bias: A Large-Scale Human-Recorded, Demographically Diverse Benchmark for Audio Language Models
Meta Superintelligence Labs（Meta超级智能实验室）
我们提出HEAR基准，包含87k个来自843名参与者的真实语音样本，用于评估音频大语言模型中的语音条件偏见，发现偏见是模型特定且可控的，个性化指令会加剧人口差异。
2026-09-30 cs.AI cs.CY cs.SD
Catch Me If You Hear Me: Audio-Visual Navigation in Complex Unmapped Environments with Moving Sounds
University of Freiburg（弗莱堡大学）
视听导航结合视觉和听觉，在未映射的环境中导航到声音发射源。虽然最近的方法已经证明了音频输入在检测和找到目标方面的好处，但它们专注于干净和静态的声源，并且难以推广到听不到的声音。在这项工作中，我们提出了一种新的动态视听导航基准，它需要在嘈杂和分散注意力的声音环境中捕捉移动声源，这带来了一系列新的挑战。我们引入了一种强化学习方法，该方法可以为这些复杂的设置学习一个强大的导航策略。为了实现这一目标，我们提出了一个架构，融合视听信息的空间特征空间学习相关的几何信息固有的本地地图和音频信号。我们证明了我们的方法在两个具有挑战性的3D扫描现实世界环境（即Matterport3D和Matterport3D）中，在移动声音、未听到的声音和嘈杂环境的所有任务中，都始终优于当前最先进的方法。该基准可在http://dav-nav.cs.uni-freiburg.de上获得。
2023-01-03 cs.CV cs.LG cs.RO
Do Audio-Visual Large Language Models Really See and Hear?
University of Maryland, College Park（马里兰大学帕克分校）
研究探讨了音频视觉大语言模型中音频与视觉特征的融合机制，发现当音频与视觉冲突时，最终文本生成中音频信息无法有效表露，揭示了多模态LLM在整合音频和视觉时的模态偏见。
2026-04-03 cs.AI cs.SD
Evaluation of Deep Audio Representations for Hearables
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）；Sonova AG（索诺瓦公司）；University of Basel（巴塞尔大学）
本文提出首个耳戴设备音频表征评估基准DEAR，含1158条30秒音频和八项任务，证明BEATs模型在捕获环境声学属性上显著优于其他模型。
2025-02-24 cs.AI cs.LG cs.SD
What Do Deepfake Audio Detectors Hear? From Self-Supervised Models to Audio LLMs
National Institute of Informatics（信息学研究所）
该研究针对深度伪造音频检测中检测器关注对象与频谱证据的问题，基于CompSpoof V2数据库发现其性能差距源于伪造语音域外泛化差，提出需优化前端编码器以提升真实场景部署可靠性。
2026-10-14 cs.SD
Hear, Localize, and Reason: Spatially Aware Scene Understanding for Audio-Visual LLMs
POSTECH（浦项科技大学）；KAIST（韩国科学技术院）；Hankuk University of Foreign Studies（韩国外国语大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本研究提出HLR-AVSceneQA基准与HLR-LLM模型，解决现有AV-LLMs空间推理局限，通过新增双耳空间音频分支及课程训练，提升空间视听场景理解能力。
2026-10-16 cs.CV cs.SD
One-Shot Acoustic Matching Of Audio Signals -- Learning to Hear Music In Any Room/ Concert Hall
Stanford University（斯坦福大学）
声音产生和被听到的声学空间通过提供独特的\textit{presence}感而在如何感知声音方面起着至关重要的作用。我们听到的每一个声音都是声源固有的连续卷积运算和外部因素（如麦克风特性和房间脉冲响应）的结果。通常，研究人员使用诸如手枪射击或气球爆裂的激励作为可以创建可听化的脉冲信号。与感兴趣的信号卷积的房间“脉冲”响应可以将输入声音转换成在感兴趣的声学空间中播放的声音。在这里，我们提出了一种新的架构，可以将感兴趣的声音转换到任何其他声学空间（房间或大厅）的利益，通过使用任意的音频记录作为代理的气球流行。该架构是接地在简单的信号处理的想法，学习残余信号从学习的声学签名和输入信号。我们的框架允许神经网络调整时频表示中每个点的增益，给出合理的定性和定量结果。
2022-10-31 cs.LG cs.MM cs.SD
Did You Hear That? Introducing AADG: A Framework for Generating Benchmark Data in Audio Anomaly Detection
Carnegie Mellon University（卡内基梅隆大学）；University of Technology Nuremberg（纽伦堡工业大学）；University of Pittsburgh（匹兹堡大学）
本研究提出音频异常检测基准数据生成框架AADG，受LLM-Modulo启发以LLM为世界模型模拟多场景音频，经多阶段验证生成可靠数据，填补相关资源空白并提升模型分布外处理能力。
2024-10-04 cs.AI cs.SD eess.AS
Hearing is Believing? Evaluating and Analyzing Audio Language Model Sycophancy with SYAUDIO
University of Electronic Science and Technology of China（电子科技大学）；Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学）；King Abdullah University of Science and Technology（卡布斯大学）；Georgia Institute of Technology（佐治亚理工学院）
SYAUDIO是首个评估音频语言模型趋炎附势行为的基准，通过系统分析不同领域和条件下的趋炎附势现象，验证了监督微调在减少此类行为中的有效性。
2026-10-05 cs.SD
A Human-Inspired Decoupled Architecture for Efficient Audio Representation Learning
University of Technology Sydney（悉尼科技大学）；Shibaura Institute of Technology（芝浦工业大学）
本文提出HEAR架构，通过解耦模块和知识蒸馏实现高效音频表示学习，减少参数和计算成本，同时保持高性能。
2026-03-27 cs.AI cs.LG cs.SD
Do Models Hear Like Us? Probing the Representational Alignment of Audio LLMs and Naturalistic EEG
School of Computer Science, Chongqing University（重庆大学计算机科学学院）；Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua University（清华大学计算机科学与技术系、人工智能研究院）；School of Economics and Business Administration, Chongqing University（重庆大学经济与商业管理学院）；School of Artificial Intelligence, Southwest University（西南大学人工智能学院）；The First Affiliated Hospital of Chongqing Medical University（重庆医科大学第一附属医院）
本研究通过比较音频大语言模型与EEG信号，揭示了模型在自然聆听中的表征对齐特性，发现排名依赖分裂、时空对齐模式及情感分离现象。
2026-02-03 cs.AI cs.SD eess.AS
PitchBench: Measuring Pitch Hearing in Audio-Language Models
University of California, Berkeley（加州大学伯克利分校）；Thoughtful Lab
提出PitchBench评估套件，通过28个实验系统测量音频-语言模型在绝对和相对音高感知上的表现，发现当前模型在不同声源、音长和格式下音高感知不可靠。
2026-05-25 cs.AI cs.SD
Bridging Biological Hearing and Neuromorphic Computing: End-to-End Time-Domain Audio Signal Processing with Reservoir Computing
University of York（约克大学）
本文提出利用时间域技术和回声状态机简化音频信号处理，通过改进MFCC提取方法提升实时处理效率，推动节能音频处理技术发展。
2026-03-25 cs.AI cs.SD
Assessing True Generalisability of Audio-Visual Speech Recognisers
Trinity College Dublin（都柏林三一学院）；Imperial College London（伦敦帝国理工学院）
通过构建与LRS3测试集严格匹配的评估集，发现当前最先进的音视频语音识别模型在未见数据上性能全面崩溃，揭示了其泛化能力不足，并分析了退化原因、词汇偏差和错误模式。
2026-09-25 cs.SD eess.AS
Approach to Learning Generalized Audio Representation Through Batch Embedding Covariance Regularization and Constant-Q Transforms
Carnegie Mellon University（卡内基梅隆大学）；Carnegie Mellon Institute（卡内基梅隆研究所）
在包括音频任务在内的许多应用场景中，通用嵌入对于Few-Shot甚至零样本学习都是非常理想的。为了更好地理解表示，我们对HEAR 2021提交结果进行了彻底的错误分析和可视化。受分析的启发，这项工作实验了不同的前端音频预处理方法，包括恒定Q变换（CQT）和短时傅立叶变换（STFT），并提出了一个批量嵌入协方差正则化（BECR）项，以揭示人类听觉系统接收的频率信息的更全面的模拟。我们在HEAR 2021任务套件上测试了这些模型，这些任务涵盖了广泛的任务类别。初步结果表明：（1）BECR可以在测试集上产生更分散的嵌入，（2）BECR在不增加计算复杂度的情况下改进了PaSST模型，（3）STFT预处理在我们测试的所有任务中都优于CQT。Github网站：https://github.com/ankitshah009/general_audio_embedding_hear_2021
2023-03-07 cs.LG cs.MM cs.SD
What do MLLMs hear? Examining reasoning with text and sound components in Multimodal Large Language Models
The Graduate Center, CUNY（纽约城市大学研究生中心）；Brooklyn College CUNY（纽约城市大学布鲁克林学院）
本文通过文字说明与分类实验发现音频多模态大语言模型在生成音频描述时无法充分利用其LLM的文本推理能力，并探讨了听觉与文本信息分离表征导致推理通路被切断的可能原因。
2024-06-07 cs.CL cs.SD eess.AS
Large Language Models Implicitly Learn to See and Hear Just By Reading
Department of Electrical Engineering Stanford University Stanford, CA 94305, USA（电气工程系 斯坦福大学）
本文发现仅在文本上训练的自回归大语言模型能隐式获得图像和音频理解能力，并在多个音频与图像分类数据集上验证了利用文本权重激活内部回路即可完成多模态任务，无需从头训练。
2025-09-23 cs.AI cs.CL cs.CV
Audio-Zero: Label-Free Self-Evolution for Fine-Grained Audio Reasoning
研究针对大型音频语言模型细粒度音频推理难题，提出无标签自我进化框架Audio-Zero，通过构建听觉自博弈游戏，利用无标签音频对比对让模型生成线索并推理，实验证明其能提升细粒度音频推理且保持广泛音频理解。
2026-07-23 cs.AI cs.SD
The Model Hears You: Audio Language Model Deployments Should Consider the Principle of Least Privilege
本文指出端到端音频语言模型相比级联流水线带来身份推断等社会技术安全风险，主张以最小权限原则指导其开发与部署，并强调现有基准的不足。
2025-09-09 cs.AI cs.CL cs.CY
Developing an AI-Guided Assistant Device for the Deaf and Hearing Impaired
Jiayu (Jerry) Liu（独立研究者）
本研究提出一种面向聋人与听障人士的 AI 辅助设备，结合 JerryNet 声源方向识别、CLAP 音频分类及多模态音频-视觉定位模型，在多个数据集上取得优于基线模型的性能，为新一代无障碍设备奠定基础。
2025-07-16 cs.LG cs.SD eess.AS
Hear to See: Discerning Stateful Listening for Audio-Visual Instance Segmentation
Dalian University of Technology（大连理工大学）；Carnegie Mellon University（卡内基梅隆大学）；Yale University（耶鲁大学）
本文提出 Hear to See（H2S）模型，通过 ASP 和 ADM 机制解决视听实例分割中重叠声源匹配与异步动态跟踪问题，在 AVISeg 数据集上实现 SOTA 性能，mAP 达 48.54，较此前方法提升 7.8%。
2026-08-05 cs.CV cs.MM cs.SD
Imagine to Hear: Auditory Knowledge Generation can be an Effective Assistant for Language Models
HJ AILAB；POSTECH
针对纯文本语言模型缺乏听觉常识且外部音频检索成本高、覆盖不足的问题，本文提出 Imagine to Hear，通过生成模型动态生成并融合听觉知识，在 AuditoryBench 上达到最先进性能。
2025-06-08 cs.AI cs.CL cs.LG
Do Audio Language Models Hear and Read Distinctive Features Alike?
Thayer School of Engineering, Dartmouth College（达特茅斯学院塞耶工程学院）
本研究探究音频语言模型在语音和文本输入下是否以相同方向表征区别性特征，发现仅Qwen2.5-Omni模型的浊音特征显著，且模型家族而非规模决定模态差异。
2026-09-25 cs.CL cs.LG cs.SD
What Did the MLLM Hear? Token-Level Spectro-Temporal Grounding for Audio MLLM Explainability
University of Salerno（萨莱诺大学）
针对音频 MLLM 可解释性，提出首个词元级时频定位框架 STAG，通过词汇投影与频谱遮挡生成相关性图，在四个基准上取得最优事件定位性能，并验证了解释的忠实性与选择性。
2026-09-14 cs.CV cs.LG cs.SD
I Can Hear You: Selective Robust Training for Deepfake Audio Detection
Columbia University（哥伦比亚大学）；Washington University in St. Louis（圣路易斯华盛顿大学）；New York University（纽约大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Rutgers University（罗格斯大学）
针对现有深度伪造音频检测器在多样化数据及真实损坏、对抗攻击下性能下降的问题，该研究构建了大规模公开数据集DeepFakeVox-HQ，提出聚焦高频分量的F-SAT频率选择性对抗训练方法，显著提升了检测准确率与鲁棒性。
2024-10-31 cs.AI cs.SD eess.AS
Heard but Not Heeded: Paralinguistic Information Encoding and Loss in Audio-Language Models
Carnegie Mellon University（卡内基梅隆大学）
本研究分析四种开源音频-语言模型的副语言信息编码与丢失，发现模型虽在音频编码器顶层强编码说话风格，但信息在输出前退化，模型分内容、声学驱动两类，揭示了模型编码与使用信息的差距。
2026-09-02 cs.AI cs.SD
A Novel Chaos-based Light-weight Image Encryption Scheme for Multi-modal Hearing Aids
Edinburgh Napier University（爱丁堡龙比亚大学）；University of Wolverhampton（伍尔弗汉普顿大学）；University of Edinburgh（爱丁堡大学）
多模态助听器（HA）旨在通过上下文感测和处理不仅是音频而且是视觉信息（例如唇读）形式的数据来在嘈杂环境中传递更可理解的音频。机器学习技术可以在多模态数据的上下文处理中发挥关键作用。然而，由于HA设备的计算能力较低，因此必须在边缘或云端处理这些数据，这反过来又会对敏感的用户数据造成隐私问题。现有文献提出了几种用于数据加密的技术，但它们的计算复杂性是满足未来多模态助听器开发的严格延迟要求的主要瓶颈。针对这一问题，提出了一种基于切延迟椭圆反射腔映射系统（TD-ERCS）映射和非线性混沌（NCA）算法的混沌加密方案，用于实时音视频数据加密。针对不同的安全参数，包括相关系数，统一平均变化强度（UACI），关键敏感性分析，改变像素速率的数量（NPCR），均方误差（MSE），峰值信噪比（PSNR），熵检验和卡方检验，表明，新提出的方案是更轻量级的，由于其较低的执行时间相比，现有的方案和更安全，由于增加的密钥-空间对抗现代蛮干攻击。
2022-02-11 cs.CR cs.SD eess.AS
Hearing the Order: Investigating Position Bias in Large Audio-Language Models
National Taiwan University（台湾大学）
本文首次系统研究了大型音频-语言模型中位置偏差问题，通过实验发现答案选项顺序影响模型性能，提出基于排列的策略可缓解偏差。
2026-09-01 cs.CL cs.SD
Data-driven audio recognition: a supervised dictionary approach
Laboratoire BMBI Compiègne（贡比涅BMBI实验室）；Université de Technologie de Compiègne（贡比涅技术大学）
机器听觉是一个新兴领域。出于对机器监听领域应用的原则性框架的需求，我们提出了一种通用的数据驱动的表示学习方法。为此，提出了一种新颖有效的监督式字典学习方法。实验进行计算听觉场景（东安格利亚和鲁昂）和合成音乐和弦识别数据集。获得的结果表明，我们的方法是能够达到国家的最先进的手工制作的功能，为这两个应用程序
2020-12-29 cs.SD eess.AS
What You Read Isn't What You Hear: Linguistic Sensitivity in Deepfake Speech Detection
Independent Researcher（独立研究者）；Indiana University（印第安纳大学）；Deep Media AI（深媒体人工智能）
本研究通过转录级对抗性攻击揭示深度伪造语音检测器对语言扰动的敏感性，攻击成功率超60%，商业检测器准确率从100%降至32%，强调需在反欺骗系统中考虑语言变化。
2025-05-23 cs.CL cs.LG cs.SD
What Do Language Models Hear? Probing for Auditory Representations in Language Models
Massachusetts Institute of Technology（麻省理工学院）
本研究通过线性对比探测头验证，仅文本训练的语言模型仍编码了部分物体的声音基础表征，泛化表现高于随机水平。
2024-08-16 cs.AI cs.CL cs.LG
The Efficacy of Self-Supervised Speech Models for Audio Representations
National Taiwan University（台湾大学）
自监督学习（Self-supervised learning，SSL）语音模型作为提取有意义语音表征的上游模型，在语音表示学习中取得了前所未有的成功。然而，它们在非语音数据集上的有效性相对较少探索。在这项工作中，我们提出了一个集成框架，集成技术的组合，融合SSL语音模型的嵌入。在语音和非语音音频数据集上进行了大量的实验，以研究我们的集成方法及其单成分模型的表示能力。消融研究进行评估不同的集成技术，如功能平均和级联的性能。所有实验均在NeurIPS 2021 HEAR Challenge期间进行，作为竞赛官员提供的标准评估管道。结果表明，SSL语音模型在各种非语音任务上具有很强的能力，但我们也注意到，它们无法处理细粒度的音乐任务，如音高分类和音符起始检测。此外，特征集成被证明在产生更全面的表示方面具有巨大的潜力，因为我们提出的框架通常超过了最先进的SSL语音/音频模型，并且与HEAR挑战赛中的其他团队相比，在各种数据集上具有优异的性能。我们的代码可在https://github.com/tony10101105/HEAR-2021-NeurIPS-Challenge-- NTU-GURA上找到。
2023-01-31 cs.AI cs.CL cs.SD
If You Hear It, Help Find It: Orthogonal Knowledge Distillation for Open-Vocabulary Audio-Visual Event Localization
Tongji University（同济大学）
针对开放词汇音频-视觉事件定位中教师监督可靠性差异问题，提出可靠性感知的非对称蒸馏框架OV-OrthKD，通过正交损失分离视觉与音频教师投影，在OV-AVEBench上显著提升定位性能。
2026-09-22 cs.CV cs.LG cs.MM
I see what you hear: a vision-inspired method to localize words
Apple（苹果公司）
本文探讨了使用视觉目标检测技术的语音数据中的单词定位的可能性。目标检测已经在当代文献中针对视觉数据进行了深入的研究。注意，音频可以被解释为一维图像，对象定位技术可以从根本上用于单词定位。基于这个想法，我们提出了一个轻量级的解决方案，字检测和定位。我们使用限界框回归进行单词本地化，这使我们的模型能够检测给定音频流中关键字的出现，偏移和持续时间。我们用LibriSpeech进行实验，并训练一个模型来本地化1000个单词。与现有的工作相比，我们的方法减少了94%的模型大小，并提高了6.5%的F1分数。
2022-10-24 cs.CV cs.LG cs.SD
Audio Barlow Twins: Self-Supervised Audio Representation Learning
Imperial College London（伦敦帝国理工学院）；University of Augsburg（奥格斯堡大学）
Barlow Twins自监督学习目标既不需要负样本也不需要非对称学习更新，其结果与计算机视觉的当前最先进水平相当。因此，我们提出了音频巴洛双胞胎，一种新的自我监督的音频表示学习方法，适应巴洛双胞胎的音频域。我们在大规模音频数据集AudioSet上进行了预训练，并评估了HEAR 2021挑战赛中18个任务的学习表示的质量，取得了优于或与当前最先进的音频表示自监督学习方法相媲美的结果。代码请访问https://github.com/jonahanton/SSL_audio。
2022-09-28 cs.LG cs.SD eess.AS
Masked Spectrogram Modeling using Masked Autoencoders for Learning General-purpose Audio Representation
NTT Communication Science Laboratories（NTT通信科学实验室）；NTT Corporation（NTT公司）
最近的通用音频表示在各种音频任务上显示出最先进的性能。这些表示是通过自监督学习方法预先训练的，该方法从输入中创建训练信号。例如，典型的音频对比学习使用输入声音之间的时间关系来创建训练信号，而一些方法使用由数据增强创建的输入视图之间的差异。然而，这些训练信号不提供从完整的输入声音中导出的信息，我们认为这对于描述输入的学习表示来说是次优的。在本文中，我们试图从输入本身学习音频表示作为监督，使用掩蔽频谱图补丁的自动编码的借口任务，掩蔽频谱图建模（MSM，应用于音频频谱图的掩蔽图像建模的变体）。为了实现MSM，我们使用了Masked Autoencoders（MAE），这是一种图像自监督学习方法。MAE学习有效地将少量可见补丁编码为潜在表示，以携带用于重建大量掩蔽补丁的基本信息。在训练时，MAE将输入作为训练信号，使重建误差最小化，从而达到了我们的目标。我们在HEAR 2021 NeurIPS Challenge的评估基准下，使用MAE（MSM-MAE）模型对MSM进行了实验。我们的MSM-MAE模型在15项任务中的7项上的表现优于HEAR 2021挑战赛的结果（例如，CREMA-D上的准确率为73.4%，LibriCount上的准确率为85.8%），同时在其他任务上表现出最佳性能，其中专业模型表现更好。我们还研究了MSM-MAE的设计选择如何影响性能，并对可视化结果进行定性分析，以了解学…
2022-04-26 cs.SD eess.AS
