AMSS-Net: Audio Manipulation on User-Specified Sources with Textual Queries
Korea University(高丽大学);Queen Mary University of London(伦敦玛丽女王大学);Korea National Open University(韩国放送通信大学)
本文提出了一种神经网络,该神经网络对用户指定的源(例如,人声),同时保留本说明书中未提及的其它源。对特定源的音频操纵(AMSS)是具有挑战性的,因为声音对象(即,波形样本或频率仓)是“连续的”;与图像中的像素相比,它通常携带来自多个源的信息。为了解决这个具有挑战性的问题,我们提出了AMSS-Net,它提取潜在的源,并选择性地操纵它们,同时保留不相关的源。我们还提出了几个AMSS任务的评估基准,我们表明,AMSS-Net优于基线的AMSS任务,通过客观的指标和经验验证。
2021-04-28 cs.LG cs.SD eess.AS
Text-Queried Audio Source Separation via Hierarchical Modeling
University of Science and Technology of China(中国科学技术大学);School of Information and Communication Engineering, Communication University of China(中国通信大学信息与通信工程学院);Microsoft Research Asia(微软亚洲研究院)
本文提出HSM-TSS框架,通过分层建模实现文本查询的音频源分离,结合双阶段语义分离与结构保持重建,提升复杂场景下的分离性能与语义一致性。
2025-12-02 cs.AI cs.LG cs.SD
A Reference-free Metric for Language-Queried Audio Source Separation using Contrastive Language-Audio Pretraining
Harbin Engineering University(哈尔滨工程大学);University of Technology Sydney(悉尼科技大学);University of Surrey(萨里大学);Harbin Institute of Technology(哈尔滨工业大学);University of Sheffield(谢菲尔德大学)
针对LASS中SDR指标依赖参考信号且忽略文本语义的问题,本文提出基于CLAP的无参考指标CLAPScore,通过衡量分离音频与文本查询的语义相似度实现有效评估。
2025-01-06 cs.SD eess.AS
The language of sound search: Examining User Queries in Audio Search Engines
Huawei Technologies(华为技术有限公司);Universitat Pompeu Fabra(庞培法布拉大学)
本研究通过分析定制调查和Freesound日志中的用户查询,揭示了声音搜索引擎中用户查询的长度、关键词偏好及影响因素,为开发以用户为中心的基于文本的音频检索系统提供了关键见解。
2024-10-10 cs.CL cs.HC cs.IR
Audio Retrieval with Natural Language Queries: A Benchmark Study
University of Tübingen(蒂宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Oxford(牛津大学);University of Cambridge(剑桥大学)
这项工作的目标是跨模态的文本音频和音频文本检索,其目标是从一个候选人的池中检索的音频内容,最佳匹配给定的书面描述,反之亦然。文本音频检索使用户能够通过一个直观的界面搜索大型数据库:他们只需发布他们想要听到的声音的自由形式的自然语言描述。为了研究文本音频和音频文本检索的任务,这在现有的文献中受到了有限的关注,我们引入了三个具有挑战性的新基准。我们首先从AudioCaps和Clotho音频字幕数据集构建文本音频和音频文本检索基准。此外,我们还介绍了SoundDescs基准,它由成对的音频和自然语言描述组成,用于各种声音集合,这些声音与AudioCaps和Clotho中的声音是互补的。我们采用这三个基准来建立跨模态文本音频和音频文本检索的基线,在那里我们展示了预训练对不同音频任务的好处。我们希望我们的基准将激发进一步研究音频检索与自由形式的文本查询。所有使用的数据集的代码、音频功能以及SoundDescs数据集都可以在https://github.com/akoepke/audio-retrieval-benchmark上公开获得。
2022-01-27 cs.IR cs.SD eess.AS
iQuery: Instruments as Queries for Audio-Visual Sound Separation
UC San Diego(加州大学圣地亚哥分校);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);National University of Singapore(新加坡国立大学);ShanghaiTech University(上海科技大学);University of Pennsylvania(宾夕法尼亚大学)
当前的视听分离方法共享标准架构设计,其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征融合。该设计混淆了多模态特征编码的学习与用于音频分离的鲁棒声音解码。推广到一种新乐器:必须为所有乐器微调整个视觉和音频网络。我们重新制定视听分离的任务,并提出了一个灵活的查询扩展机制的查询(iQuery)的仪器。我们的方法确保了跨模态的一致性和跨仪器的解纠缠。我们利用“视觉命名”查询启动学习的音频查询,并使用跨模态的注意力,以消除潜在的声源干扰估计波形。为了推广到新的仪器或事件类,从文本提示设计中汲取灵感,我们插入一个额外的查询作为音频提示,同时冻结注意力机制。三个基准测试的实验结果表明,我们的iQuery提高视听声音声源分离性能。
2022-12-08 cs.CV cs.MM cs.SD
CLIPSep: Learning Text-queried Sound Separation with Noisy Unlabeled Videos
Sony Group Corporation(索尼集团公司);University of California San Diego(加州大学圣地亚哥分校)
近年来,已经看到了超越语音或音乐的特定领域的声音分离朝着任意声音的通用声音分离的进展。关于通用声音分离的现有工作已经研究了在给定文本查询的情况下从音频混合中分离出目标声音。这样的文本查询声音分离系统提供用于指定任意目标声音的自然且可缩放的接口。然而,有监督的文本查询声音分离系统需要昂贵的标记的音频文本对进行训练。此外,现有数据集中提供的音频通常是在受控环境中记录的,这导致了与野外嘈杂音频的相当大的泛化差距。在这项工作中,我们的目标是通过只使用未标记的数据来接近文本查询的通用声音分离。我们建议利用视觉模态作为桥梁,学习所需的音频文本对应。CLIPSep模型首先使用对比语言-图像预训练(CLIP)模型将输入查询编码成查询向量,然后使用查询向量调节音频分离模型以分离出目标声音。虽然模型是在从未标记的视频中提取的图像-音频对上训练的,但在测试时,我们可以在zero-shot设置中使用文本输入查询模型,这要归功于CLIP模型学习的联合语言-图像嵌入。此外,野外视频通常包含屏幕外声音和背景噪声,这可能会阻碍模型学习所需的音频-文本对应关系。为了解决这个问题,我们进一步提出了一种称为噪声不变训练的方法,用于在噪声数据上训练基于查询的声音分离模型。实验结果表明,所提出的模型成功地学习文本查询的通用声音分离只使用嘈杂的未标记的视频,甚至在某些设置中实现对监督模型的竞争性能。
2023-03-03 cs.CV cs.LG cs.MM
Evaluating Hallucinations in Audio-Visual Multimodal LLMs with Spoken Queries under Diverse Acoustic Conditions
Department of Intelligent Software, Sungkyunkwan University(智能软件系,成均馆大学);Department of Computer Science and Engineering, Sungkyunkwan University(计算机科学与工程系,成均馆大学)
研究探讨语音查询对多模态幻觉的影响,通过RePOPE-Spk基准测试发现语音查询导致错误率显著增加,提出改进方法以提升语音界面可靠性。
2026-03-19 cs.AI cs.SD eess.AS
Omni-Embed-Audio: Leveraging Multimodal LLMs for Robust Audio-Text Retrieval
Sogang University(首尔大学)
提出Omni-Embed-Audio(OEA)检索编码器,利用多模态大语言模型原生理解音频,并通过用户意图查询(UIQ)和硬负样本挖掘,在文本到音频检索中达到与M2D-CLAP相当的性能,同时在文本到文本检索和硬负样本判别上显著优于现有方法。
2026-10-15 cs.CL cs.SD
ParaCLAP -- Towards a general language-audio model for computational paralinguistic tasks
University of Augsburg(奥格斯堡大学);Technical University of Munich(慕尼黑工业大学);Imperial College London(伦敦帝国学院)
本文提出面向计算副语言任务的 ParaCLAP 模型,通过新颖的音频-语言查询构建流程弥补 CP 领域配对数据缺失,并在多个 CP 任务上超越开源最先进模型。
2024-06-11 cs.SD eess.AS
Dissecting Temporal Understanding in Text-to-Audio Retrieval
University of Oxford(牛津大学);University of Tübingen(蒂宾根大学)
本文针对文本到音频检索中研究不足的声音时序理解问题,在AudioCaps和Clotho上剖析现有模型能力,并提出合成数据集和关注事件时序的损失函数以提升模型时序建模表现。
2024-09-01 cs.IR cs.LG cs.SD
A Sensitivity Analysis of Multi-Event Audio Grounding in Audio LLMs
Sogang University(ソンガン大学)
通过大规模评估,发现音频大语言模型在复杂声学场景中事件数量增加会导致真阳性率下降和假阳性率上升,提示词则引入权衡,模型对多事件音频更不确定。
2026-06-11 cs.SD
AudioBoost: Increasing Audiobook Retrievability in Spotify Search with Synthetic Query Generation
Spotify
针对Spotify有声读物冷启动可检索性偏差,提出AudioBoost系统,利用大模型基于元数据生成合成查询,同时改进查询补全和检索,离线验证质量,在线A/B测试提升展示、点击和探索性查询完成率。
2025-09-08 cs.IR cs.SD
T-CLAP: Temporal-Enhanced Contrastive Language-Audio Pretraining
University of Surrey(萨里大学);ByteDance(字节跳动);Shanghai Jiao Tong University(上海交通大学)
针对CLAP难以捕捉时间信息的问题,提出T-CLAP模型,利用LLM生成时间对比描述并设计时间聚焦对比损失微调模型,显著提升了音频事件时间关系的捕捉能力。
2024-04-27 cs.CL cs.LG cs.SD
AOR-Bench: Do Large Audio Language Models Over-Refuse Pseudo-Harmful Queries?
Penn State University(宾夕法尼亚州立大学)
提出首个针对大型音频语言模型过度拒绝问题的基准AOR-Bench,包含3000个伪有害音频样本,评估12个模型发现过度拒绝普遍存在,并探索了两种轻量缓解策略。
2026-08-27 cs.AI cs.SD
Refining Knowledge Transfer on Audio-Image Temporal Agreement for Audio-Text Cross Retrieval
Doshisha University(同志社大学);NTT Corporation(NTT公司)
针对音频-文本跨模态检索中数据稀缺问题,提出两种细化音频-图像时间一致性的匹配方法(最近匹配和多帧匹配),实验显示最近匹配有效提升音频-文本检索性能,表明时间一致性细化有助于知识迁移。
2024-03-16 cs.SD eess.AS
Improving Audio Anomalies Recognition Using Temporal Convolutional Attention Network
University of Sheffield(谢菲尔德大学)
语音记录中的异常音频通常是由说话者语音失真、外部噪声甚至电干扰引起的。这些障碍在某些领域已经成为一个严重的问题,例如高质量的音乐混合和语音处理。在本文中,一种新的方法,使用时间卷积注意力网络(TCAN),提出了解决这个问题。时间常规网络(TCN)的使用可以使用时间卷积滤波器的层次结构来捕获长范围模式。为了增强在不同声学条件下处理音频异常的能力,TCN中使用了注意机制,其中在每个时间卷积层之后添加了自注意块。该方法的目的是突出目标的相关特征,减少无关信息的干扰。为了评估所提出的模型的性能,从TIMIT数据集收集音频记录,然后通过添加五种不同类型的音频失真来改变:高斯噪声,幅度漂移,随机丢失,时间分辨率降低和时间扭曲。失真在不同信噪比(SNR)(5dB、10dB、15dB、20dB、25dB、30dB)下混合。实验结果表明,使用所提出的模型可以产生更好的分类性能比一些强基线方法,如LSTM和TCN的模型,约3 $\sim$ 10\%的相对改善。
2021-02-09 cs.SD eess.AS
Similar but Faster: Manipulation of Tempo in Music Audio Embeddings for Tempo Prediction and Search
SiriusXM-Pandora
本文提出节奏平移函数,在保持流派等属性的同时高效操控音乐音频嵌入中的节奏,用于检索相似但节奏不同的音轨,并验证其可提升节奏预测训练和最近邻检索效果。
2024-01-17 cs.DL cs.IR cs.LG
A Closer Look at Failure Modes in Temporal Understanding of Large Audio-Language Models
University of Maryland, College Park(马里兰大学帕克分校)
本文通过行为与因果机制分析,揭示大型音频语言模型在时间推理中因模态不平衡而失败,并提出注意力重分配方法提升准确率。
2026-06-17 cs.LG cs.SD
Steering Where to Listen: Instruction-Based Activation Steering Redirects Temporal Attention in Large Audio-Language Models
National Taiwan University(国立台湾大学);NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)(国立清华大学人工智能研究中心(NTU AI-CoRE))
提出基于指令的向量操控方法,通过对比不同指令下的激活来重定向音频令牌的时间注意力,实现无需训练的声音事件定位,显著优于直接提示和随机基线。
2026-06-11 cs.AI cs.SD eess.AS
TEMPO: Temporally-grounded Multi-task Post-training for Large Audio-Language Models
University of Maryland, College Park(马里兰大学帕克分校);CNH Industrial India(凯斯纽荷兰工业印度公司)
TEMPO是首个处理音频、语音和音乐时间戳任务的统一模型,通过SFT结合GRPO方法,在10K样本评估基准上优于Audio Flamingo Next等最先进模型。
2026-09-01 cs.AI cs.LG cs.SD
CoLLAP: Contrastive Long-form Language-Audio Pretraining with Musical Temporal Structure Augmentation
UC San Diego(加利福尼亚大学圣地亚哥分校);UC Los Angeles(加利福尼亚大学洛杉矶分校)
CoLLAP提出一种对比式长音频-语言预训练方法,通过音乐时间结构增强和注意力融合机制扩展音频与文本的感知窗口,并在长音频音乐文本检索及下游音乐信息检索任务中取得一致性能提升。
2024-10-03 cs.AI cs.SD eess.AS
Language-based Audio Retrieval Task in DCASE 2022 Challenge
基于文本的音频检索是一项任务,其中自然语言文本字幕被用作从数据集中检索音频信号的查询。它首次被引入DCASE 2022挑战赛,作为任务6的子任务6B,旨在开发计算系统来建模音频信号和自由形式的文本描述之间的关系。与为音频信号生成音频字幕的音频字幕(子任务6A)相比,基于语言的音频检索(子任务6B)侧重于根据音频信号与自然语言文本字幕的相关性对音频信号进行排序。在DCASE 2022 Challenge中,子任务6B的基线系统性能明显优于基线系统,最高性能为mAP@10的0.276。本文介绍了Subtask 6B在提交的系统的性能和分析方面的结果。
2022-10-04 cs.SD eess.AS
Deep Cross-Modal Correlation Learning for Audio and Lyrics in Music Retrieval
National Institute of Informatics(国立信息学研究所);The University of Electro-Communications(电气通信大学);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Hong Kong University of Science and Technology(香港科技大学)
很少有研究集中在跨模态相关学习,其中考虑到不同的数据模态,如音频和歌词的时间结构。基于音乐的时间结构特点,我们有动机去了解音频和歌词之间的深层序列相关性。在这项工作中,我们提出了一个深度跨模态相关学习架构,涉及用于音频模态和文本模态(歌词)的双分支深度神经网络。不同的模态数据被转换到同一个典型空间,其中模态间典型相关分析被用作目标函数来计算时间结构的相似性。这是第一次通过深度架构来理解语言和音乐音频之间的相关性,以学习音频和歌词的配对时间相关性。使用预训练的Doc2vec模型和全连接层(全连接深度神经网络)来表示歌词。在音频分支中做出了两个重要贡献,如下:i)研究了预训练的CNN,然后是完全连接的层,用于表示音乐音频。ii)我们进一步提出了一种端到端架构,可以同时训练卷积层和全连接层,以更好地学习音乐音频的时间结构。特别是,我们的端到端深度架构包含两个属性:同时实现特征学习和跨模态相关学习,以及通过考虑时间结构来学习联合表示。实验结果,使用音频检索歌词或使用歌词检索音频,验证了所提出的深度相关学习架构在跨模态音乐检索的有效性。
2017-11-29 cs.IR cs.SD eess.AS
Bridging High-Quality Audio and Video via Language for Sound Effects Retrieval from Visual Queries
New York University(纽约大学);Adobe Research(奥多比研究院)
针对视频帧检索高质量音效缺乏高质量训练数据的问题,本文提出用LLM与视觉-语言模型自动构建HQ音视频对,并训练对比学习检索系统,显著提升跨域泛化与用户偏好。
2023-08-17 cs.CV cs.IR cs.MM
Generative Extraction of Audio Classifiers for Speaker Identification
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Dalhousie University(达尔豪斯大学)
机器学习模型,特别是深度神经网络,特别容易受到攻击,这也许不再令人惊讶。模型提取是一种已经被充分研究的漏洞:攻击者试图通过训练代理模型来模仿受害者模型的决策边界,从而窃取受害者模型的现象。以前的工作已经证明了这种攻击的有效性及其破坏性后果,但这项工作主要是针对图像和文本处理任务。我们的工作是第一次尝试执行模型提取{ \em音频分类模型}。我们受到攻击者的激励,攻击者的目标是模仿受害者的模型的行为,该模型被训练来识别说话者。这在诸如生物特征认证之类的安全敏感领域中尤其成问题。我们发现,先前的模型提取技术,其中攻击者\textit{naively}使用代理数据集来攻击潜在的受害者的模型,失败。因此,我们建议使用生成模型来创建一个足够大的和多样化的合成攻击查询池。我们发现,我们的方法是能够提取一个受害者的模型训练\texttt{LibriSpeech}使用查询合成的代理数据集的基础上关闭\texttt{VoxCeleb},我们实现了测试准确率为84.41%的预算为300万查询。
2022-07-26 cs.CR cs.SD eess.AS
FreeSonic: Training-Free Temporal-Aware Decoupled Attention for Precise Audio Editing
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团);Monash University(蒙纳士大学);Renmin University of China(中国人民大学);Fudan University(复旦大学)
提出FreeSonic,一种无需训练的框架,利用基于Rectified Flow的TangoFlux模型,通过优化反转-逆过程、联合文本-音频注意力图以及调度注意力解耦,实现精确且一致的音频编辑,同时保持背景保真度。
2026-06-16 cs.AI cs.SD eess.AS
Rethinking Audio-Visual Adversarial Vulnerability from Temporal and Modality Perspectives
University of Rochester(罗切斯特大学);Sony Group Corporation(索尼集团公司)
本文研究了音视频模型在时间和模态层面的对抗脆弱性,提出了时间不变性攻击和模态错位攻击,并引入结合高效多模态扰动构建与对抗课程策略的音视频对抗训练框架,有效提升了模型的攻防性能与训练效率。
2025-03-02 cs.CV cs.SD
Augmenting Large Audio-Language Models with Frame-Level Grounding for Fine-Grained Temporal Perception
University of Science and Technology of China(中国科学技术大学);Singapore Institute of Technology(新加坡理工大学)
本研究通过为大型音频-语言模型增加帧级定位模型,利用语义查询与细粒度音频特征结合,显著提升事件时间定位的精度和可靠性。
2026-09-15 cs.AI cs.SD
Audio Deepfake Detection Using Temporal Coherence Analysis
University of California, Berkeley(加州大学伯克利分校)
提出基于CLAP嵌入的时间一致性分析框架,通过余弦相似度与统计特征训练轻量集成分类器,有效检测语音和音乐深度伪造,并发现特征-标签反转与语音-音乐方向反转现象。
2026-09-10 cs.CR cs.SD
Multimodal Self-Attention Network with Temporal Alignment for Audio-Visual Emotion Recognition
本文提出基于Transformer的多模态自注意力网络,通过时间对齐旋转位置嵌入和跨时间匹配损失,解决音频-视觉情感识别中的跨模态帧率不匹配问题,提升时间线索保留和跨模态融合效果。
2026-03-11 cs.MM cs.SD eess.SP