Language-based Audio Moment Retrieval
LY Corporation(LY公司)
本文提出音频时刻检索任务,构建Clotho-Moment数据集和AM-DETR模型,利用时间依赖超越片段级方法,在Recall1@0.7上提升9.00点。
2025-08-04 cs.CL cs.SD eess.AS
Audio-to-Image Bird Species Retrieval without Audio-Image Pairs via Text Distillation
Inria, LIRMM, Université de Montpellier(法国国家信息与自动化研究所,蒙彼利埃计算机科学、机器人学与微电子学实验室,蒙彼利埃大学);University of Kassel(卡塞尔大学)
本文提出无需音频图像配对的音频到图像检索方法,通过文本作为语义中介,利用预训练图像文本模型蒸馏出音频文本模型,实现音频与图像表示的对齐,从而在数据稀缺的生物声学场景中有效进行物种识别。
2026-04-04 cs.IR cs.LG cs.SD
Separate What You Describe: Language-Queried Audio Source Separation
University of Surrey(萨里大学);ByteDance(字节跳动)
在本文中,我们介绍了语言查询音频源分离(LASS)的任务,其目的是基于目标源的自然语言查询(例如,“一个人讲了一个笑话,人们跟着笑”)。LASS中的一个独特挑战与自然语言描述的复杂性及其与音频源的关系有关。为了解决这个问题,我们提出了LASS-Net,这是一种端到端的神经网络,可以学习联合处理声学和语言信息,并从音频混合中分离出与语言查询一致的目标源。我们评估我们提出的系统与AudioCaps数据集创建的数据集的性能。实验结果表明,LASS-Net实现了相当大的改进基线方法。此外,我们观察到LASS-Net在使用不同的人类注释描述作为查询时取得了有希望的泛化结果,表明其在现实世界中的潜在用途。分离的音频样本和源代码可在https://liuxubo717.github.io/LASS-demopage上获得。
2022-03-28 cs.AI cs.CL cs.SD
AMSS-Net: Audio Manipulation on User-Specified Sources with Textual Queries
Korea University(高丽大学);Queen Mary University of London(伦敦玛丽女王大学);Korea National Open University(韩国放送通信大学)
本文提出了一种神经网络,该神经网络对用户指定的源(例如,人声),同时保留本说明书中未提及的其它源。对特定源的音频操纵(AMSS)是具有挑战性的,因为声音对象(即,波形样本或频率仓)是“连续的”;与图像中的像素相比,它通常携带来自多个源的信息。为了解决这个具有挑战性的问题,我们提出了AMSS-Net,它提取潜在的源,并选择性地操纵它们,同时保留不相关的源。我们还提出了几个AMSS任务的评估基准,我们表明,AMSS-Net优于基线的AMSS任务,通过客观的指标和经验验证。
2021-04-28 cs.LG cs.SD eess.AS
Audio Does Matter: Importance-Aware Multi-Granularity Fusion for Video Moment Retrieval
Zhejiang University(浙江大学);Peking University(北京大学);Zhejiang Gongshang University(浙江工商大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Science and Technology of China(中国科学技术大学)
提出重要性感知多粒度融合模型(IMG),动态加权音频并多粒度融合音视频,解决视频时刻检索中噪声音频干扰问题,构建新数据集并达到最先进性能。
2025-10-25 cs.CV cs.IR cs.MM
Don't Just Listen, Try Planning: Graph-based Retrieval-Generation Agent for Long-form Audio Meeting Understanding
Jiangsu Key Lab of Language Computing(江苏省语言计算重点实验室)
针对长音频会议理解任务的问答数据集稀缺及现有语音模型的声学信息丢失、长期记忆差问题,构建LongAudioQA数据集,提出基于图的GRGA模型,利用智能体规划实现检索与答案生成。
2026-08-26 cs.AI cs.SD
CLIPSep: Learning Text-queried Sound Separation with Noisy Unlabeled Videos
Sony Group Corporation(索尼集团公司);University of California San Diego(加州大学圣地亚哥分校)
近年来,已经看到了超越语音或音乐的特定领域的声音分离朝着任意声音的通用声音分离的进展。关于通用声音分离的现有工作已经研究了在给定文本查询的情况下从音频混合中分离出目标声音。这样的文本查询声音分离系统提供用于指定任意目标声音的自然且可缩放的接口。然而,有监督的文本查询声音分离系统需要昂贵的标记的音频文本对进行训练。此外,现有数据集中提供的音频通常是在受控环境中记录的,这导致了与野外嘈杂音频的相当大的泛化差距。在这项工作中,我们的目标是通过只使用未标记的数据来接近文本查询的通用声音分离。我们建议利用视觉模态作为桥梁,学习所需的音频文本对应。CLIPSep模型首先使用对比语言-图像预训练(CLIP)模型将输入查询编码成查询向量,然后使用查询向量调节音频分离模型以分离出目标声音。虽然模型是在从未标记的视频中提取的图像-音频对上训练的,但在测试时,我们可以在zero-shot设置中使用文本输入查询模型,这要归功于CLIP模型学习的联合语言-图像嵌入。此外,野外视频通常包含屏幕外声音和背景噪声,这可能会阻碍模型学习所需的音频-文本对应关系。为了解决这个问题,我们进一步提出了一种称为噪声不变训练的方法,用于在噪声数据上训练基于查询的声音分离模型。实验结果表明,所提出的模型成功地学习文本查询的通用声音分离只使用嘈杂的未标记的视频,甚至在某些设置中实现对监督模型的竞争性能。
2023-03-03 cs.CV cs.LG cs.MM
Event-Grounded Question Answering over Long Audio via Structured Retrieval
Qualcomm Technologies, Inc., India(印度高通技术公司);Qualcomm Technologies, Inc., USA(美国高通技术公司);University of Turku, Finland(芬兰图尔库大学)
提出LA-RAG框架,通过音频基础模型将长音频转为带时间戳的事件记录并存入SQL数据库,结合意图感知检索和LLM生成,实现低延迟高精度的长音频问答,在多个基准上提升时间定位F1达11-17%。
2026-06-29 cs.AI cs.LG eess.AS
Show Me the Instruments: Musical Instrument Retrieval from Mixture Audio
Seoul National University(首尔大学)
随着数字音乐制作成为主流,选择合适的虚拟乐器在决定音乐质量方面起着至关重要的作用。为了搜索乐器样本或虚拟乐器,使一个人想要的声音,音乐制作人用他们的耳朵听和比较每个乐器样本在他们的集合,这是费时和低效的。在本文中,我们称之为乐器检索这项任务,并提出了一种方法检索所需的乐器使用参考音乐混合作为查询。该模型由基于卷积神经网络的单仪器编码器和多仪器编码器组成。单乐器编码器被训练用于对单声道音频中使用的乐器进行分类,并且我们将其倒数第二层的激活作为乐器嵌入。多仪器编码器被训练为使用由单仪器编码器计算的仪器嵌入作为一组目标嵌入来估计多个仪器嵌入。为了更广泛的训练和现实评估,我们还提出了一个名为Nlakh的新数据集。实验结果表明,单乐器编码器能够学习从未见过乐器的音频信号到乐器嵌入空间的映射,而多乐器编码器能够从混合音乐中提取多个嵌入并成功检索所需乐器。用于实验的代码和音频样本可在以下网址获得:https://github.com/minju0821/musical_instrument_retrieval
2022-11-15 cs.LG cs.SD eess.AS
Probabilistic Compositional Embeddings for Multimodal Image Retrieval
University of Tübingen(图宾根大学);MPI for Informatics(马克斯·普朗克信息学研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
现有的图像检索工作往往考虑检索图像与一个或两个查询输入,不推广到多个查询。在这项工作中,我们研究了一个更具挑战性的情况下,组成多个多模态查询图像检索。给定任意数量的查询图像和(或)文本,我们的目标是检索包含多个多模态查询中指定的语义概念的目标图像。为了学习信息嵌入,可以灵活地编码各种查询的语义,我们提出了一种新的多模态概率作曲家(MPC)。具体来说,我们输入的图像和文本的概率嵌入模型,可以进一步组成的概率组成规则,以促进图像检索与多模态查询。我们提出了一个新的基准的MS-COCO数据集的基础上,并评估我们的模型上的各种设置,组成多个图像和(或)文本查询多模态图像检索。没有花里胡哨的,我们表明,我们的概率模型制定显着优于现有的相关方法多模态图像检索,同时推广以及查询与任意视觉和(或)文本形式的不同数量的输入。代码可在这里:https://github.com/andreineculai/MPC.
2022-04-12 cs.CV cs.LG
ALM2Vec: Learning Audio Embeddings for Universal Audio Retrieval with Large Audio-Language Models
Zhejiang University(浙江大学);Johns Hopkins University(约翰霍普金斯大学)
提出ALM2Vec框架,利用预训练大型音频语言模型学习统一嵌入空间,实现跨域、任务感知的音频检索,支持指令感知检索,在标准基准上表现优异。
2026-07-01 cs.AI cs.SD eess.AS
Automated Audio Captioning and Language-Based Audio Retrieval
Carnegie Mellon University(卡内基梅隆大学)
本项目参与DCASE 2022任务6,针对自动音频字幕生成与基于语言的音频检索两个子任务,基于Clotho数据集改进基线模型,最终音频检索模型超越基线,字幕生成接近基线。
2023-05-15 cs.CL cs.IR cs.SD
Leveraging Audio-Only Data for Text-Queried Target Sound Extraction
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室);Waseda University(早稻田大学)
本文提出利用纯音频数据结合嵌入丢弃法训练文本查询目标声音提取模型,以解决文本-音频对稀缺问题,实验证明该方法与使用文本描述训练效果相当。
2024-09-20 cs.SD eess.AS
On Negative Sampling for Contrastive Audio-Text Retrieval
Tampere University(坦佩雷大学)
本文研究了音频文本检索中的对比学习中的负采样问题。负采样的策略是指从正音频-文本对的候选池中选择负(音频片段或文本描述)。我们通过模型估计的音频和文本样本的模态内和跨模态相关性分数探索采样策略。在文献[1]的检索系统上,我们研究了八种抽样策略,包括硬和半硬负抽样。实验结果表明,不同策略的检索性能差异很大.特别地,通过选择具有跨模态分数的半硬否定,检索系统在文本到音频和音频到文本检索中获得改进的性能。此外,我们发现,功能崩溃时发生采样硬否定与跨模态分数。
2023-02-17 cs.SD eess.AS
Application of Audio Fingerprinting Techniques for Real-Time Scalable Speech Retrieval and Speech Clusterization
Faculty of Science, University of Sarajevo(科学学院,萨拉热窝大学);Infobip(Infobip公司)
本文针对电信与云平台中的语音检索与聚类,改进音频指纹技术,实现无需GPU的快速批处理,并支持基于转录的聚类。
2025-09-25 cs.IR cs.SD eess.AS
On Metric Learning for Audio-Text Cross-Modal Retrieval
University of Surrey(萨里大学)
音频文本检索的目的是在给定另一模态的查询的情况下从候选者池中检索目标音频片段或字幕。解决这种跨模态检索任务是具有挑战性的,因为它不仅需要学习两种模态的鲁棒特征表示,而且还需要捕获这两种模态之间的细粒度对齐。现有的跨模态检索模型大多是通过度量学习目标来优化的,因为它们都试图将数据映射到嵌入空间,在嵌入空间中,相似的数据靠得很近,不相似的数据相距很远。与其他跨模态的检索任务,如图像-文本和视频-文本检索,音频-文本检索仍然是一个未开发的任务。在这项工作中,我们的目标是研究不同的度量学习目标对音频文本检索任务的影响。我们对AudioCaps和Clotho数据集上流行的度量学习目标进行了广泛的评估。我们证明了自监督学习的NT-Xent损失在不同的数据集和训练设置中表现出稳定的性能,并且优于流行的基于三元组的损失。我们的代码可在https://github.com/XinhaoMei/audio-text_retrieval上获得。
2022-06-30 cs.SD eess.AS
Language-based Audio Retrieval Task in DCASE 2022 Challenge
基于文本的音频检索是一项任务,其中自然语言文本字幕被用作从数据集中检索音频信号的查询。它首次被引入DCASE 2022挑战赛,作为任务6的子任务6B,旨在开发计算系统来建模音频信号和自由形式的文本描述之间的关系。与为音频信号生成音频字幕的音频字幕(子任务6A)相比,基于语言的音频检索(子任务6B)侧重于根据音频信号与自然语言文本字幕的相关性对音频信号进行排序。在DCASE 2022 Challenge中,子任务6B的基线系统性能明显优于基线系统,最高性能为mAP@10的0.276。本文介绍了Subtask 6B在提交的系统的性能和分析方面的结果。
2022-10-04 cs.SD eess.AS
Audiobox TTA-RAG: Improving Zero-Shot and Few-Shot Text-To-Audio with Retrieval-Augmented Generation
University of Texas at Dallas(德克萨斯大学达拉斯分校);Meta AI
本文提出 Audiobox TTA-RAG,通过在文本条件之外引入检索到的音频样本作为条件输入,不依赖带标签数据库,显著提升零样本和少样本文本到音频生成性能,同时保持在域内生成能力。
2025-06-06 cs.SD eess.AS
HARP: Agentic Hybrid Retrieval and Analysis for Long-Form Audio
Carnegie Mellon University(卡内基梅隆大学);Hippocratic AI(希波克拉底人工智能公司)
HARP提出智能体混合检索框架,结合关键词与向量搜索及多模态证据,将长音频分析答案准确率提升约10%,并强调超越答案准确率的评估。
2026-09-15 cs.SD eess.AS
Refining Knowledge Transfer on Audio-Image Temporal Agreement for Audio-Text Cross Retrieval
Doshisha University(同志社大学);NTT Corporation(NTT公司)
针对音频-文本跨模态检索中数据稀缺问题,提出两种细化音频-图像时间一致性的匹配方法(最近匹配和多帧匹配),实验显示最近匹配有效提升音频-文本检索性能,表明时间一致性细化有助于知识迁移。
2024-03-16 cs.SD eess.AS
Hybrid-Sep: Language-queried audio source separation via pre-trained Model Fusion and Adversarial Diffusion Training
HybridSep提出两阶段语言查询音频分离框架,融合SSL声学表示与CLAP语义嵌入,并引入对抗一致性训练,在多个指标上超越现有基线,树立新基准。
2025-06-20 cs.SD eess.AS
Advancing Natural-Language Based Audio Retrieval with PaSST and Large Audio-Caption Data Sets
Johannes Kepler University(约翰内斯·开普勒大学)
本文提出基于预训练文本和频谱图Transformer的文本到音频检索系统,通过共享音频-字幕空间实现跨模态检索,识别出音频编码器和预训练数据扩充两个关键因素,在DCASE 2023和ClothoV2上取得领先性能。
2023-08-08 cs.IR cs.LG cs.SD
AudioRAG: A Challenging Benchmark for Audio Reasoning and Information Retrieval
AudioRAG是一个用于评估音频推理和信息检索能力的挑战性基准,通过整合检索增强生成技术,为未来研究提供更强大的基准。
2026-02-11 cs.SD eess.AS
Neural Audio Fingerprint for High-specific Audio Retrieval based on Contrastive Learning
Seoul National University(首尔国立大学);SK Telecom(SK电讯)
大多数现有的音频指纹识别系统在用于大规模的高特异性音频检索方面具有局限性。在这项工作中,我们从音频的短单元段生成一个低维表示,并将此指纹与快速最大内积搜索相结合。为此,我们提出了一个对比学习框架,来自段级搜索目标。训练中的每次更新都使用一批由一组伪标签、随机选择的原始样本及其增强副本组成的批。这些复制品可以通过应用小的时间偏移和各种类型的失真(例如背景噪声和房间/麦克风脉冲响应)来模拟对原始音频信号的降级效果。在段级搜索任务中,传统的音频指纹识别系统过去常常失败,我们的系统使用10倍的小存储空间,显示出有希望的结果。我们的代码和数据集可在\url{https://mimbres.github.io/neural-audio-fp/}上获得。
2021-02-10 cs.IR cs.LG cs.SD
Matching Text and Audio Embeddings: Exploring Transfer-learning Strategies for Language-based Audio Retrieval
Huawei Technologies(华为技术有限公司);Universitat Pompeu Fabra(庞培法布拉大学)
我们对用于跨模态(文本到音频)检索的大规模预训练深度学习模型进行了分析。我们使用这些模型在度量学习框架中提取的嵌入来连接匹配的音频和文本对。浅层神经网络将嵌入映射到一个共同的维度。我们的系统,这是我们提交的DCASE挑战赛2022年的基于存储的音频检索任务的扩展,采用了RoBERTa基础模型作为文本嵌入提取器。预训练的PANN模型提取音频嵌入。为了提高我们模型的泛化能力,我们研究了从在线平台Freesound收集的音频和相关噪声文本的预训练如何提高我们方法的性能。此外,我们的消融研究表明,正确选择的损失函数和微调预训练模型是必不可少的训练竞争检索系统。
2022-10-06 cs.CL cs.IR cs.LG
Improving Text-Audio Retrieval by Text-aware Attention Pooling and Prior Matrix Revised Loss
Peking University(北京大学)
在文本-音频检索(TAR)任务中,由于文本和音频之间的内容异构性,文本中包含的语义信息仅与音频中的某些帧相似。然而,现有的作品在不考虑文本的情况下聚合整个音频,例如在帧上的均值池化,这可能对给定文本中未描述的误导性音频信息进行编码。在本文中,我们提出了一个文本感知的注意力池(TAP)模块TAR,这本质上是一个缩放的点积注意力的文本出席其语义上最相似的框架。此外,以前的方法只对每一个单边检索进行softmax,忽略了潜在的交叉检索信息。通过探索每个文本-音频对的内在先验,我们引入先验矩阵修正(PMR)损失来过滤具有高(或低)文本到音频但低(或高)音频到文本相似性得分的硬情况,从而实现双重最佳匹配。实验表明,我们的TAP显着优于各种文本无关的池功能。此外,我们的PMR损失还显示了多个数据集上的稳定性能增益。
2023-03-30 cs.SD eess.AS
Audio-text Retrieval in Context
Shanghai Jiao Tong University(上海交通大学)
基于自然语言描述的音频文本检索是一项具有挑战性的任务。它涉及在不充分的数据条件下学习长序列之间的跨模态比对。在这项工作中,我们研究了几个音频功能,以及更好的音频文本对齐的序列聚合方法。此外,通过定性分析,我们观察到,语义映射是更重要的上下文检索比时间关系。使用预先训练的音频特征和基于聚类的聚合方法,我们建立了我们的上下文音频文本检索系统。具体来说,我们利用在大型声音事件数据集和NetRVLAD池上预训练的PANN特征,NetRVLAD池直接与平均描述符一起工作。在AudioCaps和CLOTHO数据集上进行了实验,并将结果与以前的最先进的系统进行了比较。与我们提出的系统,一个显着的改善已经取得了双向音频文本检索,所有指标,包括召回,中位数和平均排名。
2022-03-29 cs.CL cs.SD eess.AS
Language-Based Audio Retrieval with Converging Tied Layers and Contrastive Loss
ST Engineering Mission Software & Services Pte. Ltd(ST工程任务软件与服务私人有限公司)
在本文中,我们解决了DCASE 2022中提出的新的基于数据库的音频检索任务。首先,我们介绍了一个简单的,可扩展的架构,将音频和文本编码器联系在一起。其次,我们表明,使用这种架构以及对比损失允许模型显着击败基线模型的性能。最后,除了具有极低的训练内存要求外,我们还能够使用预训练的模型,而无需对它们进行微调。我们测试了我们的方法,并表明使用我们的方法的组合击败了基线分数显着。
2022-06-29 cs.CL cs.IR cs.SD
Deep Cross-Modal Correlation Learning for Audio and Lyrics in Music Retrieval
National Institute of Informatics(国立信息学研究所);The University of Electro-Communications(电气通信大学);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Hong Kong University of Science and Technology(香港科技大学)
很少有研究集中在跨模态相关学习,其中考虑到不同的数据模态,如音频和歌词的时间结构。基于音乐的时间结构特点,我们有动机去了解音频和歌词之间的深层序列相关性。在这项工作中,我们提出了一个深度跨模态相关学习架构,涉及用于音频模态和文本模态(歌词)的双分支深度神经网络。不同的模态数据被转换到同一个典型空间,其中模态间典型相关分析被用作目标函数来计算时间结构的相似性。这是第一次通过深度架构来理解语言和音乐音频之间的相关性,以学习音频和歌词的配对时间相关性。使用预训练的Doc2vec模型和全连接层(全连接深度神经网络)来表示歌词。在音频分支中做出了两个重要贡献,如下:i)研究了预训练的CNN,然后是完全连接的层,用于表示音乐音频。ii)我们进一步提出了一种端到端架构,可以同时训练卷积层和全连接层,以更好地学习音乐音频的时间结构。特别是,我们的端到端深度架构包含两个属性:同时实现特征学习和跨模态相关学习,以及通过考虑时间结构来学习联合表示。实验结果,使用音频检索歌词或使用歌词检索音频,验证了所提出的深度相关学习架构在跨模态音乐检索的有效性。
2017-11-29 cs.IR cs.SD eess.AS
A Reference-free Metric for Language-Queried Audio Source Separation using Contrastive Language-Audio Pretraining
Harbin Engineering University(哈尔滨工程大学);University of Technology Sydney(悉尼科技大学);University of Surrey(萨里大学);Harbin Institute of Technology(哈尔滨工业大学);University of Sheffield(谢菲尔德大学)
针对LASS中SDR指标依赖参考信号且忽略文本语义的问题,本文提出基于CLAP的无参考指标CLAPScore,通过衡量分离音频与文本查询的语义相似度实现有效评估。
2025-01-06 cs.SD eess.AS
Audio-based Near-Duplicate Video Retrieval with Audio Similarity Learning
Information Technologies Institute, CERTH(希腊研究与技术基金会信息技术研究所);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
在这项工作中,我们解决了基于音频的近重复视频检索的问题。我们提出了音频相似性学习(AuSiL)的方法,有效地捕捉视频对之间的音频相似性的时间模式。对于两个视频之间的鲁棒相似性计算,我们首先通过利用基于在大规模音频事件数据集上训练的卷积神经网络(CNN)的迁移学习来提取代表性的基于音频的视频描述符,然后我们计算从这些描述符的成对相似性导出的相似性矩阵。相似性矩阵随后被馈送到CNN网络,该网络捕获其内容中存在的时间结构。我们按照三元组生成过程和优化三元组损失函数来训练我们的网络。为了评估所提出的方法的有效性,我们手动注释两个公开的视频数据集的基础上,他们的视频之间的音频重复。所提出的方法实现了非常有竞争力的结果相比,三个国家的最先进的方法。此外,与竞争的方法,它是非常强大的速度转换生成的音频副本的检索。
2021-01-11 cs.IR cs.LG cs.MM
Phase retrieval with Bregman divergences: Application to audio signal recovery
IRIT, Université de Toulouse, CNRS(图卢兹大学IRIT研究所,法国国家科学研究中心);ISAE-SUPAERO(法国高等航空航天学院)
相位恢复的目的是从幅度或功率谱测量中恢复信号。它通常通过考虑涉及二次成本函数的最小化问题来解决。我们提出了一个不同的配方的基础上Bregman分歧,其中包括分歧,是适当的音频信号处理应用。我们推导出一个快速梯度算法来解决这个问题。
2020-11-25 cs.SD eess.AS
Audio Retrieval with WavText5K and CLAP Training
Microsoft(微软)
音频文本检索采用自然语言查询来检索数据库中的相关音频文件。相反,文本音频检索将音频文件作为查询来检索相关的自然语言描述。大多数文献训练检索系统与一个音频字幕数据集,但评估的好处,训练与多个数据集是underexplored。此外,检索系统必须学习描述长度从几秒到几分钟不等的音频内容的详细句子之间的对齐。在这项工作中,我们提出了一个新的收集网络音频文本对和一个新的检索框架。首先,我们提供了一个大约5000个网络音频文本对的新集合,我们称之为WavText 5 K。当用于训练我们的检索系统时,WavText 5 K比其他音频字幕数据集提高了性能。其次,我们的框架通过使用文本编码器,两个音频编码器和对比学习目标来学习连接语言和音频内容。结合两个音频编码器有助于处理可变长度音频。这两个贡献击败了AudioCaps和Clotho在文本-音频检索方面的最新性能,分别为2%和16%,以及6%和23%的音频-文本检索。
2022-09-28 cs.AI eess.AS
DiffATR: Diffusion-based Generative Modeling for Audio-Text Retrieval
School of ECE, Peking University(北京大学电子学院)
针对现有判别式音频-文本检索方法难以辨别分布外数据的问题,提出基于扩散的生成式框架DiffATR,通过建模联合概率并融合生成与对比损失进行优化,在多个数据集上取得优异性能且在域外检索中表现稳健。
2024-10-17 cs.IR cs.SD eess.AS
Exploring Text-Queried Sound Event Detection with Audio Source Separation
School of Marine Science and Technology, Northwestern Polytechnical University(西北工业大学海洋科学与技术学院);Alibaba Group(阿里巴巴集团);Fortemedia Singapore(Fortemedia新加坡公司)
本文提出 TQ-SED 框架,通过预训练改进的 AudioSep-DP 语言查询音频源分离模型分离重叠事件,再由多分支检测目标声音,显著提升 SED 性能。
2025-01-10 cs.SD eess.AS
The language of sound search: Examining User Queries in Audio Search Engines
Huawei Technologies(华为技术有限公司);Universitat Pompeu Fabra(庞培法布拉大学)
本研究通过分析定制调查和Freesound日志中的用户查询,揭示了声音搜索引擎中用户查询的长度、关键词偏好及影响因素,为开发以用户为中心的基于文本的音频检索系统提供了关键见解。
2024-10-10 cs.CL cs.HC cs.IR
Enhancing Retrieval-Augmented Audio Captioning with Generation-Assisted Multimodal Querying and Progressive Learning
Interdisciplinary Program in Artificial Intelligence(人工智能交叉学科项目);Department of Intelligence and Information(智能与信息系)
针对音频字幕检索仅用单模态音频查询的局限,提出生成辅助多模态查询与渐进式交错音频-文本对学习策略,在多个基准上达到最先进性能。
2025-06-10 cs.AI cs.SD eess.AS
Killing two birds with one stone: Can an audio captioning system also be used for audio-text retrieval?
IRIT(图卢兹计算机科学研究所);Université Paul Sabatier(保罗·萨巴蒂埃大学);CNRS(法国国家科学研究中心);Artificial and Natural Intelligence Toulouse Institute (ANITI)(图卢兹人工智能与自然智能研究所(ANITI))
本研究探索未经微调的音频字幕生成系统在音频-文本检索中的潜力,利用交叉熵损失值实现检索,在AudioCaps上文本到音频R@1达0.382,超过无外部数据的最先进方法。
2023-08-29 cs.CL cs.IR cs.SD
Pretrained Conformers for Audio Fingerprinting and Retrieval
Infobip;Faculty of Science, University of Sarajevo(萨拉热窝大学科学学院)
本研究利用自监督对比学习框架训练基于Conformer的编码器,仅需3秒音频即可生成独特嵌入,在音频检索任务中达到最先进水平,且对时间错位及噪声等失真具有强鲁棒性。
2025-09-11 cs.AI cs.IR cs.SD
Crowdsourcing and Evaluating Text-Based Audio Retrieval Relevances
Tampere University(坦佩雷大学)
本文研究如何用众包评分标注文本-音频检索相关性,并通过对比学习实验发现,相比音频描述对产生的二值相关性,额外加入二值化众包相关性并无明显收益。
2023-08-15 cs.SD eess.AS
iQuery: Instruments as Queries for Audio-Visual Sound Separation
UC San Diego(加州大学圣地亚哥分校);Shanghai AI Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);National University of Singapore(新加坡国立大学);ShanghaiTech University(上海科技大学);University of Pennsylvania(宾夕法尼亚大学)
当前的视听分离方法共享标准架构设计,其中音频编码器-解码器网络在编码器瓶颈处与视觉编码特征融合。该设计混淆了多模态特征编码的学习与用于音频分离的鲁棒声音解码。推广到一种新乐器:必须为所有乐器微调整个视觉和音频网络。我们重新制定视听分离的任务,并提出了一个灵活的查询扩展机制的查询(iQuery)的仪器。我们的方法确保了跨模态的一致性和跨仪器的解纠缠。我们利用“视觉命名”查询启动学习的音频查询,并使用跨模态的注意力,以消除潜在的声源干扰估计波形。为了推广到新的仪器或事件类,从文本提示设计中汲取灵感,我们插入一个额外的查询作为音频提示,同时冻结注意力机制。三个基准测试的实验结果表明,我们的iQuery提高视听声音声源分离性能。
2022-12-08 cs.CV cs.MM cs.SD
Attention as a Perspective for Learning Tempo-invariant Audio Queries
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Charles University(查理大学)
当前的音频--通过多模态嵌入空间学习的乐谱检索模型使用卷积神经网络,其输入音频窗口大小固定。根据查询演奏的节奏,该窗口捕获或多或少的音乐内容,而乐谱中的音符头密度在很大程度上与节奏无关。在这项工作中,我们解决了这种差异与软注意力机制,它允许模型编码的音频摘录,最相关的高效查询代码的那些部分。对古典钢琴音乐的实验结果表明,注意有利于提取绩效,并表现出直观的吸引力行为。
2018-09-15 cs.LG cs.SD eess.AS
Fusing Audio and Metadata Embeddings Improves Language-based Audio Retrieval
Institute of Computational Perception(计算感知研究所);LIT Artificial Intelligence Lab(LIT人工智能实验室);Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
本文提出利用关键词等音频元数据,并通过后期或中层融合增强基于语言的音频检索,在 ClothoV2 与 AudioCaps 上分别将 mAP@10 提升 2.36 和 3.69 个百分点。
2024-07-02 cs.LG cs.SD eess.AS
Language-Queried Target Sound Extraction Without Parallel Training Data
School of Information Science and Engineering, Shandong University(山东大学信息科学与工程学院);North Carolina State University(北卡罗来纳州立大学);ARC Lab, Tencent PCG(腾讯PCG ARC实验室);Key Laboratory of System and Control, AMSS, Chinese Academy of Sciences(中国科学院数学与系统科学研究院系统与控制重点实验室);The Chinese University of Hong Kong(香港中文大学)
针对语言查询目标声音提取需大量并行标注数据的问题,提出基于CLAP的无并行数据训练方案,通过检索增强策略解决模态差距与过拟合问题,性能优于现有最优方法且泛化性更好。
2025-03-21 cs.SD eess.AS
WavRAG: Audio-Integrated Retrieval Augmented Generation for Spoken Dialogue Models
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Beijing University of Technology(北京工业大学)
本文提出端到端原生音频RAG框架WavRAG,通过WavRetriever直接检索原始音频并统一文本-音频知识,在性能相当的情况下较ASR-Text流程提速10倍。
2025-02-20 cs.AI cs.SD eess.AS
Towards Robust and Truly Large-Scale Audio-Sheet Music Retrieval
Johannes Kepler University Linz(林茨约翰·开普勒大学)
本文系统梳理了基于深度学习的音频-乐谱跨模态检索的现状,明确真实场景中的主要挑战,总结已有改进,并提出后续解决思路,以推动稳健且大规模的统一检索方法。
2023-09-21 cs.IR cs.LG cs.SD
AudioNet: Supervised Deep Hashing for Retrieval of Similar Audio Events
RITMO Centre for Interdisciplinary Studies in Rhythm, Time and Motion Department of Musicology, University of Oslo(奥斯陆大学音乐学系节奏、时间与运动跨学科研究中心);Department of Electrical Engineering, Indian Institute of Technology Kanpur, India(印度坎普尔理工学院电气工程系)
提出有监督深度哈希系统AudioNet,结合加权对比损失、成对损失与哈希码平衡及离散梯度传播优化二进制码,在多标准数据集上实现高效的相似音频事件检索并确立新基线。
2025-11-03 eess.AS
Passage Summarization with Recurrent Models for Audio-Sheet Music Retrieval
Institute of Computational Perception(计算感知研究所);LIT Artificial Intelligence Lab(LIT人工智能实验室);Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
本文提出跨模态循环网络学习联合嵌入,以弱对齐音频-乐谱对实现长乐段摘要,有效处理速度差异,在合成与真实钢琴数据上均取得更准确的检索效果。
2023-09-21 cs.IR cs.LG cs.SD
Improving Natural-Language-based Audio Retrieval with Transfer Learning and Audio & Text Augmentations
Institute of Computational Perception (CP-JKU)(计算感知研究所(CP-JKU));LIT Artificial Intelligence Lab(LIT人工智能实验室);Johannes Kepler University(约翰内斯·开普勒大学)
在深度学习的许多应用领域中,缺乏大型标记数据集仍然是一个重大挑战。研究人员和从业人员通常会求助于迁移学习和数据增强来缓解这个问题。我们研究这些策略的背景下,音频检索与自然语言查询(任务6b的DCASE 2022挑战)。我们提出的系统使用预先训练的嵌入模型将录音和文本描述投影到共享的音频字幕空间中,在该空间中,来自不同模态的相关示例非常接近。我们在音频和文本输入上采用各种数据增强技术,并通过基于模型的顺序优化系统地调整其相应的超参数。我们的研究结果表明,所使用的增强策略减少过拟合,提高检索性能。
2022-10-29 cs.LG cs.SD eess.AS
Performance Improvement of Language-Queried Audio Source Separation Based on Caption Augmentation From Large Language Models for DCASE Challenge 2024 Task 9
Gwangju Institute of Science and Technology(光州科学技术院);Aunion AI, Co. Ltd.(Aunion AI有限公司)
针对语言查询音频源分离任务,提出基于提示工程的LLM字幕增强方法,通过实验确定有效提示生成字幕训练模型,在DCASE 2024 Task 9验证集上性能优于未增强模型,证实该方法有效性。
2024-11-27 cs.AI cs.SD eess.AS
Language-based Audio Retrieval Task in DCASE 2022 Challenge
基于文本的音频检索是一项任务,其中自然语言文本字幕被用作从数据集中检索音频信号的查询。它首次被引入DCASE 2022挑战赛,作为任务6的子任务6B,旨在开发计算系统来建模音频信号和自由形式的文本描述之间的关系。与为音频信号生成音频字幕的音频字幕(子任务6A)相比,基于语言的音频检索(子任务6B)侧重于根据音频信号与自然语言文本字幕的相关性对音频信号进行排序。在DCASE 2022 Challenge中,子任务6B的基线系统性能明显优于基线系统,最高性能为mAP@10的0.276。本文介绍了Subtask 6B在提交的系统的性能和分析方面的结果。
2022-09-30 eess.AS
RA-CLAP: Relation-Augmented Emotional Speaking Style Contrastive Language-Audio Pretraining For Speech Retrieval
Nankai University(南开大学);TMCC, College of Computer Science(TMCC计算机学院);Hithink RoyalFlush AI Research Institute(Hithink RoyalFlush人工智能研究院);University of Exeter(埃克塞特大学)
本文提出情感说话风格检索任务及RA-CLAP模型,通过自蒸馏学习语音与描述间的局部匹配关系,克服传统二元关系假设,提升泛化能力,实验验证其有效性。
2025-05-26 cs.SD eess.AS
Learning Soft-Attention Models for Tempo-invariant Audio-Sheet Music Retrieval
Johannes Kepler University Linz(林茨约翰·开普勒大学);The Austrian Research Institute for Artificial Intelligence (OFAI)(奥地利人工智能研究所(OFAI))
长期以来,将大型数字化音频记录库与其相应的乐谱图像连接起来一直是研究人员开发新的跨模态检索系统的动机。近年来,基于深度神经网络嵌入空间学习的检索系统更接近实现这一愿景。然而,音乐记录中的全局和局部节奏偏差仍然需要仔细调整给予系统的时间上下文的量。在本文中,我们通过在音频输入上引入额外的软注意力机制来解决这个问题。合成钢琴数据的定量和定性结果表明,这种注意力通过关注基于音频节奏的输入表示的不同部分来增加检索系统的鲁棒性。受到这些结果的鼓舞,我们认为注意力模型具有作为许多MIR任务的非常通用工具的潜力。
2019-06-26 cs.CV cs.IR cs.LG
PlanRAG-Audio: Planning and Retrieval Augmented Generation for Long-form Audio Understanding
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);Amazon AGI(亚马逊通用人工智能)
提出PlanRAG-Audio框架,通过规划查询所需模态和时间跨度并仅检索相关信息,实现长音频的高效推理,提升准确率并稳定性能。
2026-05-25 eess.AS