Language-based Audio Retrieval with Co-Attention Networks
School of Advanced Technology, Xi’an Jiaotong-Liverpool University(西交利物浦大学先进技术学院)
本文提出一种基于级联协同注意力网络的框架,通过堆叠协同注意力模块逐步细化文本与音频的语义对齐,用于基于语言的音频检索,并在Clotho和AudioCaps数据集上分别取得16.6%和15.1%的性能提升。
2024-12-30 cs.IR cs.SD eess.AS
Application of Audio Fingerprinting Techniques for Real-Time Scalable Speech Retrieval and Speech Clusterization
Faculty of Science, University of Sarajevo(科学学院,萨拉热窝大学);Infobip(Infobip公司)
本文针对电信与云平台中的语音检索与聚类,改进音频指纹技术,实现无需GPU的快速批处理,并支持基于转录的聚类。
2025-09-25 cs.IR cs.SD eess.AS
On Metric Learning for Audio-Text Cross-Modal Retrieval
University of Surrey(萨里大学)
音频文本检索的目的是在给定另一模态的查询的情况下从候选者池中检索目标音频片段或字幕。解决这种跨模态检索任务是具有挑战性的,因为它不仅需要学习两种模态的鲁棒特征表示,而且还需要捕获这两种模态之间的细粒度对齐。现有的跨模态检索模型大多是通过度量学习目标来优化的,因为它们都试图将数据映射到嵌入空间,在嵌入空间中,相似的数据靠得很近,不相似的数据相距很远。与其他跨模态的检索任务,如图像-文本和视频-文本检索,音频-文本检索仍然是一个未开发的任务。在这项工作中,我们的目标是研究不同的度量学习目标对音频文本检索任务的影响。我们对AudioCaps和Clotho数据集上流行的度量学习目标进行了广泛的评估。我们证明了自监督学习的NT-Xent损失在不同的数据集和训练设置中表现出稳定的性能,并且优于流行的基于三元组的损失。我们的代码可在https://github.com/XinhaoMei/audio-text_retrieval上获得。
2022-06-30 cs.SD eess.AS
Language-based Audio Retrieval Task in DCASE 2022 Challenge
基于文本的音频检索是一项任务,其中自然语言文本字幕被用作从数据集中检索音频信号的查询。它首次被引入DCASE 2022挑战赛,作为任务6的子任务6B,旨在开发计算系统来建模音频信号和自由形式的文本描述之间的关系。与为音频信号生成音频字幕的音频字幕(子任务6A)相比,基于语言的音频检索(子任务6B)侧重于根据音频信号与自然语言文本字幕的相关性对音频信号进行排序。在DCASE 2022 Challenge中,子任务6B的基线系统性能明显优于基线系统,最高性能为mAP@10的0.276。本文介绍了Subtask 6B在提交的系统的性能和分析方面的结果。
2022-10-04 cs.SD eess.AS
Dissecting Temporal Understanding in Text-to-Audio Retrieval
University of Oxford(牛津大学);University of Tübingen(蒂宾根大学)
本文针对文本到音频检索中研究不足的声音时序理解问题,在AudioCaps和Clotho上剖析现有模型能力,并提出合成数据集和关注事件时序的损失函数以提升模型时序建模表现。
2024-09-01 cs.IR cs.LG cs.SD
Audiobox TTA-RAG: Improving Zero-Shot and Few-Shot Text-To-Audio with Retrieval-Augmented Generation
University of Texas at Dallas(德克萨斯大学达拉斯分校);Meta AI
本文提出 Audiobox TTA-RAG,通过在文本条件之外引入检索到的音频样本作为条件输入,不依赖带标签数据库,显著提升零样本和少样本文本到音频生成性能,同时保持在域内生成能力。
2025-06-06 cs.SD eess.AS
HARP: Agentic Hybrid Retrieval and Analysis for Long-Form Audio
Carnegie Mellon University(卡内基梅隆大学);Hippocratic AI(希波克拉底人工智能公司)
HARP提出智能体混合检索框架,结合关键词与向量搜索及多模态证据,将长音频分析答案准确率提升约10%,并强调超越答案准确率的评估。
2026-09-15 cs.SD eess.AS
Refining Knowledge Transfer on Audio-Image Temporal Agreement for Audio-Text Cross Retrieval
Doshisha University(同志社大学);NTT Corporation(NTT公司)
针对音频-文本跨模态检索中数据稀缺问题,提出两种细化音频-图像时间一致性的匹配方法(最近匹配和多帧匹配),实验显示最近匹配有效提升音频-文本检索性能,表明时间一致性细化有助于知识迁移。
2024-03-16 cs.SD eess.AS
Advancing Natural-Language Based Audio Retrieval with PaSST and Large Audio-Caption Data Sets
Johannes Kepler University(约翰内斯·开普勒大学)
本文提出基于预训练文本和频谱图Transformer的文本到音频检索系统,通过共享音频-字幕空间实现跨模态检索,识别出音频编码器和预训练数据扩充两个关键因素,在DCASE 2023和ClothoV2上取得领先性能。
2023-08-08 cs.IR cs.LG cs.SD
AudioRAG: A Challenging Benchmark for Audio Reasoning and Information Retrieval
AudioRAG是一个用于评估音频推理和信息检索能力的挑战性基准,通过整合检索增强生成技术,为未来研究提供更强大的基准。
2026-02-11 cs.SD eess.AS
Neural Audio Fingerprint for High-specific Audio Retrieval based on Contrastive Learning
Seoul National University(首尔国立大学);SK Telecom(SK电讯)
大多数现有的音频指纹识别系统在用于大规模的高特异性音频检索方面具有局限性。在这项工作中,我们从音频的短单元段生成一个低维表示,并将此指纹与快速最大内积搜索相结合。为此,我们提出了一个对比学习框架,来自段级搜索目标。训练中的每次更新都使用一批由一组伪标签、随机选择的原始样本及其增强副本组成的批。这些复制品可以通过应用小的时间偏移和各种类型的失真(例如背景噪声和房间/麦克风脉冲响应)来模拟对原始音频信号的降级效果。在段级搜索任务中,传统的音频指纹识别系统过去常常失败,我们的系统使用10倍的小存储空间,显示出有希望的结果。我们的代码和数据集可在\url{https://mimbres.github.io/neural-audio-fp/}上获得。
2021-02-10 cs.IR cs.LG cs.SD
Introducing Auxiliary Text Query-modifier to Content-based Audio Retrieval
NTT Corporation(NTT公司)
公共网站上提供的音频数据量正在迅速增长,需要一个访问所需数据的有效机制。我们提出了一种基于内容的音频检索方法,可以检索到的目标音频是类似的,但略有不同的查询音频通过引入辅助文本信息,描述了查询和目标音频之间的差异。虽然传统的基于内容的音频检索的范围限于与查询音频相似的音频,但是所提出的方法可以通过将辅助文本查询修饰符的嵌入添加到查询样本音频在共享潜在空间中的嵌入来调整检索范围。为了评估我们的方法,我们构建了一个数据集,包括两个不同的音频片段和描述差异的文本。实验结果表明,该方法比基线更准确地检索成对音频。我们还证实了基于可视化,该方法获得了共享的潜在空间,其中音频差异和相应的文本表示为相似的嵌入向量。
2022-07-20 cs.CL cs.IR cs.LG
Matching Text and Audio Embeddings: Exploring Transfer-learning Strategies for Language-based Audio Retrieval
Huawei Technologies(华为技术有限公司);Universitat Pompeu Fabra(庞培法布拉大学)
我们对用于跨模态(文本到音频)检索的大规模预训练深度学习模型进行了分析。我们使用这些模型在度量学习框架中提取的嵌入来连接匹配的音频和文本对。浅层神经网络将嵌入映射到一个共同的维度。我们的系统,这是我们提交的DCASE挑战赛2022年的基于存储的音频检索任务的扩展,采用了RoBERTa基础模型作为文本嵌入提取器。预训练的PANN模型提取音频嵌入。为了提高我们模型的泛化能力,我们研究了从在线平台Freesound收集的音频和相关噪声文本的预训练如何提高我们方法的性能。此外,我们的消融研究表明,正确选择的损失函数和微调预训练模型是必不可少的训练竞争检索系统。
2022-10-06 cs.CL cs.IR cs.LG
Improving Text-Audio Retrieval by Text-aware Attention Pooling and Prior Matrix Revised Loss
Peking University(北京大学)
在文本-音频检索(TAR)任务中,由于文本和音频之间的内容异构性,文本中包含的语义信息仅与音频中的某些帧相似。然而,现有的作品在不考虑文本的情况下聚合整个音频,例如在帧上的均值池化,这可能对给定文本中未描述的误导性音频信息进行编码。在本文中,我们提出了一个文本感知的注意力池(TAP)模块TAR,这本质上是一个缩放的点积注意力的文本出席其语义上最相似的框架。此外,以前的方法只对每一个单边检索进行softmax,忽略了潜在的交叉检索信息。通过探索每个文本-音频对的内在先验,我们引入先验矩阵修正(PMR)损失来过滤具有高(或低)文本到音频但低(或高)音频到文本相似性得分的硬情况,从而实现双重最佳匹配。实验表明,我们的TAP显着优于各种文本无关的池功能。此外,我们的PMR损失还显示了多个数据集上的稳定性能增益。
2023-03-30 cs.SD eess.AS
Audio-text Retrieval in Context
Shanghai Jiao Tong University(上海交通大学)
基于自然语言描述的音频文本检索是一项具有挑战性的任务。它涉及在不充分的数据条件下学习长序列之间的跨模态比对。在这项工作中,我们研究了几个音频功能,以及更好的音频文本对齐的序列聚合方法。此外,通过定性分析,我们观察到,语义映射是更重要的上下文检索比时间关系。使用预先训练的音频特征和基于聚类的聚合方法,我们建立了我们的上下文音频文本检索系统。具体来说,我们利用在大型声音事件数据集和NetRVLAD池上预训练的PANN特征,NetRVLAD池直接与平均描述符一起工作。在AudioCaps和CLOTHO数据集上进行了实验,并将结果与以前的最先进的系统进行了比较。与我们提出的系统,一个显着的改善已经取得了双向音频文本检索,所有指标,包括召回,中位数和平均排名。
2022-03-29 cs.CL cs.SD eess.AS
Language-Based Audio Retrieval with Converging Tied Layers and Contrastive Loss
ST Engineering Mission Software & Services Pte. Ltd(ST工程任务软件与服务私人有限公司)
在本文中,我们解决了DCASE 2022中提出的新的基于数据库的音频检索任务。首先,我们介绍了一个简单的,可扩展的架构,将音频和文本编码器联系在一起。其次,我们表明,使用这种架构以及对比损失允许模型显着击败基线模型的性能。最后,除了具有极低的训练内存要求外,我们还能够使用预训练的模型,而无需对它们进行微调。我们测试了我们的方法,并表明使用我们的方法的组合击败了基线分数显着。
2022-06-29 cs.CL cs.IR cs.SD
Audio Retrieval for Multimodal Design Documents: A New Dataset and Algorithms
Adobe Research(奥多比研究院)
我们考虑并提出了一个新的问题,检索音频文件相关的多模态设计文档输入,包括文本元素和视觉图像,例如,生日/贺卡除了增强用户体验之外,集成与这些输入的主题/风格相匹配的音频还有助于提高这些文档的可访问性(例如,视力受损的人可以听音频代替)。虽然最近在音频检索方面的工作存在,但这些方法和数据集明确针对自然图像。然而,我们的问题认为多模态设计文档(由用户使用创意软件创建)与自然点击的照片有很大不同。为此,我们的第一个贡献是收集和策划一个名为Melodic-Design(或MELON)的新的大规模数据集,包括代表各种风格,主题,模板,插图等的设计文档,与音乐音频配对。鉴于我们配对的图像-文本-音频数据集,我们的下一个贡献是一种新的多模态交叉注意音频检索(MMCAR)算法,该算法能够训练神经网络学习跨图像,文本和音频维度的公共共享特征空间。我们使用这些学习到的特征来证明我们的方法优于现有的最先进的方法,并为我们的新数据集上的研究社区提供了一个新的参考基准。
2023-02-28 cs.IR cs.MM cs.SD
Deep Cross-Modal Correlation Learning for Audio and Lyrics in Music Retrieval
National Institute of Informatics(国立信息学研究所);The University of Electro-Communications(电气通信大学);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Hong Kong University of Science and Technology(香港科技大学)
很少有研究集中在跨模态相关学习,其中考虑到不同的数据模态,如音频和歌词的时间结构。基于音乐的时间结构特点,我们有动机去了解音频和歌词之间的深层序列相关性。在这项工作中,我们提出了一个深度跨模态相关学习架构,涉及用于音频模态和文本模态(歌词)的双分支深度神经网络。不同的模态数据被转换到同一个典型空间,其中模态间典型相关分析被用作目标函数来计算时间结构的相似性。这是第一次通过深度架构来理解语言和音乐音频之间的相关性,以学习音频和歌词的配对时间相关性。使用预训练的Doc2vec模型和全连接层(全连接深度神经网络)来表示歌词。在音频分支中做出了两个重要贡献,如下:i)研究了预训练的CNN,然后是完全连接的层,用于表示音乐音频。ii)我们进一步提出了一种端到端架构,可以同时训练卷积层和全连接层,以更好地学习音乐音频的时间结构。特别是,我们的端到端深度架构包含两个属性:同时实现特征学习和跨模态相关学习,以及通过考虑时间结构来学习联合表示。实验结果,使用音频检索歌词或使用歌词检索音频,验证了所提出的深度相关学习架构在跨模态音乐检索的有效性。
2017-11-29 cs.IR cs.SD eess.AS
Language-based Audio Moment Retrieval
LY Corporation(LY公司)
本文提出音频时刻检索任务,构建Clotho-Moment数据集和AM-DETR模型,利用时间依赖超越片段级方法,在Recall1@0.7上提升9.00点。
2025-08-04 cs.CL cs.SD eess.AS
Audio-based Near-Duplicate Video Retrieval with Audio Similarity Learning
Information Technologies Institute, CERTH(希腊研究与技术基金会信息技术研究所);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
在这项工作中,我们解决了基于音频的近重复视频检索的问题。我们提出了音频相似性学习(AuSiL)的方法,有效地捕捉视频对之间的音频相似性的时间模式。对于两个视频之间的鲁棒相似性计算,我们首先通过利用基于在大规模音频事件数据集上训练的卷积神经网络(CNN)的迁移学习来提取代表性的基于音频的视频描述符,然后我们计算从这些描述符的成对相似性导出的相似性矩阵。相似性矩阵随后被馈送到CNN网络,该网络捕获其内容中存在的时间结构。我们按照三元组生成过程和优化三元组损失函数来训练我们的网络。为了评估所提出的方法的有效性,我们手动注释两个公开的视频数据集的基础上,他们的视频之间的音频重复。所提出的方法实现了非常有竞争力的结果相比,三个国家的最先进的方法。此外,与竞争的方法,它是非常强大的速度转换生成的音频副本的检索。
2021-01-11 cs.IR cs.LG cs.MM
Phase retrieval with Bregman divergences: Application to audio signal recovery
IRIT, Université de Toulouse, CNRS(图卢兹大学IRIT研究所,法国国家科学研究中心);ISAE-SUPAERO(法国高等航空航天学院)
相位恢复的目的是从幅度或功率谱测量中恢复信号。它通常通过考虑涉及二次成本函数的最小化问题来解决。我们提出了一个不同的配方的基础上Bregman分歧,其中包括分歧,是适当的音频信号处理应用。我们推导出一个快速梯度算法来解决这个问题。
2020-11-25 cs.SD eess.AS
Enhancing Retrieval-Augmented Audio Captioning with Generation-Assisted Multimodal Querying and Progressive Learning
Interdisciplinary Program in Artificial Intelligence(人工智能交叉学科项目);Department of Intelligence and Information(智能与信息系)
针对音频字幕检索仅用单模态音频查询的局限,提出生成辅助多模态查询与渐进式交错音频-文本对学习策略,在多个基准上达到最先进性能。
2025-06-10 cs.AI cs.SD eess.AS
Killing two birds with one stone: Can an audio captioning system also be used for audio-text retrieval?
IRIT(图卢兹计算机科学研究所);Université Paul Sabatier(保罗·萨巴蒂埃大学);CNRS(法国国家科学研究中心);Artificial and Natural Intelligence Toulouse Institute (ANITI)(图卢兹人工智能与自然智能研究所(ANITI))
本研究探索未经微调的音频字幕生成系统在音频-文本检索中的潜力,利用交叉熵损失值实现检索,在AudioCaps上文本到音频R@1达0.382,超过无外部数据的最先进方法。
2023-08-29 cs.CL cs.IR cs.SD
Pretrained Conformers for Audio Fingerprinting and Retrieval
Infobip;Faculty of Science, University of Sarajevo(萨拉热窝大学科学学院)
本研究利用自监督对比学习框架训练基于Conformer的编码器,仅需3秒音频即可生成独特嵌入,在音频检索任务中达到最先进水平,且对时间错位及噪声等失真具有强鲁棒性。
2025-09-11 cs.AI cs.IR cs.SD
Crowdsourcing and Evaluating Text-Based Audio Retrieval Relevances
Tampere University(坦佩雷大学)
本文研究如何用众包评分标注文本-音频检索相关性,并通过对比学习实验发现,相比音频描述对产生的二值相关性,额外加入二值化众包相关性并无明显收益。
2023-08-15 cs.SD eess.AS
Fusing Audio and Metadata Embeddings Improves Language-based Audio Retrieval
Institute of Computational Perception(计算感知研究所);LIT Artificial Intelligence Lab(LIT人工智能实验室);Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
本文提出利用关键词等音频元数据,并通过后期或中层融合增强基于语言的音频检索,在 ClothoV2 与 AudioCaps 上分别将 mAP@10 提升 2.36 和 3.69 个百分点。
2024-07-02 cs.LG cs.SD eess.AS
WavRAG: Audio-Integrated Retrieval Augmented Generation for Spoken Dialogue Models
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Beijing University of Technology(北京工业大学)
本文提出端到端原生音频RAG框架WavRAG,通过WavRetriever直接检索原始音频并统一文本-音频知识,在性能相当的情况下较ASR-Text流程提速10倍。
2025-02-20 cs.AI cs.SD eess.AS
Towards Robust and Truly Large-Scale Audio-Sheet Music Retrieval
Johannes Kepler University Linz(林茨约翰·开普勒大学)
本文系统梳理了基于深度学习的音频-乐谱跨模态检索的现状,明确真实场景中的主要挑战,总结已有改进,并提出后续解决思路,以推动稳健且大规模的统一检索方法。
2023-09-21 cs.IR cs.LG cs.SD
Audio-to-Image Bird Species Retrieval without Audio-Image Pairs via Text Distillation
Inria, LIRMM, Université de Montpellier(法国国家信息与自动化研究所,蒙彼利埃计算机科学、机器人学与微电子学实验室,蒙彼利埃大学);University of Kassel(卡塞尔大学)
本文提出无需音频图像配对的音频到图像检索方法,通过文本作为语义中介,利用预训练图像文本模型蒸馏出音频文本模型,实现音频与图像表示的对齐,从而在数据稀缺的生物声学场景中有效进行物种识别。
2026-04-04 cs.IR cs.LG cs.SD
A high speed unsupervised speaker retrieval using vector quantization and second-order statistics
本文描述了一种有效的无监督的说话人检索方法。我们假设每个音频文件或音频片段中只有一个扬声器。使用公共通用码本对音频数据进行建模。码本基于帧袋(BOF)。从所有音频文件中提取与音频帧相对应的特征。使用K-means算法将这些特征分组到聚类中。各个音频文件通过对应于该文件的聚类箱的数量的归一化分布来建模。在第一层中,使用向量空间表示来检索与查询文件最近的k。在第二层中,二阶统计测量应用于获得的k-最近的文件,以找到检索的最终结果。所描述的方法进行评估的法语广播新闻的酯语料库的子集。
2010-09-09 cs.IR cs.SD
Passage Summarization with Recurrent Models for Audio-Sheet Music Retrieval
Institute of Computational Perception(计算感知研究所);LIT Artificial Intelligence Lab(LIT人工智能实验室);Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
本文提出跨模态循环网络学习联合嵌入,以弱对齐音频-乐谱对实现长乐段摘要,有效处理速度差异,在合成与真实钢琴数据上均取得更准确的检索效果。
2023-09-21 cs.IR cs.LG cs.SD
Improving Natural-Language-based Audio Retrieval with Transfer Learning and Audio & Text Augmentations
Institute of Computational Perception (CP-JKU)(计算感知研究所(CP-JKU));LIT Artificial Intelligence Lab(LIT人工智能实验室);Johannes Kepler University(约翰内斯·开普勒大学)
在深度学习的许多应用领域中,缺乏大型标记数据集仍然是一个重大挑战。研究人员和从业人员通常会求助于迁移学习和数据增强来缓解这个问题。我们研究这些策略的背景下,音频检索与自然语言查询(任务6b的DCASE 2022挑战)。我们提出的系统使用预先训练的嵌入模型将录音和文本描述投影到共享的音频字幕空间中,在该空间中,来自不同模态的相关示例非常接近。我们在音频和文本输入上采用各种数据增强技术,并通过基于模型的顺序优化系统地调整其相应的超参数。我们的研究结果表明,所使用的增强策略减少过拟合,提高检索性能。
2022-10-29 cs.LG cs.SD eess.AS
RA-CLAP: Relation-Augmented Emotional Speaking Style Contrastive Language-Audio Pretraining For Speech Retrieval
Nankai University(南开大学);TMCC, College of Computer Science(TMCC计算机学院);Hithink RoyalFlush AI Research Institute(Hithink RoyalFlush人工智能研究院);University of Exeter(埃克塞特大学)
本文提出情感说话风格检索任务及RA-CLAP模型,通过自蒸馏学习语音与描述间的局部匹配关系,克服传统二元关系假设,提升泛化能力,实验验证其有效性。
2025-05-26 cs.SD eess.AS
Learning Soft-Attention Models for Tempo-invariant Audio-Sheet Music Retrieval
Johannes Kepler University Linz(林茨约翰·开普勒大学);The Austrian Research Institute for Artificial Intelligence (OFAI)(奥地利人工智能研究所(OFAI))
长期以来,将大型数字化音频记录库与其相应的乐谱图像连接起来一直是研究人员开发新的跨模态检索系统的动机。近年来,基于深度神经网络嵌入空间学习的检索系统更接近实现这一愿景。然而,音乐记录中的全局和局部节奏偏差仍然需要仔细调整给予系统的时间上下文的量。在本文中,我们通过在音频输入上引入额外的软注意力机制来解决这个问题。合成钢琴数据的定量和定性结果表明,这种注意力通过关注基于音频节奏的输入表示的不同部分来增加检索系统的鲁棒性。受到这些结果的鼓舞,我们认为注意力模型具有作为许多MIR任务的非常通用工具的潜力。
2019-06-26 cs.CV cs.IR cs.LG
Towards End-to-End Audio-Sheet-Music Retrieval
Johannes Kepler University Linz(林茨约翰·开普勒大学)
本文演示了学习检索短片段的乐谱(图像)时,给出了一个简短的查询摘录的音乐(音频)的可行性-反之亦然-没有任何符号表示的音乐或分数。这在许多基于内容的音乐检索场景中非常有用。我们的方法是基于深度典型相关分析(DCCA)和学习相关的潜在空间,允许在两个方向上的跨模态检索。用相对简单的单声道音乐进行的初步实验显示出有希望的结果。
2016-12-15 cs.IR cs.LG cs.SD
Improving Audio-Text Retrieval via Hierarchical Cross-Modal Interaction and Auxiliary Captions
School of ECE, Peking University(北京大学电子学院)
本文提出分层跨模态交互方法,同时建模音频片段-句子、片段-短语和帧-词关系,并利用预训练字幕生成器产生的辅助字幕增强音频表示与数据增强,从而在多个数据集上稳定提升音频-文本检索性能。
2025-05-03 cs.SD eess.AS
Content-based Representations of audio using Siamese neural networks
IIT Guwahati(印度理工学院古瓦哈提分校);BITS Pilani(贝拉技术科学学院皮拉尼分校);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们专注于基于内容的音频检索的问题,其目的是检索所有语义相似的音频记录为一个给定的音频片段查询。这个问题类似于音频示例查询问题,其目的是从数据库中检索媒体样本,这些样本类似于用户提供的示例。我们提出了一种新的方法,使用暹罗神经网络的音频编码成一个矢量表示。我们的目标是获得一个编码类似的文件属于同一个音频类,从而允许检索语义相似的音频。使用简单的相似性度量,如基于简单的欧氏距离和余弦相似性,我们表明,这些表示可以非常有效地用于检索录音类似的音频内容。
2018-02-15 cs.IR cs.SD eess.AS
Chord Recognition- Music and Audio Information Retrieval
音乐信息检索(MIR)是一项协作科学研究,有助于建立创新的信息研究主题,新颖的框架,并开发连接的交付机制,以及使世界上大量的音乐收藏对每个人开放。现代摇滚乐被证明很难估计节奏,和弦识别也不起作用。所有的研究结果都表明,现代摇滚和金属音乐是可以分析的,尽管它很复杂,但需要在这一领域进行进一步的研究,使其有用。使用神经网络是最简单的处理方法之一,在神经网络方法中使用了音高类轮廓向量。由于该矢量仅包含12个半音值元素,因此足以用于和弦识别。当然,还有其他方法可以实现这项工作,其中大多数依赖于音高类别分析将和弦转换为可以识别的类型,但是识别过程非常耗时,并且集中在非常复杂和内存密集的方法上。
2021-09-08 cs.IR cs.SD eess.AS
RAG-Audio: Retrieval-Augmented Generation for Faithful Brain-to-Audio Reconstruction
CVML Lab(CVML实验室)
RAG-Audio通过检索真实音频样本初始化生成器采样轨迹,缓解脑电到音频生成的先验主导问题,在Brain2Music数据集上提升了刺激识别准确率并大幅降低Fréchet音频距离。
2026-08-11 cs.AI cs.SD
Cross-modal Embeddings for Video and Audio Retrieval
Universitat Politècnica de Catalunya (UPC)(加泰罗尼亚理工大学);Barcelona Supercomputing Center (BSC-CNS)(巴塞罗那超级计算中心)
越来越多的在线视频为训练自监督神经网络带来了一些机会。YouTube-8 M等大规模视频数据集的创建使我们能够以可管理的方式处理大量数据。在这项工作中,我们找到了利用该数据集提供的多模态信息的新方法。通过一个神经网络,我们能够创建音频和视频文件之间的链接,通过将它们投影到一个共同的区域的特征空间,获得联合视听嵌入。这些链接用于检索适合给定无声视频的音频样本,以及检索与给定查询音频匹配的图像。在YouTube-8 M视频子集上获得的Recall@K结果显示了这种无监督方法在跨模态特征学习中的潜力。我们训练嵌入这两个尺度和评估其质量的检索问题,制定为使用从一个模态提取的特征检索最相似的视频的基础上计算的功能在其他模态。
2018-01-07 cs.CV cs.IR cs.SD
Scalable Evaluation for Audio Identification via Synthetic Latent Fingerprint Generation
School of Electronic Engineering(电子工程学院);Computer Science, Queen Mary University of London, UK(计算机科学,伦敦女王学院)
本文提出用整流流模型合成潜在指纹作为逼真干扰项,在不依赖额外音频的情况下模拟大规模音频指纹检索性能,并通过扩充真实数据库验证其扩展趋势与真实干扰项一致,为系统可扩展性评估提供了实用度量。
2025-09-23 cs.IR cs.SD eess.AS
Bridging Language Gaps in Audio-Text Retrieval
Xiaomi Corporation(小米公司)
针对音频-文本检索偏重英语的问题,提出结合 SONAR 多语言文本编码与 CED 音频编码器优化的语言增强方法,在英语基准上达到 SOTA,并以少量额外数据支持七种语言检索。
2024-06-17 cs.CL cs.SD eess.AS
Audio Captioning using Pre-Trained Large-Scale Language Model Guided by Audio-based Similar Caption Retrieval
NTT Corporation(日本电报电话公司)
音频字幕的目标是将输入的音频转换为使用自然语言的描述。音频字幕的问题之一是缺乏训练数据,这是由于难以通过爬行网络来收集音频字幕对。在这项研究中,为了克服这个问题,我们建议使用预先训练的大规模语言模型。由于音频输入不能直接输入到这样的语言模型中,因此我们利用基于可能存在于不同音频中的相似性从训练数据集检索的指导字幕。然后,在参考引导字幕的同时,通过使用预先训练的语言模型来生成音频输入的字幕。实验结果表明,(i)所提出的方法已经成功地使用预先训练的语言模型的音频字幕,和(ii)的预言性能的预先训练的基于模型的字幕生成器是明显优于传统的方法从头开始训练。
2020-12-14 cs.CL cs.SD eess.AS
Self-Supervised Contrastive Learning for Robust Audio-Sheet Music Retrieval Systems
Johannes Kepler University Linz(林茨约翰·开普勒大学)
本文提出用自监督对比学习对音频与乐谱图像片段进行预训练,以缓解标注数据稀缺问题,实验表明该方法可显著提升跨模态片段检索精度,并使曲目识别检索质量从30%提升至100%。
2023-09-21 cs.IR cs.LG cs.SD
Multiscale Matching Driven by Cross-Modal Similarity Consistency for Audio-Text Retrieval
National Engineering Research Center of Speech and Language Information Processing(国家语言信息处理工程研究中心);University of Science and Technology of China(中国科学技术大学)
针对音频-文本检索中现有方法忽略局部细节和细粒度语义的问题,提出基于跨模态相似性一致性的多尺度匹配框架,通过局部到全局的细粒度对齐和软监督增强,在AudioCaps和Clotho上显著提升检索性能。
2024-03-15 cs.IR cs.SD eess.AS
ATIR: Towards Audio-Text Interleaved Contextual Retrieval
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学北京校区人工智能学院)
本文提出ATIR任务,通过整合ASR、QA和检索数据集构建基准,解决现有音频检索数据集在语义检索上的局限,引入新的token压缩机制提升MLLM在ATIR中的性能。
2026-04-22 cs.AI cs.SD
Audio Does Matter: Importance-Aware Multi-Granularity Fusion for Video Moment Retrieval
Zhejiang University(浙江大学);Peking University(北京大学);Zhejiang Gongshang University(浙江工商大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);University of Science and Technology of China(中国科学技术大学)
提出重要性感知多粒度融合模型(IMG),动态加权音频并多粒度融合音视频,解决视频时刻检索中噪声音频干扰问题,构建新数据集并达到最先进性能。
2025-10-25 cs.CV cs.IR cs.MM
Unlocking Spatial Grounding in Large Audio-Visual Retrieval models
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信与信号处理实验室,巴黎电信学院);Meta, Reality Labs Research(元宇宙公司 Reality Labs 研究部);NVIDIA(英伟达公司);Inria at Université Grenoble Alpes, CNRS, LJK(法国国家信息与自动化研究所,格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,让·昆汀·莫诺德实验室)
研究针对视听声源定位任务,利用大规模视听检索模型的潜在表示,引入LAIP框架,通过音频信息池化恢复局部空间信息,在相关数据集上取得领先性能,证明可从现有检索表示解锁定位,为检索和定位任务提供统一路径。
2026-09-30 cs.AI cs.IR cs.MM
AudioRAG+: Feedback-driven Retrieval-augmented Audio Generation with Large Audio Language Models
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey, UK(视觉、语音和信号处理中心(CVSSP),英国萨里大学);Tencent AI Lab, Beijing, China(腾讯人工智能实验室,中国北京);Tencent AI Lab, Seattle, USA(腾讯人工智能实验室,美国西雅图)
AudioRAG+利用大音频语言模型提升文本到音频生成中特定声音事件的合成能力,通过反馈驱动检索增强生成过程。
2026-02-17 cs.SD
ASGIR: Audio Spectrogram Transformer Guided Classification And Information Retrieval For Birds
IIIT-Delhi(德里英德拉普拉斯塔信息技术学院)
本文提出ASGIR框架,结合音频频谱图Transformer引导分类与两步信息检索系统,在Xeno-Canto数据集上实现高效鸟类声音识别与信息检索。
2024-07-10 cs.SD eess.AS
wav2tok 2.0: Scalable Audio Tokenization Maintaining Explicit Pairwise Token Alignment for Efficient Audio Retrieval
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);KU Leuven(鲁汶大学)
提出wav2tok 2.0,通过分阶段训练(对比学习、向量量化、CTC对齐损失和DTW对齐帧预测)实现可扩展的语音分词,在查询示例的口语术语检测中优于基线方法。
2026-06-26 cs.SD eess.AS
Audio-text Retrieval with Transformer-based Hierarchical Alignment and Disentangled Cross-modal Representation
YifeiXin(西菲·欣);ZhihongZhu(朱之宏);XuxinCheng(程旭鑫);XushengYang(杨旭生);YuexianZou(邹岳先)
本文提出基于双流Transformer与层次对齐模块的音频-文本检索框架,并引入解耦跨模态表示和置信度感知模块实现细粒度语义对齐,实验证明其有效提升检索性能。
2025-05-04 cs.SD eess.AS
Estimated Audio-Caption Correspondences Improve Language-Based Audio Retrieval
Institute of Computational Perception(计算感知研究所);LIT Artificial Intelligence Lab(LIT人工智能实验室);Johannes Kepler University(约翰内斯·开普勒大学)
本文提出一种两阶段训练方法,利用模型预测的音频-标题对应关系作为目标替代随机不匹配对,在 ClothoV2 基准上将 mAP@10 提升了 1.6 个百分点,显著改进了基于语言的音频检索性能。
2024-08-21 cs.LG cs.SD eess.AS
Omni-Embed-Audio: Leveraging Multimodal LLMs for Robust Audio-Text Retrieval
Sogang University(首尔大学)
提出Omni-Embed-Audio(OEA)检索编码器,利用多模态大语言模型原生理解音频,并通过用户意图查询(UIQ)和硬负样本挖掘,在文本到音频检索中达到与M2D-CLAP相当的性能,同时在文本到文本检索和硬负样本判别上显著优于现有方法。
2026-10-15 cs.CL cs.SD