On Metric Learning for Audio-Text Cross-Modal Retrieval
University of Surrey（萨里大学）
音频文本检索的目的是在给定另一模态的查询的情况下从候选者池中检索目标音频片段或字幕。解决这种跨模态检索任务是具有挑战性的，因为它不仅需要学习两种模态的鲁棒特征表示，而且还需要捕获这两种模态之间的细粒度对齐。现有的跨模态检索模型大多是通过度量学习目标来优化的，因为它们都试图将数据映射到嵌入空间，在嵌入空间中，相似的数据靠得很近，不相似的数据相距很远。与其他跨模态的检索任务，如图像-文本和视频-文本检索，音频-文本检索仍然是一个未开发的任务。在这项工作中，我们的目标是研究不同的度量学习目标对音频文本检索任务的影响。我们对AudioCaps和Clotho数据集上流行的度量学习目标进行了广泛的评估。我们证明了自监督学习的NT-Xent损失在不同的数据集和训练设置中表现出稳定的性能，并且优于流行的基于三元组的损失。我们的代码可在https://github.com/XinhaoMei/audio-text_retrieval上获得。
2022-06-30 cs.SD eess.AS
Language-based Audio Retrieval Task in DCASE 2022 Challenge
基于文本的音频检索是一项任务，其中自然语言文本字幕被用作从数据集中检索音频信号的查询。它首次被引入DCASE 2022挑战赛，作为任务6的子任务6B，旨在开发计算系统来建模音频信号和自由形式的文本描述之间的关系。与为音频信号生成音频字幕的音频字幕（子任务6A）相比，基于语言的音频检索（子任务6B）侧重于根据音频信号与自然语言文本字幕的相关性对音频信号进行排序。在DCASE 2022 Challenge中，子任务6B的基线系统性能明显优于基线系统，最高性能为mAP@10的0.276。本文介绍了Subtask 6B在提交的系统的性能和分析方面的结果。
2022-10-04 cs.SD eess.AS
Audiobox TTA-RAG: Improving Zero-Shot and Few-Shot Text-To-Audio with Retrieval-Augmented Generation
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Meta AI
本文提出 Audiobox TTA-RAG，通过在文本条件之外引入检索到的音频样本作为条件输入，不依赖带标签数据库，显著提升零样本和少样本文本到音频生成性能，同时保持在域内生成能力。
2025-06-06 cs.SD eess.AS
HARP: Agentic Hybrid Retrieval and Analysis for Long-Form Audio
Carnegie Mellon University（卡内基梅隆大学）；Hippocratic AI（希波克拉底人工智能公司）
HARP提出智能体混合检索框架，结合关键词与向量搜索及多模态证据，将长音频分析答案准确率提升约10%，并强调超越答案准确率的评估。
2026-09-15 cs.SD eess.AS
Refining Knowledge Transfer on Audio-Image Temporal Agreement for Audio-Text Cross Retrieval
Doshisha University（同志社大学）；NTT Corporation（NTT公司）
针对音频-文本跨模态检索中数据稀缺问题，提出两种细化音频-图像时间一致性的匹配方法（最近匹配和多帧匹配），实验显示最近匹配有效提升音频-文本检索性能，表明时间一致性细化有助于知识迁移。
2024-03-16 cs.SD eess.AS
Audio Retrieval with Natural Language Queries
University of Oxford（牛津大学）
我们认为使用自由形式的自然语言查询检索音频的任务。为了研究这个问题，这在现有的文献中受到了有限的关注，我们引入了具有挑战性的新基准，基于文本的音频检索使用来自Audiocaps和Clotho数据集的文本注释。然后，我们使用这些基准来建立跨模态音频检索的基线，在那里我们展示了预训练对不同音频任务的好处。我们希望我们的基准将激发进一步的研究跨模态的基于文本的音频检索与自由形式的文本查询。
2021-07-22 cs.IR cs.SD eess.AS
Audio Retrieval with Natural Language Queries: A Benchmark Study
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Oxford（牛津大学）；University of Cambridge（剑桥大学）
这项工作的目标是跨模态的文本音频和音频文本检索，其目标是从一个候选人的池中检索的音频内容，最佳匹配给定的书面描述，反之亦然。文本音频检索使用户能够通过一个直观的界面搜索大型数据库：他们只需发布他们想要听到的声音的自由形式的自然语言描述。为了研究文本音频和音频文本检索的任务，这在现有的文献中受到了有限的关注，我们引入了三个具有挑战性的新基准。我们首先从AudioCaps和Clotho音频字幕数据集构建文本音频和音频文本检索基准。此外，我们还介绍了SoundDescs基准，它由成对的音频和自然语言描述组成，用于各种声音集合，这些声音与AudioCaps和Clotho中的声音是互补的。我们采用这三个基准来建立跨模态文本音频和音频文本检索的基线，在那里我们展示了预训练对不同音频任务的好处。我们希望我们的基准将激发进一步研究音频检索与自由形式的文本查询。所有使用的数据集的代码、音频功能以及SoundDescs数据集都可以在https://github.com/akoepke/audio-retrieval-benchmark上公开获得。
2022-01-27 cs.IR cs.SD eess.AS
AudioRAG: A Challenging Benchmark for Audio Reasoning and Information Retrieval
AudioRAG是一个用于评估音频推理和信息检索能力的挑战性基准，通过整合检索增强生成技术，为未来研究提供更强大的基准。
2026-02-11 cs.SD eess.AS
Introducing Auxiliary Text Query-modifier to Content-based Audio Retrieval
NTT Corporation（NTT公司）
公共网站上提供的音频数据量正在迅速增长，需要一个访问所需数据的有效机制。我们提出了一种基于内容的音频检索方法，可以检索到的目标音频是类似的，但略有不同的查询音频通过引入辅助文本信息，描述了查询和目标音频之间的差异。虽然传统的基于内容的音频检索的范围限于与查询音频相似的音频，但是所提出的方法可以通过将辅助文本查询修饰符的嵌入添加到查询样本音频在共享潜在空间中的嵌入来调整检索范围。为了评估我们的方法，我们构建了一个数据集，包括两个不同的音频片段和描述差异的文本。实验结果表明，该方法比基线更准确地检索成对音频。我们还证实了基于可视化，该方法获得了共享的潜在空间，其中音频差异和相应的文本表示为相似的嵌入向量。
2022-07-20 cs.CL cs.IR cs.LG
Matching Text and Audio Embeddings: Exploring Transfer-learning Strategies for Language-based Audio Retrieval
Huawei Technologies（华为技术有限公司）；Universitat Pompeu Fabra（庞培法布拉大学）
我们对用于跨模态（文本到音频）检索的大规模预训练深度学习模型进行了分析。我们使用这些模型在度量学习框架中提取的嵌入来连接匹配的音频和文本对。浅层神经网络将嵌入映射到一个共同的维度。我们的系统，这是我们提交的DCASE挑战赛2022年的基于存储的音频检索任务的扩展，采用了RoBERTa基础模型作为文本嵌入提取器。预训练的PANN模型提取音频嵌入。为了提高我们模型的泛化能力，我们研究了从在线平台Freesound收集的音频和相关噪声文本的预训练如何提高我们方法的性能。此外，我们的消融研究表明，正确选择的损失函数和微调预训练模型是必不可少的训练竞争检索系统。
2022-10-06 cs.CL cs.IR cs.LG
Improving Text-Audio Retrieval by Text-aware Attention Pooling and Prior Matrix Revised Loss
Peking University（北京大学）
在文本-音频检索（TAR）任务中，由于文本和音频之间的内容异构性，文本中包含的语义信息仅与音频中的某些帧相似。然而，现有的作品在不考虑文本的情况下聚合整个音频，例如在帧上的均值池化，这可能对给定文本中未描述的误导性音频信息进行编码。在本文中，我们提出了一个文本感知的注意力池（TAP）模块TAR，这本质上是一个缩放的点积注意力的文本出席其语义上最相似的框架。此外，以前的方法只对每一个单边检索进行softmax，忽略了潜在的交叉检索信息。通过探索每个文本-音频对的内在先验，我们引入先验矩阵修正（PMR）损失来过滤具有高（或低）文本到音频但低（或高）音频到文本相似性得分的硬情况，从而实现双重最佳匹配。实验表明，我们的TAP显着优于各种文本无关的池功能。此外，我们的PMR损失还显示了多个数据集上的稳定性能增益。
2023-03-30 cs.SD eess.AS
Omni-Embed-Audio: Leveraging Multimodal LLMs for Robust Audio-Text Retrieval
Sogang University（首尔大学）
提出Omni-Embed-Audio（OEA）检索编码器，利用多模态大语言模型原生理解音频，并通过用户意图查询（UIQ）和硬负样本挖掘，在文本到音频检索中达到与M2D-CLAP相当的性能，同时在文本到文本检索和硬负样本判别上显著优于现有方法。
2026-10-15 cs.CL cs.SD
Language-Based Audio Retrieval with Converging Tied Layers and Contrastive Loss
ST Engineering Mission Software & Services Pte. Ltd（ST工程任务软件与服务私人有限公司）
在本文中，我们解决了DCASE 2022中提出的新的基于数据库的音频检索任务。首先，我们介绍了一个简单的，可扩展的架构，将音频和文本编码器联系在一起。其次，我们表明，使用这种架构以及对比损失允许模型显着击败基线模型的性能。最后，除了具有极低的训练内存要求外，我们还能够使用预训练的模型，而无需对它们进行微调。我们测试了我们的方法，并表明使用我们的方法的组合击败了基线分数显着。
2022-06-29 cs.CL cs.IR cs.SD
Phase retrieval with Bregman divergences: Application to audio signal recovery
IRIT, Université de Toulouse, CNRS（图卢兹大学IRIT研究所，法国国家科学研究中心）；ISAE-SUPAERO（法国高等航空航天学院）
相位恢复的目的是从幅度或功率谱测量中恢复信号。它通常通过考虑涉及二次成本函数的最小化问题来解决。我们提出了一个不同的配方的基础上Bregman分歧，其中包括分歧，是适当的音频信号处理应用。我们推导出一个快速梯度算法来解决这个问题。
2020-11-25 cs.SD eess.AS
CORA: A Protocol for Diagnosing Boundary Robustness in Text-to-Audio Retrieval under Query Reformulations
Sogang University（西江大学）
提出CORA协议，通过五种意图保持的查询改写诊断T2A检索的边界鲁棒性，引入RankDrop指标，发现边界退化而非文本移动是检索失败的主因。
2026-09-29 cs.CL cs.SD eess.AS
Enhancing Retrieval-Augmented Audio Captioning with Generation-Assisted Multimodal Querying and Progressive Learning
Interdisciplinary Program in Artificial Intelligence（人工智能交叉学科项目）；Department of Intelligence and Information（智能与信息系）
针对音频字幕检索仅用单模态音频查询的局限，提出生成辅助多模态查询与渐进式交错音频-文本对学习策略，在多个基准上达到最先进性能。
2025-06-10 cs.AI cs.SD eess.AS
Killing two birds with one stone: Can an audio captioning system also be used for audio-text retrieval?
IRIT（图卢兹计算机科学研究所）；Université Paul Sabatier（保罗·萨巴蒂埃大学）；CNRS（法国国家科学研究中心）；Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工智能与自然智能研究所（ANITI））
本研究探索未经微调的音频字幕生成系统在音频-文本检索中的潜力，利用交叉熵损失值实现检索，在AudioCaps上文本到音频R@1达0.382，超过无外部数据的最先进方法。
2023-08-29 cs.CL cs.IR cs.SD
Crowdsourcing and Evaluating Text-Based Audio Retrieval Relevances
Tampere University（坦佩雷大学）
本文研究如何用众包评分标注文本-音频检索相关性，并通过对比学习实验发现，相比音频描述对产生的二值相关性，额外加入二值化众包相关性并无明显收益。
2023-08-15 cs.SD eess.AS
Robust Audio-Text Retrieval via Cross-Modal Attention and Hybrid Loss
本文提出一种新的多模态检索框架，通过跨模态嵌入细化模块和混合损失函数提升音频与文本检索的鲁棒性，有效处理长音频和噪声。
2026-04-25 cs.CL cs.SD
Fusing Audio and Metadata Embeddings Improves Language-based Audio Retrieval
Institute of Computational Perception（计算感知研究所）；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
本文提出利用关键词等音频元数据，并通过后期或中层融合增强基于语言的音频检索，在 ClothoV2 与 AudioCaps 上分别将 mAP@10 提升 2.36 和 3.69 个百分点。
2024-07-02 cs.LG cs.SD eess.AS
A SOUND APPROACH: Using Large Language Models to generate audio descriptions for egocentric text-audio retrieval
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）；University of Tübingen（蒂宾根大学）
本文提出利用LLM从视频-文本数据生成以音频为中心的描述，并构建三个自我中心文本-音频检索基准，显著提升零样本检索性能。
2024-02-29 cs.IR cs.SD eess.AS
WavRAG: Audio-Integrated Retrieval Augmented Generation for Spoken Dialogue Models
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Beijing University of Technology（北京工业大学）
本文提出端到端原生音频RAG框架WavRAG，通过WavRetriever直接检索原始音频并统一文本-音频知识，在性能相当的情况下较ASR-Text流程提速10倍。
2025-02-20 cs.AI cs.SD eess.AS
Improving Natural-Language-based Audio Retrieval with Transfer Learning and Audio & Text Augmentations
Institute of Computational Perception (CP-JKU)（计算感知研究所（CP-JKU））；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University（约翰内斯·开普勒大学）
在深度学习的许多应用领域中，缺乏大型标记数据集仍然是一个重大挑战。研究人员和从业人员通常会求助于迁移学习和数据增强来缓解这个问题。我们研究这些策略的背景下，音频检索与自然语言查询（任务6b的DCASE 2022挑战）。我们提出的系统使用预先训练的嵌入模型将录音和文本描述投影到共享的音频字幕空间中，在该空间中，来自不同模态的相关示例非常接近。我们在音频和文本输入上采用各种数据增强技术，并通过基于模型的顺序优化系统地调整其相应的超参数。我们的研究结果表明，所使用的增强策略减少过拟合，提高检索性能。
2022-10-29 cs.LG cs.SD eess.AS
RA-CLAP: Relation-Augmented Emotional Speaking Style Contrastive Language-Audio Pretraining For Speech Retrieval
Nankai University（南开大学）；TMCC, College of Computer Science（TMCC计算机学院）；Hithink RoyalFlush AI Research Institute（Hithink RoyalFlush人工智能研究院）；University of Exeter（埃克塞特大学）
本文提出情感说话风格检索任务及RA-CLAP模型，通过自蒸馏学习语音与描述间的局部匹配关系，克服传统二元关系假设，提升泛化能力，实验验证其有效性。
2025-05-26 cs.SD eess.AS
RECAP: Retrieval-Augmented Audio Captioning
University of Maryland, College Park（马里兰大学帕克分校）
RECAP 提出一种检索增强的音频字幕生成方法，利用 CLAP 检索相似字幕构建提示并借助 GPT-2 与交叉注意力生成字幕，无需微调即可跨域迁移，并在域外场景和新型音频事件上取得显著提升。
2024-06-06 cs.AI cs.CL cs.SD
SonicCaps: Large-Scale Diverse and Fine-Grained Captioning for Improved Audio-Retrieval
Sony CTC（索尼CTC）；LTCI, Telecom Paris, Institut polytechnique de Paris（巴黎综合理工学院电信学院LTCI）
该研究提出大规模音频字幕数据集SonicCaps，通过多模态大语言模型Qwen3-Omni生成约1500万条字幕，采用多字幕采样策略训练CLAP模型，提升了音频检索等任务的性能与泛化能力。
2026-09-03 cs.CL cs.MM cs.SD
Improving Audio-Text Retrieval via Hierarchical Cross-Modal Interaction and Auxiliary Captions
School of ECE, Peking University（北京大学电子学院）
本文提出分层跨模态交互方法，同时建模音频片段-句子、片段-短语和帧-词关系，并利用预训练字幕生成器产生的辅助字幕增强音频表示与数据增强，从而在多个数据集上稳定提升音频-文本检索性能。
2025-05-03 cs.SD eess.AS
GLAP: General contrastive audio-text pretraining across domains and languages
MiLM Plus, Xiaomi Inc., China（小米公司）
GLAP通过多语言和多领域能力扩展CLAP，实现跨语言和跨领域的音频-文本预训练，在多个基准测试中表现优异。
2026-01-19 cs.CL cs.SD eess.AS
Dissecting Temporal Understanding in Text-to-Audio Retrieval
University of Oxford（牛津大学）；University of Tübingen（蒂宾根大学）
本文针对文本到音频检索中研究不足的声音时序理解问题，在AudioCaps和Clotho上剖析现有模型能力，并提出合成数据集和关注事件时序的损失函数以提升模型时序建模表现。
2024-09-01 cs.IR cs.LG cs.SD
RAG-Audio: Retrieval-Augmented Generation for Faithful Brain-to-Audio Reconstruction
CVML Lab（CVML实验室）
RAG-Audio通过检索真实音频样本初始化生成器采样轨迹，缓解脑电到音频生成的先验主导问题，在Brain2Music数据集上提升了刺激识别准确率并大幅降低Fréchet音频距离。
2026-08-11 cs.AI cs.SD
Advancing Natural-Language Based Audio Retrieval with PaSST and Large Audio-Caption Data Sets
Johannes Kepler University（约翰内斯·开普勒大学）
本文提出基于预训练文本和频谱图Transformer的文本到音频检索系统，通过共享音频-字幕空间实现跨模态检索，识别出音频编码器和预训练数据扩充两个关键因素，在DCASE 2023和ClothoV2上取得领先性能。
2023-08-08 cs.IR cs.LG cs.SD
Language-based Audio Retrieval with Co-Attention Networks
School of Advanced Technology, Xi’an Jiaotong-Liverpool University（西交利物浦大学先进技术学院）
本文提出一种基于级联协同注意力网络的框架，通过堆叠协同注意力模块逐步细化文本与音频的语义对齐，用于基于语言的音频检索，并在Clotho和AudioCaps数据集上分别取得16.6%和15.1%的性能提升。
2024-12-30 cs.IR cs.SD eess.AS
Application of Audio Fingerprinting Techniques for Real-Time Scalable Speech Retrieval and Speech Clusterization
Faculty of Science, University of Sarajevo（科学学院，萨拉热窝大学）；Infobip（Infobip公司）
本文针对电信与云平台中的语音检索与聚类，改进音频指纹技术，实现无需GPU的快速批处理，并支持基于转录的聚类。
2025-09-25 cs.IR cs.SD eess.AS
Neural Audio Fingerprint for High-specific Audio Retrieval based on Contrastive Learning
Seoul National University（首尔国立大学）；SK Telecom（SK电讯）
大多数现有的音频指纹识别系统在用于大规模的高特异性音频检索方面具有局限性。在这项工作中，我们从音频的短单元段生成一个低维表示，并将此指纹与快速最大内积搜索相结合。为此，我们提出了一个对比学习框架，来自段级搜索目标。训练中的每次更新都使用一批由一组伪标签、随机选择的原始样本及其增强副本组成的批。这些复制品可以通过应用小的时间偏移和各种类型的失真（例如背景噪声和房间/麦克风脉冲响应）来模拟对原始音频信号的降级效果。在段级搜索任务中，传统的音频指纹识别系统过去常常失败，我们的系统使用10倍的小存储空间，显示出有希望的结果。我们的代码和数据集可在\url{https://mimbres.github.io/neural-audio-fp/}上获得。
2021-02-10 cs.IR cs.LG cs.SD
Audio-based Near-Duplicate Video Retrieval with Audio Similarity Learning
Information Technologies Institute, CERTH（希腊研究与技术基金会信息技术研究所）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
在这项工作中，我们解决了基于音频的近重复视频检索的问题。我们提出了音频相似性学习（AuSiL）的方法，有效地捕捉视频对之间的音频相似性的时间模式。对于两个视频之间的鲁棒相似性计算，我们首先通过利用基于在大规模音频事件数据集上训练的卷积神经网络（CNN）的迁移学习来提取代表性的基于音频的视频描述符，然后我们计算从这些描述符的成对相似性导出的相似性矩阵。相似性矩阵随后被馈送到CNN网络，该网络捕获其内容中存在的时间结构。我们按照三元组生成过程和优化三元组损失函数来训练我们的网络。为了评估所提出的方法的有效性，我们手动注释两个公开的视频数据集的基础上，他们的视频之间的音频重复。所提出的方法实现了非常有竞争力的结果相比，三个国家的最先进的方法。此外，与竞争的方法，它是非常强大的速度转换生成的音频副本的检索。
2021-01-11 cs.IR cs.LG cs.MM
ATIR: Towards Audio-Text Interleaved Contextual Retrieval
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院）
本文提出ATIR任务，通过整合ASR、QA和检索数据集构建基准，解决现有音频检索数据集在语义检索上的局限，引入新的token压缩机制提升MLLM在ATIR中的性能。
2026-04-22 cs.AI cs.SD
AudioRAG+: Feedback-driven Retrieval-augmented Audio Generation with Large Audio Language Models
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey, UK（视觉、语音和信号处理中心（CVSSP），英国萨里大学）；Tencent AI Lab, Beijing, China（腾讯人工智能实验室，中国北京）；Tencent AI Lab, Seattle, USA（腾讯人工智能实验室，美国西雅图）
AudioRAG+利用大音频语言模型提升文本到音频生成中特定声音事件的合成能力，通过反馈驱动检索增强生成过程。
2026-02-17 cs.SD
ECLIPSE: Efficient Long-range Video Retrieval using Sight and Sound
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
我们介绍了一种视听方法的远程文本到视频检索。与先前设计用于短视频检索的方法（例如，5-15秒），我们的方法旨在检索捕捉复杂人类动作的分钟长视频。标准的仅视频方法的一个挑战是与处理从这样的长视频中密集提取的数百个帧相关联的大量计算成本。为了解决这个问题，我们建议用简洁概括动态音频事件并且处理成本低廉的紧凑音频线索来替换视频的部分。我们的方法，名为ECLIPSE（高效剪辑与声音编码），适应流行的剪辑模型的视听视频设置，通过添加一个统一的视听Transformer块，捕捉互补的线索，从视频和音频流。除了比远程视频方法快2.92倍和内存效率高2.34倍之外，我们的方法还在几个不同的远程视频数据集上实现了更好的文本到视频检索准确性，例如ActivityNet，QVHighlights，YouCook2，DiDeMo和Charades。
2022-08-02 cs.AI cs.CL cs.CV
ASGIR: Audio Spectrogram Transformer Guided Classification And Information Retrieval For Birds
IIIT-Delhi（德里英德拉普拉斯塔信息技术学院）
本文提出ASGIR框架，结合音频频谱图Transformer引导分类与两步信息检索系统，在Xeno-Canto数据集上实现高效鸟类声音识别与信息检索。
2024-07-10 cs.SD eess.AS
wav2tok 2.0: Scalable Audio Tokenization Maintaining Explicit Pairwise Token Alignment for Efficient Audio Retrieval
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；KU Leuven（鲁汶大学）
提出wav2tok 2.0，通过分阶段训练（对比学习、向量量化、CTC对齐损失和DTW对齐帧预测）实现可扩展的语音分词，在查询示例的口语术语检测中优于基线方法。
2026-06-26 cs.SD eess.AS
Audio Retrieval for Multimodal Design Documents: A New Dataset and Algorithms
Adobe Research（奥多比研究院）
我们考虑并提出了一个新的问题，检索音频文件相关的多模态设计文档输入，包括文本元素和视觉图像，例如，生日/贺卡除了增强用户体验之外，集成与这些输入的主题/风格相匹配的音频还有助于提高这些文档的可访问性（例如，视力受损的人可以听音频代替）。虽然最近在音频检索方面的工作存在，但这些方法和数据集明确针对自然图像。然而，我们的问题认为多模态设计文档（由用户使用创意软件创建）与自然点击的照片有很大不同。为此，我们的第一个贡献是收集和策划一个名为Melodic-Design（或MELON）的新的大规模数据集，包括代表各种风格，主题，模板，插图等的设计文档，与音乐音频配对。鉴于我们配对的图像-文本-音频数据集，我们的下一个贡献是一种新的多模态交叉注意音频检索（MMCAR）算法，该算法能够训练神经网络学习跨图像，文本和音频维度的公共共享特征空间。我们使用这些学习到的特征来证明我们的方法优于现有的最先进的方法，并为我们的新数据集上的研究社区提供了一个新的参考基准。
2023-02-28 cs.IR cs.MM cs.SD
Audio-text Retrieval with Transformer-based Hierarchical Alignment and Disentangled Cross-modal Representation
YifeiXin（西菲·欣）；ZhihongZhu（朱之宏）；XuxinCheng（程旭鑫）；XushengYang（杨旭生）；YuexianZou（邹岳先）
本文提出基于双流Transformer与层次对齐模块的音频-文本检索框架，并引入解耦跨模态表示和置信度感知模块实现细粒度语义对齐，实验证明其有效提升检索性能。
2025-05-04 cs.SD eess.AS
Estimated Audio-Caption Correspondences Improve Language-Based Audio Retrieval
Institute of Computational Perception（计算感知研究所）；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University（约翰内斯·开普勒大学）
本文提出一种两阶段训练方法，利用模型预测的音频-标题对应关系作为目标替代随机不匹配对，在 ClothoV2 基准上将 mAP@10 提升了 1.6 个百分点，显著改进了基于语言的音频检索性能。
2024-08-21 cs.LG cs.SD eess.AS
Contrastive Audio-Language Learning for Music
Queen Mary University of London（伦敦玛丽女王大学）；Universal Music Group（环球音乐集团）
作为人类所知的最直观的界面之一，自然语言有潜力调解许多涉及人机交互的任务，特别是在以应用为中心的领域，如音乐信息检索。在这项工作中，我们探索跨模态学习，试图在音乐领域的音频和语言的桥梁。为此，我们提出了MusCALL，一个音乐对比音频语言学习的框架。我们的方法包括一个双编码器架构，学习音乐音频和描述性句子对之间的对齐，产生多模态嵌入，可用于文本到音频和音频到文本检索的开箱即用。由于这个属性，MusCALL可以被转移到几乎任何可以被转换为基于文本的检索的任务。我们的实验表明，我们的方法在检索与文本描述相匹配的音频时的性能明显优于基线，相反，检索与音频查询相匹配的文本。我们还证明了我们的模型的多模态对齐能力可以成功地扩展到zero-shot传输场景，用于两个公共数据集上的体裁分类和自动标记。
2022-08-25 cs.CL cs.LG cs.SD
Pretrained Conformers for Audio Fingerprinting and Retrieval
Infobip；Faculty of Science, University of Sarajevo（萨拉热窝大学科学学院）
本研究利用自监督对比学习框架训练基于Conformer的编码器，仅需3秒音频即可生成独特嵌入，在音频检索任务中达到最先进水平，且对时间错位及噪声等失真具有强鲁棒性。
2025-09-11 cs.AI cs.IR cs.SD
Re-purposing Multimodal Large Language Models for Audio-Text Retrieval
Visual Geometry Group, University of Oxford（牛津大学视觉几何组）；Epidemic Sound；School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院）
AuroLA通过多模态大语言模型实现音频-文本检索的扩展，利用可扩展的数据管道和混合NCE损失提升检索性能。
2026-10-06 cs.SD
Expanding on EnCLAP with Auxiliary Retrieval Model for Automated Audio Captioning
MAUM AI Inc.（MAUM AI公司）；Soongsil University（崇实大学）
本文基于 EnCLAP 框架优化 DCASE2024 音频描述任务，并引入重排序与辅助检索模型，在任务6和任务8上分别取得 0.542 FENSE 和 0.386 mAP@10，显著超越基线。
2024-09-02 cs.AI cs.SD eess.AS
Retrieval Augmented Generation in Prompt-based Text-to-Speech Synthesis with Context-Aware Contrastive Language-Audio Pretraining
Beijing University of Posts and Telecommunications（北京邮电大学）
本文针对基于提示的TTS中语音提示选择问题，提出将检索增强生成（RAG）适配到TTS，并设计上下文感知对比语言-音频预训练模型CA-CLAP来提取风格相关特征，实验证明该方法优于基线。
2024-06-06 cs.SD eess.AS
Learning Soft-Attention Models for Tempo-invariant Audio-Sheet Music Retrieval
Johannes Kepler University Linz（林茨约翰·开普勒大学）；The Austrian Research Institute for Artificial Intelligence (OFAI)（奥地利人工智能研究所（OFAI））
长期以来，将大型数字化音频记录库与其相应的乐谱图像连接起来一直是研究人员开发新的跨模态检索系统的动机。近年来，基于深度神经网络嵌入空间学习的检索系统更接近实现这一愿景。然而，音乐记录中的全局和局部节奏偏差仍然需要仔细调整给予系统的时间上下文的量。在本文中，我们通过在音频输入上引入额外的软注意力机制来解决这个问题。合成钢琴数据的定量和定性结果表明，这种注意力通过关注基于音频节奏的输入表示的不同部分来增加检索系统的鲁棒性。受到这些结果的鼓舞，我们认为注意力模型具有作为许多MIR任务的非常通用工具的潜力。
2019-06-26 cs.CV cs.IR cs.LG
Audio-to-Image Bird Species Retrieval without Audio-Image Pairs via Text Distillation
Inria, LIRMM, Université de Montpellier（法国国家信息与自动化研究所，蒙彼利埃计算机科学、机器人学与微电子学实验室，蒙彼利埃大学）；University of Kassel（卡塞尔大学）
本文提出无需音频图像配对的音频到图像检索方法，通过文本作为语义中介，利用预训练图像文本模型蒸馏出音频文本模型，实现音频与图像表示的对齐，从而在数据稀缺的生物声学场景中有效进行物种识别。
2026-04-04 cs.IR cs.LG cs.SD
Retrieval-Augmented Text-to-Audio Generation
University of Surrey（萨里大学）
针对文本到音频生成中因数据类别分布不平衡导致长尾类别生成性能差的问题，提出检索增强方法 Re-AudioLDM，利用 CLAP 模型检索相关文本-音频对作为附加条件指导生成，在 AudioCaps 上取得 1.37 的最优 FAD。
2024-01-05 cs.AI cs.MM cs.SD
Overview and Meta-Analysis of DCASE 2026 Challenge Task 6: Audio Moment Retrieval from Long Audio
LY Corporation（LY公司）；Kyoto University（京都大学）；Sony Interactive Entertainment（索尼互动娱乐）；University of Helsinki（赫尔辛基大学）；Tampere University（坦佩雷大学）
本文概述 DCASE 2026 任务6（长音频音频时刻检索），提出结合 MS-CLAP 与 DETR 的基线，最佳系统 Recall1@0.7 达 48.59%，约为基线 3.5 倍，表明增强特征提取与检测网络及校准集成可显著提升性能。
2026-09-16 cs.SD eess.AS
Towards Robust and Truly Large-Scale Audio-Sheet Music Retrieval
Johannes Kepler University Linz（林茨约翰·开普勒大学）
本文系统梳理了基于深度学习的音频-乐谱跨模态检索的现状，明确真实场景中的主要挑战，总结已有改进，并提出后续解决思路，以推动稳健且大规模的统一检索方法。
2023-09-21 cs.IR cs.LG cs.SD
Coordinated Joint Multimodal Embeddings for Generalized Audio-Visual Zeroshot Classification and Retrieval of Videos
IIT Kanpur（印度理工学院坎普尔分校）；University of Warwick（华威大学）；NEC Labs America（NEC美国实验室）
我们提出了一种视听多模态方法的零拍学习（ZEROSHOT LEARNING）的分类和检索的视频任务。近年来，人们已经对视觉感知进行了广泛的研究，但主要局限于视觉模态和图像。我们证明，音频和视觉方式都是重要的，为视频的OWL。由于目前还没有研究该任务的数据集，因此我们还从现有的大规模音频事件数据集构建了一个包含33个类别的多模态数据集，其中包含156，416个视频。我们的经验表明，通过添加音频模态的zeroshot分类和检索的任务，使用嵌入式学习方法的多模态扩展时，性能提高。我们还提出了一种新的方法来预测“占主导地位的”模态使用共同学习的模态注意力网络。我们在半监督环境中学习注意力，因此不需要对模态进行任何额外的明确标记。我们提供了定性验证的方式具体的注意力，这也成功地推广到看不见的测试类。
2019-10-19 cs.CV cs.MM cs.SD
