On Metric Learning for Audio-Text Cross-Modal Retrieval
University of Surrey（萨里大学）
音频文本检索的目的是在给定另一模态的查询的情况下从候选者池中检索目标音频片段或字幕。解决这种跨模态检索任务是具有挑战性的，因为它不仅需要学习两种模态的鲁棒特征表示，而且还需要捕获这两种模态之间的细粒度对齐。现有的跨模态检索模型大多是通过度量学习目标来优化的，因为它们都试图将数据映射到嵌入空间，在嵌入空间中，相似的数据靠得很近，不相似的数据相距很远。与其他跨模态的检索任务，如图像-文本和视频-文本检索，音频-文本检索仍然是一个未开发的任务。在这项工作中，我们的目标是研究不同的度量学习目标对音频文本检索任务的影响。我们对AudioCaps和Clotho数据集上流行的度量学习目标进行了广泛的评估。我们证明了自监督学习的NT-Xent损失在不同的数据集和训练设置中表现出稳定的性能，并且优于流行的基于三元组的损失。我们的代码可在https://github.com/XinhaoMei/audio-text_retrieval上获得。
2022-06-30 cs.SD eess.AS
Language-based Audio Retrieval Task in DCASE 2022 Challenge
基于文本的音频检索是一项任务，其中自然语言文本字幕被用作从数据集中检索音频信号的查询。它首次被引入DCASE 2022挑战赛，作为任务6的子任务6B，旨在开发计算系统来建模音频信号和自由形式的文本描述之间的关系。与为音频信号生成音频字幕的音频字幕（子任务6A）相比，基于语言的音频检索（子任务6B）侧重于根据音频信号与自然语言文本字幕的相关性对音频信号进行排序。在DCASE 2022 Challenge中，子任务6B的基线系统性能明显优于基线系统，最高性能为mAP@10的0.276。本文介绍了Subtask 6B在提交的系统的性能和分析方面的结果。
2022-10-04 cs.SD eess.AS
Audiobox TTA-RAG: Improving Zero-Shot and Few-Shot Text-To-Audio with Retrieval-Augmented Generation
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Meta AI
本文提出 Audiobox TTA-RAG，通过在文本条件之外引入检索到的音频样本作为条件输入，不依赖带标签数据库，显著提升零样本和少样本文本到音频生成性能，同时保持在域内生成能力。
2025-06-06 cs.SD eess.AS
HARP: Agentic Hybrid Retrieval and Analysis for Long-Form Audio
Carnegie Mellon University（卡内基梅隆大学）；Hippocratic AI（希波克拉底人工智能公司）
HARP提出智能体混合检索框架，结合关键词与向量搜索及多模态证据，将长音频分析答案准确率提升约10%，并强调超越答案准确率的评估。
2026-09-15 cs.SD eess.AS
Refining Knowledge Transfer on Audio-Image Temporal Agreement for Audio-Text Cross Retrieval
Doshisha University（同志社大学）；NTT Corporation（NTT公司）
针对音频-文本跨模态检索中数据稀缺问题，提出两种细化音频-图像时间一致性的匹配方法（最近匹配和多帧匹配），实验显示最近匹配有效提升音频-文本检索性能，表明时间一致性细化有助于知识迁移。
2024-03-16 cs.SD eess.AS
Improving Text-Audio Retrieval by Text-aware Attention Pooling and Prior Matrix Revised Loss
Peking University（北京大学）
在文本-音频检索（TAR）任务中，由于文本和音频之间的内容异构性，文本中包含的语义信息仅与音频中的某些帧相似。然而，现有的作品在不考虑文本的情况下聚合整个音频，例如在帧上的均值池化，这可能对给定文本中未描述的误导性音频信息进行编码。在本文中，我们提出了一个文本感知的注意力池（TAP）模块TAR，这本质上是一个缩放的点积注意力的文本出席其语义上最相似的框架。此外，以前的方法只对每一个单边检索进行softmax，忽略了潜在的交叉检索信息。通过探索每个文本-音频对的内在先验，我们引入先验矩阵修正（PMR）损失来过滤具有高（或低）文本到音频但低（或高）音频到文本相似性得分的硬情况，从而实现双重最佳匹配。实验表明，我们的TAP显着优于各种文本无关的池功能。此外，我们的PMR损失还显示了多个数据集上的稳定性能增益。
2023-03-30 cs.SD eess.AS
Phase retrieval with Bregman divergences: Application to audio signal recovery
IRIT, Université de Toulouse, CNRS（图卢兹大学IRIT研究所，法国国家科学研究中心）；ISAE-SUPAERO（法国高等航空航天学院）
相位恢复的目的是从幅度或功率谱测量中恢复信号。它通常通过考虑涉及二次成本函数的最小化问题来解决。我们提出了一个不同的配方的基础上Bregman分歧，其中包括分歧，是适当的音频信号处理应用。我们推导出一个快速梯度算法来解决这个问题。
2020-11-25 cs.SD eess.AS
Crowdsourcing and Evaluating Text-Based Audio Retrieval Relevances
Tampere University（坦佩雷大学）
本文研究如何用众包评分标注文本-音频检索相关性，并通过对比学习实验发现，相比音频描述对产生的二值相关性，额外加入二值化众包相关性并无明显收益。
2023-08-15 cs.SD eess.AS
RA-CLAP: Relation-Augmented Emotional Speaking Style Contrastive Language-Audio Pretraining For Speech Retrieval
Nankai University（南开大学）；TMCC, College of Computer Science（TMCC计算机学院）；Hithink RoyalFlush AI Research Institute（Hithink RoyalFlush人工智能研究院）；University of Exeter（埃克塞特大学）
本文提出情感说话风格检索任务及RA-CLAP模型，通过自蒸馏学习语音与描述间的局部匹配关系，克服传统二元关系假设，提升泛化能力，实验验证其有效性。
2025-05-26 cs.SD eess.AS
Improving Audio-Text Retrieval via Hierarchical Cross-Modal Interaction and Auxiliary Captions
School of ECE, Peking University（北京大学电子学院）
本文提出分层跨模态交互方法，同时建模音频片段-句子、片段-短语和帧-词关系，并利用预训练字幕生成器产生的辅助字幕增强音频表示与数据增强，从而在多个数据集上稳定提升音频-文本检索性能。
2025-05-03 cs.SD eess.AS
Audio Retrieval with Natural Language Queries
University of Oxford（牛津大学）
我们认为使用自由形式的自然语言查询检索音频的任务。为了研究这个问题，这在现有的文献中受到了有限的关注，我们引入了具有挑战性的新基准，基于文本的音频检索使用来自Audiocaps和Clotho数据集的文本注释。然后，我们使用这些基准来建立跨模态音频检索的基线，在那里我们展示了预训练对不同音频任务的好处。我们希望我们的基准将激发进一步的研究跨模态的基于文本的音频检索与自由形式的文本查询。
2021-07-22 cs.IR cs.SD eess.AS
Audio Retrieval with Natural Language Queries: A Benchmark Study
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Oxford（牛津大学）；University of Cambridge（剑桥大学）
这项工作的目标是跨模态的文本音频和音频文本检索，其目标是从一个候选人的池中检索的音频内容，最佳匹配给定的书面描述，反之亦然。文本音频检索使用户能够通过一个直观的界面搜索大型数据库：他们只需发布他们想要听到的声音的自由形式的自然语言描述。为了研究文本音频和音频文本检索的任务，这在现有的文献中受到了有限的关注，我们引入了三个具有挑战性的新基准。我们首先从AudioCaps和Clotho音频字幕数据集构建文本音频和音频文本检索基准。此外，我们还介绍了SoundDescs基准，它由成对的音频和自然语言描述组成，用于各种声音集合，这些声音与AudioCaps和Clotho中的声音是互补的。我们采用这三个基准来建立跨模态文本音频和音频文本检索的基线，在那里我们展示了预训练对不同音频任务的好处。我们希望我们的基准将激发进一步研究音频检索与自由形式的文本查询。所有使用的数据集的代码、音频功能以及SoundDescs数据集都可以在https://github.com/akoepke/audio-retrieval-benchmark上公开获得。
2022-01-27 cs.IR cs.SD eess.AS
ASGIR: Audio Spectrogram Transformer Guided Classification And Information Retrieval For Birds
IIIT-Delhi（德里英德拉普拉斯塔信息技术学院）
本文提出ASGIR框架，结合音频频谱图Transformer引导分类与两步信息检索系统，在Xeno-Canto数据集上实现高效鸟类声音识别与信息检索。
2024-07-10 cs.SD eess.AS
wav2tok 2.0: Scalable Audio Tokenization Maintaining Explicit Pairwise Token Alignment for Efficient Audio Retrieval
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；KU Leuven（鲁汶大学）
提出wav2tok 2.0，通过分阶段训练（对比学习、向量量化、CTC对齐损失和DTW对齐帧预测）实现可扩展的语音分词，在查询示例的口语术语检测中优于基线方法。
2026-06-26 cs.SD eess.AS
Audio-text Retrieval with Transformer-based Hierarchical Alignment and Disentangled Cross-modal Representation
YifeiXin（西菲·欣）；ZhihongZhu（朱之宏）；XuxinCheng（程旭鑫）；XushengYang（杨旭生）；YuexianZou（邹岳先）
本文提出基于双流Transformer与层次对齐模块的音频-文本检索框架，并引入解耦跨模态表示和置信度感知模块实现细粒度语义对齐，实验证明其有效提升检索性能。
2025-05-04 cs.SD eess.AS
Audio-text Retrieval in Context
Shanghai Jiao Tong University（上海交通大学）
基于自然语言描述的音频文本检索是一项具有挑战性的任务。它涉及在不充分的数据条件下学习长序列之间的跨模态比对。在这项工作中，我们研究了几个音频功能，以及更好的音频文本对齐的序列聚合方法。此外，通过定性分析，我们观察到，语义映射是更重要的上下文检索比时间关系。使用预先训练的音频特征和基于聚类的聚合方法，我们建立了我们的上下文音频文本检索系统。具体来说，我们利用在大型声音事件数据集和NetRVLAD池上预训练的PANN特征，NetRVLAD池直接与平均描述符一起工作。在AudioCaps和CLOTHO数据集上进行了实验，并将结果与以前的最先进的系统进行了比较。与我们提出的系统，一个显着的改善已经取得了双向音频文本检索，所有指标，包括召回，中位数和平均排名。
2022-03-29 cs.CL cs.SD eess.AS
Language-based Audio Moment Retrieval
LY Corporation（LY公司）
本文提出音频时刻检索任务，构建Clotho-Moment数据集和AM-DETR模型，利用时间依赖超越片段级方法，在Recall1@0.7上提升9.00点。
2025-08-04 cs.CL cs.SD eess.AS
Retrieval Augmented Generation in Prompt-based Text-to-Speech Synthesis with Context-Aware Contrastive Language-Audio Pretraining
Beijing University of Posts and Telecommunications（北京邮电大学）
本文针对基于提示的TTS中语音提示选择问题，提出将检索增强生成（RAG）适配到TTS，并设计上下文感知对比语言-音频预训练模型CA-CLAP来提取风格相关特征，实验证明该方法优于基线。
2024-06-06 cs.SD eess.AS
Enhancing Retrieval-Augmented Audio Captioning with Generation-Assisted Multimodal Querying and Progressive Learning
Interdisciplinary Program in Artificial Intelligence（人工智能交叉学科项目）；Department of Intelligence and Information（智能与信息系）
针对音频字幕检索仅用单模态音频查询的局限，提出生成辅助多模态查询与渐进式交错音频-文本对学习策略，在多个基准上达到最先进性能。
2025-06-10 cs.AI cs.SD eess.AS
Overview and Meta-Analysis of DCASE 2026 Challenge Task 6: Audio Moment Retrieval from Long Audio
LY Corporation（LY公司）；Kyoto University（京都大学）；Sony Interactive Entertainment（索尼互动娱乐）；University of Helsinki（赫尔辛基大学）；Tampere University（坦佩雷大学）
本文概述 DCASE 2026 任务6（长音频音频时刻检索），提出结合 MS-CLAP 与 DETR 的基线，最佳系统 Recall1@0.7 达 48.59%，约为基线 3.5 倍，表明增强特征提取与检测网络及校准集成可显著提升性能。
2026-09-16 cs.SD eess.AS
Fusing Audio and Metadata Embeddings Improves Language-based Audio Retrieval
Institute of Computational Perception（计算感知研究所）；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
本文提出利用关键词等音频元数据，并通过后期或中层融合增强基于语言的音频检索，在 ClothoV2 与 AudioCaps 上分别将 mAP@10 提升 2.36 和 3.69 个百分点。
2024-07-02 cs.LG cs.SD eess.AS
A SOUND APPROACH: Using Large Language Models to generate audio descriptions for egocentric text-audio retrieval
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）；University of Tübingen（蒂宾根大学）
本文提出利用LLM从视频-文本数据生成以音频为中心的描述，并构建三个自我中心文本-音频检索基准，显著提升零样本检索性能。
2024-02-29 cs.IR cs.SD eess.AS
WavRAG: Audio-Integrated Retrieval Augmented Generation for Spoken Dialogue Models
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Beijing University of Technology（北京工业大学）
本文提出端到端原生音频RAG框架WavRAG，通过WavRetriever直接检索原始音频并统一文本-音频知识，在性能相当的情况下较ASR-Text流程提速10倍。
2025-02-20 cs.AI cs.SD eess.AS
Steering dense music retrieval with open-vocabulary concept discovery
本研究提出一种轻量无需训练的开放词汇概念发现方法，用于可控音乐检索，可恢复与概念音频示例对齐更紧密的稀疏特征，实现更优的编辑强度与内容保留权衡。
2026-08-11 cs.SD eess.AS
Bridging Language Gaps in Audio-Text Retrieval
Xiaomi Corporation（小米公司）
针对音频-文本检索偏重英语的问题，提出结合 SONAR 多语言文本编码与 CED 音频编码器优化的语言增强方法，在英语基准上达到 SOTA，并以少量额外数据支持七种语言检索。
2024-06-17 cs.CL cs.SD eess.AS
AudioNet: Supervised Deep Hashing for Retrieval of Similar Audio Events
提出有监督深度哈希系统AudioNet，结合加权对比损失、成对损失与哈希码平衡及离散梯度传播优化二进制码，在多标准数据集上实现高效的相似音频事件检索并确立新基线。
2025-11-03 eess.AS
Audio Captioning using Pre-Trained Large-Scale Language Model Guided by Audio-based Similar Caption Retrieval
NTT Corporation（日本电报电话公司）
音频字幕的目标是将输入的音频转换为使用自然语言的描述。音频字幕的问题之一是缺乏训练数据，这是由于难以通过爬行网络来收集音频字幕对。在这项研究中，为了克服这个问题，我们建议使用预先训练的大规模语言模型。由于音频输入不能直接输入到这样的语言模型中，因此我们利用基于可能存在于不同音频中的相似性从训练数据集检索的指导字幕。然后，在参考引导字幕的同时，通过使用预先训练的语言模型来生成音频输入的字幕。实验结果表明，（i）所提出的方法已经成功地使用预先训练的语言模型的音频字幕，和（ii）的预言性能的预先训练的基于模型的字幕生成器是明显优于传统的方法从头开始训练。
2020-12-14 cs.CL cs.SD eess.AS
Zero-Shot Crate Digging: DJ Tool Retrieval Using Speech Activity, Music Structure And CLAP Embeddings
本文提出一种零样本DJ工具检索系统，结合语音/音乐活动检测、音乐边界分析和CLAP模型，从个人音乐库中自动发现适合现场或录音室使用的DJ工具。
2024-11-19 cs.SD eess.AS
Language-based Audio Retrieval with Co-Attention Networks
School of Advanced Technology, Xi’an Jiaotong-Liverpool University（西交利物浦大学先进技术学院）
本文提出一种基于级联协同注意力网络的框架，通过堆叠协同注意力模块逐步细化文本与音频的语义对齐，用于基于语言的音频检索，并在Clotho和AudioCaps数据集上分别取得16.6%和15.1%的性能提升。
2024-12-30 cs.IR cs.SD eess.AS
Application of Audio Fingerprinting Techniques for Real-Time Scalable Speech Retrieval and Speech Clusterization
Faculty of Science, University of Sarajevo（科学学院，萨拉热窝大学）；Infobip（Infobip公司）
本文针对电信与云平台中的语音检索与聚类，改进音频指纹技术，实现无需GPU的快速批处理，并支持基于转录的聚类。
2025-09-25 cs.IR cs.SD eess.AS
Automated Audio Captioning and Language-Based Audio Retrieval
Carnegie Mellon University（卡内基梅隆大学）
本项目参与DCASE 2022任务6，针对自动音频字幕生成与基于语言的音频检索两个子任务，基于Clotho数据集改进基线模型，最终音频检索模型超越基线，字幕生成接近基线。
2023-05-15 cs.CL cs.IR cs.SD
Language-based Audio Retrieval Task in DCASE 2022 Challenge
基于文本的音频检索是一项任务，其中自然语言文本字幕被用作从数据集中检索音频信号的查询。它首次被引入DCASE 2022挑战赛，作为任务6的子任务6B，旨在开发计算系统来建模音频信号和自由形式的文本描述之间的关系。与为音频信号生成音频字幕的音频字幕（子任务6A）相比，基于语言的音频检索（子任务6B）侧重于根据音频信号与自然语言文本字幕的相关性对音频信号进行排序。在DCASE 2022 Challenge中，子任务6B的基线系统性能明显优于基线系统，最高性能为mAP@10的0.276。本文介绍了Subtask 6B在提交的系统的性能和分析方面的结果。
2022-09-30 eess.AS
PlanRAG-Audio: Planning and Retrieval Augmented Generation for Long-form Audio Understanding
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）；Amazon AGI（亚马逊通用人工智能）
提出PlanRAG-Audio框架，通过规划查询所需模态和时间跨度并仅检索相关信息，实现长音频的高效推理，提升准确率并稳定性能。
2026-05-25 eess.AS
Estimated Audio-Caption Correspondences Improve Language-Based Audio Retrieval
Institute of Computational Perception（计算感知研究所）；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University（约翰内斯·开普勒大学）
本文提出一种两阶段训练方法，利用模型预测的音频-标题对应关系作为目标替代随机不匹配对，在 ClothoV2 基准上将 mAP@10 提升了 1.6 个百分点，显著改进了基于语言的音频检索性能。
2024-08-21 cs.LG cs.SD eess.AS
Improving Natural-Language-based Audio Retrieval with Transfer Learning and Audio & Text Augmentations
Institute of Computational Perception (CP-JKU)（计算感知研究所（CP-JKU））；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University（约翰内斯·开普勒大学）
在深度学习的许多应用领域中，缺乏大型标记数据集仍然是一个重大挑战。研究人员和从业人员通常会求助于迁移学习和数据增强来缓解这个问题。我们研究这些策略的背景下，音频检索与自然语言查询（任务6b的DCASE 2022挑战）。我们提出的系统使用预先训练的嵌入模型将录音和文本描述投影到共享的音频字幕空间中，在该空间中，来自不同模态的相关示例非常接近。我们在音频和文本输入上采用各种数据增强技术，并通过基于模型的顺序优化系统地调整其相应的超参数。我们的研究结果表明，所使用的增强策略减少过拟合，提高检索性能。
2022-10-29 cs.LG cs.SD eess.AS
Attention-Based Audio Embeddings for Query-by-Example
Ghent University（根特大学）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文提出一种基于对比学习和通道频谱-时间注意力的音频检索系统，生成抗噪声与混响的音频指纹，实现高效精确的示例查询和时间戳估计。
2024-11-21 cs.SD eess.AS
Audio Retrieval with WavText5K and CLAP Training
Microsoft（微软）
音频文本检索采用自然语言查询来检索数据库中的相关音频文件。相反，文本音频检索将音频文件作为查询来检索相关的自然语言描述。大多数文献训练检索系统与一个音频字幕数据集，但评估的好处，训练与多个数据集是underexplored。此外，检索系统必须学习描述长度从几秒到几分钟不等的音频内容的详细句子之间的对齐。在这项工作中，我们提出了一个新的收集网络音频文本对和一个新的检索框架。首先，我们提供了一个大约5000个网络音频文本对的新集合，我们称之为WavText 5 K。当用于训练我们的检索系统时，WavText 5 K比其他音频字幕数据集提高了性能。其次，我们的框架通过使用文本编码器，两个音频编码器和对比学习目标来学习连接语言和音频内容。结合两个音频编码器有助于处理可变长度音频。这两个贡献击败了AudioCaps和Clotho在文本-音频检索方面的最新性能，分别为2%和16%，以及6%和23%的音频-文本检索。
2022-09-28 cs.AI eess.AS
Dissecting Temporal Understanding in Text-to-Audio Retrieval
University of Oxford（牛津大学）；University of Tübingen（蒂宾根大学）
本文针对文本到音频检索中研究不足的声音时序理解问题，在AudioCaps和Clotho上剖析现有模型能力，并提出合成数据集和关注事件时序的损失函数以提升模型时序建模表现。
2024-09-01 cs.IR cs.LG cs.SD
Expanding on EnCLAP with Auxiliary Retrieval Model for Automated Audio Captioning
MAUM AI Inc.（MAUM AI公司）；Soongsil University（崇实大学）
本文基于 EnCLAP 框架优化 DCASE2024 音频描述任务，并引入重排序与辅助检索模型，在任务6和任务8上分别取得 0.542 FENSE 和 0.386 mAP@10，显著超越基线。
2024-09-02 cs.AI cs.SD eess.AS
Advancing Natural-Language Based Audio Retrieval with PaSST and Large Audio-Caption Data Sets
Johannes Kepler University（约翰内斯·开普勒大学）
本文提出基于预训练文本和频谱图Transformer的文本到音频检索系统，通过共享音频-字幕空间实现跨模态检索，识别出音频编码器和预训练数据扩充两个关键因素，在DCASE 2023和ClothoV2上取得领先性能。
2023-08-08 cs.IR cs.LG cs.SD
Text-based Audio Retrieval by Learning from Similarities between Audio Captions
针对音频字幕数据缺乏细粒度相关性的问题，提出利用 Sentence-BERT 字幕相似度和 logistic 函数生成非二元相关性，并结合列表式排序训练，提升基于文本的音频检索性能。
2024-12-02 eess.AS
GD-Retriever: Controllable Generative Text-Music Retrieval with Diffusion Models
针对文本-音乐检索中语言模糊导致结果不灵活的问题，提出基于扩散模型的GDR框架，在检索优化潜在空间生成查询，实现可控检索并提升性能。
2025-06-24 cs.SD eess.AS
Neural Audio Fingerprint for High-specific Audio Retrieval based on Contrastive Learning
Seoul National University（首尔国立大学）；SK Telecom（SK电讯）
大多数现有的音频指纹识别系统在用于大规模的高特异性音频检索方面具有局限性。在这项工作中，我们从音频的短单元段生成一个低维表示，并将此指纹与快速最大内积搜索相结合。为此，我们提出了一个对比学习框架，来自段级搜索目标。训练中的每次更新都使用一批由一组伪标签、随机选择的原始样本及其增强副本组成的批。这些复制品可以通过应用小的时间偏移和各种类型的失真（例如背景噪声和房间/麦克风脉冲响应）来模拟对原始音频信号的降级效果。在段级搜索任务中，传统的音频指纹识别系统过去常常失败，我们的系统使用10倍的小存储空间，显示出有希望的结果。我们的代码和数据集可在\url{https://mimbres.github.io/neural-audio-fp/}上获得。
2021-02-10 cs.IR cs.LG cs.SD
Introducing Auxiliary Text Query-modifier to Content-based Audio Retrieval
NTT Corporation（NTT公司）
公共网站上提供的音频数据量正在迅速增长，需要一个访问所需数据的有效机制。我们提出了一种基于内容的音频检索方法，可以检索到的目标音频是类似的，但略有不同的查询音频通过引入辅助文本信息，描述了查询和目标音频之间的差异。虽然传统的基于内容的音频检索的范围限于与查询音频相似的音频，但是所提出的方法可以通过将辅助文本查询修饰符的嵌入添加到查询样本音频在共享潜在空间中的嵌入来调整检索范围。为了评估我们的方法，我们构建了一个数据集，包括两个不同的音频片段和描述差异的文本。实验结果表明，该方法比基线更准确地检索成对音频。我们还证实了基于可视化，该方法获得了共享的潜在空间，其中音频差异和相应的文本表示为相似的嵌入向量。
2022-07-20 cs.CL cs.IR cs.LG
Deep Cross-Modal Correlation Learning for Audio and Lyrics in Music Retrieval
National Institute of Informatics（国立信息学研究所）；The University of Electro-Communications（电气通信大学）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Hong Kong University of Science and Technology（香港科技大学）
很少有研究集中在跨模态相关学习，其中考虑到不同的数据模态，如音频和歌词的时间结构。基于音乐的时间结构特点，我们有动机去了解音频和歌词之间的深层序列相关性。在这项工作中，我们提出了一个深度跨模态相关学习架构，涉及用于音频模态和文本模态（歌词）的双分支深度神经网络。不同的模态数据被转换到同一个典型空间，其中模态间典型相关分析被用作目标函数来计算时间结构的相似性。这是第一次通过深度架构来理解语言和音乐音频之间的相关性，以学习音频和歌词的配对时间相关性。使用预训练的Doc2vec模型和全连接层（全连接深度神经网络）来表示歌词。在音频分支中做出了两个重要贡献，如下：i）研究了预训练的CNN，然后是完全连接的层，用于表示音乐音频。ii）我们进一步提出了一种端到端架构，可以同时训练卷积层和全连接层，以更好地学习音乐音频的时间结构。特别是，我们的端到端深度架构包含两个属性：同时实现特征学习和跨模态相关学习，以及通过考虑时间结构来学习联合表示。实验结果，使用音频检索歌词或使用歌词检索音频，验证了所提出的深度相关学习架构在跨模态音乐检索的有效性。
2017-11-29 cs.IR cs.SD eess.AS
Matching Text and Audio Embeddings: Exploring Transfer-learning Strategies for Language-based Audio Retrieval
Huawei Technologies（华为技术有限公司）；Universitat Pompeu Fabra（庞培法布拉大学）
我们对用于跨模态（文本到音频）检索的大规模预训练深度学习模型进行了分析。我们使用这些模型在度量学习框架中提取的嵌入来连接匹配的音频和文本对。浅层神经网络将嵌入映射到一个共同的维度。我们的系统，这是我们提交的DCASE挑战赛2022年的基于存储的音频检索任务的扩展，采用了RoBERTa基础模型作为文本嵌入提取器。预训练的PANN模型提取音频嵌入。为了提高我们模型的泛化能力，我们研究了从在线平台Freesound收集的音频和相关噪声文本的预训练如何提高我们方法的性能。此外，我们的消融研究表明，正确选择的损失函数和微调预训练模型是必不可少的训练竞争检索系统。
2022-10-06 cs.CL cs.IR cs.LG
Contrastive Latent Space Reconstruction Learning for Audio-Text Retrieval
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Nanjing University（南京大学）
本文提出对比潜空间重建学习（CLSR），通过引入模态内可分离性、自适应温度控制和潜表示重建模块，提升音频-文本跨模态检索性能。
2023-09-16 cs.MM cs.SD eess.AS
Language-Based Audio Retrieval with Converging Tied Layers and Contrastive Loss
ST Engineering Mission Software & Services Pte. Ltd（ST工程任务软件与服务私人有限公司）
在本文中，我们解决了DCASE 2022中提出的新的基于数据库的音频检索任务。首先，我们介绍了一个简单的，可扩展的架构，将音频和文本编码器联系在一起。其次，我们表明，使用这种架构以及对比损失允许模型显着击败基线模型的性能。最后，除了具有极低的训练内存要求外，我们还能够使用预训练的模型，而无需对它们进行微调。我们测试了我们的方法，并表明使用我们的方法的组合击败了基线分数显着。
2022-06-29 cs.CL cs.IR cs.SD
CORA: A Protocol for Diagnosing Boundary Robustness in Text-to-Audio Retrieval under Query Reformulations
Sogang University（西江大学）
提出CORA协议，通过五种意图保持的查询改写诊断T2A检索的边界鲁棒性，引入RankDrop指标，发现边界退化而非文本移动是检索失败的主因。
2026-09-29 cs.CL cs.SD eess.AS
Audio Retrieval for Multimodal Design Documents: A New Dataset and Algorithms
Adobe Research（奥多比研究院）
我们考虑并提出了一个新的问题，检索音频文件相关的多模态设计文档输入，包括文本元素和视觉图像，例如，生日/贺卡除了增强用户体验之外，集成与这些输入的主题/风格相匹配的音频还有助于提高这些文档的可访问性（例如，视力受损的人可以听音频代替）。虽然最近在音频检索方面的工作存在，但这些方法和数据集明确针对自然图像。然而，我们的问题认为多模态设计文档（由用户使用创意软件创建）与自然点击的照片有很大不同。为此，我们的第一个贡献是收集和策划一个名为Melodic-Design（或MELON）的新的大规模数据集，包括代表各种风格，主题，模板，插图等的设计文档，与音乐音频配对。鉴于我们配对的图像-文本-音频数据集，我们的下一个贡献是一种新的多模态交叉注意音频检索（MMCAR）算法，该算法能够训练神经网络学习跨图像，文本和音频维度的公共共享特征空间。我们使用这些学习到的特征来证明我们的方法优于现有的最先进的方法，并为我们的新数据集上的研究社区提供了一个新的参考基准。
2023-02-28 cs.IR cs.MM cs.SD
Time-Frequency Phase Retrieval for Audio -- The Effect of Transform Parameters
Acoustics Research Institute, Austrian Academy of Sciences（奥地利科学院声学研究所）
在音频处理应用中，通常根据短时傅里叶变换（STFT）系数的幅度来执行相位恢复（PR）。虽然已经观察到PR性能取决于所考虑的STFT参数和音频数据，但这种依赖性的程度尚未被系统地评估。为了解决这个问题，我们研究了三种PR算法对各种类型的音频内容和各种STFT参数（如冗余度、时频比和窗口类型）的性能。PR的质量进行了研究的客观差异等级和信噪比的STFT幅度，提供听觉和信号为基础的质量评估。我们的研究结果表明，PR质量的提高与增加冗余，具有较强的相关性的时频比。音频内容的影响较小，但仍然可以观察到。窗口的影响仅对PR算法之一显著。有趣的是，为了获得良好的PR质量，三种算法中的每一种都需要不同的参数集，这证明了各个参数集对于PR算法之间的公平比较的相关性。基于这些结果，我们制定了针对特定应用优化STFT参数的指导方针。
2021-06-09 cs.SD eess.AS eess.SP
DiffATR: Diffusion-based Generative Modeling for Audio-Text Retrieval
School of ECE, Peking University（北京大学电子学院）
针对现有判别式音频-文本检索方法难以辨别分布外数据的问题，提出基于扩散的生成式框架DiffATR，通过建模联合概率并融合生成与对比损失进行优化，在多个数据集上取得优异性能且在域外检索中表现稳健。
2024-10-17 cs.IR cs.SD eess.AS
Audio-based Near-Duplicate Video Retrieval with Audio Similarity Learning
Information Technologies Institute, CERTH（希腊研究与技术基金会信息技术研究所）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
在这项工作中，我们解决了基于音频的近重复视频检索的问题。我们提出了音频相似性学习（AuSiL）的方法，有效地捕捉视频对之间的音频相似性的时间模式。对于两个视频之间的鲁棒相似性计算，我们首先通过利用基于在大规模音频事件数据集上训练的卷积神经网络（CNN）的迁移学习来提取代表性的基于音频的视频描述符，然后我们计算从这些描述符的成对相似性导出的相似性矩阵。相似性矩阵随后被馈送到CNN网络，该网络捕获其内容中存在的时间结构。我们按照三元组生成过程和优化三元组损失函数来训练我们的网络。为了评估所提出的方法的有效性，我们手动注释两个公开的视频数据集的基础上，他们的视频之间的音频重复。所提出的方法实现了非常有竞争力的结果相比，三个国家的最先进的方法。此外，与竞争的方法，它是非常强大的速度转换生成的音频副本的检索。
2021-01-11 cs.IR cs.LG cs.MM
AISTAT lab system for DCASE2025 Task6: Language-based audio retrieval
AISTAT LAB（AISTAT实验室）
本文提出一种基于双编码器与对比学习的语言音频检索系统，结合蒸馏、LLM 数据增强和聚类辅助分类，在 DCASE 2025 任务 6 中单系统 mAP@16 达 46.62，集成达 48.83。
2025-09-20 cs.AI cs.SD eess.AS
