Dissecting Temporal Understanding in Text-to-Audio Retrieval
University of Oxford（牛津大学）；University of Tübingen（蒂宾根大学）
本文针对文本到音频检索中研究不足的声音时序理解问题，在AudioCaps和Clotho上剖析现有模型能力，并提出合成数据集和关注事件时序的损失函数以提升模型时序建模表现。
2024-09-01 cs.IR cs.LG cs.SD
Advancing Natural-Language Based Audio Retrieval with PaSST and Large Audio-Caption Data Sets
Johannes Kepler University（约翰内斯·开普勒大学）
本文提出基于预训练文本和频谱图Transformer的文本到音频检索系统，通过共享音频-字幕空间实现跨模态检索，识别出音频编码器和预训练数据扩充两个关键因素，在DCASE 2023和ClothoV2上取得领先性能。
2023-08-08 cs.IR cs.LG cs.SD
Omni-Embed-Audio: Leveraging Multimodal LLMs for Robust Audio-Text Retrieval
Sogang University（首尔大学）
提出Omni-Embed-Audio（OEA）检索编码器，利用多模态大语言模型原生理解音频，并通过用户意图查询（UIQ）和硬负样本挖掘，在文本到音频检索中达到与M2D-CLAP相当的性能，同时在文本到文本检索和硬负样本判别上显著优于现有方法。
2026-10-15 cs.CL cs.SD
SALSA-V: Shortcut-Augmented Long-form Synchronized Audio from Videos
ETH Zurich（苏黎世联邦理工学院）
SALSA-V是一种多模态视频转音频生成模型，通过掩码扩散目标和捷径损失实现长音频同步高保真生成，仅需8步采样即可快速生成，性能优于现有SOTA，可用于专业音频合成任务。
2026-08-17 cs.LG cs.SD
Geometric Iterative Retrieval for Neural Audio Codec Resynthesis
ETH-DISCO
该研究针对神经音频编解码器从粗令牌重合成高质量音频的问题，提出几何迭代检索方法，在语音和音乐编解码器恢复任务上优于单次令牌预测和单步回归基线。
2026-08-20 cs.LG cs.SD
Retrieval Augmented Generation in Prompt-based Text-to-Speech Synthesis with Context-Aware Contrastive Language-Audio Pretraining
Beijing University of Posts and Telecommunications（北京邮电大学）
本文针对基于提示的TTS中语音提示选择问题，提出将检索增强生成（RAG）适配到TTS，并设计上下文感知对比语言-音频预训练模型CA-CLAP来提取风格相关特征，实验证明该方法优于基线。
2024-06-06 cs.SD eess.AS
CORA: A Protocol for Diagnosing Boundary Robustness in Text-to-Audio Retrieval under Query Reformulations
Sogang University（西江大学）
提出CORA协议，通过五种意图保持的查询改写诊断T2A检索的边界鲁棒性，引入RankDrop指标，发现边界退化而非文本移动是检索失败的主因。
2026-09-29 cs.CL cs.SD eess.AS
ALM2Vec: Learning Audio Embeddings for Universal Audio Retrieval with Large Audio-Language Models
Zhejiang University（浙江大学）；Johns Hopkins University（约翰霍普金斯大学）
提出ALM2Vec框架，利用预训练大型音频语言模型学习统一嵌入空间，实现跨域、任务感知的音频检索，支持指令感知检索，在标准基准上表现优异。
2026-07-01 cs.AI cs.SD eess.AS
Enhancing Retrieval-Augmented Audio Captioning with Generation-Assisted Multimodal Querying and Progressive Learning
Interdisciplinary Program in Artificial Intelligence（人工智能交叉学科项目）；Department of Intelligence and Information（智能与信息系）
针对音频字幕检索仅用单模态音频查询的局限，提出生成辅助多模态查询与渐进式交错音频-文本对学习策略，在多个基准上达到最先进性能。
2025-06-10 cs.AI cs.SD eess.AS
WavRAG: Audio-Integrated Retrieval Augmented Generation for Spoken Dialogue Models
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Beijing University of Technology（北京工业大学）
本文提出端到端原生音频RAG框架WavRAG，通过WavRetriever直接检索原始音频并统一文本-音频知识，在性能相当的情况下较ASR-Text流程提速10倍。
2025-02-20 cs.AI cs.SD eess.AS
Audio Retrieval with Natural Language Queries
University of Oxford（牛津大学）
我们认为使用自由形式的自然语言查询检索音频的任务。为了研究这个问题，这在现有的文献中受到了有限的关注，我们引入了具有挑战性的新基准，基于文本的音频检索使用来自Audiocaps和Clotho数据集的文本注释。然后，我们使用这些基准来建立跨模态音频检索的基线，在那里我们展示了预训练对不同音频任务的好处。我们希望我们的基准将激发进一步的研究跨模态的基于文本的音频检索与自由形式的文本查询。
2021-07-22 cs.IR cs.SD eess.AS
On Metric Learning for Audio-Text Cross-Modal Retrieval
University of Surrey（萨里大学）
音频文本检索的目的是在给定另一模态的查询的情况下从候选者池中检索目标音频片段或字幕。解决这种跨模态检索任务是具有挑战性的，因为它不仅需要学习两种模态的鲁棒特征表示，而且还需要捕获这两种模态之间的细粒度对齐。现有的跨模态检索模型大多是通过度量学习目标来优化的，因为它们都试图将数据映射到嵌入空间，在嵌入空间中，相似的数据靠得很近，不相似的数据相距很远。与其他跨模态的检索任务，如图像-文本和视频-文本检索，音频-文本检索仍然是一个未开发的任务。在这项工作中，我们的目标是研究不同的度量学习目标对音频文本检索任务的影响。我们对AudioCaps和Clotho数据集上流行的度量学习目标进行了广泛的评估。我们证明了自监督学习的NT-Xent损失在不同的数据集和训练设置中表现出稳定的性能，并且优于流行的基于三元组的损失。我们的代码可在https://github.com/XinhaoMei/audio-text_retrieval上获得。
2022-06-30 cs.SD eess.AS
Audio Retrieval with Natural Language Queries: A Benchmark Study
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Oxford（牛津大学）；University of Cambridge（剑桥大学）
这项工作的目标是跨模态的文本音频和音频文本检索，其目标是从一个候选人的池中检索的音频内容，最佳匹配给定的书面描述，反之亦然。文本音频检索使用户能够通过一个直观的界面搜索大型数据库：他们只需发布他们想要听到的声音的自由形式的自然语言描述。为了研究文本音频和音频文本检索的任务，这在现有的文献中受到了有限的关注，我们引入了三个具有挑战性的新基准。我们首先从AudioCaps和Clotho音频字幕数据集构建文本音频和音频文本检索基准。此外，我们还介绍了SoundDescs基准，它由成对的音频和自然语言描述组成，用于各种声音集合，这些声音与AudioCaps和Clotho中的声音是互补的。我们采用这三个基准来建立跨模态文本音频和音频文本检索的基线，在那里我们展示了预训练对不同音频任务的好处。我们希望我们的基准将激发进一步研究音频检索与自由形式的文本查询。所有使用的数据集的代码、音频功能以及SoundDescs数据集都可以在https://github.com/akoepke/audio-retrieval-benchmark上公开获得。
2022-01-27 cs.IR cs.SD eess.AS
Language-based Audio Retrieval Task in DCASE 2022 Challenge
基于文本的音频检索是一项任务，其中自然语言文本字幕被用作从数据集中检索音频信号的查询。它首次被引入DCASE 2022挑战赛，作为任务6的子任务6B，旨在开发计算系统来建模音频信号和自由形式的文本描述之间的关系。与为音频信号生成音频字幕的音频字幕（子任务6A）相比，基于语言的音频检索（子任务6B）侧重于根据音频信号与自然语言文本字幕的相关性对音频信号进行排序。在DCASE 2022 Challenge中，子任务6B的基线系统性能明显优于基线系统，最高性能为mAP@10的0.276。本文介绍了Subtask 6B在提交的系统的性能和分析方面的结果。
2022-10-04 cs.SD eess.AS
Interfacing with history: Curating with audio augmented objects
The University of Nottingham（诺丁汉大学）
本研究通过分析访客对两种含音频增强对象的音频增强现实体验的交互行为与反馈，探讨其策展潜力，提出其可作为数字音频档案接口，为沉寂的博物馆藏品重构语境、创造新体验。
2024-12-10 cs.HC cs.SD eess.AS
ATIR: Towards Audio-Text Interleaved Contextual Retrieval
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院）
本文提出ATIR任务，通过整合ASR、QA和检索数据集构建基准，解决现有音频检索数据集在语义检索上的局限，引入新的token压缩机制提升MLLM在ATIR中的性能。
2026-04-22 cs.AI cs.SD
HARP: Agentic Hybrid Retrieval and Analysis for Long-Form Audio
Carnegie Mellon University（卡内基梅隆大学）；Hippocratic AI（希波克拉底人工智能公司）
HARP提出智能体混合检索框架，结合关键词与向量搜索及多模态证据，将长音频分析答案准确率提升约10%，并强调超越答案准确率的评估。
2026-09-15 cs.SD eess.AS
Refining Knowledge Transfer on Audio-Image Temporal Agreement for Audio-Text Cross Retrieval
Doshisha University（同志社大学）；NTT Corporation（NTT公司）
针对音频-文本跨模态检索中数据稀缺问题，提出两种细化音频-图像时间一致性的匹配方法（最近匹配和多帧匹配），实验显示最近匹配有效提升音频-文本检索性能，表明时间一致性细化有助于知识迁移。
2024-03-16 cs.SD eess.AS
Audio-text Retrieval in Context
Shanghai Jiao Tong University（上海交通大学）
基于自然语言描述的音频文本检索是一项具有挑战性的任务。它涉及在不充分的数据条件下学习长序列之间的跨模态比对。在这项工作中，我们研究了几个音频功能，以及更好的音频文本对齐的序列聚合方法。此外，通过定性分析，我们观察到，语义映射是更重要的上下文检索比时间关系。使用预先训练的音频特征和基于聚类的聚合方法，我们建立了我们的上下文音频文本检索系统。具体来说，我们利用在大型声音事件数据集和NetRVLAD池上预训练的PANN特征，NetRVLAD池直接与平均描述符一起工作。在AudioCaps和CLOTHO数据集上进行了实验，并将结果与以前的最先进的系统进行了比较。与我们提出的系统，一个显着的改善已经取得了双向音频文本检索，所有指标，包括召回，中位数和平均排名。
2022-03-29 cs.CL cs.SD eess.AS
AudioRAG: A Challenging Benchmark for Audio Reasoning and Information Retrieval
AudioRAG是一个用于评估音频推理和信息检索能力的挑战性基准，通过整合检索增强生成技术，为未来研究提供更强大的基准。
2026-02-11 cs.SD eess.AS
Unlocking Spatial Grounding in Large Audio-Visual Retrieval models
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信与信号处理实验室，巴黎电信学院）；Meta, Reality Labs Research（元宇宙公司 Reality Labs 研究部）；NVIDIA（英伟达公司）；Inria at Université Grenoble Alpes, CNRS, LJK（法国国家信息与自动化研究所，格勒诺布尔阿尔卑斯大学，法国国家科学研究中心，让·昆汀·莫诺德实验室）
研究针对视听声源定位任务，利用大规模视听检索模型的潜在表示，引入LAIP框架，通过音频信息池化恢复局部空间信息，在相关数据集上取得领先性能，证明可从现有检索表示解锁定位，为检索和定位任务提供统一路径。
2026-09-30 cs.AI cs.IR cs.MM
Language-based Audio Moment Retrieval
LY Corporation（LY公司）
本文提出音频时刻检索任务，构建Clotho-Moment数据集和AM-DETR模型，利用时间依赖超越片段级方法，在Recall1@0.7上提升9.00点。
2025-08-04 cs.CL cs.SD eess.AS
Audio-based Near-Duplicate Video Retrieval with Audio Similarity Learning
Information Technologies Institute, CERTH（希腊研究与技术基金会信息技术研究所）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
在这项工作中，我们解决了基于音频的近重复视频检索的问题。我们提出了音频相似性学习（AuSiL）的方法，有效地捕捉视频对之间的音频相似性的时间模式。对于两个视频之间的鲁棒相似性计算，我们首先通过利用基于在大规模音频事件数据集上训练的卷积神经网络（CNN）的迁移学习来提取代表性的基于音频的视频描述符，然后我们计算从这些描述符的成对相似性导出的相似性矩阵。相似性矩阵随后被馈送到CNN网络，该网络捕获其内容中存在的时间结构。我们按照三元组生成过程和优化三元组损失函数来训练我们的网络。为了评估所提出的方法的有效性，我们手动注释两个公开的视频数据集的基础上，他们的视频之间的音频重复。所提出的方法实现了非常有竞争力的结果相比，三个国家的最先进的方法。此外，与竞争的方法，它是非常强大的速度转换生成的音频副本的检索。
2021-01-11 cs.IR cs.LG cs.MM
Audio Retrieval for Multimodal Design Documents: A New Dataset and Algorithms
Adobe Research（奥多比研究院）
我们考虑并提出了一个新的问题，检索音频文件相关的多模态设计文档输入，包括文本元素和视觉图像，例如，生日/贺卡除了增强用户体验之外，集成与这些输入的主题/风格相匹配的音频还有助于提高这些文档的可访问性（例如，视力受损的人可以听音频代替）。虽然最近在音频检索方面的工作存在，但这些方法和数据集明确针对自然图像。然而，我们的问题认为多模态设计文档（由用户使用创意软件创建）与自然点击的照片有很大不同。为此，我们的第一个贡献是收集和策划一个名为Melodic-Design（或MELON）的新的大规模数据集，包括代表各种风格，主题，模板，插图等的设计文档，与音乐音频配对。鉴于我们配对的图像-文本-音频数据集，我们的下一个贡献是一种新的多模态交叉注意音频检索（MMCAR）算法，该算法能够训练神经网络学习跨图像，文本和音频维度的公共共享特征空间。我们使用这些学习到的特征来证明我们的方法优于现有的最先进的方法，并为我们的新数据集上的研究社区提供了一个新的参考基准。
2023-02-28 cs.IR cs.MM cs.SD
Automated Audio Captioning and Language-Based Audio Retrieval
Carnegie Mellon University（卡内基梅隆大学）
本项目参与DCASE 2022任务6，针对自动音频字幕生成与基于语言的音频检索两个子任务，基于Clotho数据集改进基线模型，最终音频检索模型超越基线，字幕生成接近基线。
2023-05-15 cs.CL cs.IR cs.SD
Audio-Maestro: Enhancing Large Audio-Language Models with Tool-Augmented Reasoning
National Taiwan University（国立台湾大学）；ASUS Open Cloud Infrastructure Software Center（ASUS开放云基础设施软件中心）
Audio-Maestro通过工具增强推理，使音频语言模型自主调用外部工具并整合带时间戳输出，显著提升MMAU-Test等基准上的准确率，为首个此类框架。
2026-09-09 cs.AI cs.SD
Expanding on EnCLAP with Auxiliary Retrieval Model for Automated Audio Captioning
MAUM AI Inc.（MAUM AI公司）；Soongsil University（崇实大学）
本文基于 EnCLAP 框架优化 DCASE2024 音频描述任务，并引入重排序与辅助检索模型，在任务6和任务8上分别取得 0.542 FENSE 和 0.386 mAP@10，显著超越基线。
2024-09-02 cs.AI cs.SD eess.AS
Augmented Contrastive Self-Supervised Learning for Audio Invariant Representations
Microsoft（微软）
由于标记数据的稀缺性，提高泛化能力是音频分类的主要挑战。自监督学习（SSL）方法通过利用未标记的数据来学习下游分类任务的有用特征来解决这个问题。在这项工作中，我们提出了一个增强的对比SSL框架，学习不变表示从未标记的数据。我们的方法将各种扰动应用于未标记的输入数据，并利用对比学习来学习对这种扰动具有鲁棒性的表示。在Audioset和DESED数据集上的实验结果表明，我们的框架在声音/事件分类任务上的性能明显优于最先进的SSL和监督学习方法。
2021-12-21 cs.LG cs.SD eess.AS
Phase retrieval with Bregman divergences: Application to audio signal recovery
IRIT, Université de Toulouse, CNRS（图卢兹大学IRIT研究所，法国国家科学研究中心）；ISAE-SUPAERO（法国高等航空航天学院）
相位恢复的目的是从幅度或功率谱测量中恢复信号。它通常通过考虑涉及二次成本函数的最小化问题来解决。我们提出了一个不同的配方的基础上Bregman分歧，其中包括分歧，是适当的音频信号处理应用。我们推导出一个快速梯度算法来解决这个问题。
2020-11-25 cs.SD eess.AS
Fusing Audio and Metadata Embeddings Improves Language-based Audio Retrieval
Institute of Computational Perception（计算感知研究所）；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
本文提出利用关键词等音频元数据，并通过后期或中层融合增强基于语言的音频检索，在 ClothoV2 与 AudioCaps 上分别将 mAP@10 提升 2.36 和 3.69 个百分点。
2024-07-02 cs.LG cs.SD eess.AS
A SOUND APPROACH: Using Large Language Models to generate audio descriptions for egocentric text-audio retrieval
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）；University of Tübingen（蒂宾根大学）
本文提出利用LLM从视频-文本数据生成以音频为中心的描述，并构建三个自我中心文本-音频检索基准，显著提升零样本检索性能。
2024-02-29 cs.IR cs.SD eess.AS
Pretrained Conformers for Audio Fingerprinting and Retrieval
Infobip；Faculty of Science, University of Sarajevo（萨拉热窝大学科学学院）
本研究利用自监督对比学习框架训练基于Conformer的编码器，仅需3秒音频即可生成独特嵌入，在音频检索任务中达到最先进水平，且对时间错位及噪声等失真具有强鲁棒性。
2025-09-11 cs.AI cs.IR cs.SD
RECAP: Retrieval-Augmented Audio Captioning
University of Maryland, College Park（马里兰大学帕克分校）
RECAP 提出一种检索增强的音频字幕生成方法，利用 CLAP 检索相似字幕构建提示并借助 GPT-2 与交叉注意力生成字幕，无需微调即可跨域迁移，并在域外场景和新型音频事件上取得显著提升。
2024-06-06 cs.AI cs.CL cs.SD
Improving Natural-Language-based Audio Retrieval with Transfer Learning and Audio & Text Augmentations
Institute of Computational Perception (CP-JKU)（计算感知研究所（CP-JKU））；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University（约翰内斯·开普勒大学）
在深度学习的许多应用领域中，缺乏大型标记数据集仍然是一个重大挑战。研究人员和从业人员通常会求助于迁移学习和数据增强来缓解这个问题。我们研究这些策略的背景下，音频检索与自然语言查询（任务6b的DCASE 2022挑战）。我们提出的系统使用预先训练的嵌入模型将录音和文本描述投影到共享的音频字幕空间中，在该空间中，来自不同模态的相关示例非常接近。我们在音频和文本输入上采用各种数据增强技术，并通过基于模型的顺序优化系统地调整其相应的超参数。我们的研究结果表明，所使用的增强策略减少过拟合，提高检索性能。
2022-10-29 cs.LG cs.SD eess.AS
Crowdsourcing and Evaluating Text-Based Audio Retrieval Relevances
Tampere University（坦佩雷大学）
本文研究如何用众包评分标注文本-音频检索相关性，并通过对比学习实验发现，相比音频描述对产生的二值相关性，额外加入二值化众包相关性并无明显收益。
2023-08-15 cs.SD eess.AS
Introducing Auxiliary Text Query-modifier to Content-based Audio Retrieval
NTT Corporation（NTT公司）
公共网站上提供的音频数据量正在迅速增长，需要一个访问所需数据的有效机制。我们提出了一种基于内容的音频检索方法，可以检索到的目标音频是类似的，但略有不同的查询音频通过引入辅助文本信息，描述了查询和目标音频之间的差异。虽然传统的基于内容的音频检索的范围限于与查询音频相似的音频，但是所提出的方法可以通过将辅助文本查询修饰符的嵌入添加到查询样本音频在共享潜在空间中的嵌入来调整检索范围。为了评估我们的方法，我们构建了一个数据集，包括两个不同的音频片段和描述差异的文本。实验结果表明，该方法比基线更准确地检索成对音频。我们还证实了基于可视化，该方法获得了共享的潜在空间，其中音频差异和相应的文本表示为相似的嵌入向量。
2022-07-20 cs.CL cs.IR cs.LG
AudioBERT: Audio Knowledge Augmented Language Model
POSTECH（浦项科技大学）；HJ AILAB（HJ人工智能实验室）；Inha University（仁荷大学）
针对纯文本预训练语言模型听觉知识匮乏的问题，提出基于检索的AudioBERT方法，通过检测提示听觉知识跨度、注入音频知识并结合低秩适配增强BERT，在自建AuditoryBench基准上取得优异性能。
2025-01-16 cs.AI cs.CL cs.SD
Linguistically Augmented Audio Speech Data (LinguAS)
University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）
提出LinguAS数据集，通过专家定义的语言特征(EDLFs)增强音频数据，显著提升深度伪造语音检测模型性能。
2026-06-08 cs.AI cs.LG cs.SD
Contrastive Latent Space Reconstruction Learning for Audio-Text Retrieval
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Nanjing University（南京大学）
本文提出对比潜空间重建学习（CLSR），通过引入模态内可分离性、自适应温度控制和潜表示重建模块，提升音频-文本跨模态检索性能。
2023-09-16 cs.MM cs.SD eess.AS
AudioRAG+: Feedback-driven Retrieval-augmented Audio Generation with Large Audio Language Models
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey, UK（视觉、语音和信号处理中心（CVSSP），英国萨里大学）；Tencent AI Lab, Beijing, China（腾讯人工智能实验室，中国北京）；Tencent AI Lab, Seattle, USA（腾讯人工智能实验室，美国西雅图）
AudioRAG+利用大音频语言模型提升文本到音频生成中特定声音事件的合成能力，通过反馈驱动检索增强生成过程。
2026-02-17 cs.SD
Don't Just Listen, Try Planning: Graph-based Retrieval-Generation Agent for Long-form Audio Meeting Understanding
Jiangsu Key Lab of Language Computing（江苏省语言计算重点实验室）
针对长音频会议理解任务的问答数据集稀缺及现有语音模型的声学信息丢失、长期记忆差问题，构建LongAudioQA数据集，提出基于图的GRGA模型，利用智能体规划实现检索与答案生成。
2026-08-26 cs.AI cs.SD
Coordinated Joint Multimodal Embeddings for Generalized Audio-Visual Zeroshot Classification and Retrieval of Videos
IIT Kanpur（印度理工学院坎普尔分校）；University of Warwick（华威大学）；NEC Labs America（NEC美国实验室）
我们提出了一种视听多模态方法的零拍学习（ZEROSHOT LEARNING）的分类和检索的视频任务。近年来，人们已经对视觉感知进行了广泛的研究，但主要局限于视觉模态和图像。我们证明，音频和视觉方式都是重要的，为视频的OWL。由于目前还没有研究该任务的数据集，因此我们还从现有的大规模音频事件数据集构建了一个包含33个类别的多模态数据集，其中包含156，416个视频。我们的经验表明，通过添加音频模态的zeroshot分类和检索的任务，使用嵌入式学习方法的多模态扩展时，性能提高。我们还提出了一种新的方法来预测“占主导地位的”模态使用共同学习的模态注意力网络。我们在半监督环境中学习注意力，因此不需要对模态进行任何额外的明确标记。我们提供了定性验证的方式具体的注意力，这也成功地推广到看不见的测试类。
2019-10-19 cs.CV cs.MM cs.SD
SonicCaps: Large-Scale Diverse and Fine-Grained Captioning for Improved Audio-Retrieval
Sony CTC（索尼CTC）；LTCI, Telecom Paris, Institut polytechnique de Paris（巴黎综合理工学院电信学院LTCI）
该研究提出大规模音频字幕数据集SonicCaps，通过多模态大语言模型Qwen3-Omni生成约1500万条字幕，采用多字幕采样策略训练CLAP模型，提升了音频检索等任务的性能与泛化能力。
2026-09-03 cs.CL cs.MM cs.SD
AISTAT lab system for DCASE2025 Task6: Language-based audio retrieval
AISTAT LAB（AISTAT实验室）
本文提出一种基于双编码器与对比学习的语言音频检索系统，结合蒸馏、LLM 数据增强和聚类辅助分类，在 DCASE 2025 任务 6 中单系统 mAP@16 达 46.62，集成达 48.83。
2025-09-20 cs.AI cs.SD eess.AS
RA-CLAP: Relation-Augmented Emotional Speaking Style Contrastive Language-Audio Pretraining For Speech Retrieval
Nankai University（南开大学）；TMCC, College of Computer Science（TMCC计算机学院）；Hithink RoyalFlush AI Research Institute（Hithink RoyalFlush人工智能研究院）；University of Exeter（埃克塞特大学）
本文提出情感说话风格检索任务及RA-CLAP模型，通过自蒸馏学习语音与描述间的局部匹配关系，克服传统二元关系假设，提升泛化能力，实验验证其有效性。
2025-05-26 cs.SD eess.AS
Neural Audio Fingerprint for High-specific Audio Retrieval based on Contrastive Learning
Seoul National University（首尔国立大学）；SK Telecom（SK电讯）
大多数现有的音频指纹识别系统在用于大规模的高特异性音频检索方面具有局限性。在这项工作中，我们从音频的短单元段生成一个低维表示，并将此指纹与快速最大内积搜索相结合。为此，我们提出了一个对比学习框架，来自段级搜索目标。训练中的每次更新都使用一批由一组伪标签、随机选择的原始样本及其增强副本组成的批。这些复制品可以通过应用小的时间偏移和各种类型的失真（例如背景噪声和房间/麦克风脉冲响应）来模拟对原始音频信号的降级效果。在段级搜索任务中，传统的音频指纹识别系统过去常常失败，我们的系统使用10倍的小存储空间，显示出有希望的结果。我们的代码和数据集可在\url{https://mimbres.github.io/neural-audio-fp/}上获得。
2021-02-10 cs.IR cs.LG cs.SD
BrewCLIP: A Bifurcated Representation Learning Framework for Audio-Visual Retrieval
Carnegie Mellon University（卡内基梅隆大学）
本文提出BrewCLIP双分支框架，利用语音中的非文本信息（如口音、情绪）提升音像检索性能，通过预训练模型、提示机制和双分支设计，在多种数据集上显著超越现有最先进方法。
2024-08-19 cs.AI cs.SD eess.AS
Audio Interval Retrieval using Convolutional Neural Networks
King’s College London（伦敦国王学院）；Blekinge Institute of Technology（布莱金厄理工学院）；University of Portsmouth（朴茨茅斯大学）；University of Plymouth（普利茅斯大学）
现代流媒体服务越来越多地根据视频或音频内容对视频进行标记。这通常会增加AI和ML等技术的使用，允许使用自然语音进行关键字和视频描述的搜索。先前的研究已经成功地提供了一些解决方案的语音文本，在人类语音的情况下，但本文的目的是调查可能的解决方案，检索声音事件的基础上，自然语言查询，并估计它们是如何有效和准确。在这项研究中，我们特别关注YamNet，AlexNet和ResNet-50预训练模型，以使用各自的melspectrograms将音频样本自动分类为许多预定义的类别。预定义类可以表示与视频片段内的动作相关联的声音。进行了两个测试，以评估两个独立的问题上的模型的性能：音频分类和间隔检索的基础上的自然语言查询。结果表明，基准模型在性能方面具有可比性，YamNet的性能略优于其他两个模型。YamNet能够以92.7%的准确率和68.75%的精度对单个固定大小的音频样本进行分类，而其间隔检索的平均准确率为71.62%，精度为41.95%。所研究的方法可以嵌入到用于流服务的自动事件标记架构中。
2021-09-21 cs.AI cs.SD eess.AS
Bridging Language Gaps in Audio-Text Retrieval
Xiaomi Corporation（小米公司）
针对音频-文本检索偏重英语的问题，提出结合 SONAR 多语言文本编码与 CED 音频编码器优化的语言增强方法，在英语基准上达到 SOTA，并以少量额外数据支持七种语言检索。
2024-06-17 cs.CL cs.SD eess.AS
Audio Captioning using Pre-Trained Large-Scale Language Model Guided by Audio-based Similar Caption Retrieval
NTT Corporation（日本电报电话公司）
音频字幕的目标是将输入的音频转换为使用自然语言的描述。音频字幕的问题之一是缺乏训练数据，这是由于难以通过爬行网络来收集音频字幕对。在这项研究中，为了克服这个问题，我们建议使用预先训练的大规模语言模型。由于音频输入不能直接输入到这样的语言模型中，因此我们利用基于可能存在于不同音频中的相似性从训练数据集检索的指导字幕。然后，在参考引导字幕的同时，通过使用预先训练的语言模型来生成音频输入的字幕。实验结果表明，（i）所提出的方法已经成功地使用预先训练的语言模型的音频字幕，和（ii）的预言性能的预先训练的基于模型的字幕生成器是明显优于传统的方法从头开始训练。
2020-12-14 cs.CL cs.SD eess.AS
Improving Audio-Text Retrieval via Hierarchical Cross-Modal Interaction and Auxiliary Captions
School of ECE, Peking University（北京大学电子学院）
本文提出分层跨模态交互方法，同时建模音频片段-句子、片段-短语和帧-词关系，并利用预训练字幕生成器产生的辅助字幕增强音频表示与数据增强，从而在多个数据集上稳定提升音频-文本检索性能。
2025-05-03 cs.SD eess.AS
Language-based Audio Retrieval with Co-Attention Networks
School of Advanced Technology, Xi’an Jiaotong-Liverpool University（西交利物浦大学先进技术学院）
本文提出一种基于级联协同注意力网络的框架，通过堆叠协同注意力模块逐步细化文本与音频的语义对齐，用于基于语言的音频检索，并在Clotho和AudioCaps数据集上分别取得16.6%和15.1%的性能提升。
2024-12-30 cs.IR cs.SD eess.AS
Application of Audio Fingerprinting Techniques for Real-Time Scalable Speech Retrieval and Speech Clusterization
Faculty of Science, University of Sarajevo（科学学院，萨拉热窝大学）；Infobip（Infobip公司）
本文针对电信与云平台中的语音检索与聚类，改进音频指纹技术，实现无需GPU的快速批处理，并支持基于转录的聚类。
2025-09-25 cs.IR cs.SD eess.AS
Revisiting Deep Audio-Text Retrieval Through the Lens of Transportation
Monash University（莫纳什大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对传统LTM框架的可扩展性问题与音频-文本检索中的数据不对齐问题，提出基于小批量子采样和马氏增强度量的m-LTM框架及部分最优传输变体，在多个数据集上取得SOTA性能并具备更强噪声鲁棒性。
2024-05-16 cs.AI cs.SD eess.AS
