Language-based Audio Moment Retrieval
LY Corporation（LY公司）
本文提出音频时刻检索任务，构建Clotho-Moment数据集和AM-DETR模型，利用时间依赖超越片段级方法，在Recall1@0.7上提升9.00点。
2025-08-04 cs.CL cs.SD eess.AS
Audio-to-Image Bird Species Retrieval without Audio-Image Pairs via Text Distillation
Inria, LIRMM, Université de Montpellier（法国国家信息与自动化研究所，蒙彼利埃计算机科学、机器人学与微电子学实验室，蒙彼利埃大学）；University of Kassel（卡塞尔大学）
本文提出无需音频图像配对的音频到图像检索方法，通过文本作为语义中介，利用预训练图像文本模型蒸馏出音频文本模型，实现音频与图像表示的对齐，从而在数据稀缺的生物声学场景中有效进行物种识别。
2026-04-04 cs.IR cs.LG cs.SD
Separate What You Describe: Language-Queried Audio Source Separation
University of Surrey（萨里大学）；ByteDance（字节跳动）
在本文中，我们介绍了语言查询音频源分离（LASS）的任务，其目的是基于目标源的自然语言查询（例如，“一个人讲了一个笑话，人们跟着笑”）。LASS中的一个独特挑战与自然语言描述的复杂性及其与音频源的关系有关。为了解决这个问题，我们提出了LASS-Net，这是一种端到端的神经网络，可以学习联合处理声学和语言信息，并从音频混合中分离出与语言查询一致的目标源。我们评估我们提出的系统与AudioCaps数据集创建的数据集的性能。实验结果表明，LASS-Net实现了相当大的改进基线方法。此外，我们观察到LASS-Net在使用不同的人类注释描述作为查询时取得了有希望的泛化结果，表明其在现实世界中的潜在用途。分离的音频样本和源代码可在https://liuxubo717.github.io/LASS-demopage上获得。
2022-03-28 cs.AI cs.CL cs.SD
AMSS-Net: Audio Manipulation on User-Specified Sources with Textual Queries
Korea University（高丽大学）；Queen Mary University of London（伦敦玛丽女王大学）；Korea National Open University（韩国放送通信大学）
本文提出了一种神经网络，该神经网络对用户指定的源（例如，人声），同时保留本说明书中未提及的其它源。对特定源的音频操纵（AMSS）是具有挑战性的，因为声音对象（即，波形样本或频率仓）是“连续的”;与图像中的像素相比，它通常携带来自多个源的信息。为了解决这个具有挑战性的问题，我们提出了AMSS-Net，它提取潜在的源，并选择性地操纵它们，同时保留不相关的源。我们还提出了几个AMSS任务的评估基准，我们表明，AMSS-Net优于基线的AMSS任务，通过客观的指标和经验验证。
2021-04-28 cs.LG cs.SD eess.AS
Audio Does Matter: Importance-Aware Multi-Granularity Fusion for Video Moment Retrieval
Zhejiang University（浙江大学）；Peking University（北京大学）；Zhejiang Gongshang University（浙江工商大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；University of Science and Technology of China（中国科学技术大学）
提出重要性感知多粒度融合模型（IMG），动态加权音频并多粒度融合音视频，解决视频时刻检索中噪声音频干扰问题，构建新数据集并达到最先进性能。
2025-10-25 cs.CV cs.IR cs.MM
Don't Just Listen, Try Planning: Graph-based Retrieval-Generation Agent for Long-form Audio Meeting Understanding
Jiangsu Key Lab of Language Computing（江苏省语言计算重点实验室）
针对长音频会议理解任务的问答数据集稀缺及现有语音模型的声学信息丢失、长期记忆差问题，构建LongAudioQA数据集，提出基于图的GRGA模型，利用智能体规划实现检索与答案生成。
2026-08-26 cs.AI cs.SD
Event-Grounded Question Answering over Long Audio via Structured Retrieval
Qualcomm Technologies, Inc., India（印度高通技术公司）；Qualcomm Technologies, Inc., USA（美国高通技术公司）；University of Turku, Finland（芬兰图尔库大学）
提出LA-RAG框架，通过音频基础模型将长音频转为带时间戳的事件记录并存入SQL数据库，结合意图感知检索和LLM生成，实现低延迟高精度的长音频问答，在多个基准上提升时间定位F1达11-17%。
2026-06-29 cs.AI cs.LG eess.AS
CLIPSep: Learning Text-queried Sound Separation with Noisy Unlabeled Videos
Sony Group Corporation（索尼集团公司）；University of California San Diego（加州大学圣地亚哥分校）
近年来，已经看到了超越语音或音乐的特定领域的声音分离朝着任意声音的通用声音分离的进展。关于通用声音分离的现有工作已经研究了在给定文本查询的情况下从音频混合中分离出目标声音。这样的文本查询声音分离系统提供用于指定任意目标声音的自然且可缩放的接口。然而，有监督的文本查询声音分离系统需要昂贵的标记的音频文本对进行训练。此外，现有数据集中提供的音频通常是在受控环境中记录的，这导致了与野外嘈杂音频的相当大的泛化差距。在这项工作中，我们的目标是通过只使用未标记的数据来接近文本查询的通用声音分离。我们建议利用视觉模态作为桥梁，学习所需的音频文本对应。CLIPSep模型首先使用对比语言-图像预训练（CLIP）模型将输入查询编码成查询向量，然后使用查询向量调节音频分离模型以分离出目标声音。虽然模型是在从未标记的视频中提取的图像-音频对上训练的，但在测试时，我们可以在zero-shot设置中使用文本输入查询模型，这要归功于CLIP模型学习的联合语言-图像嵌入。此外，野外视频通常包含屏幕外声音和背景噪声，这可能会阻碍模型学习所需的音频-文本对应关系。为了解决这个问题，我们进一步提出了一种称为噪声不变训练的方法，用于在噪声数据上训练基于查询的声音分离模型。实验结果表明，所提出的模型成功地学习文本查询的通用声音分离只使用嘈杂的未标记的视频，甚至在某些设置中实现对监督模型的竞争性能。
2023-03-03 cs.CV cs.LG cs.MM
Show Me the Instruments: Musical Instrument Retrieval from Mixture Audio
Seoul National University（首尔大学）
随着数字音乐制作成为主流，选择合适的虚拟乐器在决定音乐质量方面起着至关重要的作用。为了搜索乐器样本或虚拟乐器，使一个人想要的声音，音乐制作人用他们的耳朵听和比较每个乐器样本在他们的集合，这是费时和低效的。在本文中，我们称之为乐器检索这项任务，并提出了一种方法检索所需的乐器使用参考音乐混合作为查询。该模型由基于卷积神经网络的单仪器编码器和多仪器编码器组成。单乐器编码器被训练用于对单声道音频中使用的乐器进行分类，并且我们将其倒数第二层的激活作为乐器嵌入。多仪器编码器被训练为使用由单仪器编码器计算的仪器嵌入作为一组目标嵌入来估计多个仪器嵌入。为了更广泛的训练和现实评估，我们还提出了一个名为Nlakh的新数据集。实验结果表明，单乐器编码器能够学习从未见过乐器的音频信号到乐器嵌入空间的映射，而多乐器编码器能够从混合音乐中提取多个嵌入并成功检索所需乐器。用于实验的代码和音频样本可在以下网址获得：https://github.com/minju0821/musical_instrument_retrieval
2022-11-15 cs.LG cs.SD eess.AS
Probabilistic Compositional Embeddings for Multimodal Image Retrieval
University of Tübingen（图宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
现有的图像检索工作往往考虑检索图像与一个或两个查询输入，不推广到多个查询。在这项工作中，我们研究了一个更具挑战性的情况下，组成多个多模态查询图像检索。给定任意数量的查询图像和（或）文本，我们的目标是检索包含多个多模态查询中指定的语义概念的目标图像。为了学习信息嵌入，可以灵活地编码各种查询的语义，我们提出了一种新的多模态概率作曲家（MPC）。具体来说，我们输入的图像和文本的概率嵌入模型，可以进一步组成的概率组成规则，以促进图像检索与多模态查询。我们提出了一个新的基准的MS-COCO数据集的基础上，并评估我们的模型上的各种设置，组成多个图像和（或）文本查询多模态图像检索。没有花里胡哨的，我们表明，我们的概率模型制定显着优于现有的相关方法多模态图像检索，同时推广以及查询与任意视觉和（或）文本形式的不同数量的输入。代码可在这里：https://github.com/andreineculai/MPC.
2022-04-12 cs.CV cs.LG
Automated Audio Captioning and Language-Based Audio Retrieval
Carnegie Mellon University（卡内基梅隆大学）
本项目参与DCASE 2022任务6，针对自动音频字幕生成与基于语言的音频检索两个子任务，基于Clotho数据集改进基线模型，最终音频检索模型超越基线，字幕生成接近基线。
2023-05-15 cs.CL cs.IR cs.SD
Application of Audio Fingerprinting Techniques for Real-Time Scalable Speech Retrieval and Speech Clusterization
Faculty of Science, University of Sarajevo（科学学院，萨拉热窝大学）；Infobip（Infobip公司）
本文针对电信与云平台中的语音检索与聚类，改进音频指纹技术，实现无需GPU的快速批处理，并支持基于转录的聚类。
2025-09-25 cs.IR cs.SD eess.AS
Advancing Natural-Language Based Audio Retrieval with PaSST and Large Audio-Caption Data Sets
Johannes Kepler University（约翰内斯·开普勒大学）
本文提出基于预训练文本和频谱图Transformer的文本到音频检索系统，通过共享音频-字幕空间实现跨模态检索，识别出音频编码器和预训练数据扩充两个关键因素，在DCASE 2023和ClothoV2上取得领先性能。
2023-08-08 cs.IR cs.LG cs.SD
Neural Audio Fingerprint for High-specific Audio Retrieval based on Contrastive Learning
Seoul National University（首尔国立大学）；SK Telecom（SK电讯）
大多数现有的音频指纹识别系统在用于大规模的高特异性音频检索方面具有局限性。在这项工作中，我们从音频的短单元段生成一个低维表示，并将此指纹与快速最大内积搜索相结合。为此，我们提出了一个对比学习框架，来自段级搜索目标。训练中的每次更新都使用一批由一组伪标签、随机选择的原始样本及其增强副本组成的批。这些复制品可以通过应用小的时间偏移和各种类型的失真（例如背景噪声和房间/麦克风脉冲响应）来模拟对原始音频信号的降级效果。在段级搜索任务中，传统的音频指纹识别系统过去常常失败，我们的系统使用10倍的小存储空间，显示出有希望的结果。我们的代码和数据集可在\url{https://mimbres.github.io/neural-audio-fp/}上获得。
2021-02-10 cs.IR cs.LG cs.SD
Matching Text and Audio Embeddings: Exploring Transfer-learning Strategies for Language-based Audio Retrieval
Huawei Technologies（华为技术有限公司）；Universitat Pompeu Fabra（庞培法布拉大学）
我们对用于跨模态（文本到音频）检索的大规模预训练深度学习模型进行了分析。我们使用这些模型在度量学习框架中提取的嵌入来连接匹配的音频和文本对。浅层神经网络将嵌入映射到一个共同的维度。我们的系统，这是我们提交的DCASE挑战赛2022年的基于存储的音频检索任务的扩展，采用了RoBERTa基础模型作为文本嵌入提取器。预训练的PANN模型提取音频嵌入。为了提高我们模型的泛化能力，我们研究了从在线平台Freesound收集的音频和相关噪声文本的预训练如何提高我们方法的性能。此外，我们的消融研究表明，正确选择的损失函数和微调预训练模型是必不可少的训练竞争检索系统。
2022-10-06 cs.CL cs.IR cs.LG
Language-Based Audio Retrieval with Converging Tied Layers and Contrastive Loss
ST Engineering Mission Software & Services Pte. Ltd（ST工程任务软件与服务私人有限公司）
在本文中，我们解决了DCASE 2022中提出的新的基于数据库的音频检索任务。首先，我们介绍了一个简单的，可扩展的架构，将音频和文本编码器联系在一起。其次，我们表明，使用这种架构以及对比损失允许模型显着击败基线模型的性能。最后，除了具有极低的训练内存要求外，我们还能够使用预训练的模型，而无需对它们进行微调。我们测试了我们的方法，并表明使用我们的方法的组合击败了基线分数显着。
2022-06-29 cs.CL cs.IR cs.SD
Deep Cross-Modal Correlation Learning for Audio and Lyrics in Music Retrieval
National Institute of Informatics（国立信息学研究所）；The University of Electro-Communications（电气通信大学）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Hong Kong University of Science and Technology（香港科技大学）
很少有研究集中在跨模态相关学习，其中考虑到不同的数据模态，如音频和歌词的时间结构。基于音乐的时间结构特点，我们有动机去了解音频和歌词之间的深层序列相关性。在这项工作中，我们提出了一个深度跨模态相关学习架构，涉及用于音频模态和文本模态（歌词）的双分支深度神经网络。不同的模态数据被转换到同一个典型空间，其中模态间典型相关分析被用作目标函数来计算时间结构的相似性。这是第一次通过深度架构来理解语言和音乐音频之间的相关性，以学习音频和歌词的配对时间相关性。使用预训练的Doc2vec模型和全连接层（全连接深度神经网络）来表示歌词。在音频分支中做出了两个重要贡献，如下：i）研究了预训练的CNN，然后是完全连接的层，用于表示音乐音频。ii）我们进一步提出了一种端到端架构，可以同时训练卷积层和全连接层，以更好地学习音乐音频的时间结构。特别是，我们的端到端深度架构包含两个属性：同时实现特征学习和跨模态相关学习，以及通过考虑时间结构来学习联合表示。实验结果，使用音频检索歌词或使用歌词检索音频，验证了所提出的深度相关学习架构在跨模态音乐检索的有效性。
2017-11-29 cs.IR cs.SD eess.AS
Audio-based Near-Duplicate Video Retrieval with Audio Similarity Learning
Information Technologies Institute, CERTH（希腊研究与技术基金会信息技术研究所）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
在这项工作中，我们解决了基于音频的近重复视频检索的问题。我们提出了音频相似性学习（AuSiL）的方法，有效地捕捉视频对之间的音频相似性的时间模式。对于两个视频之间的鲁棒相似性计算，我们首先通过利用基于在大规模音频事件数据集上训练的卷积神经网络（CNN）的迁移学习来提取代表性的基于音频的视频描述符，然后我们计算从这些描述符的成对相似性导出的相似性矩阵。相似性矩阵随后被馈送到CNN网络，该网络捕获其内容中存在的时间结构。我们按照三元组生成过程和优化三元组损失函数来训练我们的网络。为了评估所提出的方法的有效性，我们手动注释两个公开的视频数据集的基础上，他们的视频之间的音频重复。所提出的方法实现了非常有竞争力的结果相比，三个国家的最先进的方法。此外，与竞争的方法，它是非常强大的速度转换生成的音频副本的检索。
2021-01-11 cs.IR cs.LG cs.MM
The language of sound search: Examining User Queries in Audio Search Engines
Huawei Technologies（华为技术有限公司）；Universitat Pompeu Fabra（庞培法布拉大学）
本研究通过分析定制调查和Freesound日志中的用户查询，揭示了声音搜索引擎中用户查询的长度、关键词偏好及影响因素，为开发以用户为中心的基于文本的音频检索系统提供了关键见解。
2024-10-10 cs.CL cs.HC cs.IR
DiffATR: Diffusion-based Generative Modeling for Audio-Text Retrieval
School of ECE, Peking University（北京大学电子学院）
针对现有判别式音频-文本检索方法难以辨别分布外数据的问题，提出基于扩散的生成式框架DiffATR，通过建模联合概率并融合生成与对比损失进行优化，在多个数据集上取得优异性能且在域外检索中表现稳健。
2024-10-17 cs.IR cs.SD eess.AS
Killing two birds with one stone: Can an audio captioning system also be used for audio-text retrieval?
IRIT（图卢兹计算机科学研究所）；Université Paul Sabatier（保罗·萨巴蒂埃大学）；CNRS（法国国家科学研究中心）；Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工智能与自然智能研究所（ANITI））
本研究探索未经微调的音频字幕生成系统在音频-文本检索中的潜力，利用交叉熵损失值实现检索，在AudioCaps上文本到音频R@1达0.382，超过无外部数据的最先进方法。
2023-08-29 cs.CL cs.IR cs.SD
Pretrained Conformers for Audio Fingerprinting and Retrieval
Infobip；Faculty of Science, University of Sarajevo（萨拉热窝大学科学学院）
本研究利用自监督对比学习框架训练基于Conformer的编码器，仅需3秒音频即可生成独特嵌入，在音频检索任务中达到最先进水平，且对时间错位及噪声等失真具有强鲁棒性。
2025-09-11 cs.AI cs.IR cs.SD
Towards Robust and Truly Large-Scale Audio-Sheet Music Retrieval
Johannes Kepler University Linz（林茨约翰·开普勒大学）
本文系统梳理了基于深度学习的音频-乐谱跨模态检索的现状，明确真实场景中的主要挑战，总结已有改进，并提出后续解决思路，以推动稳健且大规模的统一检索方法。
2023-09-21 cs.IR cs.LG cs.SD
A high speed unsupervised speaker retrieval using vector quantization and second-order statistics
本文描述了一种有效的无监督的说话人检索方法。我们假设每个音频文件或音频片段中只有一个扬声器。使用公共通用码本对音频数据进行建模。码本基于帧袋（BOF）。从所有音频文件中提取与音频帧相对应的特征。使用K-means算法将这些特征分组到聚类中。各个音频文件通过对应于该文件的聚类箱的数量的归一化分布来建模。在第一层中，使用向量空间表示来检索与查询文件最近的k。在第二层中，二阶统计测量应用于获得的k-最近的文件，以找到检索的最终结果。所描述的方法进行评估的法语广播新闻的酯语料库的子集。
2010-09-09 cs.IR cs.SD
Passage Summarization with Recurrent Models for Audio-Sheet Music Retrieval
Institute of Computational Perception（计算感知研究所）；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
本文提出跨模态循环网络学习联合嵌入，以弱对齐音频-乐谱对实现长乐段摘要，有效处理速度差异，在合成与真实钢琴数据上均取得更准确的检索效果。
2023-09-21 cs.IR cs.LG cs.SD
Learning Soft-Attention Models for Tempo-invariant Audio-Sheet Music Retrieval
Johannes Kepler University Linz（林茨约翰·开普勒大学）；The Austrian Research Institute for Artificial Intelligence (OFAI)（奥地利人工智能研究所（OFAI））
长期以来，将大型数字化音频记录库与其相应的乐谱图像连接起来一直是研究人员开发新的跨模态检索系统的动机。近年来，基于深度神经网络嵌入空间学习的检索系统更接近实现这一愿景。然而，音乐记录中的全局和局部节奏偏差仍然需要仔细调整给予系统的时间上下文的量。在本文中，我们通过在音频输入上引入额外的软注意力机制来解决这个问题。合成钢琴数据的定量和定性结果表明，这种注意力通过关注基于音频节奏的输入表示的不同部分来增加检索系统的鲁棒性。受到这些结果的鼓舞，我们认为注意力模型具有作为许多MIR任务的非常通用工具的潜力。
2019-06-26 cs.CV cs.IR cs.LG
Towards End-to-End Audio-Sheet-Music Retrieval
Johannes Kepler University Linz（林茨约翰·开普勒大学）
本文演示了学习检索短片段的乐谱（图像）时，给出了一个简短的查询摘录的音乐（音频）的可行性-反之亦然-没有任何符号表示的音乐或分数。这在许多基于内容的音乐检索场景中非常有用。我们的方法是基于深度典型相关分析（DCCA）和学习相关的潜在空间，允许在两个方向上的跨模态检索。用相对简单的单声道音乐进行的初步实验显示出有希望的结果。
2016-12-15 cs.IR cs.LG cs.SD
Cross-modal Embeddings for Video and Audio Retrieval
Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）；Barcelona Supercomputing Center (BSC-CNS)（巴塞罗那超级计算中心）
越来越多的在线视频为训练自监督神经网络带来了一些机会。YouTube-8 M等大规模视频数据集的创建使我们能够以可管理的方式处理大量数据。在这项工作中，我们找到了利用该数据集提供的多模态信息的新方法。通过一个神经网络，我们能够创建音频和视频文件之间的链接，通过将它们投影到一个共同的区域的特征空间，获得联合视听嵌入。这些链接用于检索适合给定无声视频的音频样本，以及检索与给定查询音频匹配的图像。在YouTube-8 M视频子集上获得的Recall@K结果显示了这种无监督方法在跨模态特征学习中的潜力。我们训练嵌入这两个尺度和评估其质量的检索问题，制定为使用从一个模态提取的特征检索最相似的视频的基础上计算的功能在其他模态。
2018-01-07 cs.CV cs.IR cs.SD
Self-Supervised Contrastive Learning for Robust Audio-Sheet Music Retrieval Systems
Johannes Kepler University Linz（林茨约翰·开普勒大学）
本文提出用自监督对比学习对音频与乐谱图像片段进行预训练，以缓解标注数据稀缺问题，实验表明该方法可显著提升跨模态片段检索精度，并使曲目识别检索质量从30%提升至100%。
2023-09-21 cs.IR cs.LG cs.SD
Unlocking Spatial Grounding in Large Audio-Visual Retrieval models
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信与信号处理实验室，巴黎电信学院）；Meta, Reality Labs Research（元宇宙公司 Reality Labs 研究部）；NVIDIA（英伟达公司）；Inria at Université Grenoble Alpes, CNRS, LJK（法国国家信息与自动化研究所，格勒诺布尔阿尔卑斯大学，法国国家科学研究中心，让·昆汀·莫诺德实验室）
研究针对视听声源定位任务，利用大规模视听检索模型的潜在表示，引入LAIP框架，通过音频信息池化恢复局部空间信息，在相关数据集上取得领先性能，证明可从现有检索表示解锁定位，为检索和定位任务提供统一路径。
2026-09-30 cs.AI cs.IR cs.MM
Variational Autoencoder with CCA for Audio-Visual Cross-Modal Retrieval
跨模态检索是利用一种模态作为查询从另一种模态检索数据，它已成为信息检索、机器学习和数据库领域的热门课题。如何有效地度量不同模态数据之间的相似性是跨模态检索面临的主要挑战。虽然一些再建模工作已经通过学习公共子空间表示来计算不同模态数据之间的相关性，但是编码器从多模态信息中提取特征的能力并不令人满意。本文提出了一种新的用于视听跨模态检索的变分自编码器（VAE）结构，通过学习成对的视听相关嵌入和类别相关嵌入作为约束来增强视听信息的相互性。一方面，音频编码器和视频编码器分别将音频数据和视频数据编码到两个不同的潜在空间中。进一步，通过典型相关分析（CCA）分别构造了两个互潜空间。另一方面，概率建模方法用于处理数据中可能存在的噪声和缺失信息。此外，以这种方式，来自模态内和模态间信息的跨模态差异在联合嵌入子空间中被同时消除。我们在两个基准数据集上进行了广泛的实验。实验结果表明，该架构是有效的学习视听相关性，是明显优于现有的跨模态检索方法。
2021-12-05 cs.IR
Bridging High-Quality Audio and Video via Language for Sound Effects Retrieval from Visual Queries
New York University（纽约大学）；Adobe Research（奥多比研究院）
针对视频帧检索高质量音效缺乏高质量训练数据的问题，本文提出用LLM与视觉-语言模型自动构建HQ音视频对，并训练对比学习检索系统，显著提升跨域泛化与用户偏好。
2023-08-17 cs.CV cs.IR cs.MM
Deep Triplet Neural Networks with Cluster-CCA for Audio-Visual Cross-modal Retrieval
跨模态检索是指通过一种模态的查询来检索另一种模态的数据，是多媒体、信息检索、计算机视觉和数据库等领域的一个研究热点。现有的研究主要集中在文本-图像、文本-视频、歌词-音频之间的跨模态检索，由于音视频配对数据集和语义信息有限，对音视频之间的跨模态检索研究较少。视听跨模态检索任务的主要挑战集中在从共享子空间学习联合嵌入以计算不同模态之间的相似性，其中生成新的表示是最大化视听模态空间之间的相关性。在这项工作中，我们提出了一种新的具有聚类典型相关分析的深度三元组神经网络（TNN-C-CCA），这是一种具有音频分支和视频分支的端到端监督学习架构。我们不仅考虑公共空间中的匹配对，而且在最大化相关性时计算失配对。特别地，做出了两个重要贡献：i）通过构建具有用于最佳投影的三元组损失的深度三元组神经网络，可以生成更好的表示，以最大化共享子空间中的相关性。ii）在学习阶段使用正例和反例，以提高音频和视频之间的嵌入学习能力。我们的实验是运行在5倍交叉验证，其中平均性能被应用到演示性能的音频-视频跨模态检索。在两个不同的音频视频数据集上的实验结果表明，本文提出的两个分支的学习结构优于现有的六种基于CCA的方法和四种基于最新技术的跨模态检索方法。
2021-05-05 cs.IR cs.MM
Multi-label Sound Event Retrieval Using a Deep Learning-based Siamese Structure with a Pairwise Presence Matrix
Simon Fraser University（西蒙菲莎大学）；Microsoft（微软公司）；New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）
真实的音景录音通常有多个声音事件同时发生，如汽车喇叭，引擎和人类的声音。声音事件检索是一种基于内容的搜索，旨在查找音频样本，类似于基于声学或语义内容的音频查询。现有技术的声音事件检索模型集中于仅发生一个声音事件的单标签音频记录，而不是多标签音频记录（即，在一个记录中发生多个声音事件）。为了解决后一个问题，我们提出了不同的深度学习架构，包括Siamese结构和Pairwise Presence Matrix。使用包含单标签和多标签音景录音的SONYC-UST数据集对网络进行训练和评估。实验结果表明了该模型的有效性。
2020-02-20 cs.IR cs.LG cs.SD
Codified audio language modeling learns useful representations for music information retrieval
Stanford University（斯坦福大学）
我们证明了语言模型在编码（离散编码）的音乐音频学习表示上进行了预训练，这对下游MIR任务很有用。具体来说，我们探索了Juventure（Dhariwal et al. 2020）的表示：一个音乐生成系统，包含一个语言模型，它是在100万首歌曲的编码音频上训练的。为了确定Juan的表示是否包含MIR的有用信息，我们使用它们作为输入功能，在几个MIR任务上训练浅模型。相对于传统的MIR模型，这些模型是预先训练的标记，我们发现，使用来自Jupiter的表示作为输入特征，在四个MIR任务中平均产生30%的性能增强：标记，流派分类，情感识别和关键检测。对于关键检测，我们观察到来自Juventure的表示比来自标记预训练的模型的表示要强得多，这表明通过编码的音频语言建模进行预训练可以解决传统方法中的盲点。我们解释的力量Jujanos的陈述证据，建模音频，而不是标签提供了更丰富的表示MIR。
2021-07-12 cs.IR cs.LG cs.MM
Joint Audio-Video Fingerprint Media Retrieval Using Rate-Coverage Optimization
在这项工作中，我们提出了一个联合音频和视频指纹自动内容识别（ACR）技术的媒体检索。该问题的重点是如何平衡查询精度和指纹的大小，以及如何将指纹的比特分配到视频帧和音频帧中，以达到最佳的查询精度。通过构造一个新的概念称为覆盖，这是高度相关的查询精度，我们能够形成一个率覆盖模型，将原来的问题转化为一个优化问题，可以解决的动态规划。据我们所知，这是第一个工作，使用联合音频-视频指纹ACR技术的媒体检索与理论问题制定。实验结果表明，与参考算法相比，该方法在使用60%总码率的情况下，查询准确率提高了25%;在达到85%准确率的情况下，码率降低了25%;且性能明显优于使用单一音频或视频源指纹的解决方案。
2016-09-05 cs.IR
Combining Text and Formula Queries in Math Information Retrieval: Evaluation of Query Results Merging Strategies
特定于数学的信息检索是在文档和查询中将文本与数学公式相结合。对查询扩展进行了严格的评估，并给出了在查询中结合数学和标准文本关键词的合并策略。结果表明，类似于那些已知的从文本查询处理的技术可以应用在数学信息检索，以及，并导致尖端的性能。分条和合并来自子查询的部分结果是一种改进由信息检索评估度量（如Bclock）测量的结果的技术。
2015-08-08 cs.IR
Audio-Visual Embedding for Cross-Modal MusicVideo Retrieval through Supervised Deep CCA
深度学习在学习不同数据模态之间的联合表示方面已成功展示出出色的性能。不幸的是，很少有研究集中在跨模态相关学习，不同的数据模态，如音频和视频的时间结构，应考虑。通过给定的音乐音频检索音乐视频是一种自然的方式来搜索和交互的音乐内容。在这项工作中，我们研究跨模态音乐视频检索的情感相似性。特别地，任意长度的音频用于检索更长或全长的音乐视频。为此，我们提出了一种新的视听嵌入算法，通过监督深度典型相关分析（S-DCCA），将音频和视频投影到共享空间中，以弥合音频和视频之间的语义鸿沟。这也保留了来自具有相同类别标签和时间结构的不同视频的音频和视觉内容之间的相似性。我们的方法的贡献主要表现在两个方面：i）我们提出了基于注意力的长短期记忆（LSTM）模型来选择前k个音频块，该模型可以表示具有局部属性的良好音频摘要。ii）我们提出了一个用于跨模态视听学习的端到端深度模型，其中S-DCCA被训练来学习音频和视觉模态之间的语义相关性。由于缺乏音乐视频数据集，我们从YouTube 8 M数据集构建了10 K音乐视频数据集。MAP和查准率-查全率实验结果表明，该模型可以应用于音乐视频检索。
2019-08-10 cs.IR cs.MM
Video and Audio are Images: A Cross-Modal Mixer for Original Data on Video-Audio Retrieval
针对跨模态检索中双塔架构编码特征分离、语义关联难建立的问题，提出含跨模态混合器、掩码自编码器和检索器的新框架，在音视频检索任务上准确率最高提升2倍，且可作为通用模型迁移。
2023-08-26 cs.IR
Scalable Music Cover Retrieval Using Lyrics-Aligned Audio Embeddings
Deezer Research, Paris, France（DeepZoom研究机构，法国巴黎）；EPFL, Lausanne, Switzerland（瑞士洛桑联邦理工学院）
LIVI通过利用歌词信息提升音乐封面检索的准确性和效率，减少对复杂模型的依赖。
2026-09-17 cs.IR cs.LG cs.SD
Video Stream Retrieval of Unseen Queries using Semantic Memory
实时用户广播视频流的检索是一个未得到充分解决且日益相关的挑战。在线性质的问题需要时间评估和不可预见的范围内潜在的查询动机的方法，可以容纳任意的搜索查询。考虑到可能的查询的广度，我们采用了一种无示例的方法来进行查询检索，该方法使用查询的语义相关性来预先训练概念分类器。为了适应不断变化的视频内容，我们提出了内存池和内存溢出的方法，有利于最近的信息在很久以前的内容。我们确定了两个流检索任务，在任何特定的时间和连续检索在一个较长的时间内的瞬时检索，并提出了评估它们的方法。三个大规模的视频数据集是适应流检索的挑战。我们报告的结果，我们的搜索方法对新的流检索任务，以及证明其在传统的，非流视频任务的功效。
2016-12-20 cs.IR cs.MM
How Train-Test Leakage Affects Zero-shot Retrieval
神经检索模型通常在MS MARCO / ORCAS数据集的数百万个查询（子集）上进行训练，然后在250个Robust 04查询或其他TREC基准上进行测试，通常只有50个查询。在这样的设置中，少数几个测试查询中的许多查询可能与来自巨大训练数据的查询非常相似--事实上，69%的Robust 04查询在MS MARCO / ORCAS中几乎是重复的。我们通过训练神经检索模型来研究这种意外的训练测试泄漏对固定数量的MS MARCO / ORCAS查询（与实际测试查询高度相似）和越来越多的其他查询的组合的影响。我们发现，泄漏可以提高效率，甚至改变系统的排名。然而，随着所有训练实例中泄漏量的减少，这些影响会减弱，从而变得更加现实。
2022-08-30 cs.IR
Logical Consistency is Vital: Neural-Symbolic Information Retrieval for Negative-Constraint Queries
针对稠密检索器在负约束查询等复杂场景下忽略真实意图导致性能差的问题，提出神经符号检索方法NS-IR，利用一阶逻辑优化嵌入并引入逻辑对齐与连接约束重排序文档，在零样本及负约束查询任务上表现优异。
2025-05-29 cs.IR
Boosting legal case retrieval by query content selection with large language models
针对法律案例长查询存在噪声与显著内容稀疏的问题，本文利用LLM选择、提取或总结查询显著内容并重构查询，从而同时提升稀疏与密集检索模型的性能。
2023-12-06 cs.IR
Taste-aware music retrieval from audio embeddings
将基于内容的音乐信息检索基准形式化，通过共享多任务回归头比较四个HEAR家族的十个音频编码器，采用门控后期融合，计算绝对误差和等级相关性以评估模型有效性，预测味觉空间效果优于基线。
2026-07-07 cs.IR cs.LG cs.MM
Synthetic Data Powers Product Retrieval for Long-tail Knowledge-Intensive Queries in E-commerce Search
Taobao & Tmall Group of Alibaba（阿里巴巴淘宝和天猫集团）
本文提出一种高效的数据合成框架，用于处理电商搜索中长尾知识密集型查询，通过隐式提炼强大离线查询重写模型的能力，提升检索效果。
2026-04-27 cs.IR
STARD: A Chinese Statute Retrieval Dataset with Real Queries Issued by Non-professionals
Tsinghua University（清华大学）；Peking University（北京大学）
针对现有法条检索基准忽视普通公众非专业查询的问题，研究团队构建了包含1543个真实咨询查询、55348篇候选法条的中文数据集STARD，评估发现现有检索方法在该数据集上表现不佳，为相关研究提供了新基准。
2024-06-21 cs.CL cs.IR
The retrieval effectiveness of search engines on navigational queries
目的-测试主要网络搜索引擎在导航查询方面的性能，即搜索主页。设计/方法/方式- 100个真正的用户查询提出了6个搜索引擎（谷歌，雅虎，MSN，问，Seekport和Exalead）。用户描述所需的页面，并记录这些结果的位置。计算测量的成功N和平均倒数秩。结果-性能的主要搜索引擎谷歌，雅虎和MSN是最好的，约90%的查询回答正确。问和Exalead表现较差，但收到良好的分数以及。研究限制/影响-所有的查询都在德国，德语界面的搜索引擎。因此，结果仅对德语查询有效。实际影响-当设计一个搜索引擎与主要的搜索引擎竞争，应注意的性能上的导航查询。用户可以很容易地影响他们的质量评级的搜索引擎的基础上，这种性能。独创性/价值-本研究系统地比较了主要的搜索引擎的导航查询和比较结果与研究的检索效率的引擎上的信息查询。论文类型-研究论文
2015-11-18 cs.IR
ExcluIR: Exclusionary Neural Information Retrieval
首次研究文档检索中的排他性检索场景，提出ExcluIR资源集（含3,452个评估查询和70,293个训练查询），实验表明现有检索模型理解排他性查询存在困难，而生成式检索模型具有天然优势。
2024-04-26 cs.IR
DuReader_retrieval: A Large-scale Chinese Benchmark for Passage Retrieval from Web Search Engine
University of Edinburgh（爱丁堡大学）；Baidu Inc.（百度公司）
本文介绍了一个用于段落检索的大规模中文数据集DuReader_retrieval。DuReader_retrieval包含来自商业搜索引擎的超过9万个查询和超过800万个独特的段落。为了减轻其他数据集的缺点并确保我们的基准测试的质量，我们（1）通过手动注释从多个检索器汇集的结果来减少开发和测试集中的假阴性，以及（2）删除语义上与开发和测试查询相似的训练查询。此外，我们还提供了两个用于跨域评估的域外测试集，以及一组用于跨语言检索评估的人工翻译查询。实验结果表明，DuReader_retrieval是一个具有挑战性的和一些问题仍然没有解决，如显着的短语不匹配和查询和段落之间的句法不匹配。这些实验还表明，密集检索器不能很好地推广跨领域，跨语言检索本质上是具有挑战性的。DuReader_retrieval可在https://github.com/baidu/DuReader/tree/master/DuReader-Retrieval上公开获取。
2022-11-15 cs.CL cs.IR
When Should Queries Be Decomposed? A Stage-Aware Study of Query Decomposition for Multi-Condition Retrieval
Eastern Institute of Technology, Ningbo（宁波东方理工学院）；Shanghai Jiao Tong University（上海交通大学）；Zhejiang Key Laboratory of Industrial Intelligence and Digital Twin（浙江省工业智能与数字孪生重点实验室）
本文通过阶段感知实验发现，查询分解在初始检索阶段因语义稀释损害性能，但在重排序阶段通过细粒度约束验证显著提升效果，据此提出阶段感知分解框架，在初始检索保留整体查询，仅在重排序使用子查询，在MultiConIR和SSRB基准上一致提升组合查询的排序性能。
2026-08-28 cs.IR
Aligned Query Expansion: Efficient Query Expansion for Information Retrieval through LLM Alignment
针对查询扩展中“先生成后过滤”方法成本高且无法教模型识别有效查询的问题，提出AQE方法，利用LLM对齐技术微调模型直接优化检索任务，无需额外过滤，在域内外均显著提升检索效果。
2025-07-15 cs.IR
A Distributed Collaborative Retrieval Framework Excelling in All Queries and Corpora based on Zero-shot Rank-Oriented Automatic Evaluation
提出分布式协作检索框架（DCRF），集成多种检索模型并动态选择最优结果，利用大语言模型提示策略实现零样本排序评估，在所有查询和语料库上超越单一模型，性能媲美RankGPT等列表式方法且效率更高。
2024-12-16 cs.IR
End-to-end Knowledge Retrieval with Multi-modal Queries
Arizona State University（亚利桑那州立大学）；Amazon Alexa（亚马逊Alexa）
本文面向图文信息分散的多模态知识检索，构建 ReMuQ 数据集，提出端到端检索模型 ReViz 及专用预训练任务，在零样本和微调设置下均取得提升。
2023-06-01 cs.CL cs.CV cs.IR
