AudioRAG: A Challenging Benchmark for Audio Reasoning and Information Retrieval
AudioRAG是一个用于评估音频推理和信息检索能力的挑战性基准,通过整合检索增强生成技术,为未来研究提供更强大的基准。
2026-02-11 cs.SD eess.AS
Improving Text-Audio Retrieval by Text-aware Attention Pooling and Prior Matrix Revised Loss
Peking University(北京大学)
在文本-音频检索(TAR)任务中,由于文本和音频之间的内容异构性,文本中包含的语义信息仅与音频中的某些帧相似。然而,现有的作品在不考虑文本的情况下聚合整个音频,例如在帧上的均值池化,这可能对给定文本中未描述的误导性音频信息进行编码。在本文中,我们提出了一个文本感知的注意力池(TAP)模块TAR,这本质上是一个缩放的点积注意力的文本出席其语义上最相似的框架。此外,以前的方法只对每一个单边检索进行softmax,忽略了潜在的交叉检索信息。通过探索每个文本-音频对的内在先验,我们引入先验矩阵修正(PMR)损失来过滤具有高(或低)文本到音频但低(或高)音频到文本相似性得分的硬情况,从而实现双重最佳匹配。实验表明,我们的TAP显着优于各种文本无关的池功能。此外,我们的PMR损失还显示了多个数据集上的稳定性能增益。
2023-03-30 cs.SD eess.AS
Phase retrieval with Bregman divergences: Application to audio signal recovery
IRIT, Université de Toulouse, CNRS(图卢兹大学IRIT研究所,法国国家科学研究中心);ISAE-SUPAERO(法国高等航空航天学院)
相位恢复的目的是从幅度或功率谱测量中恢复信号。它通常通过考虑涉及二次成本函数的最小化问题来解决。我们提出了一个不同的配方的基础上Bregman分歧,其中包括分歧,是适当的音频信号处理应用。我们推导出一个快速梯度算法来解决这个问题。
2020-11-25 cs.SD eess.AS
Audio Retrieval with Natural Language Queries
University of Oxford(牛津大学)
我们认为使用自由形式的自然语言查询检索音频的任务。为了研究这个问题,这在现有的文献中受到了有限的关注,我们引入了具有挑战性的新基准,基于文本的音频检索使用来自Audiocaps和Clotho数据集的文本注释。然后,我们使用这些基准来建立跨模态音频检索的基线,在那里我们展示了预训练对不同音频任务的好处。我们希望我们的基准将激发进一步的研究跨模态的基于文本的音频检索与自由形式的文本查询。
2021-07-22 cs.IR cs.SD eess.AS
Crowdsourcing and Evaluating Text-Based Audio Retrieval Relevances
Tampere University(坦佩雷大学)
本文研究如何用众包评分标注文本-音频检索相关性,并通过对比学习实验发现,相比音频描述对产生的二值相关性,额外加入二值化众包相关性并无明显收益。
2023-08-15 cs.SD eess.AS
Audio Retrieval with Natural Language Queries: A Benchmark Study
University of Tübingen(蒂宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);University of Oxford(牛津大学);University of Cambridge(剑桥大学)
这项工作的目标是跨模态的文本音频和音频文本检索,其目标是从一个候选人的池中检索的音频内容,最佳匹配给定的书面描述,反之亦然。文本音频检索使用户能够通过一个直观的界面搜索大型数据库:他们只需发布他们想要听到的声音的自由形式的自然语言描述。为了研究文本音频和音频文本检索的任务,这在现有的文献中受到了有限的关注,我们引入了三个具有挑战性的新基准。我们首先从AudioCaps和Clotho音频字幕数据集构建文本音频和音频文本检索基准。此外,我们还介绍了SoundDescs基准,它由成对的音频和自然语言描述组成,用于各种声音集合,这些声音与AudioCaps和Clotho中的声音是互补的。我们采用这三个基准来建立跨模态文本音频和音频文本检索的基线,在那里我们展示了预训练对不同音频任务的好处。我们希望我们的基准将激发进一步研究音频检索与自由形式的文本查询。所有使用的数据集的代码、音频功能以及SoundDescs数据集都可以在https://github.com/akoepke/audio-retrieval-benchmark上公开获得。
2022-01-27 cs.IR cs.SD eess.AS
Attention-based cross-modal fusion for audio-visual voice activity detection in musical video streams
Bytedance AI Lab(字节跳动人工智能实验室)
以前很多视听人声相关的作品都把重点放在语音上,忽略了互联网上越来越多的音乐视频流中的歌声。对于处理不同的音乐视频数据,语音活动检测是必要的步骤。本文试图检测语音和演唱的目标表演者的声音在音乐视频流使用视听信息。为了整合音频和视觉模态的信息,提出了一种多分支网络来学习音频和图像表示,并通过基于语义相似性的注意力融合表示,通过锚发声的概率来形成声学表示。实验结果表明,在复杂的声学环境中,该多分支网络的性能远优于纯音频模型,表明基于语义相关的跨模态信息融合是合理和成功的。
2021-06-21 cs.SD eess.AS
Audio-text Retrieval in Context
Shanghai Jiao Tong University(上海交通大学)
基于自然语言描述的音频文本检索是一项具有挑战性的任务。它涉及在不充分的数据条件下学习长序列之间的跨模态比对。在这项工作中,我们研究了几个音频功能,以及更好的音频文本对齐的序列聚合方法。此外,通过定性分析,我们观察到,语义映射是更重要的上下文检索比时间关系。使用预先训练的音频特征和基于聚类的聚合方法,我们建立了我们的上下文音频文本检索系统。具体来说,我们利用在大型声音事件数据集和NetRVLAD池上预训练的PANN特征,NetRVLAD池直接与平均描述符一起工作。在AudioCaps和CLOTHO数据集上进行了实验,并将结果与以前的最先进的系统进行了比较。与我们提出的系统,一个显着的改善已经取得了双向音频文本检索,所有指标,包括召回,中位数和平均排名。
2022-03-29 cs.CL cs.SD eess.AS
RA-CLAP: Relation-Augmented Emotional Speaking Style Contrastive Language-Audio Pretraining For Speech Retrieval
Nankai University(南开大学);TMCC, College of Computer Science(TMCC计算机学院);Hithink RoyalFlush AI Research Institute(Hithink RoyalFlush人工智能研究院);University of Exeter(埃克塞特大学)
本文提出情感说话风格检索任务及RA-CLAP模型,通过自蒸馏学习语音与描述间的局部匹配关系,克服传统二元关系假设,提升泛化能力,实验验证其有效性。
2025-05-26 cs.SD eess.AS
Language-based Audio Moment Retrieval
LY Corporation(LY公司)
本文提出音频时刻检索任务,构建Clotho-Moment数据集和AM-DETR模型,利用时间依赖超越片段级方法,在Recall1@0.7上提升9.00点。
2025-08-04 cs.CL cs.SD eess.AS
From Contrast to Commonality: Audio Commonality Captioning for Enhanced Audio-Text Cross-modal Understanding in Multimodal LLMs
TMCC, College of Computer Science, Nankai University, Tianjin, China(TMCC,计算机科学学院,南开大学,天津,中国)
本文提出音频共同性描述方法,旨在增强多模态大语言模型中音频与文本的跨模态理解,通过捕捉音频片段间的共享语义以改善模型的泛化能力与任务特定性能。
2026-01-25 cs.SD eess.AS
Improving Audio-Text Retrieval via Hierarchical Cross-Modal Interaction and Auxiliary Captions
School of ECE, Peking University(北京大学电子学院)
本文提出分层跨模态交互方法,同时建模音频片段-句子、片段-短语和帧-词关系,并利用预训练字幕生成器产生的辅助字幕增强音频表示与数据增强,从而在多个数据集上稳定提升音频-文本检索性能。
2025-05-03 cs.SD eess.AS
Enhancing Retrieval-Augmented Audio Captioning with Generation-Assisted Multimodal Querying and Progressive Learning
Interdisciplinary Program in Artificial Intelligence(人工智能交叉学科项目);Department of Intelligence and Information(智能与信息系)
针对音频字幕检索仅用单模态音频查询的局限,提出生成辅助多模态查询与渐进式交错音频-文本对学习策略,在多个基准上达到最先进性能。
2025-06-10 cs.AI cs.SD eess.AS
Audio-Visual Speech Enhancement and Separation by Utilizing Multi-Modal Self-Supervised Embeddings
Carnegie Mellon University(卡内基梅隆大学);National Taiwan University(台湾大学);Academia Sinica(中央研究院);Edinburgh Napier University(爱丁堡龙比亚大学)
本文提出在预训练AV-HuBERT后接入SE模块并配合微调,用于AVSE和AVSS,实验证明其优于现有AVSE及纯音频SE方法。
2023-06-01 cs.SD eess.AS
Using Large Pre-Trained Models with Cross-Modal Attention for Multi-Modal Emotion Recognition
Freshworks Inc.(Freshworks公司)
最近,自监督预训练在机器学习的许多领域都有了显着的改进,包括语音和NLP。我们建议使用大型的自监督预训练模型,用于音频和文本模态,并具有跨模态注意力,用于多模态情感识别。我们使用Wav2Vec2.0 [1]作为稳健语音特征提取的音频编码器基础,使用BERT模型[2]作为文本编码器基础,以更好地表示文本的上下文。这些在大量未标记数据上训练的高容量模型包含丰富的特征表示,并提高了下游任务的性能。我们使用跨模态注意力[3]机制来学习自监督模型中音频和文本表示之间的对齐。跨模态注意也有助于提取音频和文本特征之间的交互信息。我们从帧级特征中获得话语级特征表示,使用音频和文本模态的统计池,并使用早期融合技术将它们结合起来。我们的实验表明,与IEMOCAP数据集[35]上的先前最先进的方法[3]相比,所提出的方法在准确度上获得了1.88%的绝对提高。我们还进行了音频和文本模态的单峰实验,并将它们与以前的最佳方法进行比较。
2021-08-22 cs.SD eess.AS
Fusing Audio and Metadata Embeddings Improves Language-based Audio Retrieval
Institute of Computational Perception(计算感知研究所);LIT Artificial Intelligence Lab(LIT人工智能实验室);Johannes Kepler University Linz(林茨约翰内斯·开普勒大学)
本文提出利用关键词等音频元数据,并通过后期或中层融合增强基于语言的音频检索,在 ClothoV2 与 AudioCaps 上分别将 mAP@10 提升 2.36 和 3.69 个百分点。
2024-07-02 cs.LG cs.SD eess.AS
A SOUND APPROACH: Using Large Language Models to generate audio descriptions for egocentric text-audio retrieval
University of Oxford(牛津大学);University of Cambridge(剑桥大学);University of Tübingen(蒂宾根大学)
本文提出利用LLM从视频-文本数据生成以音频为中心的描述,并构建三个自我中心文本-音频检索基准,显著提升零样本检索性能。
2024-02-29 cs.IR cs.SD eess.AS
WavRAG: Audio-Integrated Retrieval Augmented Generation for Spoken Dialogue Models
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Beijing University of Technology(北京工业大学)
本文提出端到端原生音频RAG框架WavRAG,通过WavRetriever直接检索原始音频并统一文本-音频知识,在性能相当的情况下较ASR-Text流程提速10倍。
2025-02-20 cs.AI cs.SD eess.AS
UniAudio 1.5: Large Language Model-driven Audio Codec is A Few-shot Audio Task Learner
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
本文提出LLM-Codec将音频压缩为大语言模型可理解的token,使冻结LLM无需微调即可通过少样本上下文学习完成多种音频理解与生成任务,并开源模型。
2024-06-14 cs.SD eess.AS
Audio Retrieval with WavText5K and CLAP Training
Microsoft(微软)
音频文本检索采用自然语言查询来检索数据库中的相关音频文件。相反,文本音频检索将音频文件作为查询来检索相关的自然语言描述。大多数文献训练检索系统与一个音频字幕数据集,但评估的好处,训练与多个数据集是underexplored。此外,检索系统必须学习描述长度从几秒到几分钟不等的音频内容的详细句子之间的对齐。在这项工作中,我们提出了一个新的收集网络音频文本对和一个新的检索框架。首先,我们提供了一个大约5000个网络音频文本对的新集合,我们称之为WavText 5 K。当用于训练我们的检索系统时,WavText 5 K比其他音频字幕数据集提高了性能。其次,我们的框架通过使用文本编码器,两个音频编码器和对比学习目标来学习连接语言和音频内容。结合两个音频编码器有助于处理可变长度音频。这两个贡献击败了AudioCaps和Clotho在文本-音频检索方面的最新性能,分别为2%和16%,以及6%和23%的音频-文本检索。
2022-09-28 cs.AI eess.AS
AudioNet: Supervised Deep Hashing for Retrieval of Similar Audio Events
RITMO Centre for Interdisciplinary Studies in Rhythm, Time and Motion Department of Musicology, University of Oslo(奥斯陆大学音乐学系节奏、时间与运动跨学科研究中心);Department of Electrical Engineering, Indian Institute of Technology Kanpur, India(印度坎普尔理工学院电气工程系)
提出有监督深度哈希系统AudioNet,结合加权对比损失、成对损失与哈希码平衡及离散梯度传播优化二进制码,在多标准数据集上实现高效的相似音频事件检索并确立新基线。
2025-11-03 eess.AS
Automated Audio Captioning and Language-Based Audio Retrieval
Carnegie Mellon University(卡内基梅隆大学)
本项目参与DCASE 2022任务6,针对自动音频字幕生成与基于语言的音频检索两个子任务,基于Clotho数据集改进基线模型,最终音频检索模型超越基线,字幕生成接近基线。
2023-05-15 cs.CL cs.IR cs.SD
Language-based Audio Retrieval Task in DCASE 2022 Challenge
基于文本的音频检索是一项任务,其中自然语言文本字幕被用作从数据集中检索音频信号的查询。它首次被引入DCASE 2022挑战赛,作为任务6的子任务6B,旨在开发计算系统来建模音频信号和自由形式的文本描述之间的关系。与为音频信号生成音频字幕的音频字幕(子任务6A)相比,基于语言的音频检索(子任务6B)侧重于根据音频信号与自然语言文本字幕的相关性对音频信号进行排序。在DCASE 2022 Challenge中,子任务6B的基线系统性能明显优于基线系统,最高性能为mAP@10的0.276。本文介绍了Subtask 6B在提交的系统的性能和分析方面的结果。
2022-09-30 eess.AS
Audio Description from Image by Modal Translation Network
Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences(中国科学院西安光学精密机械研究所);University of Chinese Academy of Sciences(中国科学院大学);Northwestern Polytechnical University(西北工业大学)
音频是视障者获取信息的主要形式。在现实中,各种视觉数据总是存在的,但音频数据在许多情况下并不存在。为了帮助视觉障碍者更好地感知周围的信息,本文提出了一种图像到音频描述(I2 AD)任务来从图像生成音频描述。为了完成这一全新的任务,提出了从视觉到听觉的模态翻译网络(MT-Net)。所提出的MT-Net包括三个渐进子网络:1)特征学习,2)跨模态映射和3)音频生成。首先,特征学习子网络旨在从图像和音频中学习语义特征,包括图像特征学习和音频特征学习。其次,跨模态映射子网络将图像特征转换为与音频特征具有相同语义概念的跨模态表示。通过这种方式,有效地挖掘了模态间数据的相关性,以缓解图像和音频之间的异构性差距。最后,设计了音频生成子网络,用于从交叉模态表示中生成音频波形。根据采样频率对生成的音频波形进行插值,得到相应的音频文件。作为探索I2 AD任务的第一次尝试,构建了三个具有大量手动音频描述的大规模数据集。实验结果验证了直接从图像中生成清晰语音的可行性和方法的有效性。
2021-03-18 cs.MM cs.SD eess.AS
PlanRAG-Audio: Planning and Retrieval Augmented Generation for Long-form Audio Understanding
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);Amazon AGI(亚马逊通用人工智能)
提出PlanRAG-Audio框架,通过规划查询所需模态和时间跨度并仅检索相关信息,实现长音频的高效推理,提升准确率并稳定性能。
2026-05-25 eess.AS
Deep Cross-Modal Correlation Learning for Audio and Lyrics in Music Retrieval
National Institute of Informatics(国立信息学研究所);The University of Electro-Communications(电气通信大学);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Hong Kong University of Science and Technology(香港科技大学)
很少有研究集中在跨模态相关学习,其中考虑到不同的数据模态,如音频和歌词的时间结构。基于音乐的时间结构特点,我们有动机去了解音频和歌词之间的深层序列相关性。在这项工作中,我们提出了一个深度跨模态相关学习架构,涉及用于音频模态和文本模态(歌词)的双分支深度神经网络。不同的模态数据被转换到同一个典型空间,其中模态间典型相关分析被用作目标函数来计算时间结构的相似性。这是第一次通过深度架构来理解语言和音乐音频之间的相关性,以学习音频和歌词的配对时间相关性。使用预训练的Doc2vec模型和全连接层(全连接深度神经网络)来表示歌词。在音频分支中做出了两个重要贡献,如下:i)研究了预训练的CNN,然后是完全连接的层,用于表示音乐音频。ii)我们进一步提出了一种端到端架构,可以同时训练卷积层和全连接层,以更好地学习音乐音频的时间结构。特别是,我们的端到端深度架构包含两个属性:同时实现特征学习和跨模态相关学习,以及通过考虑时间结构来学习联合表示。实验结果,使用音频检索歌词或使用歌词检索音频,验证了所提出的深度相关学习架构在跨模态音乐检索的有效性。
2017-11-29 cs.IR cs.SD eess.AS
Improving Natural-Language-based Audio Retrieval with Transfer Learning and Audio & Text Augmentations
Institute of Computational Perception (CP-JKU)(计算感知研究所(CP-JKU));LIT Artificial Intelligence Lab(LIT人工智能实验室);Johannes Kepler University(约翰内斯·开普勒大学)
在深度学习的许多应用领域中,缺乏大型标记数据集仍然是一个重大挑战。研究人员和从业人员通常会求助于迁移学习和数据增强来缓解这个问题。我们研究这些策略的背景下,音频检索与自然语言查询(任务6b的DCASE 2022挑战)。我们提出的系统使用预先训练的嵌入模型将录音和文本描述投影到共享的音频字幕空间中,在该空间中,来自不同模态的相关示例非常接近。我们在音频和文本输入上采用各种数据增强技术,并通过基于模型的顺序优化系统地调整其相应的超参数。我们的研究结果表明,所使用的增强策略减少过拟合,提高检索性能。
2022-10-29 cs.LG cs.SD eess.AS
Bridging Language Gaps in Audio-Text Retrieval
Xiaomi Corporation(小米公司)
针对音频-文本检索偏重英语的问题,提出结合 SONAR 多语言文本编码与 CED 音频编码器优化的语言增强方法,在英语基准上达到 SOTA,并以少量额外数据支持七种语言检索。
2024-06-17 cs.CL cs.SD eess.AS
Audio Captioning using Pre-Trained Large-Scale Language Model Guided by Audio-based Similar Caption Retrieval
NTT Corporation(日本电报电话公司)
音频字幕的目标是将输入的音频转换为使用自然语言的描述。音频字幕的问题之一是缺乏训练数据,这是由于难以通过爬行网络来收集音频字幕对。在这项研究中,为了克服这个问题,我们建议使用预先训练的大规模语言模型。由于音频输入不能直接输入到这样的语言模型中,因此我们利用基于可能存在于不同音频中的相似性从训练数据集检索的指导字幕。然后,在参考引导字幕的同时,通过使用预先训练的语言模型来生成音频输入的字幕。实验结果表明,(i)所提出的方法已经成功地使用预先训练的语言模型的音频字幕,和(ii)的预言性能的预先训练的基于模型的字幕生成器是明显优于传统的方法从头开始训练。
2020-12-14 cs.CL cs.SD eess.AS
Language-based Audio Retrieval with Co-Attention Networks
School of Advanced Technology, Xi’an Jiaotong-Liverpool University(西交利物浦大学先进技术学院)
本文提出一种基于级联协同注意力网络的框架,通过堆叠协同注意力模块逐步细化文本与音频的语义对齐,用于基于语言的音频检索,并在Clotho和AudioCaps数据集上分别取得16.6%和15.1%的性能提升。
2024-12-30 cs.IR cs.SD eess.AS
Application of Audio Fingerprinting Techniques for Real-Time Scalable Speech Retrieval and Speech Clusterization
Faculty of Science, University of Sarajevo(科学学院,萨拉热窝大学);Infobip(Infobip公司)
本文针对电信与云平台中的语音检索与聚类,改进音频指纹技术,实现无需GPU的快速批处理,并支持基于转录的聚类。
2025-09-25 cs.IR cs.SD eess.AS
Dissecting Temporal Understanding in Text-to-Audio Retrieval
University of Oxford(牛津大学);University of Tübingen(蒂宾根大学)
本文针对文本到音频检索中研究不足的声音时序理解问题,在AudioCaps和Clotho上剖析现有模型能力,并提出合成数据集和关注事件时序的损失函数以提升模型时序建模表现。
2024-09-01 cs.IR cs.LG cs.SD
Introducing Auxiliary Text Query-modifier to Content-based Audio Retrieval
NTT Corporation(NTT公司)
公共网站上提供的音频数据量正在迅速增长,需要一个访问所需数据的有效机制。我们提出了一种基于内容的音频检索方法,可以检索到的目标音频是类似的,但略有不同的查询音频通过引入辅助文本信息,描述了查询和目标音频之间的差异。虽然传统的基于内容的音频检索的范围限于与查询音频相似的音频,但是所提出的方法可以通过将辅助文本查询修饰符的嵌入添加到查询样本音频在共享潜在空间中的嵌入来调整检索范围。为了评估我们的方法,我们构建了一个数据集,包括两个不同的音频片段和描述差异的文本。实验结果表明,该方法比基线更准确地检索成对音频。我们还证实了基于可视化,该方法获得了共享的潜在空间,其中音频差异和相应的文本表示为相似的嵌入向量。
2022-07-20 cs.CL cs.IR cs.LG
Matching Text and Audio Embeddings: Exploring Transfer-learning Strategies for Language-based Audio Retrieval
Huawei Technologies(华为技术有限公司);Universitat Pompeu Fabra(庞培法布拉大学)
我们对用于跨模态(文本到音频)检索的大规模预训练深度学习模型进行了分析。我们使用这些模型在度量学习框架中提取的嵌入来连接匹配的音频和文本对。浅层神经网络将嵌入映射到一个共同的维度。我们的系统,这是我们提交的DCASE挑战赛2022年的基于存储的音频检索任务的扩展,采用了RoBERTa基础模型作为文本嵌入提取器。预训练的PANN模型提取音频嵌入。为了提高我们模型的泛化能力,我们研究了从在线平台Freesound收集的音频和相关噪声文本的预训练如何提高我们方法的性能。此外,我们的消融研究表明,正确选择的损失函数和微调预训练模型是必不可少的训练竞争检索系统。
2022-10-06 cs.CL cs.IR cs.LG
Audio-to-symbolic Arrangement via Cross-modal Music Representation Learning
NYU Shanghai(上海纽约大学);Tencent PCG(腾讯平台与内容事业群)
我们能否根据流行歌曲的音频自动推导出钢琴伴奏的乐谱?这就是我们在本文中所要解决的音频到符号的排列问题。一个好的编曲模型不仅要考虑音频内容,还要有钢琴作曲的先验知识(这样生成的作品听起来像音频,同时保持音乐性)。为此,我们贡献了一个跨模态表示学习模型,该模型1)从音频中提取和弦和旋律信息,2)从音频和损坏的地面真值排列中学习纹理表示。我们进一步引入了一个量身定制的训练策略,逐渐将纹理信息的来源从损坏的分数转移到音频。最后,基于分数的纹理后验被简化为标准的正态分布,并且仅需要音频进行推理。实验表明,我们的模型捕捉主要的音频信息,并优于基线的生成质量。
2022-02-22 cs.LG cs.SD eess.AS
Advancing Natural-Language Based Audio Retrieval with PaSST and Large Audio-Caption Data Sets
Johannes Kepler University(约翰内斯·开普勒大学)
本文提出基于预训练文本和频谱图Transformer的文本到音频检索系统,通过共享音频-字幕空间实现跨模态检索,识别出音频编码器和预训练数据扩充两个关键因素,在DCASE 2023和ClothoV2上取得领先性能。
2023-08-08 cs.IR cs.LG cs.SD
Representation Learning for Semantic Alignment of Language, Audio, and Visual Modalities
Audio Research Group, Tampere University(塔尔皮莱大学音频研究组)
针对现有三模态两阶段对齐方法存在数据分布不匹配、效果次优的问题,本文提出基于对比学习的单阶段训练方法,利用AVCaps数据集联合优化多模态表示,在音频驱动视觉检索任务上实现两倍性能提升。
2025-05-20 cs.MM cs.SD eess.AS
Text-based Audio Retrieval by Learning from Similarities between Audio Captions
针对音频字幕数据缺乏细粒度相关性的问题,提出利用 Sentence-BERT 字幕相似度和 logistic 函数生成非二元相关性,并结合列表式排序训练,提升基于文本的音频检索性能。
2024-12-02 eess.AS
AVGZSLNet: Audio-Visual Generalized Zero-Shot Learning by Reconstructing Label Features from Multi-Modal Embeddings
IIT Kanpur(印度理工学院坎普尔分校);University of Bath(巴斯大学)
在本文中,我们提出了一种新的方法,用于多模态环境中的广义零样本学习,其中我们在测试过程中有新的音频/视频类,这些类在训练过程中看不到。我们使用文本嵌入的语义相关性作为零样本学习的手段,通过将音频和视频嵌入与相应的类标签文本特征空间对齐。我们的方法使用一个交叉模态解码器和一个复合三重损失。跨模态解码器强制执行一个约束,即类标签文本特征可以从数据点的音频和视频嵌入中重构。这有助于音频和视频嵌入更接近类标签文本嵌入。复合三元组丢失利用音频、视频和文本嵌入。它有助于在多模态设置中将来自同一个类的嵌入拉近,并将来自不同类的嵌入推开。这有助于网络在多模态零样本学习任务上表现得更好。重要的是,即使在测试时缺少模态,我们的多模态零样本学习方法也有效。我们测试我们的方法上的广义zero-shot分类和检索任务,并表明,我们的方法优于其他模型中存在的一个单一的方式,以及在存在多个方式。我们通过与以前的方法进行比较并使用各种消融来验证我们的方法。
2020-11-23 cs.CV cs.SD eess.AS
Neural Audio Fingerprint for High-specific Audio Retrieval based on Contrastive Learning
Seoul National University(首尔国立大学);SK Telecom(SK电讯)
大多数现有的音频指纹识别系统在用于大规模的高特异性音频检索方面具有局限性。在这项工作中,我们从音频的短单元段生成一个低维表示,并将此指纹与快速最大内积搜索相结合。为此,我们提出了一个对比学习框架,来自段级搜索目标。训练中的每次更新都使用一批由一组伪标签、随机选择的原始样本及其增强副本组成的批。这些复制品可以通过应用小的时间偏移和各种类型的失真(例如背景噪声和房间/麦克风脉冲响应)来模拟对原始音频信号的降级效果。在段级搜索任务中,传统的音频指纹识别系统过去常常失败,我们的系统使用10倍的小存储空间,显示出有希望的结果。我们的代码和数据集可在\url{https://mimbres.github.io/neural-audio-fp/}上获得。
2021-02-10 cs.IR cs.LG cs.SD
Estimated Audio-Caption Correspondences Improve Language-Based Audio Retrieval
Institute of Computational Perception(计算感知研究所);LIT Artificial Intelligence Lab(LIT人工智能实验室);Johannes Kepler University(约翰内斯·开普勒大学)
本文提出一种两阶段训练方法,利用模型预测的音频-标题对应关系作为目标替代随机不匹配对,在 ClothoV2 基准上将 mAP@10 提升了 1.6 个百分点,显著改进了基于语言的音频检索性能。
2024-08-21 cs.LG cs.SD eess.AS
Exploring the Role of Audio in Video Captioning
Northeastern University(东北大学);ByteDance(字节跳动)
本文提出一种音视频字幕生成框架,利用原始音频信号而非ASR文本,通过模态平衡预训练损失和局部-全局融合机制,在四个数据集上显著提升性能,部分指标超越现有最优方法。
2023-06-21 cs.CV cs.SD eess.AS
Cross-Modal Watermarking for Authentic Audio Recovery and Tamper Localization in Synthesized Audiovisual Forgeries
Korea University(韩国大学);New York University(纽约大学)
本文提出跨模态水印框架,将真实音频嵌入视觉内容中,以在合成视听伪造中实现真实音频恢复和音频篡改定位,实验验证其对语音克隆和唇形同步等操纵的有效防御能力。
2025-07-17 cs.MM cs.SD eess.AS
Cross-Modal Contrastive Representation Learning for Audio-to-Image Generation
Korea University(高丽大学)
某些信息的多种形式提供了关于该信息的各种观点,这可以改善对信息的理解。因此,从现有数据中生成不同模态的数据以增强理解可能至关重要。在本文中,我们研究了跨模态音频到图像的生成问题,并提出跨模态对比表示学习(CMCRL)提取有用的功能,从音频和使用它在生成阶段。实验结果表明,CMCRL提高了图像质量比以前的研究。
2022-07-20 cs.CV cs.GR cs.SD
Deep Latent Space Learning for Cross-modal Mapping of Audio and Visual Signals
University of Insubria(因苏布里亚大学);National University of Sciences and Technology(国立科技大学);Information Technology University(信息技术大学)
我们提出了一种新的深度训练算法,用于音频和视觉信息的联合表示,该算法由单流网络(SSNet)和一种新的损失函数组成,用于学习多模态信息的共享深层潜在空间表示。所提出的框架的特点是共享的潜在空间,利用类中心,这有助于消除需要成对或三重监督。我们在VoxCeleb上定量和定性地评估了所提出的方法,VoxCeleb是一个基准的视听数据集,用于多项任务,包括跨模态验证,跨模态匹配和跨模态检索。在交叉模态验证和匹配上实现了最先进的性能,而在其余应用程序上观察到了类似的结果。我们的实验证明了该技术的有效性跨模态生物识别应用。
2019-09-18 cs.CV cs.SD eess.AS
Audio-based Near-Duplicate Video Retrieval with Audio Similarity Learning
Information Technologies Institute, CERTH(希腊研究与技术基金会信息技术研究所);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
在这项工作中,我们解决了基于音频的近重复视频检索的问题。我们提出了音频相似性学习(AuSiL)的方法,有效地捕捉视频对之间的音频相似性的时间模式。对于两个视频之间的鲁棒相似性计算,我们首先通过利用基于在大规模音频事件数据集上训练的卷积神经网络(CNN)的迁移学习来提取代表性的基于音频的视频描述符,然后我们计算从这些描述符的成对相似性导出的相似性矩阵。相似性矩阵随后被馈送到CNN网络,该网络捕获其内容中存在的时间结构。我们按照三元组生成过程和优化三元组损失函数来训练我们的网络。为了评估所提出的方法的有效性,我们手动注释两个公开的视频数据集的基础上,他们的视频之间的音频重复。所提出的方法实现了非常有竞争力的结果相比,三个国家的最先进的方法。此外,与竞争的方法,它是非常强大的速度转换生成的音频副本的检索。
2021-01-11 cs.IR cs.LG cs.MM
Language-Based Audio Retrieval with Converging Tied Layers and Contrastive Loss
ST Engineering Mission Software & Services Pte. Ltd(ST工程任务软件与服务私人有限公司)
在本文中,我们解决了DCASE 2022中提出的新的基于数据库的音频检索任务。首先,我们介绍了一个简单的,可扩展的架构,将音频和文本编码器联系在一起。其次,我们表明,使用这种架构以及对比损失允许模型显着击败基线模型的性能。最后,除了具有极低的训练内存要求外,我们还能够使用预训练的模型,而无需对它们进行微调。我们测试了我们的方法,并表明使用我们的方法的组合击败了基线分数显着。
2022-06-29 cs.CL cs.IR cs.SD
pyAMPACT: A Score-Audio Alignment Toolkit for Performance Data Estimation and Multi-modal Processing
pyAMPACT是一种用于表演数据估计和多模态处理的工具,通过符号与音频的对齐实现性能数据的估计及多模态分析
2026-01-05 cs.MM cs.SD eess.AS
MMCosine: Multi-Modal Cosine Loss Towards Balanced Audio-Visual Fine-Grained Learning
Renmin University of China(中国人民大学)
视听学习通过融合多种形式的实用信息,有助于全面认识世界。然而,最近的研究表明,在一个联合学习模型中的单模态编码器的不平衡优化是一个瓶颈,以提高该模型的性能。我们进一步发现,最新的不平衡缓解方法失败的一些视听细粒度的任务,有较高的要求,可区分的特征分布。在余弦损失成功构建超球面特征空间并实现较低类内角度变化的推动下,本文提出了多模态余弦损失,MMCosine。它对特征和权重执行模态方面的$L_2$规范化,以实现平衡和更好的多模态细粒度学习。我们证明,我们的方法可以减轻不平衡优化的角度来看,重量范数和充分利用的余弦度量的可辨别性。大量的实验证明了我们的方法的有效性和先进的多模态融合策略和最新的不平衡缓解方法的通用性。
2023-03-11 cs.MM cs.SD eess.AS
Audio Retrieval for Multimodal Design Documents: A New Dataset and Algorithms
Adobe Research(奥多比研究院)
我们考虑并提出了一个新的问题,检索音频文件相关的多模态设计文档输入,包括文本元素和视觉图像,例如,生日/贺卡除了增强用户体验之外,集成与这些输入的主题/风格相匹配的音频还有助于提高这些文档的可访问性(例如,视力受损的人可以听音频代替)。虽然最近在音频检索方面的工作存在,但这些方法和数据集明确针对自然图像。然而,我们的问题认为多模态设计文档(由用户使用创意软件创建)与自然点击的照片有很大不同。为此,我们的第一个贡献是收集和策划一个名为Melodic-Design(或MELON)的新的大规模数据集,包括代表各种风格,主题,模板,插图等的设计文档,与音乐音频配对。鉴于我们配对的图像-文本-音频数据集,我们的下一个贡献是一种新的多模态交叉注意音频检索(MMCAR)算法,该算法能够训练神经网络学习跨图像,文本和音频维度的公共共享特征空间。我们使用这些学习到的特征来证明我们的方法优于现有的最先进的方法,并为我们的新数据集上的研究社区提供了一个新的参考基准。
2023-02-28 cs.IR cs.MM cs.SD
Expanding on EnCLAP with Auxiliary Retrieval Model for Automated Audio Captioning
MAUM AI Inc.(MAUM AI公司);Soongsil University(崇实大学)
本文基于 EnCLAP 框架优化 DCASE2024 音频描述任务,并引入重排序与辅助检索模型,在任务6和任务8上分别取得 0.542 FENSE 和 0.386 mAP@10,显著超越基线。
2024-09-02 cs.AI cs.SD eess.AS
A Unified Framework for Modality-Agnostic Deepfakes Detection
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);University at Buffalo, State University of New York(纽约州立大学布法罗分校);RealAI Inc(RealAI公司)
针对跨模态伪造与模态缺失问题,本文提出虚假模态无关的统一音视频 deepfake 检测框架,利用 AVSR 提取跨模态语音关联并采用双标签独立检测,在三个数据集上优于现有方法。
2023-10-24 cs.MM cs.SD eess.AS
Lightweight Joint Audio-Visual Deepfake Detection via Single-Stream Multi-Modal Learning Framework
Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳));Guilin University of Electronic Technology(桂林电子科技大学);Alibaba Group(阿里巴巴集团)
针对音视频Deepfake检测中双分支模型冗余且模态关联利用不足的问题,提出单流多模态轻量框架,仅0.48M参数并在多个基准上取得更优检测性能。
2025-06-09 cs.AI cs.LG cs.SD
AV-FlowEdit: Training-Free Prompt-Driven Audio-Visual Editing with Event-Aware Spectral Trajectory Preservation
本文提出无需训练的AV-FlowEdit框架,利用源-目标流差异实现提示驱动的视听编辑,通过跨模态事件感知频谱轨迹保留抑制漂移,在提示对齐、时间一致性等方面表现出色。
2026-10-12 cs.CV cs.SD eess.AS