SALM: Spatial Audio Language Model with Structured Embeddings for Understanding and Editing
Institute of Acoustics, Chinese Academy of Sciences, China（中国科学院声学研究所）；MiLM Plus, Xiaomi Inc., China（小米公司）；Xi’an Jiaotong Liverpool University, China（西安交通大学利物浦大学）；University of Chinese Academy of Sciences, China（中国科学院大学）
本文提出空间音频语言模型SALM，通过双分支编码器与结构化嵌入实现空间音频和文本的对齐，支持零样本方向分类与音频编辑。
2025-09-18 cs.SD eess.AS
Audio Atlas: Visualizing and Exploring Audio Datasets
ETH Zurich（苏黎世联邦理工学院）
本文提出交互式 Web 应用 Audio Atlas，结合文本-音频对比嵌入、向量数据库与 DeepScatter 二维可视化，支持音频数据集的语义搜索、模式及异常值探索，并开源含多类音频与音乐数据集的初始实现。
2024-11-30 cs.AI cs.SD eess.AS
Introducing Auxiliary Text Query-modifier to Content-based Audio Retrieval
NTT Corporation（NTT公司）
公共网站上提供的音频数据量正在迅速增长，需要一个访问所需数据的有效机制。我们提出了一种基于内容的音频检索方法，可以检索到的目标音频是类似的，但略有不同的查询音频通过引入辅助文本信息，描述了查询和目标音频之间的差异。虽然传统的基于内容的音频检索的范围限于与查询音频相似的音频，但是所提出的方法可以通过将辅助文本查询修饰符的嵌入添加到查询样本音频在共享潜在空间中的嵌入来调整检索范围。为了评估我们的方法，我们构建了一个数据集，包括两个不同的音频片段和描述差异的文本。实验结果表明，该方法比基线更准确地检索成对音频。我们还证实了基于可视化，该方法获得了共享的潜在空间，其中音频差异和相应的文本表示为相似的嵌入向量。
2022-07-20 cs.CL cs.IR cs.LG
Parsing Birdsong with Deep Audio Embeddings
School of Engineering and Applied Sciences, Harvard University（哈佛大学工程与应用科学学院）；K. Lisa Yang Center for Conservation Bioacoustics, Cornell Lab of Ornithology, Cornell University（康奈尔大学鸟类学实验室K. Lisa Yang保护生物声学中心）
监测鸟类种群在保护工作和了解生物多样性丧失方面发挥了至关重要的作用。这一过程的自动化得到了传感技术（如被动声学监测）和相应分析工具（如深度学习）的促进。然而，机器学习模型通常难以推广到训练数据中未遇到的示例。在我们的工作中，我们提出了一个半监督的方法来识别特征调用和环境噪声。我们利用几种方法来学习音频样本的潜在表示，包括卷积自动编码器和两个预先训练的网络，并将所得嵌入分组，供领域专家识别聚类标签。我们表明，我们的方法可以提高分类精度，并提供洞察环境声学数据集的潜在结构。
2021-08-20 cs.LG cs.SD eess.AS
Temporal Pooling Strategies for Training-Free Anomalous Sound Detection with Self-Supervised Audio Embeddings
系统评估多种时间池化策略，提出相对偏差池化（RDP）和混合池化方法，在无训练异常声音检测中超越均值池化，达到最优性能。
2026-08-07 cs.SD eess.AS
Audio-to-Image Bird Species Retrieval without Audio-Image Pairs via Text Distillation
Inria, LIRMM, Université de Montpellier（法国国家信息与自动化研究所，蒙彼利埃计算机科学、机器人学与微电子学实验室，蒙彼利埃大学）；University of Kassel（卡塞尔大学）
本文提出无需音频图像配对的音频到图像检索方法，通过文本作为语义中介，利用预训练图像文本模型蒸馏出音频文本模型，实现音频与图像表示的对齐，从而在数据稀缺的生物声学场景中有效进行物种识别。
2026-04-04 cs.IR cs.LG cs.SD
Show Me the Instruments: Musical Instrument Retrieval from Mixture Audio
Seoul National University（首尔大学）
随着数字音乐制作成为主流，选择合适的虚拟乐器在决定音乐质量方面起着至关重要的作用。为了搜索乐器样本或虚拟乐器，使一个人想要的声音，音乐制作人用他们的耳朵听和比较每个乐器样本在他们的集合，这是费时和低效的。在本文中，我们称之为乐器检索这项任务，并提出了一种方法检索所需的乐器使用参考音乐混合作为查询。该模型由基于卷积神经网络的单仪器编码器和多仪器编码器组成。单乐器编码器被训练用于对单声道音频中使用的乐器进行分类，并且我们将其倒数第二层的激活作为乐器嵌入。多仪器编码器被训练为使用由单仪器编码器计算的仪器嵌入作为一组目标嵌入来估计多个仪器嵌入。为了更广泛的训练和现实评估，我们还提出了一个名为Nlakh的新数据集。实验结果表明，单乐器编码器能够学习从未见过乐器的音频信号到乐器嵌入空间的映射，而多乐器编码器能够从混合音乐中提取多个嵌入并成功检索所需乐器。用于实验的代码和音频样本可在以下网址获得：https://github.com/minju0821/musical_instrument_retrieval
2022-11-15 cs.LG cs.SD eess.AS
SEE: Signal Embedding Energy for Quantifying Noise Interference in Large Audio Language Models
Beijing University of Posts and Telecommunications（北京邮电大学）；North China Electric Power University（华北电力大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Nanyang Technological University（新加坡南洋理工大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
本文提出SEE方法，用于量化LALMs中的噪声干扰，通过结构化激活子空间提升噪声感知，实验显示SEE与性能高度相关，传统去噪方法效果有限，提出基于SEE的改进策略。
2026-01-12 cs.LG cs.SD
SubT: Subspace Tuning for Few-shot Generalization of Audio-Language Models
KAIST（韩国科学技术院）
针对音频-语言模型少样本微调导致的基类-新类权衡问题，提出子空间微调（SubT），通过结构化子空间参数化和残差锚定约束文本嵌入漂移，并利用子空间感知门控抑制负迁移，在11个音频基准上实现高效强泛化。
2026-09-01 cs.SD
Learning Relationships between Text, Audio, and Video via Deep Canonical Correlation for Multimodal Language Analysis
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Curai（Curai公司）
多模态语言分析通常考虑基于文本的特征与基于声学和视觉特性的特征之间的关系。文本特征通常在情感分析或情感识别任务中优于非文本特征，部分原因是文本特征源自在海量数据源上训练的高级语言模型或词嵌入，而音频和视频特征是人工设计的并且相对不发达。考虑到文本、音频和视频以不同的方式描述相同的话语，我们假设可以通过学习（隐藏）从文本和音频的外积（我们称之为基于文本的音频）和类似的基于文本的视频中提取的特征之间的相关性来改进多模态情感分析和情感识别。本文提出了一种新的模型，交互典型相关网络（ICCN），学习这样的多模态嵌入。ICCN通过深度典型相关分析（DCCA）学习所有三种模式之间的相关性，然后在几个基准数据集上测试所提出的嵌入，并与其他最先进的多模态嵌入算法进行比较。经验结果和消融研究证实了ICCN在从所有三个视图捕获有用信息方面的有效性。
2019-11-30 cs.LG stat.ML
High-precision Voice Search Query Correction via Retrievable Speech-text Embedings
Google（谷歌）
针对ASR假设文本与音频不匹配导致检索精确度低的问题，提出直接使用多模态语音-文本嵌入网络生成音频嵌入查询纠正数据库并评分候选，使相关话语词错率相对降低6%且不影响整体。
2024-01-08 cs.CL cs.SD eess.AS
Towards Unsupervised Automatic Speech Recognition Trained by Unaligned Speech and Text only
National Taiwan University（国立台湾大学）
自动语音识别（ASR）已被广泛研究，但许多低资源语言缺乏音频-文本对齐数据，无法使用监督方法。在这项工作中，我们提出了一个框架，以实现无监督的ASR阅读英语语音数据集，其中音频和文本是不对齐的。在第一阶段中，话语中的每个单词级音频段由序列自动编码器提取的向量表示来表示，其中语音信息和说话者信息被解开。其次，使用skip-gram模型从向量表示训练音频片段的语义嵌入。最后，利用无监督的方法将音频片段的语义嵌入转换到文本嵌入空间，并最终将转换后的嵌入映射到单词。有了上述框架，我们将只使用未对齐的文本和语音训练无监督ASR。
2018-08-11 cs.CL
MATS: An Audio Language Model under Text-only Supervision
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS, China（中国科学院智能信息处理重点实验室（中国科学院））；University of Chinese Academy of Sciences, China（中国科学院大学）
MATS通过纯文本监督训练，实现音频理解能力，无需依赖音频数据，展现出与大规模音频-语言对训练模型相当的性能。
2026-01-14 cs.SD eess.AS
Spatial and Semantic Embedding Integration for Stereo Sound Event Localization and Detection in Regular Videos
本文针对DCASE2025立体声事件定位与检测任务，提出将CLAP音频和OWL-ViT视觉语义嵌入集成到Cross-Modal Conformer中，并结合自相关特征与数据增强，显著超越挑战赛基线。
2025-07-07 cs.LG eess.AS eess.IV
Comparison and Analysis of Deep Audio Embeddings for Music Emotion Recognition
University of California, San Diego（加州大学圣地亚哥分校）
音乐中的情感是一个复杂的概念，即使使用微调的特征工程也很难捕捉。在本文中，我们研究了最先进的预训练深度音频嵌入方法在音乐情感识别（MER）任务中的实用性。深度音频嵌入方法使我们能够有效地将高维特征捕获到紧凑的表示中。我们实现了几个具有深度音频嵌入的多类分类器来预测音乐中的情感语义。我们研究了L3-Net和VGGish深度音频嵌入方法在四个音乐数据集上进行音乐情感推理的有效性。在该任务上使用多个分类器进行的实验表明，深度音频嵌入解决方案可以提高先前基线MER模型的性能。我们的结论是，深音频嵌入代表音乐情感语义的MER任务，没有专家的人类工程。
2021-04-13 cs.AI cs.LG cs.MM
Matching Text and Audio Embeddings: Exploring Transfer-learning Strategies for Language-based Audio Retrieval
Huawei Technologies（华为技术有限公司）；Universitat Pompeu Fabra（庞培法布拉大学）
我们对用于跨模态（文本到音频）检索的大规模预训练深度学习模型进行了分析。我们使用这些模型在度量学习框架中提取的嵌入来连接匹配的音频和文本对。浅层神经网络将嵌入映射到一个共同的维度。我们的系统，这是我们提交的DCASE挑战赛2022年的基于存储的音频检索任务的扩展，采用了RoBERTa基础模型作为文本嵌入提取器。预训练的PANN模型提取音频嵌入。为了提高我们模型的泛化能力，我们研究了从在线平台Freesound收集的音频和相关噪声文本的预训练如何提高我们方法的性能。此外，我们的消融研究表明，正确选择的损失函数和微调预训练模型是必不可少的训练竞争检索系统。
2022-10-06 cs.CL cs.IR cs.LG
Music2Latent2: Audio Compression with Summary Embeddings and Autoregressive Decoding
Queen Mary University London（伦敦玛丽女王大学）；Sony Computer Science Laboratories Paris（索尼计算机科学实验室巴黎分部）
提出Music2Latent2音频自编码器，利用一致性模型和摘要嵌入实现高压缩比与高保真度，并通过自回归解码处理任意长度音频，在质量和下游任务上优于现有方法。
2025-01-29 cs.AI cs.LG cs.SD
Improving automated segmentation of radio shows with audio embeddings
FD Mediagroep（FD传媒集团）
音频特征已被证明对提高自动主题分割系统的性能是有用的。本研究探讨了新的任务，使用音频嵌入的自动化，局部连贯分割的广播节目。我们在来自不同领域的三个数据集上使用多类分类任务创建了三个不同的音频嵌入生成器。我们评估了音频嵌入的主题分割性能，并将其与纯文本基线进行比较。我们发现，包括通过非语音声音事件分类任务生成的音频嵌入的设置在F1测量中显著优于我们的纯文本基线32.3%。此外，我们发现，不同的分类任务产生不同的分割性能的音频嵌入。
2020-02-12 cs.LG cs.SD eess.AS
Audio Captioning with Composition of Acoustic and Semantic Information
Başkent University（Başkent大学）
音频字幕生成是一个新的研究领域，它结合了音频和自然语言处理，为音频片段创建有意义的文本描述。为了解决这个问题，以前的研究大多使用基于编码器-解码器的模型，而不考虑语义信息。为了填补这一空白，我们提出了一种新的编码器-解码器架构，使用双向门控递归单元（BiGRU）与音频和语义嵌入。我们通过从音频片段标题中获取主语和动词来提取语义嵌入，并将这些嵌入与音频嵌入相结合，以提供基于BiGRU的编码器-解码器模型。为了使测试音频的语义嵌入，我们引入了多层感知器分类器来预测这些片段的语义嵌入。我们还提出了详尽的实验，以显示我们提出的模型的音频字幕任务的不同功能和数据集的效率。为了提取音频特征，我们使用对数梅尔能量特征，VGGish嵌入和预训练的音频神经网络（PANN）嵌入。在两个音频字幕数据集Clotho和AudioCaps上的大量实验表明，我们提出的模型在不同的评估指标上优于最先进的音频字幕模型，并且使用语义信息提高了字幕性能。关键词：音频字幕; PANN; VGGish; GRU; BiGRU。
2021-05-13 cs.LG cs.SD eess.AS
Fusion Embedding: A Unified Embedding Space for Text, Image, Video, and Audio
Eximius Labs（卓越实验室）；Wabash College（瓦贝什学院）；Skop Intelligence Co.（斯科普智能公司）
研究旨在构建文本、图像、视频和音频统一嵌入空间。提出融合嵌入家族，第一代训练参数少的连接器，第二代添加模态门控深度适配器，无需成对视听数据实现音频-图像检索，探索设计空间并公开相关资源。
2026-07-22 cs.CL cs.SD
Transformation of audio embeddings into interpretable, concept-based representations
Dolby Laboratories（Dolby实验室）；Dept. of Electrical and Computer Engineering Univ. of Texas at Austin（电气与计算机工程系，德克萨斯大学奥斯汀分校）
本研究利用CLAP模型将音频嵌入转换为基于概念的可解释稀疏表征，在保持或提升下游任务性能的同时提供可解释性，并发布了三个音频词汇表。
2025-04-18 cs.LG cs.SD eess.AS
Improving Audio Classification by Transitioning from Zero- to Few-Shot
BabbleLabs
针对零样本音频分类中类别文本描述难以最优确定的问题，本文提出按类别聚合并处理少样本音频嵌入以替代噪声文本嵌入，实验表明其通常优于零样本基线。
2025-07-26 cs.LG cs.SD
Audio-JEPA: Joint-Embedding Predictive Architecture for Audio Representation Learning
IRIT（图卢兹计算机科学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；Toulouse INP（图卢兹国立理工学院）；Queen Mary University of London（伦敦玛丽女王大学）
本文提出Audio-JEPA，将联合嵌入预测架构应用于音频，通过Vision Transformer预测被掩蔽频谱图补丁的潜在表示，在仅用不到五分之一训练数据且无超参数调优的情况下，在X-ARES基准上取得与wav2vec 2.0和data2vec相当的性能。
2026-09-29 cs.AI cs.LG cs.SD
The Sound of Absence: Audio-Language Embedding Models Struggle with Negation
Graduate Institute of Communication Engineering, National Taiwan University, Taiwan（国家台湾大学通讯工程研究所）；Artificial Intelligence Center of Research Excellence (AI-CoRE), National Taiwan University, Taiwan（国家台湾大学人工智能卓越研究中心）
研究音频-语言嵌入模型在处理否定时的问题，引入NegEval-Audio框架将数据集转换为否定感知任务，发现模型在否定情况下性能大幅下降，肯定偏差是缺陷，需明确否定感知训练目标。
2026-07-15 cs.AI cs.CL cs.LG
COMET: Concept Space Dissection of the Modality Gap in Audio-Text Multimodal Contrastive Embeddings
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；Centre for Vision, Speech, and Signal Processing (CVSSP), University of Surrey（Surrey 大学视觉、语音和信号处理中心）
提出COMET框架，通过PLS-SVD分解揭示CLAP模型中模态间隙主要由少数共享概念轴贡献，并基于谱截断方法无训练地缓解间隙，实现零样本音频字幕接近全监督性能。
2026-05-28 cs.AI cs.CL cs.LG
Embedding Alignment in Code Generation for Audio
Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）
本研究探索代码与音频嵌入空间的对齐，提出预测模型构建映射，以提升大语言模型在创意编码中生成多样音乐输出的能力。
2025-09-23 cs.AI cs.MM cs.SD
LAMB: LLM-based Audio Captioning with Modality Gap Bridging via Cauchy-Schwarz Divergence
本文提出LAMB框架，通过Cauchy-Schwarz散度弥合音频与文本嵌入空间的模态差距，设计Two-Stream Adapter和Token Guide提升LLM解码器推理能力，在AudioCaps上取得最佳性能。
2026-03-16 cs.AI cs.SD
EnCLAP: Combining Neural Audio Codec and Audio-Text Joint Embedding for Automated Audio Captioning
MAUM AI Inc.（MAUM AI公司）；Seoul National University（首尔大学）；Soongsil University（崇实大学）
本研究提出自动音频字幕生成框架EnCLAP，结合EnCodec、CLAP与预训练模型BART，通过掩码编解码器建模提升声学感知，在AudioCaps和Clotho数据集上性能优于基线，并开源代码与演示。
2024-01-31 cs.AI cs.SD eess.AS
Zero-Shot Audio Classification using Image Embeddings
Tampere University（坦佩雷大学）
监督学习方法可以解决存在大量标记数据的给定问题。然而，获取覆盖所有目标类别的数据集通常需要手动标记，这是昂贵且耗时的。零样本学习模型能够利用语义信息对未知概念进行分类。本研究引入图像嵌入作为边信息的zero-shot音频分类，通过使用非线性声学语义投影。我们从Open Images数据集中提取语义图像表示，并使用不同领域的语义信息（图像，音频和文本）评估AudioSet音频子集上模型的性能。我们证明图像嵌入可以用作语义信息来执行零拍摄音频分类（zero-shot audio classification）。实验结果表明，图像和文本的嵌入表现出类似的性能，无论是单独的和一起。我们还计算了测试样本的语义声学嵌入，以提供性能的上限。实验结果表明，分类性能对测试类和训练类之间的语义关系高度敏感，当可见类和不可见类在语义上相似时，文本和图像嵌入可以达到语义声学嵌入。
2022-06-10 cs.LG cs.SD eess.AS
Correlating Subword Articulation with Lip Shapes for Embedding Aware Audio-Visual Speech Enhancement
University of Science and Technology of China（中国科学技术大学）；iFlytek Research, iFlytek Co., Ltd.（科大讯飞研究院，科大讯飞股份有限公司）；Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们提出了一个视觉嵌入的方法，以提高嵌入感知语音增强（EASE）的同步视觉唇帧在手机和地方的清晰度水平。我们首先提取视觉嵌入唇帧使用预先训练的电话或发音的地方识别器的视觉只EASE（VEASE）。接下来，我们提取视听嵌入噪声语音和唇视频中的信息交叉的方式，利用音频和视觉功能的互补性多模态EASE（MEASE）。在模拟加性噪声污染的TCD-TIMIT语料库上的实验表明，我们提出的基于子词的VEASE方法比传统的词级嵌入方法更有效。此外，在发音位置水平上的视觉嵌入，利用发音位置和嘴唇形状之间的高度相关性，显示出比在电话水平上更好的性能。最后，建议的MEASE框架，结合音频和视频嵌入，产生显着更好的语音质量和清晰度比最好的视觉和音频的EASE系统。
2020-09-21 cs.LG cs.SD eess.AS
Diverse Audio Embeddings -- Bringing Features Back Outperforms CLAP!
Stanford University（斯坦福大学）
本文提出将音高、音色等手工特征嵌入与端到端音频嵌入相结合，在数百类声音分类任务上显著超越纯端到端模型及CLAP性能。
2025-05-06 cs.AI cs.LG cs.MM
Learning Audio Embeddings with User Listening Data for Content-based Music Recommendation
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Tencent Music Entertainment（腾讯音乐娱乐）
在音乐产业中，对新发行的曲目进行个性化推荐一直是一个具有挑战性的问题。为了解决这个问题，我们首先探索用户的收听历史和人口统计数据，构建一个用户嵌入代表用户的音乐偏好。通过用户嵌入和来自用户喜欢和不喜欢的音轨的音频数据，可以使用具有Siamese网络的度量学习来获得针对每个音轨的音频嵌入。对于一个新的音轨，我们可以通过计算音轨的音频嵌入和不同用户嵌入之间的相似度来决定推荐的最佳用户组。建议的系统产生国家的最先进的性能，基于内容的音乐推荐测试与数百万用户和曲目。此外，我们提取音频嵌入的音乐流派分类任务的功能。实验结果表明了我们的音频嵌入的泛化能力。
2020-10-29 cs.SD eess.AS
Using multiple reference audios and style embedding constraints for speech synthesis
Tianjin University（天津大学）；University of Science and Technology of China（中国科学技术大学）；Huiyan Technology (Tianjin) Co., Ltd（天津慧眼科技有限公司）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
端到端的语音合成模型可以直接将一段话语作为参考音频，从文本中生成韵律和说话人特征与参考音频相似的语音。然而，在推断期间必须手动选择适当的声学嵌入。由于在训练过程中只使用匹配的文本和语音，使用不匹配的文本和语音进行推理将导致模型合成内容质量较低的语音。在这项研究中，我们建议通过使用多个参考音频和风格嵌入约束来缓解这两个问题，而不是只使用目标音频。使用由来自Transformers的双向编码器表示（BERT）确定的句子相似性来自动选择多个参考音频。此外，我们通过考虑预测和“目标”风格嵌入之间的互信息，使用来自预训练编码器的“目标”风格嵌入作为约束。实验结果表明，该模型在多个参考音频的情况下，能够提高语音的自然度和内容质量，在风格相似度的ABX偏好测试中也优于基线模型。
2021-10-09 cs.AI cs.SD eess.AS
Automatic Audio Captioning using Attention weighted Event based Embeddings
TCS Research, Tata Consultancy Services Limited（塔塔咨询服务有限公司TCS研究院）
自动音频字幕（AAC）是指将音频翻译成描述音频事件、事件来源及其关系的自然语言的任务。目前AAC数据集的样本有限，已经形成了将迁移学习与音频事件检测（AED）结合作为父任务的趋势。朝着这个方向，在本文中，我们提出了一种编码器-解码器架构，具有用于AAC的轻量级（即具有较少的可学习参数）Bi-LSTM递归层，并比较了两种最先进的预训练AED模型作为嵌入提取器的性能。我们的研究结果表明，一个有效的AED为基础的嵌入提取器结合时间的注意力和增强技术是能够超越现有的文献与计算密集型架构。此外，我们还提供了证据，证明作为我们模型的一部分生成的非均匀注意力加权编码的能力，以便于解码器在生成每个令牌时浏览音频的特定部分。
2022-01-28 cs.LG cs.SD eess.AS
Unify Variables in Neural Scaling Laws for General Audio Representations via Embedding Effective Rank
College of Computer Science and Technology, National University of Defense Technology（计算机科学与技术学院，国防科技大学）
本研究通过引入嵌入有效秩（RankMe）作为统一度量指标，系统探究了通用音频表示的缩放定律，揭示了RankMe与表示质量间一致的幂律关系，为音频基础模型的性能评估与缩放策略提供了理论支撑与实证框架。
2025-10-13 cs.AI cs.SD eess.AS
Do Joint Language-Audio Embeddings Encode Perceptual Timbre Semantics?
Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Computer Science（计算机科学系）；Northwestern University（西北大学）
本文评估MS-CLAP等联合语言-音频嵌入模型捕捉感知音色语义的能力，发现LAION-CLAP对齐表现较强但整体有限，混响诱导音色语义的编码一致性优于均衡诱导。
2026-08-26 cs.AI cs.SD eess.AS
Flexible Keyword Spotting based on Homogeneous Audio-Text Embedding
Apple（苹果公司）
本文提出一种基于音频兼容文本编码器的灵活关键词识别架构，通过G2P与代表性音素向量实现同质音频-文本嵌入，并结合易混淆关键词生成增强判别力，在Libriphrase困难数据集上显著提升AUC并降低EER。
2023-08-12 cs.LG cs.SD eess.AS
How Much Audio Is Left In An Embedding? An Inversion Audit Of Audio Encoders
New York University（纽约大学）
该研究通过配对源重建，利用 Stable Audio Open 解码器从多种音频编码器（VGGish、ConvNeXt、CLAP、EnCodec）的冻结表示中重建音乐，发现不同编码器的可重建性存在差异，压缩任务嵌入仍能保留源特异性与高级音乐内容。
2026-10-09 cs.AI cs.SD
Learning Contextual Tag Embeddings for Cross-Modal Alignment of Audio and Tags
Universitat Pompeu Fabra（庞培法布拉大学）；Tampere University（坦佩雷大学）
自监督音频表示学习为获得通用音频嵌入提供了一种有吸引力的替代方案，能够用于各种下游任务。考虑音频和与音频相关联的词/标签两者的公开方法不采用能够概括为训练期间未知的标签的文本处理模型。在这项工作中，我们提出了一种学习音频表示使用音频自动编码器（AAE），一般词嵌入模型（WEM），和多头自我注意（MHA）机制的方法。MHA参与WEM的输出，提供与音频相关联的标签的上下文化表示，并且我们使用对比损失将MHA的输出与AAE的编码器的输出对齐。我们联合优化AAE和MHA，并通过在三个不同的下游任务（即声音，音乐流派和乐器分类）中利用它们来评估音频表示（即AAE编码器的输出）。我们的研究结果表明，在基于标签的网络中使用多个头部的多头自我注意可以诱导更好的学习音频表示。
2020-10-27 cs.IR cs.LG cs.SD
Fusing Audio and Metadata Embeddings Improves Language-based Audio Retrieval
Institute of Computational Perception（计算感知研究所）；LIT Artificial Intelligence Lab（LIT人工智能实验室）；Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）
本文提出利用关键词等音频元数据，并通过后期或中层融合增强基于语言的音频检索，在 ClothoV2 与 AudioCaps 上分别将 mAP@10 提升 2.36 和 3.69 个百分点。
2024-07-02 cs.LG cs.SD eess.AS
Improving Perceptual Audio Aesthetic Assessment via Triplet Loss and Self-Supervised Embeddings
Research Center for Information Technology Innovation, Academia Sinica（学术院信息科技创新研究中心）；College of Informatics, National Chengchi University（国立成功大学资讯学院）；Institute of Information Science, Academia Sinica（学术院信息科学研究所）；Institute of Communications Engineering, National Yang Ming Chiao Tung University（国立阳明交通大学通讯工程研究所）
针对生成式音频美学评估中自然训练数据与合成评估数据的域偏移问题，结合BEATs预训练模型与多分支LSTM，采用带缓冲区采样的三元组损失构建嵌入空间，提升了嵌入可区分性与泛化能力，实现无需合成训练数据的域鲁棒音频质量评估。
2025-09-03 cs.LG cs.SD eess.AS
Efficient Speech Enhancement via Embeddings from Pre-trained Generative Audioencoders
Xiaomi Inc.（小米公司）
本研究提出一种高效可扩展的语音增强方法，利用预训练生成式音频编码器提取含噪语音嵌入，经紧凑去噪编码器处理后由声码器合成干净语音，在多项指标及主观测试中均优于现有相关模型。
2025-06-13 cs.SD eess.AS
An empirical study of weakly supervised audio tagging embeddings for general audio representations
Xiaomi Corporation（小米公司）
我们研究了预训练的弱监督音频标记（AT）模型作为一般音频表示的特征提取器的可用性。我们主要分析了将这些嵌入转移到语音和声音域中的其他任务的可行性。具体来说，我们将弱监督预训练模型（MobileNetV 2和EfficientNet-B 0）与现代自监督学习方法（BYOL-A）作为特征提取器进行基准测试。14个下游任务用于评估，从乐器分类到语言分类。我们的研究结果表明，AT预训练模型是音乐，事件和情感识别任务的优秀迁移学习选择。此外，微调AT模型还可以使语音相关任务受益，例如关键字识别和意图分类。
2022-09-30 cs.SD eess.AS
Approach to Learning Generalized Audio Representation Through Batch Embedding Covariance Regularization and Constant-Q Transforms
Carnegie Mellon University（卡内基梅隆大学）；Carnegie Mellon Institute（卡内基梅隆研究所）
在包括音频任务在内的许多应用场景中，通用嵌入对于Few-Shot甚至零样本学习都是非常理想的。为了更好地理解表示，我们对HEAR 2021提交结果进行了彻底的错误分析和可视化。受分析的启发，这项工作实验了不同的前端音频预处理方法，包括恒定Q变换（CQT）和短时傅立叶变换（STFT），并提出了一个批量嵌入协方差正则化（BECR）项，以揭示人类听觉系统接收的频率信息的更全面的模拟。我们在HEAR 2021任务套件上测试了这些模型，这些任务涵盖了广泛的任务类别。初步结果表明：（1）BECR可以在测试集上产生更分散的嵌入，（2）BECR在不增加计算复杂度的情况下改进了PaSST模型，（3）STFT预处理在我们测试的所有任务中都优于CQT。Github网站：https://github.com/ankitshah009/general_audio_embedding_hear_2021
2023-03-07 cs.LG cs.MM cs.SD
Towards Leveraging Contrastively Pretrained Neural Audio Embeddings for Recommender Tasks
ETH Zurich（苏黎世联邦理工学院）
针对音乐推荐中的新作品/艺术家冷启动问题，本研究探索用对比预训练神经音频嵌入（尤其是CLAP模型生成的嵌入）替代手工音频特征，以增强基于图框架的协同过滤推荐效果，实验验证了该方法的应用潜力。
2024-09-13 cs.AI cs.SD eess.AS
Disentangling speech from surroundings with neural embeddings
Google Research（谷歌研究院）
本文提出在神经音频编解码器嵌入空间中通过分区与混合重建训练，将语音与环境噪声、混响解耦，并支持音频特性定向调整。
2023-06-04 cs.LG cs.SD eess.AS
Leveraging Whisper Embeddings for Audio-based Lyrics Matching
DISI, University of Bologna（博洛尼亚大学DISI）；Sony AI（索尼人工智能）；Sony Group Corporation（索尼集团）
本文提出WEALY，利用Whisper嵌入实现基于音频的歌词匹配，通过可重复的流程和多模态扩展，展示了与最先进方法相当的性能，并为音乐信息检索提供了可靠基准。
2026-02-05 cs.AI cs.LG cs.SD
Audio Captioning using Gated Recurrent Units
Department of Computer Engineering, Ba s kent University
音频字幕是最近提出的自动生成给定音频片段的文本描述的任务。在这项研究中，提出了一种新的具有音频嵌入的深度网络架构来预测音频字幕。在提取除对数梅尔能量之外的音频特征的目标下，使用VGGish音频嵌入模型来探索音频嵌入在音频字幕任务中的可用性。所提出的架构编码音频和文本输入模态分开，并结合它们之前的解码阶段。音频编码通过双向门控递归单元（BiGRU）进行，而GRU用于文本编码阶段。在此之后，我们评估我们的模型通过新发布的音频字幕性能数据集，即Clotho，比较实验结果与文献。我们的实验结果表明，所提出的基于BiGRU的深度模型优于最先进的结果。
2021-01-03 cs.LG cs.SD eess.AS
Word Embeddings for Automatic Equalization in Audio Mixing
University of Plymouth（普利茅斯大学）；Plymouth Marine Laboratory（普利茅斯海洋实验室）
近年来，机器学习已被广泛采用以使音频混合过程自动化。自动混合系统已经应用于各种音频效果，诸如增益调整、均衡和混响。这些系统可以通过可视化界面进行控制，提供音频示例，使用旋钮和语义描述符。使用语义描述符或文本信息来控制这些系统是艺术家传达其创作目标的有效方法。在本文中，我们探讨了使用词嵌入来表示语义描述符的新思想。词嵌入通常通过在书面文本的大型语料库上训练神经网络来获得。这些嵌入用作神经网络的输入层，以创建从单词到EQ设置的翻译。使用这种技术，机器学习模型还可以为以前没有见过的语义描述符生成EQ设置。我们将人类的EQ设置与神经网络的预测进行比较，以评估预测的质量。结果表明，嵌入层使神经网络能够理解语义描述符。我们观察到，具有嵌入层的模型比没有嵌入层的模型表现得更好，但仍然不如人类标签。
2022-09-19 cs.LG cs.SD eess.AS
Discriminating real and synthetic super-resolved audio samples using embedding-based classifiers
Tampere University（塔尔基耶大学）；Nokia Technologies（诺基亚技术）
本文提出基于嵌入式分类器区分真实与合成超分辨音频的方法，揭示了感知质量与真实分布忠实性之间的差距。
2026-01-06 cs.AI cs.SD eess.AS
Matching Latent Encoding for Audio-Text based Keyword Spotting
Apple（苹果公司）
针对音频文本关键词检测中多词不同长度嵌入的语义对齐难题，提出含动态序列划分算法的端到端架构，在公开数据集上AUC和EER分别优于SOTA 14.4%和28.9%。
2023-06-08 cs.LG cs.SD eess.AS
Linguistic and Audio Embedding-Based Machine Learning for Alzheimer's Dementia and Mild Cognitive Impairment Detection: Insights from the PROCESS Challenge
Singapore University of Technology and Design（新加坡科技设计大学）；Hochschule für Musik Detmold（音乐学院Detmold）
本研究针对AD和MCI早期检测的侵入性问题，提出融合语音音频嵌入与语言特征的机器学习框架，在PROCESS挑战赛回归任务中表现优异，验证了多模态语音方法用于非侵入性认知评估的潜力。
2025-10-02 cs.AI cs.LG cs.SD
An Efficient Temporary Deepfake Location Approach Based Embeddings for Partially Spoofed Audio Detection
State Key Laboratory of Media Convergence and Communication（媒体融合与传播国家重点实验室）；Communication University of China（中国传媒大学）
针对部分伪造音频帧级定位难题，提出Temporal Deepfake Location (TDL)方法，通过嵌入相似度模块分离真假帧并利用时间卷积操作聚焦位置信息，在ASVspoof2019数据集及跨数据集场景下均表现优越。
2023-11-21 cs.AI cs.SD eess.AS
MuLan: A Joint Embedding of Music Audio and Natural Language
Google Research（谷歌研究院）；Seoul National University（首尔大学）
传统上，音乐标记和基于内容的检索系统是使用预定义的本体构建的，所述本体覆盖一组严格的音乐属性或文本查询。本文介绍木兰：第一次尝试新一代的声学模型，将音乐音频直接链接到不受约束的自然语言音乐描述。MuLan采用双塔联合音频文本嵌入模型的形式，使用4400万音乐录音（370K小时）和弱关联的自由文本注释进行训练。通过其与广泛的音乐流派和文本风格（包括传统的音乐标签）的兼容性，所得到的音频文本表示包含现有的本体，同时逐渐成为真正的zero-shot功能。我们通过一系列实验展示了MuLan嵌入的多功能性，包括迁移学习，zero-shot音乐标记，音乐领域的语言理解和跨模态检索应用。
2022-08-26 cs.CL cs.SD eess.AS
