Train Short, Infer Long: Speech-LLM Enables Zero-Shot Streamable Joint ASR and Diarization on Long Audio
Speech-LLM通过短音频训练实现长音频零样本联合语音识别与说话人识别，优于现有基线方法。
2025-11-20 eess.AS
Adapting Language-Audio Models as Few-Shot Audio Learners
Queen Mary University of London（伦敦玛丽女王大学）；Centre for Vision, Speech and Signal Processing（视觉、语音与信号处理中心）；Amazon Alexa（亚马逊Alexa）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出 Treff 适配器，通过 CALM 结合少量标注数据与 CLAP 零样本分类，在少样本音频分类中达到或超越全监督方法，并设计了免训练版本。
2023-05-28 cs.SD eess.AS
Speech Separation using Neural Audio Codecs with Embedding Loss
针对基于神经音频编解码器的语音分离在训练中依赖波形损失函数需解码步骤的问题，提出直接在压缩表示上操作的嵌入损失，消除训练解码需求，在WSJ0-2mix数据集上实现2倍训练速度提升且DNSMOS和STOI性能更优。
2024-11-27 eess.AS
PAT: Parameter-Free Audio-Text Aligner to Boost Zero-Shot Audio Classification
University of Maryland, College Park（马里兰大学帕克分校）
本文提出无参数音频-文本对齐器 PAT，通过提示集成和帧级音频特征重加权增强跨模态交互，在多个 ALM 和基准上显著提升零样本音频分类性能且对噪声稳健。
2024-10-19 cs.SD eess.AS
Fully Few-shot Class-incremental Audio Classification Using Multi-level Embedding Extractor and Ridge Regression Classifier
针对基类和增量类样本均稀少的完全少样本类增量音频分类问题，提出解耦的多级嵌入提取器与岭回归分类器方法，在三个数据集上准确率领先且复杂度占优。
2025-06-23 eess.AS
Who calls the shots? Rethinking Few-Shot Learning for Audio
New York University（纽约大学）；Adobe Research（奥多比研究院）；New Jersey Institute of Technology（新泽西理工学院）
少样本学习的目标是训练模型，这些模型可以识别出只有少量标记示例（称为支持集）的新类别。虽然该领域近年来取得了显着的进展，但他们通常集中在多类图像分类上。相比之下，音频由于声音重叠而通常是多标签的，从而导致诸如复调和信噪比（SNR）之类的独特属性。这导致了关于这样的音频属性可能对少样本学习系统设计、性能和人机交互具有的影响的未回答的问题，因为通常由用户来收集和提供推理时间支持集示例。我们通过一系列旨在阐明这些问题的答案的实验来解决这些问题。我们介绍了两个新的数据集，FSD-MIX-CLIPS和FSD-MIX-SED，其程序生成允许我们系统地探索这些问题。我们的实验导致了对少样本学习的音频特定见解，其中一些与图像领域的最新发现不一致：没有最好的一刀切的模型，方法和支持集选择标准。相反，它取决于预期的应用场景。我们的代码和数据可在https://github.com/wangyu/rethink-audio-fsl上获得。
2021-10-18 cs.SD eess.AS
Zero-shot audio captioning with audio-language model guidance and audio context keywords
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）
提出ZerAuCap框架，利用预训练大语言模型和音频-语言模型引导，结合音频上下文关键词，实现零样本音频描述生成，在AudioCaps和Clotho数据集上取得最优结果。
2023-11-14 cs.AI cs.CL cs.SD
Zero-Shot Audio Classification Based on Class Label Embeddings
Tampere University（坦佩雷大学）
提出了一种基于类别标签文本信息的零样本学习音频分类方法。我们提出了一个基于双线性模型的音频分类系统，该系统以音频特征嵌入和语义类标签嵌入为输入，并测量音频特征嵌入和类标签嵌入之间的兼容性。我们使用VGGish从音频记录中提取音频特征嵌入。我们把文本标签作为音频类的语义边信息，并使用Word 2 Vec生成类标签嵌入。在ESC-50数据集上的实验结果表明，该系统可以在较小的训练数据集上进行zero-shot音频分类。它可以实现准确性（平均26%）优于随机猜测（10%）对每个音频类别.特别地，对于自然音频类的类别，它达到高达39.7%。
2019-08-07 cs.LG cs.SD eess.AS
Bridging Audio and Vision: Zero-Shot Audiovisual Segmentation by Connecting Pretrained Models
Department of Computer Science and Engineering（计算机科学与工程系）
针对视听分割依赖像素级标注的问题，提出融合多个预训练音频、视觉与文本模型的零样本框架，无需任务训练即取得最先进性能。
2025-06-06 cs.CV cs.SD eess.AS
Enhancing Zero-shot Audio Classification using Sound Attribute Knowledge from Large Language Models
Shanghai Jiao Tong University（上海交通大学）；Alibaba Group（阿里巴巴集团）
本文提出利用大语言模型生成声音属性描述，结合对比学习增强零样本音频分类，在VGGSound和AudioSet上显著提升准确率。
2024-07-19 cs.SD eess.AS
Generalized zero-shot audio-to-intent classification
AWS AI Labs（AWS人工智能实验室）
针对仅音频口语理解系统处理未见意图能力有限的问题，提出含多模态训练策略的通用零样本音频到意图分类框架，显著提升了分类准确率。
2023-11-04 cs.AI cs.LG cs.SD
HalluAudio: Hallucinating Frequency as Concepts for Few-Shot Audio Classification
Wyze Labs, Inc.（怀兹实验室有限公司）
Few-Shot音频分类是一个新兴的研究课题，越来越受到研究界的关注。大多数现有的工作忽略了音频频谱图形式的特殊性，主要集中在从图像任务中借用的嵌入空间上，而在这项工作中，我们的目标是利用这种特殊的音频格式，并提出一种新的方法，通过将高频和低频部分幻觉为结构化概念。在ESC-50和我们策划的平衡Kaggle 18数据集上进行的大量实验表明，所提出的方法明显优于基线。我们的方法幻觉的方式，高频和低频部分也使其可解释性，并开辟了新的潜力，为Few-Shot音频分类。
2023-02-27 cs.AI cs.SD eess.AS
LiveSpeech: Low-Latency Zero-shot Text-to-Speech via Autoregressive Modeling of Audio Discrete Codes
Applied Sciences Group, Microsoft Corp, USA
LiveSpeech提出一种基于全自回归语言模型的零样本文本转语音方法，通过自适应码本损失权重和码本分组并行处理实现低延迟流式输出，在内容准确性、说话人相似度、音频质量和推理速度上达到先进水平。
2024-06-10 cs.SD eess.AS
Multi-label Zero-Shot Audio Classification with Temporal Attention
Tampere University（坦佩雷大学）
本文提出在零样本音频分类中引入时间注意力机制，通过为不同音频片段分配语义兼容性权重，解决多标签分类并泛化到未见类别的问题，在 AudioSet 子集上验证了其性能提升。
2024-08-31 cs.LG cs.SD eess.AS
SwanTale: Unified Multi-Speaker Speech and Audio Generation for Instruct and Zero-Shot Tasks
ByteDance（字节跳动）；Zhejiang University（浙江大学）
SwanTale是支持指令式与零样本任务的多说话人语音音频生成模型，通过SwanData-Caption数据构建与SwanVAE、Unified MoE等技术实现，在相关任务指标中表现最优。
2026-08-05 cs.SD eess.AS
Vision Language Models Are Few-Shot Audio Spectrogram Classifiers
Carnegie Mellon University（卡内基梅隆大学）
本文证明视觉语言模型可通过少样本提示对音频频谱图进行分类，GPT-4o在ESC-10上以59.00%准确率超越Gemini-1.5并略优于人类专家，展示了VLMs在音频理解中的潜力。
2024-11-18 cs.SD eess.AS
MultiActor-Audiobook: Zero-Shot Audiobook Generation with Faces and Voices of Multiple Speakers
Seoul National University（首尔国立大学）
本研究提出零样本有声书生成方法MultiActor-Audiobook，通过多模态说话人人设生成与基于大语言模型的脚本指令生成，无需额外训练即可生成韵律一致、情感丰富的有声书，效果比肩商业产品。
2025-05-19 cs.AI cs.SD eess.AS
Learning Audio Embeddings with User Listening Data for Content-based Music Recommendation
University of California San Diego（加利福尼亚大学圣地亚哥分校）；Tencent Music Entertainment（腾讯音乐娱乐）
在音乐产业中，对新发行的曲目进行个性化推荐一直是一个具有挑战性的问题。为了解决这个问题，我们首先探索用户的收听历史和人口统计数据，构建一个用户嵌入代表用户的音乐偏好。通过用户嵌入和来自用户喜欢和不喜欢的音轨的音频数据，可以使用具有Siamese网络的度量学习来获得针对每个音轨的音频嵌入。对于一个新的音轨，我们可以通过计算音轨的音频嵌入和不同用户嵌入之间的相似度来决定推荐的最佳用户组。建议的系统产生国家的最先进的性能，基于内容的音乐推荐测试与数百万用户和曲目。此外，我们提取音频嵌入的音乐流派分类任务的功能。实验结果表明了我们的音频嵌入的泛化能力。
2020-10-29 cs.SD eess.AS
ALM2Vec: Learning Audio Embeddings for Universal Audio Retrieval with Large Audio-Language Models
Zhejiang University（浙江大学）；Johns Hopkins University（约翰霍普金斯大学）
提出ALM2Vec框架，利用预训练大型音频语言模型学习统一嵌入空间，实现跨域、任务感知的音频检索，支持指令感知检索，在标准基准上表现优异。
2026-07-01 cs.AI cs.SD eess.AS
Zero-Shot Unsupervised and Text-Based Audio Editing Using DDPM Inversion
Faculty of Electrical and Computer Engineering, Technion – Israel Institute of Technology（以色列理工学院电气与计算机工程学院）
本文提出两种零样本音频编辑方法（ZETA和ZEUS），利用DDPM反演和预训练扩散模型，实现无监督的语义编辑，并在音乐信号上展示了多种有趣的修改。
2024-05-29 cs.LG cs.SD eess.AS
Zero Shot Audio to Audio Emotion Transfer With Speaker Disentanglement
Indian Institute of Science（印度科学院）
本文提出了一种名为 ZEST 的高效零样本音频到音频情感迁移方法，通过将语音分解为语义令牌、说话人表示和情感嵌入并基于自监督重建损失训练模型，在无需平行数据或标签的情况下实现了保留源说话人内容的情感迁移。
2024-01-09 cs.LG cs.SD eess.AS
Prompt Amplification and Zero-Shot Late Fusion in Audio-Language Models for Speech Emotion Recognition
School of Nursing Emory University Atlanta, USA（埃默里大学护理学院，美国亚特兰大）
本文提出ZS-Fuse方法，结合双编码器音频-语言模型与领域专家模型，通过提示放大技术提升零样本语音情感识别性能。
2026-03-24 cs.LG eess.AS
UniAudio 1.5: Large Language Model-driven Audio Codec is A Few-shot Audio Task Learner
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出LLM-Codec将音频压缩为大语言模型可理解的token，使冻结LLM无需微调即可通过少样本上下文学习完成多种音频理解与生成任务，并开源模型。
2024-06-14 cs.SD eess.AS
On the Transferability of Large-Scale Self-Supervision to Few-Shot Audio Classification
University of Edinburgh（爱丁堡大学）；Thales UK RTI（泰雷兹英国研究与技术研究所）
本研究评估了大规模自监督模型在少样本音频分类中的性能，发现其在SpeechCommandsv2等任务上达到最先进水平，并揭示了少样本学习能力与下游音频任务基准间的强相关性。
2024-02-13 cs.LG cs.SD eess.AS
Zero-Shot Parkinson's Disease Detection from Speech: Comparing Large Audio and Language Models
School of Computing, Mathematics and Engineering, Charles Sturt University（计算机科学与工程学院，查尔斯·斯图尔特大学）；Department of Computer Science, Rensselaer Polytechnic Institute（计算机科学系，伦塞拉尔理工学院）
通过比较手工声学特征和原始音频波形两种输入模态，研究零样本帕金森病检测在不同语言中的性能差异，发现手工特征在低资源语言中更稳定，而音频输入带来数据集依赖的增益。
2026-05-24 cs.AI cs.SD eess.AS
SALM: Spatial Audio Language Model with Structured Embeddings for Understanding and Editing
Institute of Acoustics, Chinese Academy of Sciences, China（中国科学院声学研究所）；MiLM Plus, Xiaomi Inc., China（小米公司）；Xi’an Jiaotong Liverpool University, China（西安交通大学利物浦大学）；University of Chinese Academy of Sciences, China（中国科学院大学）
本文提出空间音频语言模型SALM，通过双分支编码器与结构化嵌入实现空间音频和文本的对齐，支持零样本方向分类与音频编辑。
2025-09-18 cs.SD eess.AS
Listenable Maps for Zero-Shot Audio Classifiers
Fondazione Bruno Kessler（布鲁诺·科塞拉基金会）；Mila, Québec AI Institute（魁北克人工智能研究所）；Concordia University（康科德大学）；Université Laval（拉瓦尔大学）
本文提出LMAC-ZS，首个基于解码器的事后解释方法，用于零样本音频分类器，通过新颖损失函数保持决策忠实性，并在CLAP模型上验证有效性。
2025-04-21 cs.LG cs.SD eess.AS
A sound description: Exploring prompt templates and class descriptions to enhance zero-shot audio classification
本文探索了零样本音频分类中的提示模板与类别描述，发现格式正确的类别标签即具竞争力，并利用大型语言模型生成音频中心描述，实现无需训练的最先进性能。
2024-09-19 cs.AI cs.SD eess.AS
Learning to Detect Novel and Fine-Grained Acoustic Sequences Using Pretrained Audio Representations
Apple（苹果公司）
本研究针对无可用非目标音频的新型细粒度声学序列小样本检测问题，开发了预训练音频表示的流程及迁移方法，实验验证了预训练嵌入的通用性及对小样本检测框架的支撑作用。
2023-05-03 cs.LG cs.SD eess.AS
Efficient Speech Enhancement via Embeddings from Pre-trained Generative Audioencoders
Xiaomi Inc.（小米公司）
本研究提出一种高效可扩展的语音增强方法，利用预训练生成式音频编码器提取含噪语音嵌入，经紧凑去噪编码器处理后由声码器合成干净语音，在多项指标及主观测试中均优于现有相关模型。
2025-06-13 cs.SD eess.AS
An empirical study of weakly supervised audio tagging embeddings for general audio representations
Xiaomi Corporation（小米公司）
我们研究了预训练的弱监督音频标记（AT）模型作为一般音频表示的特征提取器的可用性。我们主要分析了将这些嵌入转移到语音和声音域中的其他任务的可行性。具体来说，我们将弱监督预训练模型（MobileNetV 2和EfficientNet-B 0）与现代自监督学习方法（BYOL-A）作为特征提取器进行基准测试。14个下游任务用于评估，从乐器分类到语言分类。我们的研究结果表明，AT预训练模型是音乐，事件和情感识别任务的优秀迁移学习选择。此外，微调AT模型还可以使语音相关任务受益，例如关键字识别和意图分类。
2022-09-30 cs.SD eess.AS
Audio Flamingo: A Novel Audio Language Model with Few-Shot Learning and Dialogue Abilities
NVIDIA（英伟达）
本文提出Audio Flamingo，一种具备强音频理解、少样本适应和多轮对话能力的新型音频语言模型，通过训练技术、架构设计与数据策略实现，并在多项任务上达到最先进水平。
2024-05-28 cs.LG cs.SD eess.AS
Acoustic Prompting via Stage-wise Modulation for Few-Shot Learning in Audio Language Models
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出在音频编码器中引入可训练提示以捕获任务特定声学特征，与文本提示结合提升少样本适应性能，在11个数据集上验证有效性。
2026-06-16 cs.LG cs.MM cs.SD
PALM: Few-Shot Prompt Learning for Audio Language Models
Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学（MBZUAI））
本文提出PALM方法，通过优化音频语言模型文本编码器的特征空间实现少样本提示学习，在11个音频识别数据集上以更低计算成本达到或超越现有方法。
2024-09-29 cs.AI cs.SD eess.AS
Zero-Shot Audio Classification using Image Embeddings
Tampere University（坦佩雷大学）
监督学习方法可以解决存在大量标记数据的给定问题。然而，获取覆盖所有目标类别的数据集通常需要手动标记，这是昂贵且耗时的。零样本学习模型能够利用语义信息对未知概念进行分类。本研究引入图像嵌入作为边信息的zero-shot音频分类，通过使用非线性声学语义投影。我们从Open Images数据集中提取语义图像表示，并使用不同领域的语义信息（图像，音频和文本）评估AudioSet音频子集上模型的性能。我们证明图像嵌入可以用作语义信息来执行零拍摄音频分类（zero-shot audio classification）。实验结果表明，图像和文本的嵌入表现出类似的性能，无论是单独的和一起。我们还计算了测试样本的语义声学嵌入，以提供性能的上限。实验结果表明，分类性能对测试类和训练类之间的语义关系高度敏感，当可见类和不可见类在语义上相似时，文本和图像嵌入可以达到语义声学嵌入。
2022-06-10 cs.LG cs.SD eess.AS
AVGZSLNet: Audio-Visual Generalized Zero-Shot Learning by Reconstructing Label Features from Multi-Modal Embeddings
IIT Kanpur（印度理工学院坎普尔分校）；University of Bath（巴斯大学）
在本文中，我们提出了一种新的方法，用于多模态环境中的广义零样本学习，其中我们在测试过程中有新的音频/视频类，这些类在训练过程中看不到。我们使用文本嵌入的语义相关性作为零样本学习的手段，通过将音频和视频嵌入与相应的类标签文本特征空间对齐。我们的方法使用一个交叉模态解码器和一个复合三重损失。跨模态解码器强制执行一个约束，即类标签文本特征可以从数据点的音频和视频嵌入中重构。这有助于音频和视频嵌入更接近类标签文本嵌入。复合三元组丢失利用音频、视频和文本嵌入。它有助于在多模态设置中将来自同一个类的嵌入拉近，并将来自不同类的嵌入推开。这有助于网络在多模态零样本学习任务上表现得更好。重要的是，即使在测试时缺少模态，我们的多模态零样本学习方法也有效。我们测试我们的方法上的广义zero-shot分类和检索任务，并表明，我们的方法优于其他模型中存在的一个单一的方式，以及在存在多个方式。我们通过与以前的方法进行比较并使用各种消融来验证我们的方法。
2020-11-23 cs.CV cs.SD eess.AS
MetaAudio: A Few-Shot Audio Classification Benchmark
University Of Edinburgh（爱丁堡大学）；Thales UK（泰雷兹英国公司）
目前可用的少样本学习（很少训练样本的机器学习）的基准在它们所覆盖的领域中是有限的，主要集中在图像分类上。这项工作旨在通过提供第一个全面的，公开的和完全可复制的基于音频的替代方案，覆盖各种声音领域和实验环境，减轻对基于图像的基准测试的依赖。我们比较了七个音频数据集（从环境声音到人类语音）上各种技术的Few-Shot分类性能。扩展这一点，我们对联合训练（在训练过程中使用所有数据集）和跨数据集自适应协议进行了深入分析，建立了通用音频Few-Shot分类算法的可能性。我们的实验表明，基于梯度的元学习方法，如MAML和Meta-Curvature，始终优于度量和基线方法。我们还表明，联合训练程序有助于整体概括的环境声音数据库包括，以及作为一个有点有效的方法来处理跨数据集/域设置。
2022-04-10 cs.LG cs.SD eess.AS
Fully Few-shot Class-incremental Audio Classification Using Expandable Dual-embedding Extractor
South China University of Technology（华南理工大学）
本文针对所有会话训练样本均稀少的全少样本类增量音频分类问题，提出基于预训练与微调双AST嵌入提取器和原型可扩展分类器的方法，在三个数据集上显著超越七个基线。
2024-06-12 cs.SD eess.AS
Improving automated segmentation of radio shows with audio embeddings
FD Mediagroep（FD传媒集团）
音频特征已被证明对提高自动主题分割系统的性能是有用的。本研究探讨了新的任务，使用音频嵌入的自动化，局部连贯分割的广播节目。我们在来自不同领域的三个数据集上使用多类分类任务创建了三个不同的音频嵌入生成器。我们评估了音频嵌入的主题分割性能，并将其与纯文本基线进行比较。我们发现，包括通过非语音声音事件分类任务生成的音频嵌入的设置在F1测量中显著优于我们的纯文本基线32.3%。此外，我们发现，不同的分类任务产生不同的分割性能的音频嵌入。
2020-02-12 cs.LG cs.SD eess.AS
Audio-visual Generalised Zero-shot Learning with Cross-modal Attention and Language
University of Tübingen（蒂宾根大学）；Robert Bosch GmbH（罗伯特·博世有限公司）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
学习从训练数据中不包括的类别中分类视频数据，即基于视频的零样本学习，是具有挑战性的。我们推测，在视频数据中的音频和视觉模态之间的自然对齐提供了一个丰富的训练信号，学习歧视性的多模态表示。针对视听零样本学习这一相对未被充分研究的任务，我们提出了使用跨模态注意从视听数据中学习多模态表示，并利用文本标签嵌入将知识从可见类转移到不可见类。更进一步，在我们的广义视听零样本学习设置中，我们在测试时搜索空间中包括所有训练类，这些训练类充当干扰物并增加难度，同时使设置更逼真。由于在这个领域缺乏统一的基准，我们在三个不同大小和难度的视听数据集VGGSound，UCF和ActivityNet上引入了（通用的）零样本学习基准，确保看不见的测试类不会出现在用于监督训练骨干深度模型的数据集中。比较多个相关和最近的方法，我们证明了我们提出的AVCA模型在所有三个数据集上都达到了最先进的性能。代码和数据可在\url{https://github.com/ExplainableML/AVCA-GZSL}上获得。
2022-04-04 cs.CL cs.CV eess.AS
Audio Captioning with Composition of Acoustic and Semantic Information
Başkent University（Başkent大学）
音频字幕生成是一个新的研究领域，它结合了音频和自然语言处理，为音频片段创建有意义的文本描述。为了解决这个问题，以前的研究大多使用基于编码器-解码器的模型，而不考虑语义信息。为了填补这一空白，我们提出了一种新的编码器-解码器架构，使用双向门控递归单元（BiGRU）与音频和语义嵌入。我们通过从音频片段标题中获取主语和动词来提取语义嵌入，并将这些嵌入与音频嵌入相结合，以提供基于BiGRU的编码器-解码器模型。为了使测试音频的语义嵌入，我们引入了多层感知器分类器来预测这些片段的语义嵌入。我们还提出了详尽的实验，以显示我们提出的模型的音频字幕任务的不同功能和数据集的效率。为了提取音频特征，我们使用对数梅尔能量特征，VGGish嵌入和预训练的音频神经网络（PANN）嵌入。在两个音频字幕数据集Clotho和AudioCaps上的大量实验表明，我们提出的模型在不同的评估指标上优于最先进的音频字幕模型，并且使用语义信息提高了字幕性能。关键词：音频字幕; PANN; VGGish; GRU; BiGRU。
2021-05-13 cs.LG cs.SD eess.AS
Zero-shot Audio Source Separation through Query-based Learning from Weakly-labeled Data
Bytedance（字节跳动）
用于将音频分离成不同声源的深度学习技术面临若干挑战。标准架构需要为不同类型的音频源训练单独的模型。尽管一些通用分离器采用单一模型来针对多个源，但它们难以推广到看不见的源。在本文中，我们提出了一个三组件管道训练一个通用的音频源分离器从一个大的，但弱标记的数据集：AudioSet。首先，我们提出了一个基于变压器的声音事件检测系统处理弱标记的训练数据。其次，我们设计了一个基于查询的音频分离模型，利用这些数据进行模型训练。第三，我们设计了一个潜在的嵌入处理器来编码查询，指定音频目标分离，允许zero-shot泛化。我们的方法使用单个模型进行多个声音类型的声源分离，并且仅依赖于弱标记数据进行训练。此外，所提出的音频分离器可以在zero-shot设置中使用，学习分离在训练中从未见过的音频源类型。为了评估分离性能，我们在MUSDB 18上测试了我们的模型，同时在不相交的AudioSet上进行了训练。我们进一步验证了zero-shot性能进行另一个实验的音频源类型，是从培训。在这两种情况下，该模型都实现了与当前监督模型相当的源失真比（SDR）性能。
2022-02-12 cs.AI cs.LG cs.MM
An Eye for an Ear: Zero-shot Audio Description Leveraging an Image Captioner using Audiovisual Distribution Alignment
LTCI, Télécom Paris, Institut Polytechnique de Paris（LTCI、巴黎电信学院、巴黎综合理工学院）
针对音视频模态鸿沟阻碍音频字幕生成的问题，提出通过对齐音频与图像token分布的方法，在不改动原有图像字幕组件的情况下实现无监督零样本音频描述，性能显著优于现有方法。
2024-10-08 cs.CV cs.LG cs.SD
First-Shot Unsupervised Anomalous Sound Detection With Unknown Anomalies Estimated by Metadata-Assisted Audio Generation
University of Technology Sydney（悉尼科技大学）；University of Surrey（萨里大学）
针对DCASE 2023挑战赛任务2的首次无监督异常声音检测难题，提出元数据辅助音频生成估计未知异常、结合TWFR-GMM主干的FS-TWFR-GMM方法，以极少参数取得顶尖性能。
2024-03-11 cs.SD eess.AS
Transformation of audio embeddings into interpretable, concept-based representations
Dolby Laboratories（Dolby实验室）；Dept. of Electrical and Computer Engineering Univ. of Texas at Austin（电气与计算机工程系，德克萨斯大学奥斯汀分校）
本研究利用CLAP模型将音频嵌入转换为基于概念的可解释稀疏表征，在保持或提升下游任务性能的同时提供可解释性，并发布了三个音频词汇表。
2025-04-18 cs.LG cs.SD eess.AS
Can Quantized Audio Language Models Perform Zero-Shot Spoofing Detection?
Indian Institute of Technology Jodhpur（印度理工学院贾尔普尔）
本文评估五种音频语言模型在三个数据集上的零样本欺骗检测及 FP32、FP16、INT8 量化鲁棒性，发现模型存在严重欺骗类偏差，而 FP16 可在几乎不损性能时减半资源开销。
2025-06-07 cs.SD eess.AS
AudioBERTScore: Objective Evaluation of Environmental Sound Synthesis Based on Similarity of Audio embedding Sequences
本文提出AudioBERTScore指标，通过结合最大范数与p-范数计算合成与参考音频嵌入序列的相似性，以客观评价文本到音频合成质量，实验证明其与主观评价值相关性优于传统指标。
2025-07-01 cs.SD eess.AS
A Study of Few-Shot Audio Classification
Western Washington University（西华盛顿大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
深度学习的进步已经为许多音频分类任务带来了最先进的性能，但与人类不同，这些系统传统上需要大量数据才能做出准确的预测。并不是每个人或组织都能获得这些资源，而获得这些资源的组织，就像我们这个领域一样，并不能反映我们国家的人口统计数据。让人们能够在没有重大资源障碍的情况下使用机器学习是很重要的，因为机器学习是解决问题的一种越来越有用的工具，当交给更广泛的人时，可以解决更广泛的问题。Few-Shot学习是一种机器学习，旨在使模型能够推广到具有很少示例的新类。在这项研究中，我们解决两个音频分类任务（说话人识别和活动分类）与原型网络Few-Shot学习算法，并评估各种编码器架构的性能。我们的编码器包括递归神经网络，以及一维和二维卷积神经网络。我们在VoxCeleb数据集和ICSI会议语料库上评估了我们的说话人识别模型，分别获得了93.5%和54.0%的5次5向准确率。我们还使用Kinetics~600数据集和AudioSet的Few-Shot子集评估了音频的活动分类，两者都来自Youtube视频，分别获得了51.5%和35.2%的准确率。
2020-12-02 cs.NE cs.SD eess.AS
Semi Supervised Learning For Few-shot Audio Classification By Episodic Triplet Mining
TCS Research（塔塔咨询服务公司研究院）
少样本学习的目标是推广在测试期间出现但在训练期间不可用的不可见类。原型网络结合了Few-Shot度量学习，通过以类内嵌入的支持点的平均向量的形式构建类原型。原型网络在极端的Few-Shot场景（如one-shot）中的性能急剧下降，主要是由于在构建原型时簇内的变化被浪费。在本文中，我们建议取代典型的原型损失函数的情节三重挖掘（ETM）技术。传统的三元组选择导致过拟合，因为在训练期间使用了所有可能的组合。我们将情节训练用于挖掘半硬正和半硬负三元组以克服过拟合。我们还提出了一种自适应方法，利用未标记的训练样本进行更好的建模。实验两个不同的音频处理任务，即说话人识别和音频事件检测，显示改进的性能，因此ETM的功效超过原型损失函数和其他元学习框架。此外，当使用未标记的训练样本时，我们表现出更好的性能。
2021-02-16 cs.LG cs.SD eess.AS
TSPE: Task-Specific Prompt Ensemble for Improved Zero-Shot Audio Classification
University of Maryland（马里兰大学）
本文提出TSPE，一种无需训练的任务特定硬提示集成方法，通过利用标签信息生成包含声音属性和来源的上下文丰富提示，在12个音频分类数据集上将ALMs的零样本性能提升了1.23-16.36%。
2025-04-03 cs.AI cs.CL cs.LG
MATE: Matryoshka Audio-Text Embeddings for Open-Vocabulary Keyword Spotting
AI Solution Team, Samsung Research, Seoul, South Korea（三星研究所人工智能解决方案团队）
MATE通过双编码框架和嵌套子嵌入实现开放词汇关键词识别，通过PCA引导的前缀对齐提升关键词识别性能。
2026-01-20 cs.AI eess.AS
Language Orthogonalization for Zero-Shot Cross-Lingual Audio Deepfake Detection
University of Southern California（南加州大学）；KAIST（韩国科学技术院）
针对音频深度伪造检测的跨语言泛化问题，提出语言正交化方法，通过移除自监督语音模型中的语言相关变异，在多种语言和骨干网络上一致降低等错误率。
2026-09-16 cs.CL eess.AS
Zero-Shot Fake Video Detection by Audio-Visual Consistency
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；Center for Speech and Language Technologies, BNRist, Tsinghua University（清华大学BNR实验室语音与语言技术中心）
本文提出一种基于音视频内容一致性的零样本伪造视频检测方法，利用预训练ASR和VSR模型识别内容序列并计算编辑距离，实验证明其泛化性和鲁棒性优于主流方法，且融合三种系统决策分数可进一步提升性能。
2024-06-12 cs.MM cs.SD eess.AS
Correlation of Fréchet Audio Distance With Human Perception of Environmental Audio Is Embedding Dependant
École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；Gaudio Lab, Inc.（Gaudio实验室公司）；KAIST（韩国科学技术院）；Carnegie Mellon University（卡内基梅隆大学）；Doshisha University（同志社大学）；Ritsumeikan University（立命馆大学）
本文研究了不同领域特定嵌入对 Fréchet Audio Distance (FAD) 与环境声音感知评分相关性的影响，发现 PANNs-WGM-LogMel 嵌入效果最佳，强调了嵌入选择对 FAD 指标设计的关键重要性。
2024-03-26 cs.SD eess.AS
