SoundStream: An End-to-End Neural Audio Codec
我们提出了SoundStream，一种新型的神经音频编解码器，可以有效地压缩语音，音乐和一般音频的比特率通常由语音定制的编解码器的目标。SoundStream依赖于由完全卷积编码器/解码器网络和残差矢量量化器组成的模型架构，它们是端到端联合训练的。训练利用了文本到语音和语音增强的最新进展，这些进展结合了对抗和重建损失，允许从量化嵌入生成高质量的音频内容。通过对量化器层应用结构化丢弃进行训练，单个模型可以在从3 kbps到18 kbps的可变比特率上运行，与以固定比特率训练的模型相比，质量损失可以忽略不计。此外，该模型适合于低延迟实现，其支持流式推理并在智能手机CPU上实时的运行。在使用24 kHz采样率的音频的主观评估中，3 kbps的SoundStream优于12 kbps的Opus，并接近9.6kbps的EVS。此外，我们能够在编码器或解码器侧执行联合压缩和增强，而没有额外的延迟，我们通过语音的背景噪声抑制来证明这一点。
2021-07-07 cs.LG cs.SD eess.AS
Using multiple reference audios and style embedding constraints for speech synthesis
Tianjin University（天津大学）；University of Science and Technology of China（中国科学技术大学）；Huiyan Technology (Tianjin) Co., Ltd（天津慧眼科技有限公司）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
端到端的语音合成模型可以直接将一段话语作为参考音频，从文本中生成韵律和说话人特征与参考音频相似的语音。然而，在推断期间必须手动选择适当的声学嵌入。由于在训练过程中只使用匹配的文本和语音，使用不匹配的文本和语音进行推理将导致模型合成内容质量较低的语音。在这项研究中，我们建议通过使用多个参考音频和风格嵌入约束来缓解这两个问题，而不是只使用目标音频。使用由来自Transformers的双向编码器表示（BERT）确定的句子相似性来自动选择多个参考音频。此外，我们通过考虑预测和“目标”风格嵌入之间的互信息，使用来自预训练编码器的“目标”风格嵌入作为约束。实验结果表明，该模型在多个参考音频的情况下，能够提高语音的自然度和内容质量，在风格相似度的ABX偏好测试中也优于基线模型。
2021-10-09 cs.AI cs.SD eess.AS
FoleyGen: Visually-Guided Audio Generation
Meta
本文提出FoleyGen，一种基于语言建模范式的开放域视频到音频生成系统，通过Transformer、神经音频编解码器和三种新颖视觉注意力机制解决音画同步问题，在VGGSound上全面超越已有方法。
2023-09-19 cs.MM cs.SD eess.AS
Video-to-Audio Generation with Hidden Alignment
Tencent AI Lab（腾讯AI实验室）；Beijing Institute of Technology（北京理工大学）；University of California, Berkeley（加州大学伯克利分校）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本文研究视频到音频生成，通过探索视觉编码器、辅助嵌入和数据增强技术，提出一种基于隐式对齐的模型，在生成质量和音视频同步对齐上达到最先进水平。
2025-03-11 cs.CV cs.MM cs.SD
The Interspeech 2026 Audio Encoder Capability Challenge for Large Audio Language Models
MiLM Plus, Xiaomi Inc., Beijing, China（小米公司，北京）；DataoceanAI Inc., USA（DataoceanAI公司，美国）；Centre for Vision Speech and Signal Processing, University of Surrey, Guildford, UK（视觉语音与信号处理中心， Surrey大学， Guildford，英国）；Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（深圳国际研究生院，清华大学，深圳，中国）
本文提出Interspeech 2026音频编码能力挑战，旨在评估和提升预训练音频编码器在大型音频语言模型中的性能，通过统一的生成评估框架XARES-LLM，评估编码器在多种下游任务中的表现。
2026-03-24 cs.SD eess.AS
X-ARES: A Comprehensive Framework for Assessing Audio Encoder Performance
Xiaomi Inc.（小米公司）；Amazon.com, Inc.（亚马逊公司）
X-ARES是一个开源基准，通过22个任务和两种评估方法，系统评估音频编码器在语音、环境声音和音乐领域的性能，揭示其表现差异，强调通用音频表示学习的复杂性。
2025-05-27 cs.SD eess.AS
The ICME 2025 Audio Encoder Capability Challenge
Xiaomi Corporation（小米公司）；Dataocean AI Inc.（数智海洋人工智能公司）；University of Surrey（萨里大学）
ICME 2025 音频编码器能力挑战赛旨在评估多任务学习和实际应用中的音频编码器，要求提交将原始波形映射为连续嵌入的预训练模型，并通过两个赛道测试其在语音、环境和音乐任务上的表现，以推动该领域技术发展。
2025-01-25 cs.SD eess.AS
Blind estimation of audio effects using an auto-encoder approach and differentiable digital signal processing
本文提出一种基于自编码器和可微数字信号处理的盲音频效果估计方法，无需知道效果器的具体实现，通过优化音频质量指标，相比传统参数方法能更准确地估计音频质量。
2024-02-09 cs.SD eess.AS
Fx-Encoder++: Extracting Instrument-Wise Audio Effects Representations from Mixtures
本文提出Fx-Encoder++模型，通过对比学习与提取器机制，从音乐混音中提取乐器级音频效果表示，在检索和参数匹配任务上优于以往混音级方法，弥补了智能音乐制作中乐器级效果理解的能力缺口。
2025-07-03 cs.SD eess.AS
Scaling up masked audio encoder learning for general audio classification
AI Lab, Xiaomi Corporation（小米公司AI实验室）
本文提出Dasheng自监督音频编码器，通过在27万余小时音频上扩展训练12亿参数模型，显著提升跨语音、音乐和环境声的通用音频分类性能。
2024-06-13 cs.SD eess.AS
An Encoder-Decoder Based Audio Captioning System With Transfer and Reinforcement Learning
Wake Forest University（维克森林大学）；University of Montreal（蒙特利尔大学）
自动音频字幕的目的是使用自然语言来描述音频数据的内容。本文提出了一个音频字幕系统的编码器-解码器的架构，其中解码器预测的基础上提取的编码器的音频特征的单词。为了改进所提出的系统，引入了来自上游音频相关任务或大型域内数据集的迁移学习，以减轻由数据稀缺引起的问题。此外，评估指标被纳入到模型的优化与强化学习，这有助于解决的“曝光偏差”的“教师强迫”的培训策略和评估指标之间的不匹配的问题。最终的系统在DCASE 2021任务6中排名第三。进行烧蚀研究，以调查有多少在拟议的系统中的每个元素可以有助于最终的性能。结果表明，所提出的技术显着提高了评价指标的分数，然而，强化学习可能会对生成的字幕的质量产生不利影响。
2021-08-05 cs.SD eess.AS
Natural Language Supervision for General-Purpose Audio Representations
Microsoft（微软）
提出对比语言-音频预训练模型，利用460万音频-文本对和两种创新编码器，在26个下游任务上实现最先进性能，推动通用音频表示发展。
2024-02-06 cs.SD eess.AS
Enhancing Speech Large Language Models with Prompt-Aware Mixture of Audio Encoders
School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；Huawei Translation Services Center（华为翻译服务中心）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；College of Computer Science and Technology, Harbin Engineering University（哈尔滨工程大学计算机科学与技术学院）；NiuTrans Research（NiuTrans研究院）
本文提出提示感知混合方法PaM，通过根据任务提示动态选择多个音频编码器提取任务特定特征，使单一语音大语言模型在ASR、说话人数量验证和音频描述任务上超越所有单编码器模型及特征融合基线。
2025-09-19 cs.SD eess.AS
Graph Attention for Automated Audio Captioning
Harbin Engineering University（哈尔滨工程大学）；University of Technology Sydney（悉尼科技大学）；University of Surrey（萨里大学）
本文提出一种用于自动音频字幕生成的图注意力方法，通过在PANNs编码器后引入图注意力模块学习音频特征的长时上下文关联，有效提升了字幕生成性能。
2023-04-10 cs.SD eess.AS
Efficient Audio Captioning with Encoder-Level Knowledge Distillation
Shanghai Jiao Tong University（上海交通大学）；University of Surrey（萨里大学）
针对音频字幕生成模型日益庞大的问题，提出编码器级知识蒸馏框架，结合对比损失，利用纯音频数据训练，实现19倍推理加速并保持竞争力。
2024-07-19 cs.SD eess.AS
The FlySpeech Audio-Visual Speaker Diarization System for MISP Challenge 2022
Tencent Corporation（腾讯公司）
本文提出用于MISP Challenge 2022的FlySpeech端到端音视频说话人日志系统，通过联合训练编码器与解码器并利用预训练模型初始化，有效缓解了独立训练导致的性能下降。
2023-07-28 cs.SD eess.AS
Oracle Complementarity Is Not Realizable Complementarity in Frozen-Encoder Audio-Visual Emotion Recognition
University of California, Santa Barbara（加州大学圣巴巴拉分校）
本研究证明多模态情感识别中 oracle 互补性上限并非融合目标，实际增益受编码器来源影响，拼接优于学习路由器，提升空间反映分支分歧而非融合预算。
2026-09-29 cs.SD eess.AS
Leveraging Pretrained Image-text Models for Improving Audio-Visual Learning
Johns Hopkins University（约翰斯·霍普金斯大学）
提出Segmental SpeechCLIP框架，利用分层语音编码器和预训练CLIP文本编码器生成词类单元，通过正则化与量化将音频映射到词汇嵌入，并扩展至纯音频设置，显著提升视听检索性能。
2023-09-08 cs.SD eess.AS
MoWE-Audio: Multitask AudioLLMs with Mixture of Weak Encoders
Institute for Infocomm Research (I 2 2 {}^{\text{2}} start_FLOATSUPERSCRIPT 2 end_FLOATSUPERSCRIPT R)（信息与通信研究 institute）；Agency for Science, Technology and Research (A*STAR)（科技研究局）；Centre for Frontier AI Research (CFAR), Agency for Science, Technology and Research (A*STAR)（前沿人工智能研究 center）
本文提出MoWE-Audio，通过混合弱编码器增强AudioLLM的特征提取能力，在不显著增加模型规模的情况下提升多任务性能，拓宽音频任务适用性。
2025-04-21 cs.AI cs.CL cs.SD
AVES: Animal Vocalization Encoder based on Self-Supervision
Earth Species Project（地球物种项目）
生物声学中缺乏注释的训练数据阻碍了以监督方式训练的大规模神经网络模型的使用。为了利用大量的未注释的音频数据，我们提出了AVES（基于自我监督的动物发声编码器），一个自我监督的，基于变换的音频表示模型，用于编码动物发声。我们在一组不同的未注释的音频数据集上预训练AVES，并对它们进行微调，以用于下游的生物声学任务。一系列分类和检测任务的综合实验表明，AVES的性能优于所有强基线，甚至优于在带注释的音频分类数据集上训练的有监督的“背线”模型。结果还表明，策划与下游任务相关的小训练子集是训练高质量音频表示模型的有效方法。我们在\url{https://github.com/earthspecies/aves}上开源了我们的模型。
2022-10-26 cs.SD eess.AS
DSpAST: Disentangled Representations for Spatial Audio Reasoning with Large Language Models
Department of Electronic Systems, Aalborg University, Denmark（电子系统系，奥尔堡大学，丹麦）；Pioneer Centre for AI, Denmark（人工智能先锋中心，丹麦）
针对单一音频编码器在空间音频推理中性能受限的问题，提出基于SpatialAST的新型编码器DSpAST，通过学习解耦表示在仅增加0.2%参数下显著提升了空间音频推理性能。
2025-11-01 cs.AI cs.SD eess.AS
Testing chatbots on the creation of encoders for audio conditioned image generation
Diego Portales University (UDP)（迭戈·波塔莱斯大学）
本研究探索五个聊天机器人能否设计音频编码器替代Stable Diffusion的文本编码器以实现声音生成图像，发现其设计虽有效但结果均不理想，揭示了现有模型的架构偏见与编程差距。
2025-09-09 cs.LG cs.SD eess.AS
Training Audio Captioning Models without Audio
Microsoft（微软）；Carnegie Mellon University（卡内基梅隆大学）
本研究提出仅使用文本训练自动音频字幕生成系统的方法，利用CLAP多模态空间并结合噪声注入或可学习适配器弥合模态鸿沟，性能媲美配对音频训练的先进模型。
2023-09-14 cs.SD eess.AS
JASPER: Joint Audio and Speech Pre-trained Encoder Representations
LEAP Laboratory, Electrical Engineering, Indian Institute of Science（印度科学学院电气工程学院LEAP实验室）
JASPER通过向语音预训练模型添加时频目标，实现频谱-时间表示学习，在语音、音频和音乐任务上优于现有基线，验证了统一建模的有效性。
2026-09-24 eess.AS
The CMU-AIST submission for the ICME 2025 Audio Encoder Challenge
Carnegie Mellon University, USA（卡内基梅隆大学）；National Institute of Advanced Industrial Science and Technology (AIST), Japan（国家工业科学与技术研究院（AIST））
基于BEATs模型扩展并集成Dasheng 1.2B，通过预训练混合物优化音频编码性能，公开发布模型参数以促进开放科学研究。
2026-01-22 cs.SD eess.AS
MT2KD: Towards A General-Purpose Encoder for Speech, Speaker, and Audio Events
University of Cambridge（剑桥大学）；Tsinghua University（清华大学）；Google DeepMind（谷歌DeepMind）
提出 MT2KD 两阶段多教师蒸馏与多任务微调框架，用 66M 参数构建兼顾 ASR、AT 和 SV 的通用语音音频编码器，并以较小性能损失超越从头多任务基线。
2025-02-20 cs.SD eess.AS
Audio Captioning Using Sound Event Detection
本技术报告为DCASE 2021任务6音频字幕挑战提出了一个音频字幕系统。我们提出的模型是基于一个编码器-解码器架构与双向门控递归单元（BiGRU）使用预训练的音频功能和声音事件检测。一个预训练的神经网络（PANN）被用来提取音频特征和Word 2 Vec被选择的目的是提取词嵌入从音频字幕。为了创建语义上有意义的字幕，我们从音频片段中提取声音事件，并向编码器-解码器架构提供除了PANN功能之外的声音事件。我们在Clotho数据集上的实验表明，我们提出的方法在所有评估指标上都比挑战基线模型取得了更好的结果。
2021-10-07 cs.SD eess.AS
CatchPhrase: EXPrompt-Guided Encoder Adaptation for Audio-to-Image Generation
Hanyang University（翰阳大学）
提出 CatchPhrase 框架，利用 LLM、ACM 及多模态检索生成并选择跨模态语义提示，再以轻量映射网络适配文生图模型，从而缓解音频到图像生成中的语义错位。
2025-07-24 cs.MM cs.SD eess.AS
Indic-CLAP: Text--Audio Understanding in Indic Languages via Cross-Lingual Distillation
Indian Institute of Technology Bombay（印度孟买理工学院）
Indic-CLAP通过跨语言蒸馏将CLAP扩展到九种印度语言，仅训练文本编码器并冻结音频编码器，实现了跨模态检索和零样本分类，性能趋势由模态间隙分析解释。
2026-10-08 eess.AS
Audio Captioning Transformer
Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音与信号处理中心）；University of Surrey（萨里大学）
音频字幕旨在自动生成音频片段的自然语言描述。大多数字幕模型遵循编码器-解码器架构，其中解码器基于编码器提取的音频特征预测单词。卷积神经网络（CNN）和递归神经网络（RNN）通常用作音频编码器。然而，CNN在建模音频信号中的时间帧之间的时间关系方面可能受到限制，而RNN在建模时间帧之间的长期依赖性方面可能受到限制。在本文中，我们提出了一个音频字幕Transformer（ACT），这是一个完整的Transformer网络的基础上的编码器-解码器架构，是完全无卷积。所提出的方法具有更好的能力来建模音频信号内的全局信息以及捕获音频事件之间的时间关系。我们在AudioCaps上评估我们的模型，AudioCaps是公开可用的最大的音频字幕数据集。与其他最先进的方法相比，我们的模型显示出具有竞争力的性能。
2021-07-21 cs.LG cs.SD eess.AS
Auden-Voice: General-Purpose Voice Encoder for Speech and Language Understanding
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Tencent AI Lab, USA（腾讯AI实验室（美国））
针对大型音频语言模型编码器难以平衡语音身份与副语言线索的问题，本研究提出通用语音编码器Auden-Voice，通过多任务训练实现平衡表示，与LLMs集成表现优异，代码等将随Auden工具包发布。
2025-11-19 cs.SD eess.AS
OpenBEATs: A Fully Open-Source General-Purpose Audio Encoder
Carnegie Mellon University, USA（卡内基梅隆大学，美国）；National Institute of Advanced Industrial Science and Technology (AIST), Japan（国家工业科学与技术研究院（AIST），日本）
研究旨在填补通用音频理解中掩码令牌预测应用空白，提出开源框架OpenBEATs，通过多域音频预训练扩展BEATs。经多任务、多数据集和多音频域全面评估，其在多个数据集上达最优性能，证明方法有效性并开源相关代码等。
2026-07-14 cs.SD eess.AS
Flexible Keyword Spotting based on Homogeneous Audio-Text Embedding
Apple（苹果公司）
本文提出一种基于音频兼容文本编码器的灵活关键词识别架构，通过G2P与代表性音素向量实现同质音频-文本嵌入，并结合易混淆关键词生成增强判别力，在Libriphrase困难数据集上显著提升AUC并降低EER。
2023-08-12 cs.LG cs.SD eess.AS
Sounding Highlights: Dual-Pathway Audio Encoders for Audio-Visual Video Highlight Detection
School of Electrical Engineering（电气工程学院）；Music and Audio Research Group（音乐与音频研究组）；Seoul National University（首尔国立大学）
本文提出双路径音频编码器，通过结合语义和动态路径，提升音频-视觉视频亮点检测的性能。
2026-02-05 cs.AI cs.CV cs.MM
An Auto Encoder For Audio Dolphin Communication
Wild Dolphin Project（野生海豚项目）
海豚交流和认知的研究需要对海豚的听觉信号进行详细的检查。这些信号的手动分析是繁琐和耗时的。我们寻求使用现代深度学习方法自动化部分分析。我们建议学习一个自动编码器，它是由以无监督方式训练的卷积层和递归层构建的。由此产生的模型嵌入模式，在海豚的声音沟通。在几个实验中，我们表明，嵌入可以用于聚类以及信号检测和信号类型分类。
2020-05-15 cs.LG cs.SD eess.AS
Investigating Pre-trained Audio Encoders in the Low-Resource Condition
Monash University（莫纳什大学）
本文在低资源条件下系统评估Wav2vec2、WavLM和Whisper三种预训练语音编码器在7个任务上的表现，发现Whisper在内容驱动任务中性能和收敛速度最优，并揭示了预训练协议与内部表征之间的关联。
2023-05-28 cs.CL cs.SD eess.AS
Switching Variational Auto-Encoders for Noise-Agnostic Audio-visual Speech Enhancement
University Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
最近，视听语音增强已经在基于变分自动编码器（VAE）的无监督设置中得到解决，其中在训练期间仅使用干净数据来训练语音的生成模型，该生成模型在测试时与噪声模型（例如，非负矩阵分解（NMF））相结合，其参数在没有监督的情况下被学习。因此，所提出的模型是不可知的噪声类型。当视觉数据干净时，基于视听VAE的体系结构通常优于仅音频的体系结构。当视觉数据被杂波破坏时，情况正好相反，例如扬声器没有面对摄像头。在本文中，我们建议通过时间来找到这两种架构的最佳组合。更确切地说，我们引入了一个潜在的序列变量与马尔可夫依赖关系之间切换不同的VAE架构，通过时间在无监督的方式：导致切换变分自动编码器（SwVAE）。我们提出了一个变分分解近似计算难处理的后验分布。我们还推导了相应的变分期望最大化算法来估计模型的参数和增强语音信号。我们的实验表明，有前途的性能SwVAE。
2021-02-08 cs.CV cs.SD eess.AS
CoNeTTE: An efficient Audio Captioning system leveraging multiple datasets with Task Embedding
IRIT（图卢兹信息学研究所）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）；Toulouse INP（图卢兹国立理工学院）；UT3（图卢兹第三大学）
本文提出CoNeTTE音频描述模型，采用ConvNeXt编码器与任务嵌入结合多数据集训练，在AudioCaps和Clotho上分别取得44.1%和30.5%的SPIDEr分数，参数效率高且能缓解跨数据集性能差距。
2023-09-01 cs.SD eess.AS
Exploring bat song syllable representations in self-supervised audio encoders
Institute for Logic, Language and Computation, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）；Museum für Naturkunde, Leibniz Institute for Evolution and Biodiversity Science（莱布尼茨进化与生物多样性科学自然博物馆）
本研究分析自监督音频编码器对蝙蝠鸣叫音节的表征能力，发现预训练于人类语音的模型区分效果最佳，为跨物种迁移学习在蝙蝠生物声学中的应用奠定基础。
2024-09-19 cs.AI cs.LG cs.SD
SAM: A Mamba-2 State-Space Audio-Language Model
Sogang University（ソンガン大学）
提出 SAM，一种结合 Mamba-2 骨干网络的音频-语言模型，在 AudioSet 和 AudioCaps 上以更少参数达到或超越 7B 变压器模型性能，并系统分析了 SSM 与音频编码器输出的交互机制。
2026-06-11 cs.SD eess.AS
Leveraging Pre-trained BERT for Audio Captioning
University of Surrey（萨里大学）；Izmir Katip Celebi University（伊兹密尔卡提普·切莱比大学）
音频字幕旨在使用自然语言来描述音频片段的内容。现有的音频字幕系统通常基于编码器-解码器架构，其中声学信息由音频编码器提取，然后语言解码器用于生成字幕。训练一个音频字幕系统经常会遇到数据稀缺的问题。从预训练的音频模型（如预训练的音频神经网络（PANN））中传输知识最近已经成为缓解这个问题的有用方法。然而，与编码器相比，对解码器利用预先训练的语言模型的关注较少。BERT是一种预先训练的语言模型，已广泛用于自然语言处理（NLP）任务。然而，BERT作为音频字幕的语言解码器的潜力还没有被研究。在这项研究中，我们证明了预训练的BERT模型的音频字幕的有效性。具体来说，我们应用PANN作为编码器，并从公共预训练的BERT模型初始化解码器。我们进行了实证研究，使用这些BERT模型的解码器中的音频字幕模型。我们的模型与AudioCaps数据集上现有的音频字幕方法相比，取得了有竞争力的结果。
2022-03-27 cs.AI cs.SD eess.AS
Attention or Convolution: Transformer Encoders in Audio Language Models for Inference Efficiency
Meta
本文发现，简单的自监督预训练音频模型配合纯自注意力编码器，在低比特量化下能达到与混合卷积-注意力语音Transformer相当的推理效率，且避免量化模块间误差传播。
2024-02-08 cs.CL cs.SD eess.AS
MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models
MOSS-Audio-Tokenizer通过同质Transformer架构实现端到端音频分词，支持高保真重建并提升语音合成和语音识别性能。
2026-02-12 cs.SD eess.AS
Dual Transformer Decoder based Features Fusion Network for Automated Audio Captioning
University of Surrey（萨里大学）；Izmir Katip Celebi University（伊兹密尔卡蒂普·切莱比大学）
本文提出 LHDFF 模型，通过残差 PANNs 编码器融合低维与高维音频特征，并采用双 Transformer 解码器并行生成描述，实验表明其性能优于现有音频描述模型。
2023-05-30 cs.SD eess.AS
Neural Network Alternatives to Convolutive Audio Models for Source Separation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe 研究院）
卷积非负矩阵分解模型使用具有时间维度的频率模板对给定的音频频谱图进行分解。在本文中，我们提出了一个卷积自动编码器模型，作为一个神经网络替代卷积NMF。利用神经网络赋予的建模灵活性，我们还探讨了在编码器中使用递归神经网络的想法。在TIMIT语音数据集上的实验结果表明，卷积结构在BSSeval指标上显著提高了分离性能。
2017-09-20 cs.SD eess.AS
USAD 2.0: Scaling Representation Distillation for Universal Audio Understanding
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Amazon（亚马逊）
提出USAD 2.0通用音频编码器，通过领域感知蒸馏融合自监督和监督基础模型知识，并扩展至音乐领域，经深度缩放达到十亿参数，在探测和基于LLM的评估中取得领先性能。
2026-06-04 cs.CL cs.SD eess.AS
Audio-visual Speech Enhancement Using Conditional Variational Auto-Encoders
Inria Grenoble Rhône-Alpes（法国国立信息学与自动化研究院罗讷-阿尔卑斯格勒诺布尔研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CentraleSupélec（中央理工-高等电力学院）；GIPSA-Lab（GIPSA实验室）
变分自动编码器（VAE）是深度生成潜变量模型，可用于学习复杂数据的分布。VAE已经成功地用于学习语音信号的概率先验，然后用于执行语音增强。这种生成方法的一个优点是，它在训练时不需要成对的干净和有噪声的语音信号。在本文中，我们提出了视听变体的VAE单通道和扬声器无关的语音增强。我们开发了一个条件VAE（CVAE）的音频语音生成过程是有条件的嘴唇区域的视觉信息。在测试时，视听语音生成模型与基于非负矩阵分解的噪声模型相结合，语音增强依赖于蒙特卡洛期望最大化算法。实验进行了最近发表的NTCD-TIMIT数据集以及GRID语料库。实验结果表明，提出的音视频CVAE模型有效地融合了音视频信息，与纯音频VAE模型相比，提高了语音增强性能，特别是在语音信号受噪声严重污染的情况下。我们还表明，所提出的无监督视听语音增强方法优于最先进的监督深度学习方法。
2020-05-26 cs.LG cs.SD eess.AS
PAL: Probing Audio Encoders via LLMs -- Audio Information Transfer into LLMs
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey, UK（视觉、语音和信号处理中心（CVSSP），英国萨里大学）；Surrey Institute for People-Centred AI, University of Surrey, Guildford, GU2 7XH, UK（萨里大学以人为中心的人工智能研究所，英国Guildford）；Mohamed bin Zayed University of Artificial Intelligence (MBZUAI), Abu Dhabi, UAE（穆罕默德·本·扎耶德人工智能大学（MBZUAI），阿布扎赫德）
PAL通过LLM高效探测音频编码器，利用LAL和PLITS结合的方法提升音频信息整合效率，降低计算和内存开销。
2026-02-01 cs.AI cs.CL cs.SD
SAGE: Semantic Audio Generative Encoder
SAGE是一种轻量级音频自编码器，通过蒸馏预训练音频-文本模型嵌入来塑造潜在空间，在重建质量、语义结构和推理速度间达到最佳平衡，并以更小规模超越更大模型。
2026-10-22 cs.LG cs.SD eess.AS
Do Foundational Audio Encoders Understand Music Structure?
Sony Group Corporation, Japan（日本索尼集团公司）；Sony AI, USA（美国索尼人工智能）
本研究探讨了基础音频编码器在音乐结构分析中的有效性，发现自监督学习方法在该任务中表现优异。
2026-01-29 cs.LG cs.SD eess.AS
Efficient Speech Enhancement via Embeddings from Pre-trained Generative Audioencoders
Xiaomi Inc.（小米公司）
本研究提出一种高效可扩展的语音增强方法，利用预训练生成式音频编码器提取含噪语音嵌入，经紧凑去噪编码器处理后由声码器合成干净语音，在多项指标及主观测试中均优于现有相关模型。
2025-06-13 cs.SD eess.AS
HARP-Net: Hyper-Autoencoded Reconstruction Propagation for Scalable Neural Audio Coding
Indiana University（印第安纳大学）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）
基于自动编码器的编解码器采用量化将其瓶颈层激活转换为位串，这一过程阻碍了编码器和解码器部分之间的信息流。为了避免这个问题，我们在相应的编码器-解码器层对之间采用额外的跳过连接。假设在镜像自动编码器拓扑中，解码器层重构其对应编码器层的中间特征表示。因此，直接从对应的编码器层传播的任何附加信息有助于重建。我们以额外的自动编码器的形式实现这种跳过连接，每个自动编码器都是一个小型编解码器，用于压缩成对的编码器-解码器层之间的大量数据传输。我们经验验证，建议超自动编码架构提高感知音频质量相比，一个普通的自动编码器基线。
2021-07-23 cs.AI cs.SD eess.AS
Show Me the Instruments: Musical Instrument Retrieval from Mixture Audio
Seoul National University（首尔大学）
随着数字音乐制作成为主流，选择合适的虚拟乐器在决定音乐质量方面起着至关重要的作用。为了搜索乐器样本或虚拟乐器，使一个人想要的声音，音乐制作人用他们的耳朵听和比较每个乐器样本在他们的集合，这是费时和低效的。在本文中，我们称之为乐器检索这项任务，并提出了一种方法检索所需的乐器使用参考音乐混合作为查询。该模型由基于卷积神经网络的单仪器编码器和多仪器编码器组成。单乐器编码器被训练用于对单声道音频中使用的乐器进行分类，并且我们将其倒数第二层的激活作为乐器嵌入。多仪器编码器被训练为使用由单仪器编码器计算的仪器嵌入作为一组目标嵌入来估计多个仪器嵌入。为了更广泛的训练和现实评估，我们还提出了一个名为Nlakh的新数据集。实验结果表明，单乐器编码器能够学习从未见过乐器的音频信号到乐器嵌入空间的映射，而多乐器编码器能够从混合音乐中提取多个嵌入并成功检索所需乐器。用于实验的代码和音频样本可在以下网址获得：https://github.com/minju0821/musical_instrument_retrieval
2022-11-15 cs.LG cs.SD eess.AS
Audio Captioning with Composition of Acoustic and Semantic Information
Başkent University（Başkent大学）
音频字幕生成是一个新的研究领域，它结合了音频和自然语言处理，为音频片段创建有意义的文本描述。为了解决这个问题，以前的研究大多使用基于编码器-解码器的模型，而不考虑语义信息。为了填补这一空白，我们提出了一种新的编码器-解码器架构，使用双向门控递归单元（BiGRU）与音频和语义嵌入。我们通过从音频片段标题中获取主语和动词来提取语义嵌入，并将这些嵌入与音频嵌入相结合，以提供基于BiGRU的编码器-解码器模型。为了使测试音频的语义嵌入，我们引入了多层感知器分类器来预测这些片段的语义嵌入。我们还提出了详尽的实验，以显示我们提出的模型的音频字幕任务的不同功能和数据集的效率。为了提取音频特征，我们使用对数梅尔能量特征，VGGish嵌入和预训练的音频神经网络（PANN）嵌入。在两个音频字幕数据集Clotho和AudioCaps上的大量实验表明，我们提出的模型在不同的评估指标上优于最先进的音频字幕模型，并且使用语义信息提高了字幕性能。关键词：音频字幕; PANN; VGGish; GRU; BiGRU。
2021-05-13 cs.LG cs.SD eess.AS
