Flexible Keyword Spotting based on Homogeneous Audio-Text Embedding
Apple（苹果公司）
本文提出一种基于音频兼容文本编码器的灵活关键词识别架构，通过G2P与代表性音素向量实现同质音频-文本嵌入，并结合易混淆关键词生成增强判别力，在Libriphrase困难数据集上显著提升AUC并降低EER。
2023-08-12 cs.LG cs.SD eess.AS
Automated Audio Captioning using Transfer Learning and Reconstruction Latent Space Similarity Regularization
Nanyang Technological University（南洋理工大学）
在本文中，我们研究了使用预训练音频神经网络（PANNs）的迁移学习的使用，并提出了一种架构，能够更好地利用PANNs提供的自动音频字幕任务的声学特征。我们还介绍了一种新的自监督目标，重建潜在空间相似正则化（RLSSR）。RLSSR模块通过最小化编码器和解码器嵌入之间的相似性来补充模型的训练。这两种方法的结合使我们能够在Clotho数据集上的几个指标和基准上超越最先进的结果。
2021-08-10 cs.CL cs.SD eess.AS
Fast and Flexible Audio Bandwidth Extension via Vocos
Independent Researcher（独立研究者）
本文提出了一种基于Vocos的音频带宽扩展模型，通过生成高频内容实现8-48kHz范围内的高质量音频增强，具备高吞吐量和实时处理能力。
2026-03-07 cs.LG cs.SD eess.AS
UNITE-AUDIO: Joint Learning of Continuous Tokenization and Latent Flow Matching for Text-to-Audio Generation
Institute of Science Tokyo（东京科学研究所）；Tsinghua University（清华大学）；Wuhan University（武汉大学）；The University of Tokyo（东京大学）；Ant Group（蚂蚁集团）
Unite-Audio首次联合学习连续音频表示与潜在流匹配，通过生成目标塑造潜在空间并采用Flow-GRPO后训练，实现紧凑模型下的竞争性文本到音频生成性能。
2026-09-25 cs.SD eess.AS
RFWave: Multi-band Rectified Flow for Audio Waveform Reconstruction
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
针对扩散模型重建音频波形延迟高的问题，提出多波段整流流方法RFWave，通过帧级并行处理子带与直线传输轨迹，仅10步采样即可实现高保真重建，效率达实时的160倍。
2024-10-07 cs.AI cs.SD eess.AS
STAR-VAE: Structured Topology-Aware Regularization for Audio Reconstruction and Generation
Hong Kong University of Science（香港科学大学）；Tongyi Fun Team, Alibaba Group（通义Fun团队，阿里巴巴集团）
针对连续VAE在压缩率、重建保真度和潜在空间拓扑之间的三难困境，提出结构化拓扑感知正则化（STAR），通过增长约束场重塑潜在空间几何，实现音频的高保真重建与生成。
2026-06-23 cs.SD eess.AS
MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models
MOSS-Audio-Tokenizer通过同质Transformer架构实现端到端音频分词，支持高保真重建并提升语音合成和语音识别性能。
2026-02-12 cs.SD eess.AS
Phoneme-Level Contrastive Learning for User-Defined Keyword Spotting with Flexible Enrollment
University of Science and Technology of China (USTC)（中国科学技术大学）；iFlytek Research（讯飞研究院）
本文针对用户自定义关键词识别中易混淆词误报率高和注册模态受限的问题，提出音素级对比学习PLCL，通过音素级正负对比、音素记忆库和第三类判别器增强消歧能力，并在统一框架中支持音频-文本和音频-音频注册，在LibriPhrase上取得最先进性能。
2024-12-30 cs.SD eess.AS
A Noval Feature via Color Quantisation for Fake Audio Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；School of Information and Communication Engineering, Communication University of China（中国传媒大学信息与通信工程学院）；Department of Automation, Tsinghua University（清华大学自动化系）；Beijing National Research Center for Information Science and Technology, Tsinghua University（清华大学北京信息科学与技术国家研究中心）
针对伪造音频检测可解释性差的问题，提出基于颜色量化的特征提取方法，通过限制重建颜色数量增强差异可视化，在ASVspoof2019上提升分类性能。
2024-08-20 cs.SD eess.AS
Regularized autoregressive modeling and its application to audio signal reconstruction
Brno University of Technology（布尔诺理工大学）
本文提出了一种正则化自回归建模框架，用于音频信号重建，展示了在去 clipping 音乐和语音中的竞争力与优越性。
2025-12-30 cs.SD eess.AS
Contrastive Latent Space Reconstruction Learning for Audio-Text Retrieval
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；Nanjing University（南京大学）
本文提出对比潜空间重建学习（CLSR），通过引入模态内可分离性、自适应温度控制和潜表示重建模块，提升音频-文本跨模态检索性能。
2023-09-16 cs.MM cs.SD eess.AS
Audio Declipping with (Weighted) Analysis Social Sparsity
Brno University of Technology（布尔诺理工大学）
我们开发了Siedenburg等人（2014）流行的音频declipping算法的分析（cosparse）变体。此外，我们通过加权时频系数的可能性来扩展旧的和新的变体。我们研究了几种组合的权重和收缩运算符的音频重建性能。在某些情况下，权重可以提高重建质量;然而，在权重的帮助下，不超过非加权方法所获得的最佳分数。然而，分析经验维纳（EW）收缩能够达到计算上更昂贵的竞争对手，持久经验维纳（PEW）的质量。此外，所提出的分析变体，将PEW略优于合成对应方在一个courserily动机的度量。
2022-06-27 cs.SD eess.AS
Reverse the auditory processing pathway: Coarse-to-fine audio reconstruction from fMRI
Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology（脑认知与类脑智能技术重点实验室）；State Key Laboratory of Multimodal Artificial Intelligence Systems（多模态人工智能系统国家重点实验室）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）
受人类听觉分层处理启发，提出基于fMRI的由粗到细音频重建方法，利用CLAP和AudioMAE结合LDM实现高保真重建，在多数据集上达到SOTA，推动神经解码发展。
2024-05-29 cs.CV cs.MM cs.SD
HARP-Net: Hyper-Autoencoded Reconstruction Propagation for Scalable Neural Audio Coding
Indiana University（印第安纳大学）；Electronics and Telecommunications Research Institute（韩国电子通信研究院）
基于自动编码器的编解码器采用量化将其瓶颈层激活转换为位串，这一过程阻碍了编码器和解码器部分之间的信息流。为了避免这个问题，我们在相应的编码器-解码器层对之间采用额外的跳过连接。假设在镜像自动编码器拓扑中，解码器层重构其对应编码器层的中间特征表示。因此，直接从对应的编码器层传播的任何附加信息有助于重建。我们以额外的自动编码器的形式实现这种跳过连接，每个自动编码器都是一个小型编解码器，用于压缩成对的编码器-解码器层之间的大量数据传输。我们经验验证，建议超自动编码架构提高感知音频质量相比，一个普通的自动编码器基线。
2021-07-23 cs.AI cs.SD eess.AS
VaPar Synth -- A Variational Parametric Model for Audio Synthesis
Indian Institute of Technology Bombay（印度理工学院孟买分校）；ENS Paris-Saclay（巴黎-萨克雷高等师范学院）
随着数据驱动的统计建模和丰富的计算能力的出现，研究人员越来越多地转向深度学习来进行音频合成。这些方法试图直接在时域或频域中对音频信号进行建模。为了更灵活地控制所生成的声音，利用更直接地对应于诸如音高、动态和音色的音乐属性的信号的参数表示来工作可能更有用。我们提出了VaPar合成器-变分参数合成器，它利用一个条件变分自动编码器（CVAE）训练一个合适的参数表示。我们证明了我们提出的模型的能力，通过重建和生成的乐器音调灵活控制其音高。
2020-03-30 cs.LG cs.SD eess.AS
AUV: Teaching Audio Universal Vector Quantization with Single Nested Codebook
X-LANCE Lab, Shanghai Jiao Tong University, China（上海交通大学X-LANCE实验室）；Shanghai Innovation Institute, China（上海创新研究院）；Tencent Hunyuan, China（腾讯 Hunyuan）；Peking University, Shenzhen, China（北京大学深圳校区）
AUV提出一种单一嵌套码本的统一神经音频编解码器，通过领域特定分区与教师蒸馏在单阶段训练中实现约700 bps下对16 kHz语音及通用音频的高质量重建，性能媲美领域特定最先进编解码器。
2025-09-26 cs.SD eess.AS
BSCodec: A Band-Split Neural Codec for High-Quality Universal Audio Reconstruction
本文提出频带分割神经音频编解码器 BSCodec，通过将频谱划分为独立频带并分别压缩，解决了语音优化编解码器在音乐和声音上质量下降的问题，在通用音频重建上优于基线方法。
2025-11-08 eess.AS
Audio Effect Estimation with DNN-Based Prediction and Search Algorithm
本文提出一种结合预测与搜索的方法，通过DNN预测干信号和效果配置，再基于湿信号重建进行搜索，提升音频效果估计的准确性。
2026-04-24 cs.SD eess.AS
Robust Audio Anti-Spoofing with Fusion-Reconstruction Learning on Multi-Order Spectrograms
The University of Sydney（悉尼大学）；City University of Macau（澳门城市大学）
本文提出S2pecNet，通过多阶频谱融合重建学习提取鲁棒音频防欺骗特征，在ASVspoof2019 LA Challenge上取得EER 0.77%的最优性能。
2023-08-18 cs.AI cs.MM cs.SD
Zephyr: An Efficient Audio Denoising System Using Spiking Neural Networks Enabled With A Sparsity-Aware Flexible FPGA PE Array
National Tsing Hua University（国立清华大学）
针对边缘设备音频降噪的功耗问题，提出基于脉冲神经网络的Zephyr系统，通过量化感知训练和激活简化实现约28倍功耗降低，并设计稀疏感知FPGA阵列，在PYNQ-Z1上达到0.727实时因子。
2026-09-30 cs.AR eess.AS
QuarkAudio Technical Report
Alibaba Group（阿里巴巴集团）；Zhejiang University（浙江大学）
QuarkAudio通过统一的解码器-only自回归语言模型框架，整合多种音频任务，实现高效高质量的音频生成与处理。
2025-12-23 cs.SD eess.AS
Multi-Input Multi-Output Target-Speaker Voice Activity Detection For Unified, Flexible, and Robust Audio-Visual Speaker Diarization
针对传统TS-VAD易受重叠语音干扰、视觉模态存在缺失与遮挡问题，提出MIMO-TSVAD框架，依托统一序列到序列架构实现多模态灵活融合的说话人分割，在多个数据集上取得SOTA性能且鲁棒性优异。
2025-07-31 eess.AS
Neural Music Synthesis for Flexible Timbre Control
New York University（纽约大学）；Spotify
原始音频波形合成模型（如WaveNet）最近的成功激发了一种新的音乐合成方法，其中整个过程--从乐谱和乐器信息创建音频样本--使用生成神经网络建模。本文描述了一种具有灵活音色控制的神经音乐合成模型，该模型由一个以学习乐器嵌入为条件的递归神经网络和一个WaveNet声码器组成。学习的嵌入空间成功地捕获了大型数据集中音色的各种变化，并通过在嵌入空间中的乐器之间进行插值来实现音色控制和变形。合成质量的评价数字和感知，并提出了一个互动的Web演示。
2018-11-01 cs.SD eess.AS stat.ML
HE-NAC: High-Efficiency Neural Audio Coding via Hierarchical and Residual Multi-Band Quantization
Indiana University（印第安纳大学）；Electronics and Telecommunications Research Institute（电子电信研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
HE-NAC是基于分层残差多带量化的高效神经音频编码方法，通过协调盲上采样、残差学习与多头解码器，在相同或更低比特率下，性能优于DAC基线和MPEG HE-AAC，可实现高保真音频重建。
2026-10-14 cs.SD eess.AS
Music2Latent: Consistency Autoencoders for Latent Audio Compression
Queen Mary University of London（伦敦玛丽女王大学）；Sony Computer Science Laboratories（索尼计算机科学实验室）
针对现有音频自编码器的训练复杂、采样慢、重建质量低问题，提出基于一致性模型的Music2Latent音频自编码器，通过多项创新实现单步高保真重建，性能优于同类模型且首次实现端到端训练。
2024-08-12 cs.LG cs.SD eess.AS
OmniCodec: Low Frame Rate Universal Audio Codec with Semantic-Acoustic Disentanglement
Northwestern Polytechnical University（西北工业大学）；Shanghai Lingguang Zhaxian Technology（上海灵光乍现科技）
OmniCodec通过语义-听觉解耦和自引导策略，在低帧率下实现跨多音频域的通用音频编解码，提升重建质量与下游生成任务的语义信息表达。
2026-03-21 eess.AS
LipSound2: Self-Supervised Pre-Training for Lip-to-Speech Reconstruction and Lip Reading
University of Hamburg（汉堡大学）
这项工作的目的是通过利用视频中音频和视觉流的自然共现来研究跨模态自监督预训练对语音重建（视频到音频）的影响。我们提出了LipSound 2，它由一个编码器-解码器架构和位置感知的注意力机制直接映射到梅尔规模的频谱图的人脸图像序列，而不需要任何人的注释。所提出的LipSound 2模型首先在$\sim$ 2400 h多语言（例如英语和德语）视听数据（VoxCeleb 2）上进行预训练。为了验证所提出的方法的通用性，我们然后微调预训练模型的特定领域的数据集（网格，TCD-TIMIT）英语语音重建和实现语音质量和可懂度的显着改善相比，以前的方法在说话人相关和独立的设置。除了英语之外，我们还在CMLR数据集上进行了汉语语音重建，以验证对可移植性的影响。最后，我们通过在预先训练的语音识别系统上微调生成的音频来训练级联唇读（视频到文本）系统，并在英语和汉语基准数据集上实现最先进的性能。
2022-09-12 cs.AI cs.SD eess.AS
Self-Supervised Convolutional Audio Models are Flexible Acoustic Feature Learners: A Domain Specificity and Transfer-Learning Study
本文通过BYOL-A自监督预训练研究卷积音频模型的领域特异性，发现无论预训练数据来自语音还是非语音，模型在多数下游任务上都能达到或超过领域专用模型，证明SSL可学习灵活的无标签音频表示并支持跨领域迁移。
2025-02-04 eess.AS
Qwen-Audio-VAE Technical Report
Qwen Team（通义千问团队）
介绍Qwen-Audio-VAE，一套用于通用音频生成的低比特率、快速编码自动编码器。它结合因果编解码器、窗口Transformer块和多判别器训练，在多域音频上大规模训练，通过非对称主干和剪枝提高效率，实验证明其泛化好且高效。
2026-07-14 eess.AS
Video-Driven Speech Reconstruction using Generative Adversarial Networks
Imperial College London（帝国理工学院）；Samsung AI Centre（三星人工智能中心）
语音是一种依靠听觉和视觉信息进行交流的手段。缺乏一种模式往往会导致信息的混乱或误解。在本文中，我们提出了一个端到端的时间模型，能够直接从无声视频合成音频，而不需要转换到和从中间功能。我们提出的基于GANs的方法能够产生与视频同步的自然声音，可理解的语音。我们的模型的性能进行评估的GRID数据集的扬声器相关和扬声器独立的情况下。据我们所知，这是第一种将视频直接映射到原始音频的方法，也是第一种在以前看不见的扬声器上测试时产生可理解语音的方法。我们不仅根据声音质量，而且还根据口语的准确性来评估合成音频。
2019-06-14 cs.CV cs.SD eess.AS
SAGE: Semantic Audio Generative Encoder
SAGE是一种轻量级音频自编码器，通过蒸馏预训练音频-文本模型嵌入来塑造潜在空间，在重建质量、语义结构和推理速度间达到最佳平衡，并以更小规模超越更大模型。
2026-10-22 cs.LG cs.SD eess.AS
Active Restoration of Lost Audio Signals Using Machine Learning and Latent Information
Université Frères Mentouri I（兄弟门图里大学）；Blekinge Institute of Technology（布莱金厄理工学院）
本文融合隐写术、半色调抖动与浅层/深度学习，提出 HCR 框架，利用嵌入的潜在辅助信息主动重建丢失音频，并在 SNR、ODG 等指标上优于多种现有方法。
2024-01-18 cs.LG cs.SD eess.AS
Bin2Ambi: Learning Ambisonic Soundfield Reconstruction from Head-Tracked Binaural Audio
本文提出Bin2Ambi任务，利用智能耳机头部追踪数据解决双耳音频方向不确定性，实现向Ambisonics声场的转换，平均方向误差达11.8°，感知质量接近DirAC模型。
2026-10-01 eess.AS
Audio Inpainting in Time-Frequency Domain with Phase-Aware Prior
本文提出了一种基于相位意识先验的时频域音频修补方法，通过优化算法提升重建质量并降低计算成本，优于现有深度神经网络和自回归方法。
2026-08-24 cs.SD eess.AS
Multi-band Frequency Reconstruction for Neural Psychoacoustic Coding
MiroMind；College of Computing & Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）
提出全卷积神经心理声学编码框架 MUFFIN，通过心理声学引导的多频段频谱残差向量量化与改进卷积主干，在低至 12.5 Hz 时实现高质量音频重建并适用于语言模型。
2025-05-12 cs.SD eess.AS
MBCodec:Thorough disentangle for high-fidelity audio compression
Tsinghua University（清华大学）；AMAP Speech（AMAP语音）
本文提出MBCodec，一种基于残差向量量化的多码本音频编解码器，通过自监督语义标记、子带特征和自适应训练策略彻底解耦语义与声学信息，实现24 kHz音频170倍压缩至2.2 kbps的近无损重建。
2025-09-21 cs.SD eess.AS
EntangleCodec: A Unified Discrete Audio Tokenizer via Semantic-Acoustic Entanglement
Fudan University（复旦大学）
提出EntangleCodec，一种通过将音频与丰富标题对齐学习语义-声学联合表示的统一离散音频分词器，在紧凑令牌流中捕获语言内容、说话人身份、情感、韵律和声学场景，并通过流匹配扩散解码器实现高质量重建，在音频理解和生成任务上均取得领先性能。
2026-09-04 cs.AI cs.SD eess.AS
Exploiting Audio-Visual Features with Pretrained AV-HuBERT for Multi-Modal Dysarthric Speech Reconstruction
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；Vocal Engineering Technologies Limited
针对重度构音障碍语音在复杂噪声环境下重建难度大的问题，提出融合唇部视觉信息、基于AV-HuBERT的多模态DSR框架，经UASpeech语料库验证，可显著提升语音可懂度与自然度，重度患者词错率绝对下降42.1%。
2024-01-31 cs.SD eess.AS
MAT-SED: A Masked Audio Transformer with Masked-Reconstruction Based Pre-training for Sound Event Detection
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China（中国科学技术大学国家语音语言信息处理工程研究中心）；ICT Cluster, Singapore Institute of Technology（新加坡理工学院ICT集群）；The Australian National University（澳大利亚国立大学）
针对现有声音事件检测方法依赖RNN上下文网络、标注数据不足的问题，提出带掩码重构预训练的纯Transformer模型MAT-SED，结合全局-局部特征融合策略，在DCASE2023任务4上取得SOTA性能。
2024-08-19 cs.AI cs.SD eess.AS
CLAP: Learning Audio Concepts From Natural Language Supervision
Microsoft（微软）
主流音频分析模型经过训练，可以在一个类别标签到多个录音的范式下学习，专注于一项任务。在这种受限的监督下学习限制了模型的灵活性，因为它们需要标记的音频进行训练，并且只能预测预定义的类别。相反，我们建议从自然语言监督中学习音频概念。我们称我们的方法为对比存储音频预训练（CLAP），它通过使用两个编码器和一个对比学习将音频和文本描述带入一个联合多模态空间来学习连接语言和音频。我们使用128 k音频和文本对训练CLAP，并在8个领域的16个下游任务上对其进行评估，例如声音事件分类，音乐任务和语音相关任务。尽管CLAP的训练对明显少于类似的计算机视觉模型，但它为Zero-Shot性能建立了SoTA。此外，我们在监督学习设置中评估了CLAP，并在5个任务中实现SoTA。因此，CLAP的Zero-Shot功能消除了使用类标签进行训练的需要，在推理时实现了灵活的类预测，并推广到多个下游任务。
2022-06-09 cs.SD eess.AS
JiTTER: Jigsaw Temporal Transformer for Event Reconstruction for Self-Supervised Sound Event Detection
本文提出JiTTER，一种基于分层时间洗牌重建的自监督框架，通过块级和帧级随机洗牌强制模型重建时间顺序，在DESED数据集上较MAT-SED提升PSDS 5.89%，有效增强声音事件检测的边界感知能力。
2025-02-28 cs.SD eess.AS
SALAD-VAE: Semantic Audio Compression with Language-Audio Distillation
提出SALAD-VAE，一种频域连续紧凑语义音频变分自编码器，以7.8 Hz低帧率实现高压缩比和高质量重建，通过对比学习与CLAP蒸馏增强语义，在分类基准上优于同类模型，并支持零样本音频字幕生成。
2025-10-08 eess.AS
Universal Acoustic Adversarial Attacks for Flexible Control of Speech-LLMs
ALTA Institute, Department of Engineering, University of Cambridge（ALTA研究院，工程系，剑桥大学）
本研究针对语音大语言模型的安全漏洞，提出前置固定通用对抗音频的攻击方法，可实现无输出、改任务及属性选择性攻击，验证了Qwen2-Audio等模型的脆弱性，为提升模型鲁棒性提供依据。
2025-05-20 cs.CL cs.SD eess.AS
Parallel and Flexible Sampling from Autoregressive Models via Langevin Dynamics
University of Washington（华盛顿大学）
本文介绍了一种从自回归模型中抽样的替代方法。自回归模型通常根据模型定义的转换动态顺序采样。相反，我们提出了一个采样过程，将一个序列与白噪声，并遵循一个马尔可夫链定义的朗之万动力学的全球对数似然序列。这种方法将采样过程并行化，并推广到条件采样。使用自回归模型作为贝叶斯先验，我们可以使用条件似然或约束来引导生成模型的输出。我们将这些技术应用于视觉和音频领域的自回归模型，在音频声源分离、超分辨率和图像修复方面具有竞争力。
2021-12-16 cs.LG cs.SD eess.AS
Reconstruct! Don't Encode: Self-Supervised Representation Reconstruction Loss for High-Intelligibility and Low-Latency Streaming Neural Audio Codec
Center for Language and Speech Processing, Johns Hopkins University, USA（语言与语音处理中心，约翰霍普金斯大学，美国）；Signal Analysis and Interpretation Laboratory, University of Southern California, USA（信号分析与解释实验室，南加州大学，美国）
本文提出自监督表示重建损失，用于提升流式神经音频编解码器的可懂性和低延迟性能。
2026-09-02 cs.AI eess.AS
Reject Threshold Adaptation for Open-Set Model Attribution of Deepfake Audio
Beihang University（北京航空航天大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
针对深伪音频开集归因中手动阈值难以跨分布泛化且预测过度自信的问题，提出ReTA框架，通过重构误差分布学习与高斯概率估计生成各类自适应拒绝阈值。
2024-12-02 cs.AI cs.SD eess.AS
An investigation of the reconstruction capacity of stacked convolutional autoencoders for log-mel-spectrograms
Technological University of Dublin（都柏林理工大学）
在音频处理应用中，基于高级表示的富有表现力的声音的生成表现出很高的需求。这些表征可以用来操纵音色，影响创造性乐器音符的合成。现代算法，如神经网络，激发了基于乐器音色压缩的富有表现力的合成器的发展。无监督深度学习方法可以通过训练网络学习从波形或频谱图到低维表示的映射来实现音频压缩。本研究探讨了使用堆叠卷积自动编码器的压缩的时间-频率的音频表示的各种仪器为一个单一的音高。超参数和正则化技术的进一步探索证明，以提高初始设计的性能。在无监督的方式下，网络能够基于潜在表示重建单声道和谐波声音。此外，我们引入了一个评价指标来衡量原始和重建样本之间的相似性。评估用于声音合成的深度生成模型是一项具有挑战性的任务。我们的方法是基于所生成的频率的准确性，因为它为谐波声音的感知提供了重要的度量。这项工作有望加速未来的实验音频压缩使用神经自动编码器。
2023-01-18 cs.LG cs.SD eess.AS
Music2Latent2: Audio Compression with Summary Embeddings and Autoregressive Decoding
Queen Mary University London（伦敦玛丽女王大学）；Sony Computer Science Laboratories Paris（索尼计算机科学实验室巴黎分部）
提出Music2Latent2音频自编码器，利用一致性模型和摘要嵌入实现高压缩比与高保真度，并通过自回归解码处理任意长度音频，在质量和下游任务上优于现有方法。
2025-01-29 cs.AI cs.LG cs.SD
MagiCodec: Simple Masked Gaussian-Injected Codec for High-Fidelity Reconstruction and Generation
Shanghai Jiao Tong University（上海交通大学）；Bytedance Inc（字节跳动公司）
MagiCodec是一种单层流式Transformer音频编解码器，通过高斯噪声注入和潜在正则化提升token语义表达能力，在重建质量和下游任务上超越现有方法，并呈现Zipf分布以增强与语言模型生成架构的兼容性。
2025-05-31 cs.AI cs.LG cs.SD
Revisiting Your Memory: Reconstruction of Affect-Contextualized Memory via EEG-guided Audiovisual Generation
Michigan State University（密歇根州立大学）；Seoul National University（首尔国立大学）；Rutgers University（罗格斯大学）；Brookhaven National Laboratory（布鲁赫斯国家实验室）
本文提出RevisitAffectiveMemory任务与EEG-AffectiveMemory数据集，并构建三阶段框架RYM，通过EEG信号引导生成视听内容以重构自传体记忆，在情感动态解码（F1=0.9）与重构内容情感一致性上均取得优异效果。
2025-08-13 cs.AI cs.HC cs.SD
Re-Bottleneck: Latent Re-Structuring for Neural Audio Autoencoders
本文提出Re-Bottleneck框架，通过修改预训练自编码器的瓶颈层，引入用户定义的潜在结构，提升音频模型在不同下游任务中的性能。
2025-09-08 cs.LG cs.SD eess.AS
Channel-Preserving Representation Alignment for EEG-to-Music Reconstruction
UC Berkeley（加州大学伯克利分校）；Harvard University（哈佛大学）
针对脑电信号弱、易受噪声和通道变异影响的问题，提出通道导向设计（包括通道级标记化、多视角自蒸馏和数据增强），在编码-对齐-解码流水线中实现稳定的音乐语义空间对齐，显著提升重建性能。
2026-09-29 cs.AI cs.SD eess.AS
Time-Domain Audio Source Separation Based on Wave-U-Net Combined with Discrete Wavelet Transform
The University of Tokyo（东京大学）
提出了一种基于离散小波变换的时域下采样和上采样音频声源分离方法。所提出的方法基于最先进的深度神经网络之一Wave-U-Net，其依次对特征图进行下采样和上采样。我们发现，这种架构类似于多分辨率分析，并揭示了DS层的Wave-U-Net造成混叠，并可能会丢弃有用的信息的分离。虽然这些问题的影响可以通过训练来减少，但是为了实现更可靠的声源分离方法，我们应该设计能够克服这些问题的DS层。基于这种信念，我们着重于小波变换具有抗混叠滤波器和完美的重构特性这一事实，设计了所提出的层。对音乐声源分离的实验表明了该方法的有效性以及同时考虑抗混叠滤波器和完美重构特性的重要性。
2020-01-28 cs.LG cs.MM cs.SD
AudioX: A Unified Framework for Anything-to-Audio Generation
Hong Kong University of Science and Technology（香港科技大学）；Independent Researcher（独立研究者）
本文提出AudioX框架，整合多种模态条件，通过多模态自适应融合模块提升生成质量，并构建大规模高质量数据集IF-caps，验证了其在文本到音频和文本到音乐生成中的优越性能。
2026-04-15 cs.CV cs.LG cs.MM
