HiFi-Codec: Group-residual Vector quantization for High Fidelity Audio Codec
Tencent AI Lab(腾讯人工智能实验室)
本文提出分组残差向量量化(GRVQ)技术,构建仅需4个码本的高保真音频编解码器HiFi-Codec,在重建性能上优于Encodec,并开源AcademiCodec工具包以促进研究。
2023-05-07 cs.SD eess.AS
Neural Speech Coding for Real-time Communications using Constant Bitrate Scalar Quantization
Fraunhofer IIS, Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所(弗劳恩霍夫IIS))
本文提出基于投影标量量化(SQ)的神经语音编码替代方案,结合新的因果网络架构和STFT表示,在低复杂度、低延迟和低比特率下实现高效实时语音通信,无需额外损失或码本存储。
2024-09-19 cs.SD eess.AS
Synchronized Video-to-Audio Generation via Mel Quantization-Continuum Decomposition
The Hong Kong Polytechnic University(香港理工大学);Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室)
本文提出Mel-QCD方法,将梅尔频谱图分解为量化与连续信号,通过V2X预测器和ControlNet实现高质量同步的视频到音频生成,在八项指标上达到最优性能。
2025-03-10 cs.CV cs.SD eess.AS
ERVQ: Enhanced Residual Vector Quantization with Intra-and-Inter-Codebook Optimization for Neural Audio Codecs
针对神经音频编解码器中RVQ的码本坍缩问题,提出ERVQ,通过码本内在线聚类、码均衡损失及码本间相似度最小化提升利用率与量化多样性,并验证其编解码和下游TTS收益。
2025-06-11 eess.AS
Enhancement by postfiltering for speech and audio coding in ad-hoc sensor networks
Aalto University(阿尔托大学);School of Electrical Engineering(电气工程学院)
针对传统无线声学传感器网络增强方法因量化噪声高斯近似在低比特率下性能受限的问题,提出一种显式建模样量化噪声的贝叶斯后置滤波方法,经多指标实验验证可有效提升自组织传感器网络的信号质量。
2020-11-07 cs.SD eess.AS
PTQ4ADM: Post-Training Quantization for Efficient Text Conditional Audio Diffusion Models
University of California, Davis(加州大学戴维斯分校);University of California Davis Health(加州大学戴维斯健康中心);University of South Florida(南佛罗里达大学)
提出PTQ4ADM框架,通过覆盖驱动的提示增强和激活感知校准集生成算法量化音频扩散模型,在减少70%模型大小的同时保持与全精度模型相当的合成质量。
2024-09-20 cs.LG cs.SD eess.AS
Variable Bitrate Residual Vector Quantization for Audio Coding
Sony AI(索尼人工智能);Sony Group Corporation(索尼集团);IPAI;AIIS;Department of Intelligence and Information(智能与信息系)
针对神经音频压缩模型中固定码本数量导致率失真权衡不佳的问题,提出可变比特率残差向量量化(VRVQ),通过自适应调整每帧码本数量并结合梯度估计方法优化训练,显著提升了编码效率与模型性能。
2025-04-27 cs.LG cs.SD eess.AS
Deep Audio Watermarks are Shallow: Limitations of Post-Hoc Watermarking Techniques for Speech
Northwestern University(西北大学);Adobe Research(奥多比研究院)
针对语音事后水印技术,研究统一扩展音频变换对水印可检测性的评估,证明无需了解水印方案即可移除最先进事后音频水印且音频质量退化极小,揭示其局限性。
2025-04-15 cs.SD eess.AS
Attack-Dependent Robustness of Neural Audio Codecs for Adversarial ASR
Signal Analysis and Interpretation Laboratory, University of Southern California, USA(南加州大学信号分析与解释实验室)
本文研究了神经音频编解码器中容量与鲁棒性之间的权衡,发现中间深度量化能平衡对抗扰动与语音内容质量,从而最小化转录错误。
2026-09-24 cs.SD eess.AS
Improving Post-Processing of Audio Event Detectors Using Reinforcement Learning
National and Kapodistrian University of Athens(雅典国立卡波迪斯特里安大学);University of Piraeus(比雷埃夫斯大学)
我们将后处理应用于音频事件分类模型的类概率分布输出,并采用强化学习来联合发现后处理堆栈各个阶段的最佳参数,例如用于平滑模型预测的分类阈值和中值滤波算法的内核大小。为了实现这一点,我们定义了一个强化学习环境,其中:1)状态是由模型为给定音频样本提供的类概率分布,2)动作是为后处理堆栈的每个参数选择候选最佳值,3)奖励基于我们旨在优化的分类准确度度量,在我们的情况下是基于音频事件的宏F1分数。我们将我们的后处理应用于提交给DCASE Task 4 2020挑战的两个音频事件分类模型的类概率分布输出。我们发现,通过使用强化学习来发现应用于音频事件分类模型输出的后处理堆栈的最佳每类参数,与使用具有手动调整参数的相同后处理堆栈相比,我们可以将基于音频事件的宏F1分数(DCASE挑战中用于比较音频事件分类准确性的主要指标)提高4-5%。
2022-08-19 cs.LG cs.SD eess.AS
VQVC+: One-Shot Voice Conversion by Vector Quantization and U-Net architecture
National Taiwan University(台湾大学)
语音转换(VC)是将音频中源说话人的音色、口音和音调转换为另一个人的音色、口音和音调,同时保留语言内容的任务。这仍然是一个具有挑战性的工作,特别是在一个单一的设置。基于自动编码器的VC方法在不给出说话人身份的情况下将说话人和输入语音中的内容分离,因此这些方法可以进一步推广到看不见的说话人。解缠能力是通过矢量量化(VQ)、对抗训练或实例归一化(IN)来实现的。然而,不完美的解纠缠可能会损害输出语音的质量。在这项工作中,为了进一步提高音频质量,我们在基于自动编码器的VC系统中使用U-Net架构。我们发现,利用U-Net架构,强大的信息瓶颈是必要的。基于矢量量化的方法,量化的潜在向量,可以达到这个目的。客观和主观评价表明,该方法在音频自然度和说话人相似度方面都有较好的表现。
2020-06-07 cs.LG cs.SD eess.AS
Text Scores Do Not Establish Performance on Lexically Non-Diagnostic Speech Tasks: A Qwen2-Audio Quantization Case Study
National Research Council Canada(加拿大国家研究委员会);The Hong Kong Polytechnic University(香港理工大学);The Chinese University of Hong Kong(香港中文大学)
本研究通过 Qwen2-Audio 案例,提出评估协议,揭示文本分数可能遗漏波形依赖行为,表明所选量化分配在词汇任务上提升但情感识别上受损。
2026-10-07 cs.CL cs.SD eess.AS
APCodec+: A Spectrum-Coding-Based High-Fidelity and High-Compression-Rate Neural Audio Codec with Staged Training Paradigm
National Engineering Research Center of Speech and Language Information Processing(国家语言语音信息处理工程研究中心);University of Science and Technology of China(中国科学技术大学)
该研究提出改进型神经音频编解码器APCodec+,以音频幅度和相位谱为编码对象,采用两阶段联合-独立训练范式降低解码器学习难度,在低比特率下实现了与更高比特率基线编解码器相当的性能。
2024-10-30 cs.SD eess.AS
UniStream: Multi-Expert Residual Vector Quantization for 48 kHz Causal Streaming Audio Coding
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院,清华大学)
UniStream提出多专家残差向量量化(ME-RVQ)和OT-CFM辅助目标,实现48 kHz因果流式音频编码,在12/22.5 kbps下超越现有系统。
2026-09-10 eess.AS
FdAudio: MeanFlow-Anchored Fréchet-Distance Post-Training for One-Step Text-to-Audio Generation
National Taiwan University(国立台湾大学);Amazon(亚马逊)
研究针对几步采样文本到音频生成模型一步生成质量落后的问题,提出FdAudio方法,通过多表示弗雷歇距离损失优化分布,并引入均值流一致性目标防止多步退化,在几步系统中提升了一步生成质量且解决了多步退化问题。
2026-07-14 cs.SD eess.AS
Cross-Scale Vector Quantization for Scalable Neural Speech Coding
Communication University of China(中国传媒大学);Microsoft Research Asia(微软亚洲研究院)
比特率可伸缩性是实时通信中音频编码的期望特征。现有的神经音频编解码器通常在训练过程中强制执行特定的比特率,因此需要为每个目标比特率训练不同的模型,这增加了发送方和接收方的内存占用,并且通常需要转码来支持多个接收方。在本文中,我们介绍了一种跨尺度可伸缩矢量量化方案(CSVQ),其中多尺度特征编码逐步特征融合和细化。以这种方式,如果仅接收到比特流的一部分,则重建粗级信号,并且随着更多比特可用,逐步提高质量。所提出的CSVQ方案可以灵活地应用于具有镜像自动编码器结构的任何神经音频编码网络,以实现比特率可伸缩性。主观实验结果表明,该方案优于经典的残差矢量量化(RVQ)的可扩展性。此外,所提出的CSVQ在3kbps下优于Opus在9kbps下和Lyra在3kbps下,并且随着比特率的增加,它可以提供优雅的质量提升。
2022-07-07 cs.LG cs.SD eess.AS
What Does LALM Post-training Learn? Rethinking Audio Understanding and Reasoning Capabilities
National Taiwan University(台湾大学);NVIDIA(英伟达);NTU AI-Core(台湾大学AI核心中心)
该研究针对 LALM 后训练的实际学习内容开展控制实验,发现其性能提升多源于对特定问题格式的适配,而非真正的音频理解与推理能力,为 LALM 后训练的优化提供了方向。
2026-10-15 cs.CL cs.MM cs.SD
Task-Specific Audio Coding for Machines: Machine-Learned Latent Features Are Codes for That Machine
Indiana University(印第安纳大学);Electronics and Telecommunications Research Institute(电子电信研究院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出一种面向机器的任务特定音频编码方法,利用任务特定损失和残差向量量化压缩下游模型中间特征,以低于200 bps比特率实现高效编码,并在语音识别和音频分类任务中验证有效性。
2025-07-17 cs.AI cs.SD eess.AS
Improving Test-Time Performance of RVQ-based Neural Codecs
Supertone Inc.(Supertone公司);Center for Language and Speech Processing(语言与语音处理中心);Johns Hopkins University(约翰霍普金斯大学)
针对基于残差矢量量化(RVQ)的神经音频编解码器,提出一种测试时编码算法以优化码本选择,降低量化误差并提升合成质量,实验验证其有效性。
2025-09-23 cs.SD eess.AS
Listen to Interpret: Post-hoc Interpretability for Audio Networks with NMF
Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院电信巴黎);Audio Analytic
本文处理音频处理网络的事后可解释性。我们的目标是解释一个网络的决定,在高层次的音频对象,也可为最终用户。为此,我们提出了一种新的解释器设计,采用非负矩阵分解(NMF)。特别是,一个精心正则化的解释器模块被训练成将目标网络的隐藏层表示作为输入,并产生预先学习的NMF分量的时间激活作为中间输出。我们的方法使我们能够生成直观的基于音频的解释,显式增强与网络决策最相关的输入信号部分。我们证明了我们的方法的适用性流行的基准,包括现实世界的多标签分类任务。
2022-10-24 cs.LG cs.SD eess.AS
The DKU Post-Challenge Audio-Visual Wake Word Spotting System for the 2021 MISP Challenge: Deep Analysis
Wuhan University(武汉大学);Duke Kunshan University(昆山杜克大学);Alibaba Group(阿里巴巴集团)
本文进一步探讨了我们之前在MISP Challenge 2021的Track 1中排名第二的唤醒词识别系统。首先,我们研究了一种基于3D和2D卷积的鲁棒单峰方法,并采用简单注意力模块(SimAM)来提高系统的性能。其次,我们探索了不同的组合数据增强方法,以获得更好的性能。最后,研究了融合策略,包括分数级融合、级联融合和神经网络融合。我们提出的多模态系统利用多模态功能,并使用互补的视觉信息,以减轻性能下降的音频系统在复杂的声学场景。我们的系统在竞争数据库的评估集中获得了2.15%的错误拒绝率和3.44%的错误报警率,与以前的系统相比,相对提高了21%,达到了新的最先进的性能。
2023-03-04 cs.SD eess.AS
Robust Audio-Visual Speech Enhancement: Correcting Misassignments in Complex Environments with Advanced Post-Processing
National Taiwan University(台湾大学);Academia Sinica(中央研究院)
本文提出后处理分类器PPC并结合mixup训练策略,用于纠正音视频语音增强中因视频质量差和数据不匹配导致的错误输出,在AVSE-challenge数据集上显著超越基线模型。
2024-09-30 cs.SD eess.AS
Measuring Audio's Impact on Correctness: Audio-Contribution-Aware Post-Training of Large Audio Language Models
The Chinese University of Hong Kong(香港中文大学);Ant Group(蚂蚁集团);University of Rochester(罗切斯特大学);Shanghai Jiao Tong University(上海交通大学);South China University of Technology(华南理工大学);King’s College London(伦敦国王学院)
本文提出AudioMCQ数据集和Audio-Contribution Filtering方法,通过弱到强和混合到强的后训练范式,提升大音频语言模型的音频贡献意识和性能。
2026-03-09 eess.AS
Outlier Reduction with Gated Attention for Improved Post-training Quantization in Large Sequence-to-sequence Speech Foundation Models
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用技术大学);Intel Labs(英特尔实验室)
针对 Whisper 语音模型蒸馏后 PTQ 受权重与激活异常值影响的问题,本文在学生模型注意力块中引入门控机制以减少异常值,实现有效 8 比特量化并降低词错误率。
2024-06-16 cs.SD eess.AS
Evaluation of post-processing algorithms for polyphonic sound event detection
IRIT(图卢兹计算机研究所);CNRS(法国国家科学研究中心)
声音事件检测(SED)旨在识别录音中的音频事件(音频标记任务),然后在时间上定位它们(定位任务)。最后一项任务以帧级类预测的分段结束,该分段确定音频事件的起始和偏移。然而,这一步骤在科学出版物中经常被忽视。在本文中,我们专注于用于识别音频事件边界的后处理算法。不同的后处理步骤进行了研究,通过平滑,阈值,和优化。特别是,我们评估不同的时间分割方法,即基于几何和参数的方法。在DCASE 2018挑战任务4数据上进行了实验。我们比较了两种模型的时间预测曲线的后处理算法:一种基于挑战的基线和多实例学习(MIL)模型。结果表明后处理方法对最终检测分数的关键影响。基于统计的方法在使用我们的MIL模型的评估集上产生22.9%的基于事件的F分数。此外,最好的结果是使用类依赖的参数方法与32.0%的F-得分。
2019-06-24 cs.SD eess.AS
Effects of Word-frequency based Pre- and Post- Processings for Audio Captioning
NTT Corporation(NTT公司)
我们用于声学场景和事件检测和分类(DCASE)2020挑战赛的任务6(自动音频字幕)的系统结合了三个元素,即数据增强,多任务学习和后处理,用于音频字幕。该系统得到了最高的评价分数,但尚未澄清哪些个别因素对其绩效的贡献最大。在这里,为了评估它们的贡献,我们首先对我们的系统进行了元素消融研究,以估计每个元素的有效程度。然后,我们进行了详细的模块化消融研究,以进一步阐明提高精度的关键处理模块。结果表明,数据扩充和后处理显著提高了系统的评分.特别是后处理中的混合数据增强和波束搜索分别使SPIDER提高了0.8和1.6个点。
2020-09-24 cs.CL cs.LG cs.SD
Fast Text-to-Audio Generation with Adversarial Post-Training
UC – San Diego(加州大学圣迭戈分校);Stability AI;Arm
针对文本到音频系统推理延迟高的问题,提出不依赖蒸馏的ARC对抗后训练方法,结合对比判别器提升提示遵循度,适配Stable Audio Open后实现当前最快的文本到音频生成速度。
2025-05-20 cs.AI cs.LG cs.MM
DriftAudio: Marginal Drifting for Distributional Post-Training of One-Step Text-to-Audio Generators
University of Technology Sydney(悉尼科技大学)
提出DriftAudio,通过边际漂移后训练改善一步式文生音频生成器的分布质量,在AudioCaps上显著降低FAD和FD等指标。
2026-09-24 eess.AS
Symbiotic Architecture for Post-Hoc Audio Extension of Frozen Language Models
Sakana AI
提出一种共生架构,通过注入器向冻结LLM的KV缓存写入音频向量,实现无需微调的音频理解,兼具可扩展性与性能,接近微调ALM且保留文本能力。
2026-09-28 cs.CL cs.SD eess.AS
Enhancing Audio-Language Models through Self-Supervised Post-Training with Text-Audio Pairs
College of Computing, Georgia Institute of Technology(佐治亚理工学院计算学院)
本文提出TeminAL两阶段自监督后训练方法,为音频-语言模型注入时间理解能力,在ESC-50上提升5.28%,同时保持零样本检索和分类性能,并引入ZSTE评估策略。
2025-04-21 cs.LG cs.SD eess.AS
Low-complexity acoustic scene classification for multi-device audio: analysis of DCASE 2021 Challenge systems
本文介绍了DCASE 2021挑战赛中任务1A声学场景分类的细节。该任务的目标是开发具有良好泛化性能的低复杂度解决方案。所提供的基线系统基于CNN架构和参数的训练后量化。该系统使用所有可用的训练数据进行训练,没有任何处理设备不匹配的特定技术,并获得47.7%的总体准确度,对数损失为1.473。该任务收到了来自30个团队的99份提交,大多数提交的系统都超过了基线。提交的数据中使用最多的技术是残差网络和权重量化,顶级系统的准确率超过70%,对数损失低于0.8。声学场景分类任务仍然是挑战中的一个热门任务,尽管设置的难度越来越大。
2021-07-20 eess.AS
ScoreDec: A Phase-preserving High-Fidelity Audio Codec with A Generalized Score-based Diffusion Post-filter
本文提出ScoreDec音频编解码器,通过复数谱域基于分数的扩散后滤波器替代GAN训练,在24 kbps下实现48 kHz全频带语音的人类级自然度与相位保持。
2024-01-22 eess.AS
A Novel Stochastic Transformer-based Approach for Post-Traumatic Stress Disorder Detection using Audio Recording of Clinical Interviews
LISSI Université Paris-Est Créteil (UPEC)(巴黎东部克雷泰伊大学LISSI实验室)
本文提出一种基于MFCC特征和随机Transformer的深度学习方法,利用临床访谈音频检测PTSD,在eDAIC数据集上取得RMSE 2.92的最新性能。
2024-03-28 cs.LG cs.SD eess.AS
LDCodec: A high quality neural audio codec with low-complexity decoder
ByteDance China(字节跳动中国)
针对神经音频编解码器复杂度高的问题,提出LDCodec,通过结合LSRVQ、子带-全带判别器和感知损失,在6kbps下优于Opus 12kbps,适用于智能手机等流媒体客户端。
2025-10-17 eess.AS
Latent CLAP Loss for Better Foley Sound Synthesis
本文提出 Latent CLAP 损失,通过在共享 CLAP 嵌入空间中对齐潜在扩散输出与真实音频,提升 AudioLDM 拟音生成质量,降低 FAD 分数并消除后处理需求。
2024-03-18 eess.AS
GS-Codec: A Gaussian-Splatting Bottleneck for Neural Audio Coding
School of Electrical and Computer Engineering(电气与计算机工程学院);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
GS-Codec提出用参数化信号分解替代量化器作为神经音频编码瓶颈,通过高斯溅射拟合一维潜在表示,实现训练后比特率控制,性能媲美EnCodec和DAC。
2026-10-06 cs.AI cs.LG cs.SD
Efficient Evaluation of Quantization-Effects in Neural Codecs
Cisco Systems, Inc.(思科系统公司)
本文提出一种基于模拟数据和低复杂度网络的高效评估框架,用于分析神经编解码器中的量化效应,并据此改进直通估计器的训练稳定性,在内部编解码器和descript-audio-codec上验证了有效性。
2025-02-07 cs.LG eess.AS
StableQuant: Layer Adaptive Post-Training Quantization for Speech Foundation Models
Department of Electrical and Electronic Engineering, Yonsei University(电子工程系,延世大学)
本文提出StableQuant,一种层自适应训练后量化算法,通过分析尺度分布和整体性能确定每层量化范围,在HuBERT和wav2vec2.0上实现模型缩减至四分之一、推理速度翻倍,且WER下降小于0.3%。
2025-04-21 cs.AI eess.AS