Speaking Clearly: A Simplified Whisper-Based Codec for Low-Bitrate Speech Coding
School of Computer Science and Artificial Intelligence(计算机科学与人工智能学院);Wuhan University of Technology(武汉理工大学);NEC Corporation(日本电气株式会社);The Hong Kong Polytechnic University(香港理工大学)
本文提出SimWhisper-Codec,通过简化Whisper编码器实现低比特率下的高音质和语义保留。
2026-01-27 cs.SD
LSCodec: Low-Bitrate and Speaker-Decoupled Discrete Speech Codec
Shanghai Jiao Tong University(上海交通大学);X-LANCE Lab, MoE Kay Lab of Artificial Intelligence, School of Computer Science(X-LANCE实验室、MoE Kay人工智能实验室、计算机科学学院)
针对离散语音token高码率、含冗余音色信息的问题,提出低码率且说话人解耦的LSCodec离散语音编解码器,采用带说话人扰动的多阶段无监督训练框架,在重构质量、说话人解耦效果上均优于基线。
2025-05-21 cs.AI cs.SD eess.AS
Optimizing Neural Speech Codec for Low-Bitrate Compression via Multi-Scale Encoding
Interactive Entertainment Group Tencent(腾讯互动娱乐集团)
本文提出多尺度神经语音编解码器MsCodec,通过为不同信息密度的语音特征分配不同时间尺度的离散编码并引入互信息损失,解决了RVQ统一时间尺度导致的冗余编码问题,显著提升了低比特率下的语音压缩性能。
2024-10-21 cs.SD eess.AS
PSCodec: A Series of High-Fidelity Low-bitrate Neural Speech Codecs Leveraging Prompt Encoders
Kyushu University(九州大学);Shanghai Ximalaya Technology Co Ltd(上海喜马拉雅科技有限公司);The University of Tokyo(东京大学);University of Alberta(阿尔伯塔大学)
本文提出PSCodec系列神经语音编解码器,通过提示编码器、解耦表示损失与级联注意力网络,在低比特率下显著提升语音重建质量和说话人相似度。
2024-11-21 cs.AI cs.SD
Neural Audio Codec for Robust Audio Deepfake Detection
Yonsei University(延世大学);MAAP Lab(MAAP实验室);The University of Tokyo(东京大学);University of Michigan(密歇根大学)
针对低比特率编码导致音频深度伪造检测性能下降的问题,提出保留取证信息的神经音频编解码器FP-NAC,通过检测器引导微调在ASVspoof 2019 LA上将EER最多降低49.8个百分点,并提升多个检测器性能。
2026-10-01 cs.MM cs.SD
SACodec: Asymmetric Quantization with Semantic Anchoring for Low-Bitrate High-Fidelity Neural Speech Codecs
SACodec通过非对称双量化器和语义锚定机制,在低比特率下实现语音保真度与语义丰富性的平衡,提升语音重建质量与下游任务的语义表现。
2025-12-24 cs.SD
PACodec: A Low-bitrate Neural Speech Codec with Parallel Additive Vector Quantization
National Engineering Research Center of Speech and Language Information Processing(国家语言与语音信息处理工程研究中心);University of Science and Technology of China(中国科学技术大学)
本文提出基于并行加性矢量量化(PAVQ)的PACodec,采用“全局-局部-全局”设计,在相同解码质量下比基线降低30%码率,且具备解纠缠友好性,可应用于语音转换等下游任务。
2026-09-04 cs.SD
FOA Tokenizer: Low-bitrate Neural Codec for First Order Ambisonics with Spatial Consistency Loss
本文提出首个一阶环境立体声离散神经编解码器,基于WavTokenizer扩展至四通道,引入空间一致性损失,在0.9kbps下实现低比特率高质量重建,并验证了其潜在特征对下游空间音频任务的有效性。
2025-10-25 cs.SD
Analysis of Speaker Verification Performance Trade-offs with Neural Audio Codec Transmission
Indian Institute of Science Education and Research, Bhopal(印度科学教育与研究学院,博帕尔);Nanyang Technological University, Singapore(南洋理工大学,新加坡);Menlo Research(Menlo研究)
该研究分析不同比特率下传统与神经音频编解码器对说话人验证性能的影响,发现神经编解码器在低带宽下更优,高比特率略逊于Opus,验证了其作为传统编解码器替代方案的可行性。
2025-09-02 cs.SD eess.AS
MDCTCodec: A Lightweight MDCT-based Neural Audio Codec towards High Sampling Rate and Low Bitrate Scenarios
该研究提出基于MDCT的轻量级神经音频编解码器MDCTCodec,搭配新型多分辨率MDCT判别器做对抗训练,在高采样率低比特率场景下相较基线实现了音质、效率与模型尺寸的综合提升,在VCTK数据集48kHz/6kbps条件下ViSQOL达4.18。
2024-11-01 cs.SD eess.AS
AugCodec: A Low-Bitrate Disentangled Neural Speech Codec via Data Augmentation
Amazon, USA(亚马逊(美国))
提出AugCodec,利用数据增强将语音分解为语义、说话人和韵律三种令牌,在12.5Hz低比特率下实现优于现有方法的重建质量和解耦性能。
2026-06-23 cs.SD eess.AS
TQCodec: Towards neural audio codec for high-fidelity music streaming
Tencent Music Entertainment(腾讯音乐娱乐);The Chinese University of Hong Kong(香港中文大学);Southeast University(东南大学);Tsinghua University(清华大学)
TQCodec是一种针对高质量音乐流媒体设计的神经音频编解码器,通过改进的网络架构和感知驱动的比特分配策略,在高比特率下实现卓越的音频质量。
2026-03-02 cs.SD
FocalCodec-Stream: Streaming Low-Bitrate Speech Coding via Causal Distillation
Concordia University(康科德大学);Mila-Quebec AI Institute(魁北克AI研究所);Université Laval(拉瓦尔大学)
本文提出基于焦点调制的流式低比特率语音编解码器 FocalCodec-Stream,通过 WavLM 多阶段因果蒸馏和轻量级细化器,在 0.55-0.80 kbps 码率与 80 ms 延迟下兼顾重建质量、下游任务性能和效率。
2025-09-19 cs.AI cs.LG cs.SD
FOAdapter: A Plug-and-Play Spatial Tokenizer for Low-Bitrate FOA Speech Coding
KAIST(韩国科学技术院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对神经语音编解码器难以保留低比特率FOA语音空间线索的问题,提出即插即用的FOAdapter空间分词器,可结合预训练单声道编解码器在低比特率下同时保留语言与空间信息,经评估效果稳定。
2026-10-14 cs.SD eess.AS
BiMTokenizer: Preserving Semantic-Acoustic Balance in Low-Bitrate Speech Tokenization via Bidirectional State-Space Modeling
Wuhan University of Technology(武汉理工大学);NEC Laboratories Asia Pacific(NEC亚太实验室);NEC Corporation(NEC公司);The Hong Kong Polytechnic University(香港理工大学)
该研究提出单塔低比特率语音编解码器BiMTokenizer,结合双向状态空间主干与RSLQ,在更少参数下实现了优于双塔基线的声学重建与语义保留性能。
2026-09-02 cs.SD
SuperCodec: A Neural Speech Codec with Selective Back-Projection Network
Wuhan University(武汉大学)
提出神经语音编解码器SuperCodec,通过引入选择性上采样和下采样反向投影模块替换标准上下采样层,在低比特率下实现了优于现有方法的语音重建质量。
2024-07-30 cs.SD eess.AS
Audio Codec Augmentation for Robust Collaborative Watermarking of Speech Synthesis
Aalto University(阿尔托大学);National Institute of Informatics(情报学研究所)
本文扩展协同水印方法以应对不可微的传统与神经音频编解码器,利用波形域直通估计器实现黑盒增强,证明该方法对传统编解码器具良好迁移性且感知退化可忽略。
2024-09-20 cs.AI cs.SD eess.AS
Practical cognitive speech compression
Université de Sherbrooke(舍布鲁克大学)
本文提出了一种新的神经语音压缩方法,它是实用的意义上,它工作在低比特率,引入了低延迟,是兼容的计算复杂度与当前的移动设备,并提供了一个主观的质量是可比的标准移动电话编解码器。最近提出的其他神经声码器也具有以低比特率操作的能力。然而,它们不产生与标准编解码器相同的主观质量水平。另一方面,标准编解码器依赖于客观和短期的指标,例如与感知仅弱相关的分段信噪比。此外,标准编解码器在捕获语音属性,特别是长期语音属性方面的效率低于无监督神经网络。所提出的方法结合了一个认知编码编码器,提取一个可解释的无监督分层表示与多级解码器,具有基于GAN的架构。我们观察到,这种方法是非常强大的量化表示功能。AB测试是在哈佛句子的一个子集上进行的,这些句子通常用于评估标准的移动电话编解码器。实验结果表明,该方法在时延、码率和主观质量方面均优于标准AMR-WB编解码器。
2022-03-08 cs.SD eess.AS
SoundStream: An End-to-End Neural Audio Codec
我们提出了SoundStream,一种新型的神经音频编解码器,可以有效地压缩语音,音乐和一般音频的比特率通常由语音定制的编解码器的目标。SoundStream依赖于由完全卷积编码器/解码器网络和残差矢量量化器组成的模型架构,它们是端到端联合训练的。训练利用了文本到语音和语音增强的最新进展,这些进展结合了对抗和重建损失,允许从量化嵌入生成高质量的音频内容。通过对量化器层应用结构化丢弃进行训练,单个模型可以在从3 kbps到18 kbps的可变比特率上运行,与以固定比特率训练的模型相比,质量损失可以忽略不计。此外,该模型适合于低延迟实现,其支持流式推理并在智能手机CPU上实时的运行。在使用24 kHz采样率的音频的主观评估中,3 kbps的SoundStream优于12 kbps的Opus,并接近9.6kbps的EVS。此外,我们能够在编码器或解码器侧执行联合压缩和增强,而没有额外的延迟,我们通过语音的背景噪声抑制来证明这一点。
2021-07-07 cs.LG cs.SD eess.AS
HILCodec: High-Fidelity and Lightweight Neural Audio Codec
Seoul National University(首尔大学);Institute of New Media and Communications(新媒体与通信研究所)
本文提出HILCodec,通过方差受限设计解决SEANet编解码器性能不随深度增加的问题,并引入无失真判别器,实现了实时流式的高保真轻量级神经音频编解码。
2024-09-24 cs.SD eess.AS
UBGAN: Enhancing Coded Speech with Blind and Guided Bandwidth Extension
Fraunhofer IIS(弗劳恩霍夫研究所信息技术研究中心);International Audio Laboratories(国际音频实验室)
UBGAN通过模块化轻量的GAN模型实现宽带语音的带宽扩展,提升编码语音的感知质量并增强多编解码器的适应性。
2026-02-24 cs.SD eess.AS
Unlocking Temporal Flexibility: Neural Speech Codec with Variable Frame Rate
MoE Key Lab of Artificial Intelligence(人工智能MOE重点实验室);Jiangsu Key Lab of Language Computing(江苏语言计算重点实验室);X-LANCE Lab(X-LANCE实验室);School of Computer Science(计算机科学学院);Department of Data Science and Artificial Intelligence(数据科学与人工智能系)
本文提出时间灵活编码(TFC)技术,首次将可变帧率引入神经语音编解码器,根据时间熵动态分配帧率,实现高灵活性和最优重建质量,并保持低帧率下的竞争力。
2025-05-22 cs.AI cs.SD eess.AS
Gull: A Generative Multifunctional Audio Codec
本文提出Gull,一种生成式多功能神经音频编解码器,通过子带建模、增益-形状表示、改进残差向量量化和弹性解码器设计,在多种采样率与比特率下实现与现有方法相当或更优的压缩性能,并内置不增加比特率的音频超分辨率能力。
2024-06-07 cs.AI cs.LG cs.SD
AffectCodec: Emotion-Preserving Neural Speech Codec with Block-Diagonal Residual FSQ
Beijing University of Posts and Telecommunications(北京邮电大学)
针对神经语音编解码器在量化过程中丢弃情感线索的问题,提出基于块对角残差有限标量量化(BD-RFSQ)的AffectCodec,通过结构约束的量化实现情感保持,在低比特率下显著提升情感保留度。
2026-05-22 cs.SD
ContextCodec: Content-Focused Context Guidance for Ultra-Low Bitrate Speech Coding
Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);Department of Automation, Tsinghua University(清华大学自动化系)
提出ContextCodec,通过双分支编码器解耦声学细节与内容上下文,利用CLIP对比损失对齐上下文特征与音素索引,在500 bps下实现质量与可懂度的良好平衡。
2026-06-09 cs.SD
Low-Resource Audio Codec (LRAC): 2025 Challenge Description
Collaboration AI, Cisco Systems, Inc.(Collaboration AI,Cisco系统公司);Hebrew University of Jerusalem, Israel(耶路撒冷希伯来大学);University of Illinois Urbana-Champaign, United States(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University, United States(卡内基梅隆大学)
针对神经音频编解码器在低资源、抗声学失真等边缘部署约束下的研究空白,该文推出2025低资源音频编解码器挑战赛,提供数据集、基线与评估框架,以推动资源受限场景下神经/混合编解码器的研发。
2025-10-28 cs.SD eess.AS
CodecSlime: Temporal Redundancy Compression of Neural Speech Codec via Dynamic Frame Rate
CodecSlime通过动态帧率压缩神经语音编解码器中的时间冗余,显著降低重建WER并实现比特率与质量的灵活权衡。
2026-02-03 cs.SD eess.AS
Neural Speech Coding for Real-time Communications using Constant Bitrate Scalar Quantization
Fraunhofer IIS, Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所(弗劳恩霍夫IIS))
本文提出基于投影标量量化(SQ)的神经语音编码替代方案,结合新的因果网络架构和STFT表示,在低复杂度、低延迟和低比特率下实现高效实时语音通信,无需额外损失或码本存储。
2024-09-19 cs.SD eess.AS
DTM-Codec: Dynamic Token Masking for VFR Speech Coding with Efficient Boundary Selection
Graduate School of Cultural Technology, KAIST, South Korea(韩国科学技术院文化技术研究生院)
提出DTM-Codec,通过动态令牌掩码和路径长度均衡(PLE)边界选择器,在严格匹配总比特率下优于固定帧率基线,提升重建质量和可懂度。
2026-06-28 cs.SD eess.AS
FocalCodec: Low-Bitrate Speech Coding via Focal Modulation Networks
Concordia University(康科德大学);Mila-Quebec AI Institute(魁北克AI研究院);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学);Université Laval(拉瓦尔大学)
本文提出FocalCodec,一种基于焦点调制的低比特率语音编解码器,利用单一二进制码本在0.16-0.65 kbps下压缩语音,兼顾语义与声学信息,性能优于现有方法,并支持多语言及噪声环境。
2025-10-24 cs.AI cs.LG cs.SD
GS-Codec: A Gaussian-Splatting Bottleneck for Neural Audio Coding
School of Electrical and Computer Engineering(电气与计算机工程学院);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
GS-Codec提出用参数化信号分解替代量化器作为神经音频编码瓶颈,通过高斯溅射拟合一维潜在表示,实现训练后比特率控制,性能媲美EnCodec和DAC。
2026-10-06 cs.AI cs.LG cs.SD
ZipCodec: Ultra-Low-Frame-Rate Streaming Speech Coding
Concordia University(康考迪亚大学);Mila-Quebec AI Institute(Mila-魁北克人工智能研究所);Université Laval(拉瓦尔大学)
ZipCodec通过WavLM蒸馏、Transformer架构和球形量化,在6.25Hz超低帧率下实现高质量流式语音编码,显著优于现有编解码器。
2026-09-11 cs.AI cs.LG cs.SD
APCodec: A Neural Audio Codec with Parallel Amplitude and Phase Spectrum Encoding and Decoding
University of Science and Technology of China(中国科学技术大学);National Engineering Research Center of Speech and Language Information Processing(国家语言语音信息处理工程研究中心)
APCodec是一种新型神经音频编解码器,通过并行处理幅度和相位谱实现高采样率低比特率编码,在6 kbps下质量优于现有方法且生成更快。
2024-09-24 cs.SD eess.AS
The Equalizer: Introducing Shape-Gain Decomposition in Neural Audio Codecs
Inria at Univ. Grenoble Alpes, CNRS, LJK, France(法国 Grenoble 阿尔卑斯大学 Inria 分校、CNRS、LJK);Univ. Grenoble Alpes, Grenoble-INP, GIPSA-lab, France(法国 Grenoble 阿尔卑斯大学、Grenoble-INP、GIPSA-lab)
本研究提出在神经音频编解码器中引入形状-增益分解,以提高编码效率和比特率-失真性能。
2026-07-28 cs.AI cs.SD
A Real-Time Wideband Neural Vocoder at 1.6 kb/s Using LPCNet
Mozilla(谋智)
神经语音合成算法是一种很有前途的低码率语音编码新方法。到目前为止,它们已经证明了远远超过传统声码器的质量,但代价是非常高的复杂性。在这项工作中,我们提出了一个低比特率的神经声码器的LPCNet模型的基础上。线性预测和稀疏递归网络的使用使得在通用硬件上实现实时运算成为可能。我们表明,LPCNet在1.6 kb/s的操作实现了显着更高的质量比MELP和未压缩的LPCNet可以超过在低比特率的波形编解码器的质量。这为基于神经合成模型的新编解码器设计开辟了道路。
2019-06-28 cs.LG cs.SD eess.AS
Optimising Neural Speech Codecs for 300bps Communication using Reinforcement Learning
Tsinghua University(清华大学);Huawei Technologies Co., Ltd(华为技术有限公司)
本文提出ClariCodec,一种在300bps下工作的神经语音编解码器,通过将量化视为随机策略,利用强化学习优化可懂度,从而在极端压缩水平下减少词错误率。
2026-11-13 cs.SD
Generative De-Quantization for Neural Speech Codec via Latent Diffusion
Electronics and Telecommunications Research Institute(韩国电子通信研究院)
本文提出将表示学习与重建分离,用端到端编码器学习离散令牌,并用潜在扩散模型去量化,在1.5和3 kbps低比特率下优于现有最优方法。
2023-11-15 cs.SD eess.AS
APCodec+: A Spectrum-Coding-Based High-Fidelity and High-Compression-Rate Neural Audio Codec with Staged Training Paradigm
National Engineering Research Center of Speech and Language Information Processing(国家语言语音信息处理工程研究中心);University of Science and Technology of China(中国科学技术大学)
该研究提出改进型神经音频编解码器APCodec+,以音频幅度和相位谱为编码对象,采用两阶段联合-独立训练范式降低解码器学习难度,在低比特率下实现了与更高比特率基线编解码器相当的性能。
2024-10-30 cs.SD eess.AS
PURE Codec: Progressive Unfolding of Residual Entropy for Speech Codec Learning
CMU(卡内基梅隆大学);SJTU(上海交通大学)
PURE编码器通过预训练语音增强模型指导多阶段量化,提升低比特率语音编码的训练稳定性与重建质量,尤其在嘈杂环境下表现优异。
2025-11-27 cs.SD eess.AS
Decoder-Side Semantic Conditioning for Low-Bitrate Neural Speech Compression
Department of Computer Science and Data Science, NYU Shanghai(纽约大学上海校区计算机科学与数据科学系);Department of Computer Science(计算机科学系)
SemDAC通过语义代码本提升神经语音压缩效率,实现更高效且适合识别的音频表示。
2026-09-09 cs.CL cs.LG cs.SD
Benchmarking Neural Speech Compression from a Rate-Distortion Perspective
School of Information Science and Electronic Engineering, Shanghai Jiao Tong University(信息科学与电子工程学院,上海交通大学)
提出熵约束编解码器ECC,通过标量量化与学习熵模型结合,在低比特率下实现优于传统和神经编解码器的率失真性能。
2026-06-11 cs.SD eess.AS
Tracing the Origins: Legacy Codec Identification in Neural Audio Transcoding
DGIST(大邱庆北科学技术院)
本研究针对神经音频转码掩盖遗留压缩痕迹的取证空白,提出基于Transformer的框架,利用RVQ序列的层次与时间依赖,实现97%以上准确率的编解码器识别,证明神经转码后传统痕迹仍可追溯。
2026-09-15 cs.MM cs.SD eess.AS
Cascaded Cross-Module Residual Learning towards Lightweight End-to-End Speech Coding
Indiana University(印第安纳大学);Electronics and Telecommunications Research Institute(电子与电信研究院)
语音编解码器学习语音信号的紧凑表示以促进数据传输。许多最近的基于深度神经网络(DNN)的端到端语音编解码器以模型复杂度为代价实现了低比特率和高感知质量。我们提出了一个跨模块的残差学习(CMRL)管道作为一个模块的载体,每个模块从它的前一个模块重建残差。CMRL与其他基于DNN的语音编解码器的不同之处在于,它不是在单个大型神经网络中建模语音压缩问题,而是在两阶段训练方案中优化一系列不太复杂的模块。所提出的方法显示出比AMR-WB和具有类似网络架构的最先进的基于DNN的语音编解码器更好的客观性能。作为端到端模型,它将原始PCM信号作为输入,但也与线性预测编码(LPC)兼容,在高比特率下表现出比AMR-WB和OPUS更好的主观质量。仅使用90万个可训练参数即可实现增益,这是一种比文献中其他基于DNN的编解码器复杂得多的架构。
2019-09-13 cs.LG cs.SD eess.AS
Evaluating Objective Speech Quality Metrics for Neural Audio Codecs
ETH Zurich(苏黎世联邦理工学院)
本研究评估了神经音频编解码器的客观语音质量度量标准,通过MUSHRA测试分析主观评分与客观度量标准的相关性,发现部分度量标准与人类感知一致,但部分难以捕捉失真。
2025-11-24 cs.SD
A Novel Semantic Compression Approach for Ultra-low Bandwidth Voice Communication
本文提出一种利用生成式语音模型高层语义表示的新型语义通信方法,在比特率降低2-4倍的情况下,于转录、情感分析和说话人验证任务上达到或超越现有音频编解码器,并在感知质量与说话人验证上超越Encodec。
2025-09-18 cs.SD eess.AS
Towards Bitrate-Efficient and Noise-Robust Speech Coding with Variable Bitrate RVQ
Department of Intelligence and Information(智能与信息系);Artificial Intelligence Institute(人工智能研究所)
针对噪声环境下语音编码比特率浪费问题,提出变比特率RVQ框架,动态调整每帧比特率并集成特征去噪器,在噪声条件下提升压缩效率与感知质量。
2025-06-19 cs.SD eess.AS
On the Design of Diffusion-based Neural Speech Codecs
Fraunhofer IIS(弗劳恩霍夫应用研究促进协会 IIS 研究所)
本文系统研究基于扩散模型的神经语音编解码器设计,提出按条件域和输出域分类的概念框架,探索新设计并与GAN及DM基线进行主客观对比评估。
2025-04-11 cs.AI cs.MM cs.SD
Low Frame-rate Speech Codec: a Codec Designed for Fast High-quality Speech LLM Training and Inference
NVIDIA Corporation(英伟达公司)
针对现有音频编解码器高帧率导致语音LLM训练推理慢的问题,提出结合有限标量量化与对抗训练的低帧率语音编解码器LFSC,在低比特率下实现高质量压缩,可使文本转语音推理提速约三倍且质量相当。
2024-09-18 cs.CL cs.SD eess.AS
Baseline Systems For The 2025 Low-Resource Audio Codec Challenge
Collaboration AI, Cisco Systems, Inc.(Collaboration AI,思科系统公司)
本文介绍了2025年低资源音频编解码器挑战赛的基线系统,采用带残差矢量量化的卷积神经编解码器,通过对抗与重建目标端到端训练,覆盖透明与增强两个赛道。
2025-10-07 cs.LG cs.SD
Narrowband Voice Communication Using Streaming Neural Compression
University of Maryland, College Park(马里兰大学帕克分校)
针对资源受限边缘设备上的低比特率语音通信难题,提出TinyCall轻量级神经音频编解码器,通过伪前瞻解码和RFSQ量化实现流式压缩,在树莓派3上以2.3 kbps比特率实时重建可懂语音。
2026-09-23 cs.SD
Code Drift: Towards Idempotent Neural Audio Codecs
Northwestern University(西北大学);Adobe Research(奥多比研究院)
针对神经音频编解码器被忽视的幂等性问题,研究发现现有模型多次编码后音频退化,通过微调提升幂等性且不影响下游性能,扩展其在文件压缩和迭代生成中的应用。
2025-04-14 cs.SD eess.AS
SNAC: Multi-Scale Neural Audio Codec
Papla Media(帕普拉媒体);ETH Zurich(苏黎世联邦理工学院)
本文提出多尺度神经音频编解码器SNAC,通过在不同时间分辨率上扩展残差矢量量化,实现更高效的音频压缩,并开源代码与模型权重。
2024-10-18 cs.LG cs.SD eess.AS
Scaling Transformers for Low-Bitrate High-Quality Speech Coding
Stability AI(稳定性人工智能公司)
针对语音标记化任务,本研究扩展大参数Transformer架构并结合灵活有限标量量化(FSQ)瓶颈,在400或700比特/秒极低比特率下实现最先进语音质量,且在主客观测试中显著优于现有基准。
2024-11-29 cs.AI cs.LG cs.SD
ComplexDec: A Domain-robust High-fidelity Neural Audio Codec with Complex Spectrum Modeling
Codec Avatars Lab(Codec Avatars实验室);Meta
本文提出48 kHz全频带神经音频编解码器ComplexDec,通过复数频谱建模缓解压缩信息损失,在24 kbps比特率下仅用30小时VCTK数据训练即实现领域外鲁棒性。
2025-02-04 cs.SD eess.AS