CMMD: Contrastive Multi-Modal Diffusion for Video-Audio Conditional Modeling
University of California Irvine(加利福尼亚大学欧文分校);Microsoft Research(微软研究院)
本研究提出用于视频音频双向条件生成的多模态扩散模型CMMD,通过联合对比损失和跨模态简易融合模块,在生成质量、速度及音视频对齐上优于基线。
2024-10-09 cs.CV cs.LG cs.MM
Two-Dimensional Quantization for Geometry-Aware Audio Coding
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev, Be’er Sheva, Israel(电气与计算机工程学院,内盖夫本· Gurion大学,贝尔谢巴,以色列)
本文提出了一种二维量化方法Q2D2,通过将特征对投影到结构化的2D网格上,提高了音频压缩效率,同时保持了最先进的重建质量。
2026-05-18 cs.AI cs.IT cs.LG
Conditional Generative Data Augmentation for Clinical Audio Datasets
Technical University of Munich(慕尼黑工业大学);University of Zurich(苏黎世大学);University Hospital Balgrist(巴尔格里斯特大学医院);Balgrist University Hospital(巴尔格里斯特大学医院)
本文提出基于 cWGAN-GP 的临床音频数据增强方法,在 log-mel 频谱图上生成逼真类别条件样本,并在全髋关节置换术真实手术室音频数据集上验证,使 ResNet-18 分类器的 Macro F1 平均提升 1.70%,优于经典音频增强方法。
2022-06-24 cs.LG cs.SD eess.AS
VQVC+: One-Shot Voice Conversion by Vector Quantization and U-Net architecture
National Taiwan University(台湾大学)
语音转换(VC)是将音频中源说话人的音色、口音和音调转换为另一个人的音色、口音和音调,同时保留语言内容的任务。这仍然是一个具有挑战性的工作,特别是在一个单一的设置。基于自动编码器的VC方法在不给出说话人身份的情况下将说话人和输入语音中的内容分离,因此这些方法可以进一步推广到看不见的说话人。解缠能力是通过矢量量化(VQ)、对抗训练或实例归一化(IN)来实现的。然而,不完美的解纠缠可能会损害输出语音的质量。在这项工作中,为了进一步提高音频质量,我们在基于自动编码器的VC系统中使用U-Net架构。我们发现,利用U-Net架构,强大的信息瓶颈是必要的。基于矢量量化的方法,量化的潜在向量,可以达到这个目的。客观和主观评价表明,该方法在音频自然度和说话人相似度方面都有较好的表现。
2020-06-07 cs.LG cs.SD eess.AS
BinauralGrad: A Two-Stage Conditional Diffusion Probabilistic Model for Binaural Audio Synthesis
University of Science and Technology of China(中国科学技术大学);Imperial College London(帝国理工学院);Microsoft Research Asia(微软亚洲研究院);Microsoft Azure Speech(微软Azure语音部门);University of Surrey(萨里大学);South China University of Technology(华南理工大学)
双耳音频在构建沉浸式增强现实和虚拟现实中起着重要作用。由于从真实世界录制双耳音频的成本很高,因此从单声道音频合成双耳音频引起了越来越多的关注。该合成过程不仅涉及单声道音频的基本物理扭曲,而且涉及房间混响和头/耳相关滤波,然而,这些在传统的数字信号处理中难以准确地模拟。在本文中,我们从不同的角度制定的合成过程,通过分解的双耳音频到一个共同的部分,共享的左,右通道,以及一个特定的部分,在每个通道不同。因此,我们提出了BinauralGrad,一个新的两阶段的框架,配备了扩散模型,分别合成它们。具体地,在第一阶段中,利用以单声道音频为条件的单声道扩散模型来生成双耳音频的公共信息,基于此,在第二阶段中通过双声道扩散模型来生成双耳音频。将这种两阶段合成的新视角与先进的生成模型(即,扩散模型),所提出的BinauralGrad能够生成准确和高保真的双耳音频样本。实验结果表明,在基准数据集上,BinauralGrad在对象和主题评估指标方面都大大优于现有基线(Wave L2:0.128 vs. 0.157,MOS:3.80 vs. 3.61)。生成的音频样本(https://speechresearch.github.io/binauralgrad)和代码(https://github.com/microsoft/NeuralSpeech/tree/master/BinauralGrad)可在线…
2022-11-29 cs.LG cs.SD eess.AS
HiFi-Codec: Group-residual Vector quantization for High Fidelity Audio Codec
Tencent AI Lab(腾讯人工智能实验室)
本文提出分组残差向量量化(GRVQ)技术,构建仅需4个码本的高保真音频编解码器HiFi-Codec,在重建性能上优于Encodec,并开源AcademiCodec工具包以促进研究。
2023-05-07 cs.SD eess.AS
In-Context Prompt Editing For Conditional Audio Generation
Meta AI;Saarland University(萨尔大学)
针对真实用户提示词导致文本到音频生成质量下降的问题,本文提出基于检索的上下文内提示词编辑框架,利用训练字幕作为示范改写提示词并提升音频质量。
2023-11-01 cs.CL cs.SD eess.AS
Neural Speech Coding for Real-time Communications using Constant Bitrate Scalar Quantization
Fraunhofer IIS, Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所(弗劳恩霍夫IIS))
本文提出基于投影标量量化(SQ)的神经语音编码替代方案,结合新的因果网络架构和STFT表示,在低复杂度、低延迟和低比特率下实现高效实时语音通信,无需额外损失或码本存储。
2024-09-19 cs.SD eess.AS
Cross-Scale Vector Quantization for Scalable Neural Speech Coding
Communication University of China(中国传媒大学);Microsoft Research Asia(微软亚洲研究院)
比特率可伸缩性是实时通信中音频编码的期望特征。现有的神经音频编解码器通常在训练过程中强制执行特定的比特率,因此需要为每个目标比特率训练不同的模型,这增加了发送方和接收方的内存占用,并且通常需要转码来支持多个接收方。在本文中,我们介绍了一种跨尺度可伸缩矢量量化方案(CSVQ),其中多尺度特征编码逐步特征融合和细化。以这种方式,如果仅接收到比特流的一部分,则重建粗级信号,并且随着更多比特可用,逐步提高质量。所提出的CSVQ方案可以灵活地应用于具有镜像自动编码器结构的任何神经音频编码网络,以实现比特率可伸缩性。主观实验结果表明,该方案优于经典的残差矢量量化(RVQ)的可扩展性。此外,所提出的CSVQ在3kbps下优于Opus在9kbps下和Lyra在3kbps下,并且随着比特率的增加,它可以提供优雅的质量提升。
2022-07-07 cs.LG cs.SD eess.AS
JukeDrummer: Conditional Beat-aware Audio-domain Drum Accompaniment Generation via Transformer VQ-VAE
Academia Sinica(中央研究院);National Cheng Kung University(台湾成功大学);Taiwan AI Labs(台湾人工智能实验室)
本文提出了一种模型,该模型在音频域中生成鼓轨道,以与用户提供的无鼓录音一起播放。具体来说,使用成对的数据的无鼓轨道和相应的人造鼓轨道,我们训练一个Transformer模型即兴鼓的一个看不见的无鼓记录的一部分。我们结合两种方法来编码输入音频。首先,我们训练一个矢量量化变分自编码器(VQ-VAE)来表示输入音频与离散代码,然后可以很容易地用于Transformer。其次,使用音频域节拍跟踪模型,我们计算输入音频的节拍相关特征,并将其用作Transformer中的嵌入。我们使用一个单独的VQ-VAE来将鼓音轨的梅尔频谱图编码成另一组离散代码,并训练Transformer来预测与鼓相关的离散代码的序列,而不是将鼓音轨直接生成为波形。然后,输出代码用解码器转换为梅尔频谱图,然后用声码器转换为波形。我们报告所提出的模型的变体的客观和主观评价,表明该模型与节拍信息生成鼓伴奏,是节奏和风格上与输入音频一致。
2022-10-31 cs.AI cs.LG cs.SD
C3LLM: Conditional Multimodal Content Generation Using Large Language Models
HKUST(香港科技大学);Dartmouth College(达特茅斯学院)
C3LLM提出一个统一框架,结合视频转音频、音频转文本和文本转音频任务,利用大语言模型作为跨模态桥梁,采用层次化离散音频生成,实现端到端多模态内容生成,提升语义对齐效果。
2024-05-25 cs.AI cs.CL cs.LG
Audio Generation with Multiple Conditional Diffusion Model
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Toshiba China R&D Center(东芝中国研发中心)
针对文本控制音频生成可控性不足的问题,提出多条件扩散模型,通过时间戳、音高和能量轮廓等额外条件实现细粒度控制,并构建新数据集验证效果。
2023-12-28 cs.CL cs.LG cs.SD
Switchcodec: Adaptive residual-expert sparse quantization for high-fidelity neural audio coding
SwitchCodec通过残差专家向量量化实现自适应稀疏量化,解耦码率与码本容量,提升压缩效率,并支持多码率操作。
2026-05-07 cs.AI cs.SD
On The Open Prompt Challenge In Conditional Audio Generation
Meta AI;Saarland University(萨尔大学)
针对TTA模型商业化中用户提示不明确的问题,研究将模型视为黑盒,用指令微调模型重写提示,结合边距排序学习的文本-音频对齐反馈提升音频质量,在主客观评估中均实现对齐度与音质的显著提升。
2023-11-01 cs.CL cs.SD eess.AS
CRASH: Raw Audio Score-based Generative Modeling for Controllable High-resolution Drum Sound Synthesis
Sony CSL(索尼计算机科学实验室);CentraleSupélec(巴黎中央理工-高等电力学院)
在本文中,我们提出了一种新的无条件原始音频合成的分数为基础的生成模型。我们的建议建立在扩散过程建模与随机微分方程的最新发展,这已经证明了有前途的结果图像生成。我们激励新的扩散过程更适合音频生成的选择,并考虑使用一个有条件的U-网近似的分数函数。虽然以前的方法对音频的扩散模型主要是设计为语音声码器在中等分辨率,我们的方法被称为CRASH(可控的原始音频合成与高分辨率)允许我们以可控的方式产生短的44.1kHz的混响声音。通过大量的实验,我们展示了鼓的声音生成任务的众多采样方案提供了我们的方法(无条件生成,确定性生成,修复,插值,变化,类条件采样),并提出了类混合采样,一种新的方式来生成“混合”的声音。我们提出的方法缩小了与基于GAN的方法在原始音频上的差距,同时提供了更灵活的生成功能,具有更轻和更小的训练模型。
2021-06-14 cs.LG cs.SD eess.AS
Conditional Flow Matching for Visually-Guided Acoustic Highlighting
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI,巴黎电信学院,巴黎理工学院);Meta
提出条件流匹配生成框架解决视觉引导音频重混中的多对多映射问题,通过滚动损失和跨模态融合模块实现优于判别方法的性能。
2026-10-09 cs.LG eess.AS
A Streamable Neural Audio Codec with Residual Scalar-Vector Quantization for Real-Time Communication
National Engineering Research Center of Speech and Language Information Processing(国家语音与语言信息处理工程研究中心);University of Science and Technology of China(中国科学技术大学)
本文提出StreamCodec,一种基于MDCT域全因果对称结构和残差标量-矢量量化(RSVQ)的可流式神经音频编解码器,在1.5 kbps下以20 ms延迟和7M参数实现接近20倍实时生成,音频质量媲美先进非流式编解码器。
2025-04-09 cs.SD
Zero-Shot Learning of a Conditional Generative Adversarial Network for Data-Free Network Quantization
Samsung Semiconductor Inc.(三星半导体公司)
本文提出了一种新的不使用训练数据训练条件生成对抗网络(CGAN)的方法,称为CGAN的零样本学习(Z-CGAN)。条件生成器的零样本学习只需要预先训练的判别(分类)模型,而不需要任何训练数据。具体地,条件生成器被训练以通过使用存储在预训练模型的批量归一化层中的统计数据来产生其特性模仿原始训练数据的标记的合成样本。我们展示了EST-CGAN在深度神经网络的无数据量化中的有用性。我们实现了在ImageNet数据集上训练的ResNet和MobileNet分类模型的最先进的无数据网络量化。无数据的量化使用EST-CGAN显示出最小的损失相比,通过传统的数据相关的量化获得的精度。
2022-10-26 cs.CV cs.LG cs.NE
SNAC: Multi-Scale Neural Audio Codec
Papla Media(帕普拉媒体);ETH Zurich(苏黎世联邦理工学院)
本文提出多尺度神经音频编解码器SNAC,通过在不同时间分辨率上扩展残差矢量量化,实现更高效的音频压缩,并开源代码与模型权重。
2024-10-18 cs.LG cs.SD eess.AS
QINCODEC: Neural Audio Compression with Implicit Neural Codebooks
Sony AI(索尼人工智能)
本文提出QINCODEC,一种对预训练自编码器潜在表示进行离线量化并可选微调解码器的神经音频编解码器,支持任意现成量化器,性能与基线相当且训练更简单。
2025-03-19 cs.SD eess.SP
Self-Supervised Audio-Visual Soundscape Stylization
University of California, Berkeley(加州大学伯克利分校);FAIR, Meta(Meta FAIR研究院);University of Michigan(密歇根大学)
提出基于自监督的视听声景风格化方法,利用latent diffusion模型和自然视频中的重复声音事件,将目标场景的声音特性迁移至输入语音,并证明视觉信号能提升声音预测能力。
2024-09-22 cs.CV cs.LG cs.MM
DiffWave: A Versatile Diffusion Model for Audio Synthesis
UCSD(加州大学圣迭戈分校);Baidu Research(百度研究院);NVIDIA(英伟达)
在这项工作中,我们提出了DiffWave,一个通用的扩散概率模型的条件和无条件的波形生成。该模型是非自回归的,通过马尔可夫链将白噪声信号转换为结构化波形,合成时具有恒定的步数。它是通过优化数据似然的变分界限的变体来有效训练的。DiffWave在不同的波形生成任务中生成高保真音频,包括基于mel频谱图的神经声编码,类条件生成和无条件生成。我们证明了DiffWave在语音质量方面与强大的WaveNet声码器相匹配(MOS:4.44与4.43),同时合成速度更快。特别是,在具有挑战性的无条件生成任务中,它在音频质量和来自各种自动和人工评估的样本多样性方面明显优于自回归和基于GAN的波形模型。
2021-03-30 cs.CL cs.LG cs.SD
MAVFlow: Preserving Paralinguistic Elements with Conditional Flow Matching for Zero-Shot AV2AV Multilingual Translation
KAIST AI(韩国科学技术院人工智能研究所);KAIST EE(韩国科学技术院电子工程系)
针对AV2AV翻译中说话人一致性难维持的问题,提出带音视频双模态引导的条件流匹配零样本渲染器MAVFlow,通过x-vectors增强语音一致性、传递情感细节,提升了合成语音与面部生成质量。
2025-07-30 cs.CV cs.LG cs.MM
Speech Audio Generation from dynamic MRI via a Knowledge Enhanced Conditional Variational Autoencoder
Department of Computer Science, The University of Hong Kong(香港大学计算机科学系);School of Software Engineering, Xi'an Jiaotong University(西安交通大学软件工程学院);Wake Forest University School of Medicine(威克森林大学医学学院);Department of Radiology, Harvard Medical School(哈佛医学院放射科)
本文提出KE-CVAE方法,通过动态MRI生成语音音频,解决MRI数据损坏和噪声问题,提升语音合成质量。
2025-12-01 cs.CV cs.SD
APCodec+: A Spectrum-Coding-Based High-Fidelity and High-Compression-Rate Neural Audio Codec with Staged Training Paradigm
National Engineering Research Center of Speech and Language Information Processing(国家语言语音信息处理工程研究中心);University of Science and Technology of China(中国科学技术大学)
该研究提出改进型神经音频编解码器APCodec+,以音频幅度和相位谱为编码对象,采用两阶段联合-独立训练范式降低解码器学习难度,在低比特率下实现了与更高比特率基线编解码器相当的性能。
2024-10-30 cs.SD eess.AS
NoreSpeech: Knowledge Distillation based Conditional Diffusion Model for Noise-robust Expressive TTS
Tencent AI Lab(腾讯人工智能实验室)
表达型文语转换(TTS)技术可以通过模仿参考音频中的韵律和音色来合成新的说话风格,但面临以下挑战:(1)参考音频中的韵律信息动态性强,难以提取,尤其是当参考音频中含有背景噪声时。(2)文语转换系统应该对看不见的说话风格有很好的泛化能力。本文提出了一种\textbf{no} ise-\textbf{r} obust \textbf{e} expressive TTS模型(NoreSpeech),它可以将带噪参考话语中的说话风格鲁棒地转换为合成语音。具体来说,我们的NoreSpeech包括几个组件:(1)一个新的DiffStyle模块,它利用强大的概率去噪扩散模型,通过知识蒸馏从教师模型中学习与噪声无关的说话风格特征;(2)一个VQ-VAE模块,它将风格特征映射到一个可控的量化潜在空间,以提高风格转移的泛化能力;以及(3)直接但有效的无参数文本样式对齐模块,其使得NoreSpeech能够将样式从长度不匹配的参考话语转移到文本输入。实验结果表明,在噪声环境下,NoreSpeech比以前的表达TTS模型更有效。音频样本和代码可从以下网址获得:\href{http://dongchaoyang.top/NoreSpeech\_demo/}{http://dongchaoyang.top/NoreSpeech\_demo/}
2022-11-04 cs.SD eess.AS
Improving Test-Time Performance of RVQ-based Neural Codecs
Supertone Inc.(Supertone公司);Center for Language and Speech Processing(语言与语音处理中心);Johns Hopkins University(约翰霍普金斯大学)
针对基于残差矢量量化(RVQ)的神经音频编解码器,提出一种测试时编码算法以优化码本选择,降低量化误差并提升合成质量,实验验证其有效性。
2025-09-23 cs.SD eess.AS
VaPar Synth -- A Variational Parametric Model for Audio Synthesis
Indian Institute of Technology Bombay(印度理工学院孟买分校);ENS Paris-Saclay(巴黎-萨克雷高等师范学院)
随着数据驱动的统计建模和丰富的计算能力的出现,研究人员越来越多地转向深度学习来进行音频合成。这些方法试图直接在时域或频域中对音频信号进行建模。为了更灵活地控制所生成的声音,利用更直接地对应于诸如音高、动态和音色的音乐属性的信号的参数表示来工作可能更有用。我们提出了VaPar合成器-变分参数合成器,它利用一个条件变分自动编码器(CVAE)训练一个合适的参数表示。我们证明了我们提出的模型的能力,通过重建和生成的乐器音调灵活控制其音高。
2020-03-30 cs.LG cs.SD eess.AS
APCodec: A Neural Audio Codec with Parallel Amplitude and Phase Spectrum Encoding and Decoding
University of Science and Technology of China(中国科学技术大学);National Engineering Research Center of Speech and Language Information Processing(国家语言语音信息处理工程研究中心)
APCodec是一种新型神经音频编解码器,通过并行处理幅度和相位谱实现高采样率低比特率编码,在6 kbps下质量优于现有方法且生成更快。
2024-09-24 cs.SD eess.AS
High-Fidelity Audio Compression with Improved RVQGAN
Descript, Inc.(Descript 公司)
本文提出一种基于改进RVQGAN的高保真通用神经音频压缩算法,在8kbps带宽下实现44.1 KHz音频约90倍压缩,统一处理语音、环境和音乐等多种音频,性能显著优于现有方法,并开源代码与模型权重。
2023-10-26 cs.LG cs.SD eess.AS
GS-Codec: A Gaussian-Splatting Bottleneck for Neural Audio Coding
School of Electrical and Computer Engineering(电气与计算机工程学院);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
GS-Codec提出用参数化信号分解替代量化器作为神经音频编码瓶颈,通过高斯溅射拟合一维潜在表示,实现训练后比特率控制,性能媲美EnCodec和DAC。
2026-10-06 cs.AI cs.LG cs.SD
Geometric Iterative Retrieval for Neural Audio Codec Resynthesis
ETH-DISCO
该研究针对神经音频编解码器从粗令牌重合成高质量音频的问题,提出几何迭代检索方法,在语音和音乐编解码器恢复任务上优于单次令牌预测和单步回归基线。
2026-08-20 cs.LG cs.SD
A Versatile Diffusion Transformer with Mixture of Noise Levels for Audiovisual Generation
Seoul National University(首尔国立大学);Google DeepMind(谷歌DeepMind);Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出噪声水平混合训练法,通过跨时间与模态设置可变扩散时间步,使单个基于 Transformer 的视听潜扩散模型以任务无关方式支持多种视听生成,并在一致性上优于基线。
2024-05-22 cs.CV cs.LG cs.MM
Gull: A Generative Multifunctional Audio Codec
本文提出Gull,一种生成式多功能神经音频编解码器,通过子带建模、增益-形状表示、改进残差向量量化和弹性解码器设计,在多种采样率与比特率下实现与现有方法相当或更优的压缩性能,并内置不增加比特率的音频超分辨率能力。
2024-06-07 cs.AI cs.LG cs.SD
AudioGen: Textually Guided Audio Generation
Meta AI;The Hebrew University of Jerusalem(希伯来大学)
我们解决的问题,生成音频样本的条件下描述性的文本标题。在这项工作中,我们提出了AaudioGen,一个自回归生成模型,生成音频样本的文本输入的条件。AudioGen对学习的离散音频表示进行操作。文本到音频生成的任务提出了多个挑战。由于音频通过介质传播的方式,区分"对象“可能是一项困难的任务(例如,多人同时说话)。这由于真实世界的记录条件(例如,背景噪声、混响等)。稀少的文本注释施加了另一个约束,限制了缩放模型的能力。最后,对高保真音频进行建模需要以高采样率对音频进行编码,从而导致极长的序列。为了缓解上述挑战,我们提出了一种增强技术,可以混合不同的音频样本,驱动模型在内部学习分离多个源。我们策划了10个包含不同类型音频和文本注释的数据集,以处理文本音频数据点的稀缺性。为了更快的推理,我们探索使用多流建模,允许使用更短的序列,同时保持类似的比特率和感知质量。我们应用无分类器引导来提高对文本的遵守。与评估的基线相比,AudioGen在客观和主观指标上都优于其他指标。最后,我们探讨了所提出的方法产生音频连续条件和无条件的能力。样品:https://felixkreuk.github.io/audiogen
2023-03-05 cs.CL cs.LG cs.SD
Audio-Visual Speech Enhancement with Score-Based Generative Models
Universität Hamburg(汉堡大学)
提出一种以视觉信息为条件、融合自监督视听嵌入与扩散模型的语音增强系统,实验证明其可提升语音质量、减少伪影并显著降低低信噪比下的ASR词错误率。
2023-06-02 cs.LG eess.AS
Baseline Systems For The 2025 Low-Resource Audio Codec Challenge
Collaboration AI, Cisco Systems, Inc.(Collaboration AI,思科系统公司)
本文介绍了2025年低资源音频编解码器挑战赛的基线系统,采用带残差矢量量化的卷积神经编解码器,通过对抗与重建目标端到端训练,覆盖透明与增强两个赛道。
2025-10-07 cs.LG cs.SD
Make Some Noise: Towards LLM audio reasoning and generation using sound tokens
KTH Royal Institute of Technology(瑞典皇家理工学院);Microsoft Research(微软研究院)
本研究提出结合变分量化与条件流匹配的音频标记方法,实现0.23kbps超低比特率离散标记,使LLM具备音频理解与生成能力,并在音频理解上达到先进水平,但生成效果有待提升。
2025-03-28 cs.AI cs.SD eess.AS
UniTTS: An end-to-end TTS system without decoupling of acoustic and semantic information
International Digital Economy Academy(国际数字经济学院);IDEA&Emdoor Collaborative Laboratory(IDEA与Emdoor协同实验室);Emdoor Information Co., Ltd(Emdoor信息有限公司);Shenzhen Yijiayiban Information Technology Co., Ltd(深圳艺佳iban信息技术有限公司)
针对LLM-TTS中语义与声学信息不对齐导致音频信息受限的问题,提出DistilCodec单码本编解码器及UniTTS端到端系统,通过三阶段训练整合跨模态自回归,实现高效语音合成。
2025-05-23 cs.AI cs.SD eess.AS
Tracing the Origins: Legacy Codec Identification in Neural Audio Transcoding
DGIST(大邱庆北科学技术院)
本研究针对神经音频转码掩盖遗留压缩痕迹的取证空白,提出基于Transformer的框架,利用RVQ序列的层次与时间依赖,实现97%以上准确率的编解码器识别,证明神经转码后传统痕迹仍可追溯。
2026-09-15 cs.MM cs.SD eess.AS
Exploring Token-Space Manipulation in Latent Audio Tokenizers
Mila – Québec AI Institute(魁北克人工智能研究所);Université Laval(拉瓦尔大学);Concordia University(康科迪亚大学)
本文提出LATTE,通过在音频特征序列后添加固定可学习潜在标记,实现标记空间编辑,支持低比特率语音编码中的可控音频操控。
2026-05-11 cs.AI cs.LG cs.SD
Low Frame-rate Speech Codec: a Codec Designed for Fast High-quality Speech LLM Training and Inference
NVIDIA Corporation(英伟达公司)
针对现有音频编解码器高帧率导致语音LLM训练推理慢的问题,提出结合有限标量量化与对抗训练的低帧率语音编解码器LFSC,在低比特率下实现高质量压缩,可使文本转语音推理提速约三倍且质量相当。
2024-09-18 cs.CL cs.SD eess.AS
ArchiSound: Audio Generation with Diffusion
ETH Zurich(苏黎世联邦理工学院)
最近流行的扩散模型的图像生成带来了新的关注,这些模型在媒体生成的其他领域的潜力。一个尚未充分探索的领域是扩散模型在音频生成中的应用。音频生成需要了解多个方面,例如时间维度,长期结构,多层重叠声音以及只有经过训练的听众才能检测到的细微差别。在这项工作中,我们调查的潜力扩散模型音频生成。我们提出了一组模型来解决多个方面的问题,包括一种使用堆叠的1D U网进行文本条件潜在音频扩散的新方法,该方法可以从文本描述中生成多分钟的音乐。对于每个模型,我们都努力保持合理的推理速度,目标是在单个消费者GPU上实现实时。除了经过训练的模型,我们还提供了一系列开源库,希望能够简化该领域未来的工作。样品可以在https://bit.ly/audio-diffusion上找到。代码位于https://github.com/archinetai/audio-diffusion-pytorch。
2023-01-30 cs.CL cs.SD eess.AS
How Should We Extract Discrete Audio Tokens from Self-Supervised Models?
Concordia University(康考迪亚大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Avignon Université(阿维尼翁大学);Telecom Paris(巴黎电信学院);Université de Montréal(蒙特利尔大学);Université Laval(拉瓦尔大学)
本文研究从自监督模型中提取离散音频令牌的最佳配置,提出跨多层SSL训练通用声码器,并利用注意力机制识别任务关键层,以提升语义令牌在判别与生成任务中的适应性和性能。
2024-06-15 cs.AI cs.CL cs.SD
The Equalizer: Introducing Shape-Gain Decomposition in Neural Audio Codecs
Inria at Univ. Grenoble Alpes, CNRS, LJK, France(法国 Grenoble 阿尔卑斯大学 Inria 分校、CNRS、LJK);Univ. Grenoble Alpes, Grenoble-INP, GIPSA-lab, France(法国 Grenoble 阿尔卑斯大学、Grenoble-INP、GIPSA-lab)
本研究提出在神经音频编解码器中引入形状-增益分解,以提高编码效率和比特率-失真性能。
2026-07-28 cs.AI cs.SD
UniverSR: Unified and Versatile Audio Super-Resolution via Vocoder-Free Flow Matching
Dept. of Electrical \& Electronic Engineering, Yonsei University, Seoul, South Korea
UniverSR提出了一种无需编解码器的音频超分辨率方法,通过流匹配生成模型直接重建波形,提升音频质量和效率。
2026-02-05 cs.AI cs.SD eess.AS
MERIT: Learning Disentangled Music Representations for Audio Similarity
MERIT: Learning Disentangled Music Representations for Audio Similarity(MERIT:学习解耦音乐表示以实现音频相似性)
针对现有音乐相似性模型将旋律、节奏和音色等维度纠缠在一起的问题,提出MERIT框架,通过条件音频生成和源分离茎的训练策略学习解耦的因子特定表示,实现各维度独立响应。
2026-05-26 cs.SD
EscFOA: Enhancing Spatial Learning for Visually Impaired Learners via Generative Spatial Audio in 360-Degree Educational Environments
Ziyu Luo ∗ , Xiaowei Dai ∗ , Siying Zhu † (Correspondence), Xiaoming Chen ∗ (Correspondence)(无)
研究针对360度教育环境中视障学习者空间学习受限问题,提出EscFOA框架,通过整合3DGS与条件扩散模型生成空间音频,在支持蒙眼参与者空间学习行为上优于传统音频,证明其能助力视障者访问复杂空间学习材料。
2026-07-09 cs.SD
HARP: Harmonic-Aware Residual Partitioning for Neural Audio Codecs
Georgia Institute of Technology(佐治亚理工学院);The Chinese University of Hong Kong(香港中文大学);Tencent Music Entertainment(腾讯音乐娱乐集团)
研究针对神经音频编解码器中码本频谱纠缠等问题,提出HARP训练策略,将RVQ阶段分组,在解码器能访问低频时各小组细化目标频带,重建泛音保留连贯性,该策略无需架构改变,性能优于标准RVQ和并行分解。
2026-07-21 cs.SD
Variable Bitrate Residual Vector Quantization for Audio Coding
Sony AI(索尼人工智能);Sony Group Corporation(索尼集团);IPAI;AIIS;Department of Intelligence and Information(智能与信息系)
针对神经音频压缩模型中固定码本数量导致率失真权衡不佳的问题,提出可变比特率残差向量量化(VRVQ),通过自适应调整每帧码本数量并结合梯度估计方法优化训练,显著提升了编码效率与模型性能。
2025-04-27 cs.LG cs.SD eess.AS
Neural Audio Codec for Robust Audio Deepfake Detection
Yonsei University(延世大学);MAAP Lab(MAAP实验室);The University of Tokyo(东京大学);University of Michigan(密歇根大学)
针对低比特率编码导致音频深度伪造检测性能下降的问题,提出保留取证信息的神经音频编解码器FP-NAC,通过检测器引导微调在ASVspoof 2019 LA上将EER最多降低49.8个百分点,并提升多个检测器性能。
2026-10-01 cs.MM cs.SD
A Fast Audio Clustering Using Vector Quantization and Second Order Statistics
本文描述了一种有效的无监督说话人索引方法。我们提出了一个两阶段的算法,以加快国家的最先进的算法的基础上贝叶斯信息准则(BIC)。在合并过程的第一阶段,使用基于矢量量化(VQ)的计算成本低的方法。然后,在第二阶段中,应用基于BIC的计算更昂贵的技术。在说话人索引任务中,使用转向参数或阈值。我们建议一个在线程序来定义的车削参数的值,而不使用开发数据。使用10小时的音频数据评估结果。
2010-09-23 cs.LG cs.SD
Audio-visual Speech Enhancement Using Conditional Variational Auto-Encoders
Inria Grenoble Rhône-Alpes(法国国立信息学与自动化研究院罗讷-阿尔卑斯格勒诺布尔研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CentraleSupélec(中央理工-高等电力学院);GIPSA-Lab(GIPSA实验室)
变分自动编码器(VAE)是深度生成潜变量模型,可用于学习复杂数据的分布。VAE已经成功地用于学习语音信号的概率先验,然后用于执行语音增强。这种生成方法的一个优点是,它在训练时不需要成对的干净和有噪声的语音信号。在本文中,我们提出了视听变体的VAE单通道和扬声器无关的语音增强。我们开发了一个条件VAE(CVAE)的音频语音生成过程是有条件的嘴唇区域的视觉信息。在测试时,视听语音生成模型与基于非负矩阵分解的噪声模型相结合,语音增强依赖于蒙特卡洛期望最大化算法。实验进行了最近发表的NTCD-TIMIT数据集以及GRID语料库。实验结果表明,提出的音视频CVAE模型有效地融合了音视频信息,与纯音频VAE模型相比,提高了语音增强性能,特别是在语音信号受噪声严重污染的情况下。我们还表明,所提出的无监督视听语音增强方法优于最先进的监督深度学习方法。
2020-05-26 cs.LG cs.SD eess.AS
Post-Training Quantization for Audio Diffusion Transformers
Courant Institute of Mathematical Sciences, New York University, NY, USA(Courant数学科学研究所,纽约大学);MARL, New York University, NY, USA(MARL,纽约大学);IDM, New York University, NY, USA(IDM,纽约大学)
针对音频扩散Transformer部署时计算与存储成本高的问题,本文评估训练后量化技术,提出两种优化方法,实验证明低精度量化可降内存达79%且保持生成质量。
2025-09-30 cs.SD eess.AS