Optimizing Audio Compression Through Entropy-Controlled Dithering
Rutgers University(罗格斯大学)
本文研究结合噪声整形与熵参数的 TPDF 抖动,在多类音频中用 VISQOL、STOI 评估,证明其优于 RPDF,并提供可定制 DAW 插件。
2025-01-09 cs.SD eess.AS
Audio Compression Using Graph-based Transform
Iran Broadcasting University(伊朗广播大学)
基于图的变换是近年来发展起来的一种变换编码方法,它已成功地应用于数据去相关处理中。在本文中,我们提出了一个基于图形的变换(GT)的音频压缩。因此,我们为音频引入适当的图结构。然后将音频帧投影到由引入的图矩阵的特征向量组成的正交矩阵上,从而得到稀疏系数。实验结果表明,该方法在去相关效果上优于传统的离散余弦变换(DCT)和沃尔什-哈达玛变换(WHT)。
2019-04-13 cs.SD eess.AS eess.SP
Neural-Enhanced Dynamic Range Compression Inversion: A Hybrid Approach for Restoring Audio Dynamics
IBISC (EA4526), Univ. Evry - Paris-Saclay(IBISC(EA4526)研究所,欧比-巴黎-萨克雷大学)
针对现有DRC反演方法忽略关键参数或依赖难估计的精确参数的问题,提出结合模型反演与神经网络的混合方法,实现稳健的参数估计与音频恢复,在音乐和语音数据集上优于多种最先进技术。
2025-09-09 cs.AI cs.SD eess.AS
High-Fidelity Audio Compression with Improved RVQGAN
Descript, Inc.(Descript 公司)
本文提出一种基于改进RVQGAN的高保真通用神经音频压缩算法,在8kbps带宽下实现44.1 KHz音频约90倍压缩,统一处理语音、环境和音乐等多种音频,性能显著优于现有方法,并开源代码与模型权重。
2023-10-26 cs.LG cs.SD eess.AS
High-Fidelity Generative Audio Compression at 0.275kbps
Institute of Artificial Intelligence (TeleAI), China Telecom(人工智能研究所(TeleAI),中国电信)
本研究提出生成音频压缩(GAC)方法,在0.275kbps比特率下实现高保真音频压缩,显著优于现有神经编码器。
2026-01-31 cs.SD eess.AS
OmniMem: Perturbation-aware Memory Compression for Streaming Audio-Visual LLMs
Tsinghua University(清华大学);ByteDance(字节跳动);Department of Engineering, University of Cambridge(剑桥大学工程系)
提出OmniMem,一种针对音视频LLM的流式记忆压缩框架,通过模态感知分配和扰动感知选择压缩KV缓存,在保持长视频理解的同时减少内存,在多个基准上提升2-4%准确率。
2026-05-26 cs.AI cs.CV cs.SD
Audio Dequantization for High Fidelity Audio Generation in Flow-based Neural Vocoder
Korea University(高丽大学);Netmarble Corporation(网石公司)
在最近的工作中,基于流的神经声码器在实时语音生成任务中表现出显着的改善。可逆流操作的序列允许模型将样本从简单分布转换为音频样本。然而,在离散音频数据上训练连续密度模型会由于潜在分布和实际分布之间的拓扑差异而降低模型性能。为了解决这个问题,我们提出了音频去量化方法在基于流的神经声码器高保真音频生成。数据去量化是图像生成中众所周知的方法,但尚未在音频域中进行研究。为此,我们在基于流的神经声码器中实现了各种音频去量化方法,并研究了其对生成音频的影响。我们进行了各种客观的性能评估和主观评价,以表明音频去量化可以提高音频生成质量。从我们的实验中,使用音频去量化产生波形音频具有更好的谐波结构和更少的数字伪影。
2020-08-16 cs.CL cs.SD eess.AS
HILCodec: High-Fidelity and Lightweight Neural Audio Codec
Seoul National University(首尔大学);Institute of New Media and Communications(新媒体与通信研究所)
本文提出HILCodec,通过方差受限设计解决SEANet编解码器性能不随深度增加的问题,并引入无失真判别器,实现了实时流式的高保真轻量级神经音频编解码。
2024-09-24 cs.SD eess.AS
Deep Neural Networks and End-to-End Learning for Audio Compression
Handong Global University(韩东国际大学)
最近在端到端深度学习方面取得的成就鼓励人们探索使用统一的深度网络模型处理高度结构化数据的任务。具有这样的用于压缩音频信号的模型是具有挑战性的,因为它需要不容易用端到端反向传播训练的离散表示。在本文中,我们提出了一种端到端的深度学习方法,该方法将递归神经网络(RNN)与变分自编码器(VAE)的训练策略结合起来,并使用潜在空间的二进制表示。我们对离散表示的伯努利分布应用重新参数化技巧,这允许平滑的反向传播。此外,我们的方法允许分离的编码器和解码器,这是必要的压缩任务。据我们所知,这是第一次使用RNN对单个音频压缩模型进行端到端学习,我们的模型实现了20.54的信号失真比(SDR)。
2021-07-13 cs.LG cs.SD eess.AS
AudioTETRIS: Token Elimination via Transitional Importance Signals for Efficient Audio LLMs
Eindhoven University of Technology(埃因霍温理工大学)
AudioTETRIS是一种无训练的两阶段音频令牌压缩框架,利用音频编码器的表示几何作为声学先验,在多个音频大语言模型上仅用25%令牌即可保留接近未压缩性能,优于现有无训练基线。
2026-10-12 cs.AI cs.SD eess.AS
Towards Audio Token Compression in Large Audio Language Models
MIT(麻省理工学院);IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室);Tuebingen AI Center/University of Tuebingen(图宾根人工智能中心/图宾根大学)
本文提出通过无监督分割和低秩适配器技术,压缩音频标记以提升大型音频语言模型在资源受限平台上的性能。
2026-08-21 cs.AI cs.CL eess.AS
SALAD-VAE: Semantic Audio Compression with Language-Audio Distillation
Microsoft Research(微软研究院)
提出SALAD-VAE,一种频域连续紧凑语义音频变分自编码器,以7.8 Hz低帧率实现高压缩比和高质量重建,通过对比学习与CLAP蒸馏增强语义,在分类基准上优于同类模型,并支持零样本音频字幕生成。
2025-10-08 eess.AS
AudioGAN: A Compact and Efficient Framework for Real-Time High-Fidelity Text-to-Audio Generation
KT Corporation(KT公司)
AudioGAN通过单次通过生成音频,以更少的参数和更快的速度实现高保真文本到音频生成。
2025-12-17 cs.SD eess.AS
STFTCodec: High-Fidelity Audio Compression through Time-Frequency Domain Representation
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);International Digital Economy Academy (IDEA)(国际数字经济学院(IDEA));Shenzhen Graduate School, Peking University(北京大学深圳研究生院)
本研究提出新型神经音频编解码器STFTCodec,利用STFT构建紧凑频谱表示并引入解包裹相位导数作为辅助特征,采用并行幅相处理分支,在放宽相位重建约束的同时保持相位感知,实现了多比特率下优于现有方法的感知质量,且压缩比调节灵活。
2025-03-21 cs.SD eess.AS
High-Fidelity Audio Generation and Representation Learning with Guided Adversarial Autoencoder
University of Southern Queensland(南昆士兰大学);Imperial College London(帝国理工学院);University of Augsburg(奥格斯堡大学)
从无标签音频数据中进行无监督的解纠缠表示学习和高保真音频生成已经成为机器学习研究领域的两个关键。然而,从无监督设置中学习的表示并不能保证其对于手头的任何下游任务的可用性,如果训练是针对该特定的后续工作进行的,则这可能是资源的浪费。此外,在表示学习过程中,如果模型高度偏向下游任务,它就会失去直接有利于下游任务的泛化能力,但也失去了将其扩展到其他相关任务的能力。因此,为了填补这一空白,我们提出了一种新的基于自动编码器的模型,名为“Guided Adversarial Autoencoder(GAAE)”,它可以学习任务后特定的表示和一般表示,利用一小部分标记样本捕获训练数据中的变化因素;因此,使其适合未来的相关任务。此外,我们提出的模型可以生成具有优异质量的音频,这是从真实的音频样本难以区分。因此,通过大量的实验结果,我们已经证明,通过利用高保真音频生成的能力,所提出的GAAE模型可以从未标记的数据集中学习强大的表示,利用较少百分比的标记数据作为监督/指导。
2020-10-17 cs.LG cs.SD eess.AS
Spiking Music: Audio Compression with Event Based Auto-encoders
EPFL(洛桑联邦理工学院);Laboratory of Computational Neuroscience(计算神经科学实验室)
本文提出一种基于事件的自编码器音频压缩方法,利用深度二元自编码器在高稀疏度下生成尖峰表示,在MAESTRO数据集上实现与向量量化自编码器相当的压缩性能,并自发涌现出与钢琴键敲击同步的选择性编码。
2024-02-02 cs.LG cs.NE cs.SD
Audio compression-assisted feature extraction for voice replay attack detection
The Chinese University of Hong Kong, Shenzhen (CUHK-Shenzhen)(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院);Huawei Technology(华为技术有限公司);Huawei International(华为国际)
针对语音重放攻击检测,提出利用音频压缩丢失信息提取信道噪声特征的方法,在ASVspoof 2021 PA集上取得22.71%的最低EER。
2023-10-10 cs.SD eess.AS
Abstract Compression of Conversational Audio Context for LLM-based ASR
本文研究了多模态上下文对基于LLM的ASR的提升效果及高效表示方法,提出抽象压缩技术以减少先前对话的音频负载,实验证明其在领域内和领域外数据集上均有效。
2026-10-21 cs.AI cs.CL cs.LG
MBCodec:Thorough disentangle for high-fidelity audio compression
Tsinghua University(清华大学);AMAP Speech(AMAP语音)
本文提出MBCodec,一种基于残差向量量化的多码本音频编解码器,通过自监督语义标记、子带特征和自适应训练策略彻底解耦语义与声学信息,实现24 kHz音频170倍压缩至2.2 kbps的近无损重建。
2025-09-21 cs.SD eess.AS
Forensic Analysis and Localization of Multiply Compressed MP3 Audio Using Transformers
Purdue University(普渡大学);Politecnico di Milano(米兰理工大学)
音频信号通常以压缩格式存储和传输。在众多可用的音频压缩方案中,MPEG-1音频层III(MP3)是非常流行和广泛使用的。由于MP3是有损的,它会在压缩音频中留下特征痕迹,这些痕迹可用于取证,以暴露音频文件的过去历史。在本文中,我们考虑的情况下,压缩和未压缩的音频信号的时间拼接完成的音频信号操纵。我们提出了一种基于Transformer网络的拼接点时间定位方法。我们的方法识别音频信号的哪些时间部分在时间帧级别(这是MP3压缩的最小时间单位)经历了单次或多次压缩。我们在486,743个MP3音频片段的数据集上测试了我们的方法。我们的方法取得了更高的性能和表现出的鲁棒性与不同的MP3数据相比,与现有的方法。
2022-04-28 cs.MM cs.SD eess.AS
HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation
针对视频生成中同步音频缺失的问题,提出HunyuanVideo-Foley端到端框架,通过100k小时数据集、表示对齐策略及多模态扩散transformer,实现高保真且与视觉动态和语义对齐的拟音音频生成,性能达SOTA。
2025-08-23 cs.CV cs.SD eess.AS
Making deep neural networks work for medical audio: representation, compression and domain adaptation
McGill University(麦吉尔大学)
本研究聚焦婴儿哭声医疗分析,从迁移学习、张量分解模型压缩、音频域适应、开源数据集发布四方面突破医疗音频机器学习技术瓶颈,为低成本可及的AI音频医疗监测奠定基础。
2025-05-24 cs.AI cs.SD eess.AS
MelTok: 2D Tokenization for Single-Codebook Audio Compression
International Digital Economy Academy (IDEA)(国际数字经济学院);Chinese University of Hong Kong(香港中文大学);Shenzhen Graduate School, Peking University(北京大学深圳研究生院);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生学院)
MelTok通过二维分token化和基于分token的vocoder,实现单代码本下的高效音频压缩与高质量重建。
2025-12-04 cs.SD eess.AS
Multi-channel Acoustic Modeling using Mixed Bitrate OPUS Compression
最近的文献表明,具有多通道音频输入的学习前端可以优于用于自动语音识别(ASR)的传统波束形成算法。在本文中,我们提出了我们的研究多通道声学建模使用OPUS压缩与不同的比特率为不同的渠道。我们分析了字出错率(WER)作为音频编码比特率的函数的退化,并表明WER相对于未压缩音频在16kpbs时退化了12.6%。我们表明,它总是更可取的是有一个多通道的音频输入在一个单一的通道音频输入给定的有限带宽。我们的研究结果表明,对于最佳WER,当两个通道中的一个可以用高于32kbps的比特率编码时,最佳的是用尽可能高的比特率编码另一个通道。对于低于该值的比特率,最好在两个通道之间平均分配比特率。我们进一步表明,通过在混合比特率输入上训练声学模型,使用单个模型可以恢复高达50%的退化。
2020-02-01 cs.SD eess.AS
Discrete Audio Representation as an Alternative to Mel-Spectrograms for Speaker and Speech Recognition
NVIDIA(英伟达)
本文系统评估了基于压缩的离散音频分词在说话人验证、说话人分离和多语言语音识别任务中的表现,发现其性能与梅尔频谱图接近且对窄带数据更鲁棒,并可在20倍压缩下保持较低性能损失,同时揭示了RVQ分词器的低通特性。
2023-09-19 cs.SD eess.AS
Music2Latent: Consistency Autoencoders for Latent Audio Compression
Queen Mary University of London(伦敦玛丽女王大学);Sony Computer Science Laboratories(索尼计算机科学实验室)
针对现有音频自编码器的训练复杂、采样慢、重建质量低问题,提出基于一致性模型的Music2Latent音频自编码器,通过多项创新实现单步高保真重建,性能优于同类模型且首次实现端到端训练。
2024-08-12 cs.LG cs.SD eess.AS
Guided Generative Adversarial Neural Network for Representation Learning and High Fidelity Audio Generation using Fewer Labelled Audio Data
University of Southern Queensland(南昆士兰大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);Imperial College London(帝国理工学院);University of Augsburg(奥格斯堡大学)
生成对抗神经网络(GANs)的最新改进已经显示出它们能够生成更高质量的样本,并学习用于迁移学习的良好表示。大多数基于GANs的表示学习方法学习表示,忽略了它们的使用后场景,这可能导致泛化能力的提高。但是,如果模型是用于特定任务的,它可能会变得多余。例如,假设我们有一个巨大的未标记的音频数据集,我们想从这个数据集中学习一个表示,这样它就可以用来提高一个小的标记音频数据集的情感识别性能。在表征学习训练过程中,如果模型不知道后情绪识别任务,它可以完全忽略学习表征中的情绪相关特征。这是任何无监督表示学习模型的根本挑战。在本文中,我们的目标是通过提出一种新的GAN框架来解决这一挑战:引导生成神经网络(GGAN),它引导GAN专注于学习所需的表示,并利用更少的标记样本为音频数据生成高质量的样本。实验结果表明,使用非常少量的标记数据作为指导,GGAN学习更好的表示。
2020-06-01 cs.LG cs.SD eess.AS
From Discrete Tokens to High-Fidelity Audio Using Multi-Band Diffusion
FAIR Team, Meta(Meta FAIR团队);Universite de Lorraine, CNRS, Inria, LORIA(洛林大学,法国国家科学研究中心,法国国家信息与自动化研究所,洛林计算机科学实验室);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
针对现有低码率离散表征音频生成易出伪影、扩散模型应用受限的问题,提出高保真多带扩散框架,可生成多类音频,同码率下感知质量优于现有最优技术,相关资源已开源。
2023-11-08 cs.LG cs.SD eess.AS
A High Fidelity and Low Complexity Neural Audio Coding
Tencent Ethereal Audio Lab(腾讯天籁音频实验室);Tencent AI Lab(腾讯人工智能实验室)
针对神经音频编码中高频表达差、计算存储成本高的问题,提出集成神经网络与传统信号处理的框架,并设计感知损失和GAN压缩,在主观客观指标上超越先进方法,支持实时推理。
2023-10-17 cs.SD eess.AS
A Novel Semantic Compression Approach for Ultra-low Bandwidth Voice Communication
本文提出一种利用生成式语音模型高层语义表示的新型语义通信方法,在比特率降低2-4倍的情况下,于转录、情感分析和说话人验证任务上达到或超越现有音频编解码器,并在感知质量与说话人验证上超越Encodec。
2025-09-18 cs.SD eess.AS
ComplexDec: A Domain-robust High-fidelity Neural Audio Codec with Complex Spectrum Modeling
Codec Avatars Lab(Codec Avatars实验室);Meta
本文提出48 kHz全频带神经音频编解码器ComplexDec,通过复数频谱建模缓解压缩信息损失,在24 kbps比特率下仅用30小时VCTK数据训练即实现领域外鲁棒性。
2025-02-04 cs.SD eess.AS
Perceptually-motivated Spatial Audio Codec for Higher-Order Ambisonics Compression
本文针对高阶 Ambisonics 声道数过多、难以适应低带宽传输的问题,提出基于 HO-DirAC 的参数化空间音频编解码器,并通过五阶 HOA 听音测试验证其在低至中高比特率下的压缩质量提升。
2024-01-24 eess.AS eess.SP
Audio Compression using Periodic Gabor with Biorthogonal Exchange: Implementation Using the Zak Transform
Soreq Nuclear Research Center(索雷克核研究中心);Weizmann Institute of Science(魏茨曼科学研究所)
本文提出一种基于周期Gabor基组与双正交交换的音频压缩新方法,利用快速Zak变换高效实现,在音乐和语音样本上优于STFT,并大多优于DWT。
2025-03-17 cs.SD eess.AS eess.SP
APCodec+: A Spectrum-Coding-Based High-Fidelity and High-Compression-Rate Neural Audio Codec with Staged Training Paradigm
National Engineering Research Center of Speech and Language Information Processing(国家语言语音信息处理工程研究中心);University of Science and Technology of China(中国科学技术大学)
该研究提出改进型神经音频编解码器APCodec+,以音频幅度和相位谱为编码对象,采用两阶段联合-独立训练范式降低解码器学习难度,在低比特率下实现了与更高比特率基线编解码器相当的性能。
2024-10-30 cs.SD eess.AS
Robust Lossy Audio Compression Identification
Universal Music Group(环球音乐集团)
本文揭示有损音频压缩识别模型对未见编解码器参数缺乏鲁棒性,并提出随机掩码频谱图的训练策略以显著提升模型泛化能力。
2024-07-31 cs.SD eess.AS
InspireMusic: Integrating Super Resolution and Large Language Model for High-Fidelity Long-Form Music Generation
Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室)
InspireMusic框架结合自回归Transformer与超分辨率流匹配模型,利用单码本音频分词器,实现了基于文本和音频提示的高保真、长达8分钟的长篇幅音乐可控生成。
2025-02-28 cs.AI cs.CL cs.SD
Barwise Compression Schemes for Audio-Based Music Structure Analysis
Univ Lyon(里昂大学);INSA-Lyon(里昂国立应用科学学院);UCBL(里昂第一大学);Univ Rennes(雷恩大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);IRISA(信息与随机系统研究所);UJM-Saint Etienne(圣艾蒂安大学);Inserm(法国国家健康与医学研究院);CREATIS(CREATIS研究中心)
音乐结构分析(MSA)是将一首音乐作品分割成几个不同的部分。我们在压缩框架内处理MSA,假设结构更容易由歌曲原始内容的简化表示来揭示。更具体地说,假设MSA与发生在酒吧尺度的相似性相关,本文介绍了使用线性和非线性压缩方案的barwise音频信号。压缩表示捕捉歌曲中不同小节的最显著的成分,然后使用动态规划算法来推断歌曲结构。这项工作探讨了两个低秩近似模型,如主成分分析或非负矩阵分解和“piece-specific”自动编码神经网络,其目标是学习特定于给定歌曲的潜在表示。这种方法不依赖于监督,也不依赖于注释,这是众所周知的,是乏味的收集和可能在MSA描述模糊。在我们的实验中,几种无监督压缩方案在RWC-Pop数据集上实现了与最先进的监督方法(3s公差)相当的性能水平,展示了MSA的条形压缩处理的重要性。
2022-04-15 cs.LG cs.SD eess.AS
Model-Guided Dual-Role Alignment for High-Fidelity Open-Domain Video-to-Audio Generation
KAIST, South Korea(韩国釜山国立大学);NWPU, China(中国西北工业大学);UNIST, South Korea(韩国全南国立大学)
本研究提出新型基于流的视频转音频生成框架MGAudio,通过模型引导双角色对齐实现生成模型自我引导,在VGGSound等基准上取得最优性能,为条件视频转音频生成提供可扩展新范式。
2025-10-28 cs.AI cs.MM cs.SD
A Comprehensive Real-World Assessment of Audio Watermarking Algorithms: Will They Survive Neural Codecs?
Sony AI(索尼人工智能);Sony Group Corporation(索尼集团)
研究提出 RAW-Bench 基准,系统评估基于深度学习的音频水印方法在真实世界音频攻击下的鲁棒性,发现神经压缩是最大挑战,且特定失真会严重影响现有方法。
2025-05-28 cs.AI cs.CR cs.LG
SwitchCodec: A High-Fidelity Nerual Audio Codec With Sparse Quantization
本文提出SwitchCodec,通过残差专家向量量化和多级判别器提升音频压缩质量,在低比特率下保持高保真度,实现高效压缩与低训练成本。
2026-05-07 cs.SD eess.AS
Code Drift: Towards Idempotent Neural Audio Codecs
Northwestern University(西北大学);Adobe Research(奥多比研究院)
针对神经音频编解码器被忽视的幂等性问题,研究发现现有模型多次编码后音频退化,通过微调提升幂等性且不影响下游性能,扩展其在文件压缩和迭代生成中的应用。
2025-04-14 cs.SD eess.AS
DPN-GAN: Inducing Periodic Activations in Generative Adversarial Networks for High-Fidelity Audio Synthesis
Ningbo Institute of Digital Twin, Eastern Institute of Technology(宁波数字孪生研究所、东部技术研究所)
本文提出DPN-GAN,通过周期性ReLU激活与可变形卷积增强生成器和判别器,在五个语音及音乐数据集上实现优于现有GAN的高保真、鲁棒音频合成。
2025-05-14 cs.AI cs.CV cs.LG
Edge Storage Management Recipe with Zero-Shot Data Compression for Road Anomaly Detection
SK Planet Co., Ltd.(SK Planet有限公司)
针对边缘道路异常检测系统的高保真音频长期存储需求,提出基于预训练自编码器的零样本压缩方法,兼顾存储传输效率与检测性能。
2023-08-26 cs.LG cs.SD eess.AS
SNAC: Multi-Scale Neural Audio Codec
Papla Media(帕普拉媒体);ETH Zurich(苏黎世联邦理工学院)
本文提出多尺度神经音频编解码器SNAC,通过在不同时间分辨率上扩展残差矢量量化,实现更高效的音频压缩,并开源代码与模型权重。
2024-10-18 cs.LG cs.SD eess.AS
High-Fidelity Speech Enhancement via Discrete Audio Tokens
ETH Zurich(苏黎世联邦理工学院)
针对现有自回归语音增强方法依赖复杂多阶段流程、适用场景受限的问题,提出采用离散高分辨率音频表示的DAC-SE1框架,在客观指标与人工评估中均优于现有最优方法,并公开相关资源以推动领域研究。
2025-10-02 cs.LG cs.SD eess.AS
MusicHiFi: Fast High-Fidelity Stereo Vocoding
University of Rochester(罗切斯特大学);Adobe Research(奥多比研究院)
针对现有声码器分辨率低、仅支持单声道的局限,提出三级GAN级联的高保真立体声声码器MusicHiFi,在音频质量、空间控制和推理速度上均优于已有方法。
2024-10-05 cs.SD eess.AS eess.SP
AudioDec: An Open-source Streaming High-fidelity Neural Audio Codec
本文提出开源实时神经音频编解码器AudioDec,在12 kbps比特率下重建48 kHz高自然度语音,延迟低于6 ms(GPU)/10 ms(CPU),并提供高效训练范式与VCTK评估,成为即插即用基准。
2023-05-26 eess.AS
Memristive Nanowire Network for Energy Efficient Audio Classification: Pre-Processing-Free Reservoir Computing with Reduced Latency
Singapore University of Technology and Design(新加坡科技设计大学);Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
本文提出忆阻纳米线网络作为神经形态预处理层,直接从原始音频提取特征,实现高精度、高压缩和低延迟的口语数字分类,优于传统特征提取方法。
2025-10-27 cond-mat.dis-nn cs.SD eess.AS
IMPACT: Iterative Mask-based Parallel Decoding for Text-to-Audio Generation with Diffusion Modeling
Amazon AGI(亚马逊AGI)
本文提出IMPACT框架,通过在连续潜在空间中结合扩散建模与迭代掩码并行解码,在保证音频质量的同时显著降低文本到音频生成的推理延迟,并在AudioCaps上取得最先进性能。
2025-05-31 cs.SD eess.AS
SoundSpring: Loss-Resilient Audio Transceiver with Dual-Functional Masked Language Modeling
Beijing University of Posts and Telecommunications(北京邮电大学)
SoundSpring利用掩码语言建模实现音频压缩与丢包隐藏的双功能,在分层架构中兼顾JSCC鲁棒性,实验表明其信号保真度和感知质量优于现有系统。
2025-01-22 cs.SD eess.AS eess.SP
Automatic Detection and Compression for Passive Acoustic Monitoring of the African Forest Elephant
Cornell University(康奈尔大学);Cornell Lab of Ornithology(康奈尔鸟类学实验室)
在这项工作中,我们考虑将机器学习应用于撒哈拉以南非洲大象监测背景下的音频信号分析和压缩。地球的生物多样性日益受到人为变化(例如资源开采,土地使用变化和气候变化)的威胁,调查动物种群对于制定保护战略至关重要。然而,人工监测热带森林或深海是棘手的。对于通过声学进行交流的物种,研究人员认为将录音机放置在栖息地是一种具有成本效益和非侵入性的方法,这种策略称为被动声学监测(PAM)。在与保护工作的合作中,我们通过众包构建了非洲森林大象被动声学记录的大型标记数据集,在野外进行了数千小时的记录。使用国家的最先进的技术,在人工智能,我们改进了以前提出的方法,被动声监测的分类和分割。在大象呼叫的实时检测中,网络带宽很快成为瓶颈,需要有效的方法来压缩数据。大多数音频压缩方案都是针对人类听众的,不适合低频大象叫声。为了弥补这一点,我们提供了一种新的端到端的可微分的音频信号的压缩方法,可以适应任何物种的声学监测,并显着提高了天真的编码策略。
2019-02-25 cs.LG cs.SD eess.AS
MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models
MOSS-Audio-Tokenizer通过同质Transformer架构实现端到端音频分词,支持高保真重建并提升语音合成和语音识别性能。
2026-02-12 cs.SD eess.AS
As Good as It KAN Get: High-Fidelity Audio Representation
Jagiellonian University(雅盖隆大学);Wroclaw University of Science and Technology(沃拉基大学科学与技术学院);IDEAS Research Institute(IDEAS研究 institute)
本研究提出使用Kolmogorov-Arnold Network(KAN)作为音频隐式神经表示模型以实现高保真音频表示,并引入基于超网络的FewSound架构增强参数更新,在多项指标上显著超越现有方法。
2025-11-02 cs.CV cs.SD eess.AS
HiFi-Codec: Group-residual Vector quantization for High Fidelity Audio Codec
Tencent AI Lab(腾讯人工智能实验室)
本文提出分组残差向量量化(GRVQ)技术,构建仅需4个码本的高保真音频编解码器HiFi-Codec,在重建性能上优于Encodec,并开源AcademiCodec工具包以促进研究。
2023-05-07 cs.SD eess.AS