Score Distillation Sampling for Audio: Source Separation, Synthesis, and Beyond
NVIDIA；MIT（麻省理工学院）
本文提出Audio-SDS，将分数蒸馏采样推广到文本条件音频扩散模型，利用单个预训练模型实现冲击声模拟引导、FM合成参数校准和提示指定源分离等多种音频任务，无需专门数据集。
2025-05-07 cs.AI cs.LG cs.MM
CRASH: Raw Audio Score-based Generative Modeling for Controllable High-resolution Drum Sound Synthesis
Sony CSL（索尼计算机科学实验室）；CentraleSupélec（巴黎中央理工-高等电力学院）
在本文中，我们提出了一种新的无条件原始音频合成的分数为基础的生成模型。我们的建议建立在扩散过程建模与随机微分方程的最新发展，这已经证明了有前途的结果图像生成。我们激励新的扩散过程更适合音频生成的选择，并考虑使用一个有条件的U-网近似的分数函数。虽然以前的方法对音频的扩散模型主要是设计为语音声码器在中等分辨率，我们的方法被称为CRASH（可控的原始音频合成与高分辨率）允许我们以可控的方式产生短的44.1kHz的混响声音。通过大量的实验，我们展示了鼓的声音生成任务的众多采样方案提供了我们的方法（无条件生成，确定性生成，修复，插值，变化，类条件采样），并提出了类混合采样，一种新的方式来生成“混合”的声音。我们提出的方法缩小了与基于GAN的方法在原始音频上的差距，同时提供了更灵活的生成功能，具有更轻和更小的训练模型。
2021-06-14 cs.LG cs.SD eess.AS
GANSynth: Adversarial Neural Audio Synthesis
Google AI（谷歌AI）
高效的音频合成是一项固有的困难的机器学习任务，因为人类感知对全局结构和精细尺度波形相干性都很敏感。自回归模型，如WaveNet，以全局潜在结构和缓慢的迭代采样为代价对局部结构进行建模，而生成对抗网络（GANs）具有全局潜在条件和高效的并行采样，但难以生成局部相干的音频波形。在本文中，我们证明了GANs实际上可以通过在谱域中以足够的频率分辨率对对数幅度和瞬时频率进行建模来生成高保真和局部相干的音频。通过对NSynth数据集的广泛实证研究，我们证明了GANs能够在自动和人工评估指标上超越强大的WaveNet基线，并有效地生成比自回归对应物快几个数量级的音频。
2019-04-15 cs.LG cs.SD eess.AS
Music Boomerang: Reusing Diffusion Models for Data Augmentation and Audio Manipulation
Johannes Kepler University Linz（约翰·凯pler大学林茨分校）；Linz Institute of Technology（林茨技术研究所）
本文将图像领域的回旋镖采样引入音频领域，基于 Stable Audio Open 实现数据增强与乐器替换，验证其能保留节奏结构、在有限数据下提升节拍跟踪性能并支持单声道文本乐器替换。
2025-07-07 cs.LG cs.SD eess.AS
Controllable Music Production with Diffusion Models and Guidance Gradients
Apple（苹果公司）
本文提出在44.1kHz立体声音频扩散模型采样时施加引导，统一支持重建与分类损失，实现音乐续写、修复、过渡和风格迁移等可控制作任务。
2023-12-05 cs.LG cs.SD eess.AS
HRTFformer: A Spatially-Aware Transformer for Individual HRTF Upsampling in Immersive Audio Rendering
SONICOM
针对个体HRTF测量困难的问题，提出基于Transformer的HRTF上采样架构，利用注意力机制和球谐域处理，结合邻域差异损失，实现高保真HRTF重建。
2026-05-31 cs.AI cs.SD eess.AS
UDPM: Upsampling Diffusion Probabilistic Models
Tel Aviv University（特拉维夫大学）
本文提出UDPM，将下采样与噪声扰动纳入前向扩散、在反向过程中去噪并上采样，仅需三次网络评估即实现6.86 FID，并具备可解释、可插值的潜在空间。
2024-07-08 cs.CV cs.LG eess.IV
Basis-MelGAN: Efficient Neural Vocoder Based on Audio Decomposition
Sun Yat-Sen University（中山大学）；MoE Key Lab of Artificial Intelligence, AI Institute（教育部人工智能重点实验室，人工智能研究院）
最近的研究表明，基于生成对抗网络（GAN）的神经声码器可以生成高质量的音频。虽然基于GAN的神经声码器已被证明在计算上比基于自回归预测的神经声码器效率高得多，但在CPU上实时生成最高质量音频仍然是一项非常具有挑战性的任务。所有基于GAN的神经声码器的一个主要计算来自堆叠的上采样层，其设计用于匹配波形的输出长度和时间分辨率。同时，上采样网络的计算复杂性与为每个窗口生成的样本数量密切相关。为了减少上采样层的计算，我们提出了一种新的基于GAN的神经声码器，称为Basis-MelGAN，其中原始音频样本用学习的基础及其相关权重进行分解。由于Basis-MelGAN的预测目标是与每个学习基础相关联的权重值而不是原始音频样本，因此Basis-MelGAN中的上采样层可以用更简单的网络来设计。与其他基于GAN的神经声码器相比，所提出的Basis-Mel GAN可以产生相当高质量的音频，但显着降低了计算复杂性从HiFi-GAN V1的17.74 GFLOPs到7.95 GFLOPs。
2021-06-25 cs.SD eess.AS
ETTA: Elucidating the Design Space of Text-to-Audio Models
NVIDIA
本文通过大规模实证实验系统分析文本到音频模型的设计空间，提出AF-Synthetic数据集和ETTA模型，在公开数据训练下超越基线并接近专有数据模型，同时提升复杂创意音频生成能力。
2025-06-30 cs.CL cs.LG cs.SD
CoMoSpeech: One-Step Speech and Singing Voice Synthesis via Consistency Model
Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）；Hong Kong Baptist University（香港浸会大学）；Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院）
本文提出 CoMoSpeech，通过一致性模型将扩散语音合成压缩为单步采样，在保持高音频质量的同时实现比实时快150倍以上的推理速度，使扩散采样语音合成真正实用化。
2023-10-29 cs.AI cs.CL cs.LG
Mitigating data replication in text-to-audio generative diffusion models through anti-memorization guidance
本文提出反记忆指导技术，用于减轻文本到音频生成扩散模型中的数据复制问题，通过三种指导策略提升生成质量并保持音频保真度。
2026-01-29 cs.LG cs.SD eess.AS
Virtual Consistency for Audio Editing
1 Mila-Qu\'ebec AI Institute, 2 Laval University, 3 Concordia University, 4 University of Montreal
本文提出一种基于虚拟一致性的音频编辑系统，通过调整扩散模型采样过程绕过反演，实现模型无关、无需微调的显著加速，并在定量基准和用户研究中验证了其在不损失质量前提下的高效性。
2025-09-21 cs.LG cs.SD
FLOAT: Generative Motion Latent Flow Matching for Audio-driven Talking Portrait
KAIST（韩国科学技术院）；DeepBrain AI Inc.（DeepBrain AI公司）
FLOAT利用学习到的正交运动潜空间和流匹配生成模型，结合Transformer向量场预测器与逐帧条件机制，实现高效、时间一致且支持情感增强的音频驱动说话人肖像视频生成，在视觉质量、运动保真度和效率上优于现有方法。
2025-09-19 cs.AI cs.CV cs.LG
Autoregressive Diffusion Transformer for Text-to-Speech Synthesis
School of Data Science（数据科学学院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出ARDiT，将音频编码为连续向量并用自回归扩散Transformer生成，结合IKL蒸馏实现单步采样，在零样本文本到语音和语音编辑上达到或超越最先进模型，同时显著降低采样延迟。
2024-06-08 cs.AI cs.CL cs.LG
SUBARU: A Practical Approach to Power Saving in Hearables Using SUB-Nyquist Audio Resolution Upsampling
George Mason University（乔治·马歇尔大学）
SUBARU通过子奈奎斯特采样和低位分辨率ADC实现助听器的节能，降低功耗3.31倍，并在移动平台上实现高效的语音增强。
2026-03-06 cs.AI cs.SD eess.AS
Spatial-Magnifier: Spatial upsampling for multichannel speech enhancement
Meta Reality Labs Research（Meta现实实验室）；Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
提出Spatial-Magnifier网络，从有限真实麦克风生成虚拟麦克风信号，结合SARL框架提升下游语音增强性能，接近全麦克风理想效果。
2026-06-23 eess.AS
Aliasing-Free Neural Audio Synthesis
Aalto University School of Science（阿alto大学科学学院）；Aalto University（阿alto大学）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Spellbrush, Akihabara, Tokyo（东京秋叶原Spellbrush）
本文提出Pupu-Vocoder和Pupu-Codec，通过可微抗混叠技术提升音乐和歌声合成质量，实验显示其在歌声、音乐和音频上表现更优。
2026-06-29 cs.SD eess.AS eess.SP
Fast and Flexible Audio Bandwidth Extension via Vocos
Independent Researcher（独立研究者）
本文提出了一种基于Vocos的音频带宽扩展模型，通过生成高频内容实现8-48kHz范围内的高质量音频增强，具备高吞吐量和实时处理能力。
2026-03-07 cs.LG cs.SD eess.AS
Retrieval-Augmented Neural Field for HRTF Upsampling and Personalization
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室）；New York University（纽约大学）
针对HRTF上采样仅依赖少量测量方向困难的问题，提出检索增强神经场（RANF），利用检索相似受试者的HRTF辅助神经场，在SONICOM数据集上验证有效性并助力赢得2024年个性化挑战赛。
2025-01-22 cs.SD eess.AS
Sampling-Frequency-Independent Audio Source Separation Using Convolution Layer Based on Impulse Invariant Method
The University of Tokyo（东京大学）；Waseda University（早稻田大学）；NTT Corporation（日本电信电话株式会社）
音频声源分离常被用作各种应用的预处理，其最终目标之一是构造一个能够处理多种音频信号的通用模型。由于作为音频信号种类之一的采样频率通常是特定于应用的，因此前面的音频声源分离模型应该能够处理目标应用中指定的所有采样频率的音频信号。然而，基于深度神经网络（DNN）的传统模型仅以训练数据指定的采样频率进行训练，并且不能保证它们以不可见的采样频率工作。在本文中，我们提出了一个能够通过单个DNN处理任意采样频率的卷积层。通过音乐声源分离实验，我们表明，所提出的层的引入，使传统的音频声源分离模型，即使是看不见的采样频率一致的工作。
2021-05-10 cs.LG cs.SD eess.AS
Temporal Sub-sampling of Audio Feature Sequences for Automated Audio Captioning
Tampere University（坦佩雷大学）；D Media Group, Tampere University（坦佩雷大学3D媒体组）；Audio Research Group, Tampere University（坦佩雷大学音频研究组）
音频字幕是自动为一般音频信号的内容创建文本描述的任务。典型的音频字幕方法依赖于深度神经网络（DNN），其中DNN的目标是将输入音频序列映射到输出单词序列，即字幕。然而，文本描述的长度显著小于音频信号的长度，例如10个单词相对于数千个音频特征向量。这清楚地表明，一个输出单词对应于多个输入特征向量。在这项工作中，我们提出了一种方法，专注于明确利用序列之间的长度差异，通过应用时间子采样的音频输入序列。我们采用序列到序列的方法，该方法使用固定长度的向量作为编码器的输出，并且我们在编码器的RNN之间应用时间子采样。我们通过使用免费提供的数据集Clotho来评估我们的方法的好处，并评估时间子采样的不同因素的影响。我们的研究结果表明，所有考虑的指标的改善。
2020-07-06 cs.LG cs.SD eess.AS
Hourglass-AVSR: Down-Up Sampling-based Computational Efficiency Model for Audio-Visual Speech Recognition
Speech Lab of DAMO Academy, Alibaba Group（阿里巴巴集团达摩院语音实验室）
针对视听语音识别中视觉模块计算复杂、模态融合效果差的问题，提出基于下-上采样的Hourglass-AVSR模型，结合上下文残差感知上采样、视音频对齐与跨层注意力融合，在MISP-AVSR数据集上实现性能提升与计算成本大幅降低。
2023-12-14 cs.SD eess.AS
SRC-gAudio: Sampling-Rate-Controlled Audio Generation
Tencent AI Lab（腾讯AI实验室）
本研究提出SRC-gAudio音频生成模型，将采样率纳入生成条件引导扩散生成过程，实现单模型多采样率音频生成，且低采样率数据预训练可显著提升高采样率音频的生成质量。
2024-10-09 cs.SD eess.AS
On Negative Sampling for Contrastive Audio-Text Retrieval
Tampere University（坦佩雷大学）
本文研究了音频文本检索中的对比学习中的负采样问题。负采样的策略是指从正音频-文本对的候选池中选择负（音频片段或文本描述）。我们通过模型估计的音频和文本样本的模态内和跨模态相关性分数探索采样策略。在文献[1]的检索系统上，我们研究了八种抽样策略，包括硬和半硬负抽样。实验结果表明，不同策略的检索性能差异很大.特别地，通过选择具有跨模态分数的半硬否定，检索系统在文本到音频和音频到文本检索中获得改进的性能。此外，我们发现，功能崩溃时发生采样硬否定与跨模态分数。
2023-02-17 cs.SD eess.AS
PSLA: Improving Audio Tagging with Pretraining, Sampling, Labeling, and Aggregation
Massachusetts Institute of Technology（麻省理工学院）
音频标注是一个活跃的研究领域，有着广泛的应用。自AudioSet发布以来，在提高模型性能方面取得了很大进展，主要来自于新颖的模型架构和注意力模块的开发。然而，我们发现适当的训练技术对于使用AudioSet构建音频标记模型同样重要，但尚未得到应有的重视。为了填补这一空白，在这项工作中，我们提出了PSLA，这是一系列训练技术，可以显着提高模型的准确性，包括ImageNet预训练，平衡采样，数据增强，标签增强，模型聚合及其设计选择。通过使用这些技术训练EfficientNet，我们获得了单个模型（具有13.6M参数）和集成模型，分别在AudioSet上实现了0.444和0.474的平均精度（mAP）得分，优于之前81M参数的0.439的最佳系统。此外，我们的模型还在FSD 50K上实现了0.567的最新mAP。
2021-11-17 cs.LG cs.SD eess.AS
Dual-Path Cross-Modal Attention for better Audio-Visual Speech Extraction
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
视听目标语音提取的目的是通过观察嘴唇运动从噪声混合物中提取特定说话人的语音，结合时域语音分离模型和视觉特征提取器（CNN）已经取得了重大进展。融合音频和视频信息的一个问题是它们具有不同的时间分辨率。目前的大多数研究沿着时间维度对视觉特征进行上采样，使得音频和视频特征能够在时间上对齐。然而，我们认为嘴唇运动应该主要包含长期或电话级别的信息。基于这一假设，我们提出了一种新的方法来融合视听功能。我们观察到，对于DPRNN \cite{dprnn}，块间维度的时间分辨率可以非常接近视频帧的时间分辨率。与\cite{sepformer}一样，DPRNN中的LSTM被块内和块间自注意力所取代，但在所提出的算法中，块间注意力将视觉特征作为额外的特征流。这可以防止视觉线索的上采样，从而实现更有效的视听融合。实验结果表明，与其他基于时域的音视频融合模型相比，该方法具有更好的融合效果。
2023-03-03 cs.CV cs.LG cs.MM
NIIRF: Neural IIR Filter Field for HRTF Upsampling and Personalization
MERL（三菱电机研究实验室）
提出 NIIRF，用神经场预测级联 IIR 滤波器系数以实现 HRTF 空间上采样，并结合低秩自适应支持个性化，在稀疏测量下优于现有 NF 方法。
2024-02-27 cs.SD eess.AS
UniverSR: Unified and Versatile Audio Super-Resolution via Vocoder-Free Flow Matching
Dept. of Electrical \& Electronic Engineering, Yonsei University, Seoul, South Korea
UniverSR提出了一种无需编解码器的音频超分辨率方法，通过流匹配生成模型直接重建波形，提升音频质量和效率。
2026-02-05 cs.AI cs.SD eess.AS
Point Cloud Audio Processing
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（奥多比研究院）
大多数音频处理流水线涉及作用于音频的固定维度输入表示的变换。例如，当使用短时傅里叶变换（STFT）时，DFT大小为输入表示指定固定维度。因此，大多数音频机器学习模型被设计为处理固定大小的向量输入，这通常禁止在具有不同采样率或替代表示的音频上重新利用学习模型。然而，我们注意到，音频信号中的固有频谱信息对于输入表示或采样率的选择是不变的。受此启发，我们引入了一种处理音频信号的新方法，将它们视为特征空间中的点集合，并且我们使用点云机器学习模型，这些模型为我们选择表示参数（如DFT大小或采样率）提供了不变性。此外，我们观察到这些方法会产生更小的模型，并允许我们对输入表示进行显着的子采样，对训练模型的性能影响最小。
2021-07-29 cs.LG cs.SD eess.AS
Positive and negative sampling strategies for self-supervised learning on audio-video data
针对小规模数据集下音频-视觉自监督学习性能不佳的问题，提出基于类别标签的软正样本采样策略，显著提升特征质量并优于传统方法和监督分类。
2024-02-05 eess.AS
SSNAPS: Audio-Visual Separation of Speech and Background Noise with Diffusion Inverse Sampling
Bar-Ilan University（巴伊兰大学）；OriginAI
提出一种无监督的视听语音分离方法，利用扩散先验和逆采样联合建模语音与噪声，在单麦克风场景下优于有监督基线，并支持离屏说话人分离。
2026-06-16 cs.LG cs.SD eess.AS
Fast Text-to-Audio Generation with One-Step Sampling via Energy-Scoring and Auxiliary Contextual Representation Distillation
National Taiwan University（国立台湾大学）；Amazon AGI（亚马逊人工智能实验室）
本文提出了一种结合能量距离训练和表示层蒸馏的一步采样框架，有效提升了文本到音频生成的速度与质量，在AudioCaps基准上优于现有方法，达到与多步采样扩散模型相当的性能。
2026-05-01 cs.SD eess.AS
A method for analyzing sampling jitter in audio equipment
The University of Tokyo（东京大学）
提出一种基于时域过零点波动分析音频设备采样抖动的方法，可分离播放器与录音设备抖动，并利用左右声道区分抖动与噪声，适用于音频设备、信号发生器及时钟源性能评估。
2023-05-08 cs.SD eess.AS physics.ins-det
Weighted-Sampling Audio Adversarial Example Attack
University of Electronic Science and Technology of China（电子科技大学）；University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）
针对现有音频对抗样本生成方法效率与鲁棒性不足的问题，提出加权采样音频对抗样本攻击方法，通过调整失真数量与权重增强攻击，并结合损失函数去噪提升隐蔽性，实现低耗时下生成低噪声高鲁棒性的音频对抗样本。
2020-02-22 cs.SD eess.AS
Rehearsal with Auxiliary-Informed Sampling for Audio Deepfake Detection
Institute of Innovation, Science and Sustainability（创新、科学与可持续性研究所）；School of Computing Technologies（计算技术学院）
RAIS通过辅助信息引导的样本选择提升音频深度伪造检测的持续学习性能，实现更低的错误率。
2025-05-30 cs.AI cs.CR cs.LG
Self-supervised learning method using multiple sampling strategies for general-purpose audio representation
LINE Corporation（LINE公司）；Nagoya University（名古屋大学）
提出一种采用多种采样策略（片段级、帧级、任务特定）的自监督学习方法，提升通用音频表征在片段分类、声音事件检测和音高检测上的性能，分别提高25%、20%和3.6%。
2025-05-25 cs.SD eess.AS
Neural Audio Codec with Adjustable Token Temporal Resolution Using Sampling-Frequency-Independent Convolutional Layers
提出一种机制，通过采样频率无关卷积层使单个神经音频编解码器支持多种令牌时间分辨率，在环境声音重建中优于切换专用层的基线模型。
2026-07-03 cs.SD eess.AS
MDCTCodec: A Lightweight MDCT-based Neural Audio Codec towards High Sampling Rate and Low Bitrate Scenarios
该研究提出基于MDCT的轻量级神经音频编解码器MDCTCodec，搭配新型多分辨率MDCT判别器做对抗训练，在高采样率低比特率场景下相较基线实现了音质、效率与模型尺寸的综合提升，在VCTK数据集48kHz/6kbps条件下ViSQOL达4.18。
2024-11-01 cs.SD eess.AS
Sampling Frequency Independent Dialogue Separation
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所IIS）；International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）；Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）；WS Audiology（WS听力集团）
在用于音频源分离的一些DNN中，相关模型参数与用于训练的音频的采样频率无关。考虑到对话分离的应用，这是针对两种DNN架构显示的：U-Net和全卷积模型。这些模型使用以8 kHz采样的音频进行训练。学习的参数被传输到模型中，用于处理48 kHz的音频。将分离的音频源与由相同训练数据的48 kHz版本训练的相同模型架构产生的音频源进行比较。听力测试和计算测量表明，用8 kHz或48 kHz训练的模型之间没有显着的感知差异。学习参数的这种可传递性允许更快和计算成本更低的训练。它还允许使用比应用程序所需的采样频率更低的训练数据集，或者使用具有多个采样频率的数据集合。
2022-06-05 cs.SD eess.AS
HighRateMOS: Sampling-Rate Aware Modeling for Speech Quality Assessment
针对现有语音质量预测模型在处理高采样率音频时产生偏差的问题，提出首个显式建模采样率的非侵入式MOS模型HighRateMOS，通过集成多种特征在AudioMOS 2025竞赛中取得领先成绩。
2025-06-27 eess.AS
Enhancing Generalization in Audio Deepfake Detection: A Neural Collapse based Sampling and Training Approach
RediMinds Research（雷迪迈因兹研究院）
针对音频深度伪造检测泛化难、联合训练成本高的问题，提出基于神经坍缩的采样方法，利用预训练模型构建新训练库，在ASVspoof 2019上验证，以较少数据实现高效且相当的泛化性能。
2024-04-19 cs.SD eess.AS
On Synchronization of Wireless Acoustic Sensor Networks in the Presence of Time-varying Sampling Rate Offsets and Speaker Changes
Paderborn University（帕德博恩大学）
如果网络设备的模数转换器（ADC）不同步，则无线声学传感器网络记录具有音频流之间的采样时间和采样速率偏移的音频信号。在这里，我们引入了一个新的采样率偏移模型来模拟时变采样频率，例如，由ADC晶体振荡器的温度变化引起的，并提出了一种估计算法来处理这种动态方面与不断变化的声源位置相结合。此外，我们还展示了如何使用基于深度神经网络的麦克风和人类说话者之间距离的估计来确定采样时间偏移。这使得音频流能够同步以反映飞行的物理时差。
2021-10-25 cs.SD eess.AS
Efficient Neural Audio Synthesis
DeepMind（深度思维）；Google Brain（谷歌大脑）
序列模型在音频、视觉和文本领域实现了最先进的结果，既可以估计数据分布，又可以生成高质量的样本。然而，这类模型的有效采样仍然是一个难以捉摸的问题。重点放在文本到语音合成，我们描述了一套通用的技术，减少采样时间，同时保持高的输出质量。我们首先描述了一个单层递归神经网络WaveRNN，它有一个双softmax层，与最先进的WaveNet模型的质量相匹配。该网络的紧凑形式使得在GPU上生成24 kHz 16位音频的速度比实时的快4倍。其次，我们应用权重修剪技术来减少WaveRNN中的权重数量。我们发现，对于常数数量的参数，大型稀疏网络比小型密集网络表现更好，这种关系适用于稀疏度超过96%的网络。稀疏波RNN中的少量权重使得在移动CPU上实时的采样高保真音频成为可能。最后，我们提出了一个新的生成方案的基础上subscaling折叠成一批较短的序列，并允许一次生成多个样本的长序列。Subscale WaveRNN每步产生16个样本，而不会损失质量，并提供了一种提高采样效率的正交方法。
2018-06-25 cs.LG cs.SD eess.AS
FLowHigh: Towards Efficient and High-Quality Audio Super-Resolution with Single-Step Flow Matching
Korea University（高丽大学）
本文提出FLowHigh，将流匹配与音频超分辨率相结合，通过定制概率路径和单步采样实现高效、高质量的音频重建，在VCTK数据集上达到最先进性能。
2025-01-09 cs.AI cs.CL cs.SD
HE-NAC: High-Efficiency Neural Audio Coding via Hierarchical and Residual Multi-Band Quantization
Indiana University（印第安纳大学）；Electronics and Telecommunications Research Institute（电子电信研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
HE-NAC是基于分层残差多带量化的高效神经音频编码方法，通过协调盲上采样、残差学习与多头解码器，在相同或更低比特率下，性能优于DAC基线和MPEG HE-AAC，可实现高保真音频重建。
2026-10-14 cs.SD eess.AS
FLAMO: An Open-Source Library for Frequency-Domain Differentiable Audio Processing
提出开源库FLAMO，基于频率采样滤波器设计方法实现可微分线性时不变音频系统，简化开发流程，通过人工混响器和有源声学系统优化案例验证其实际应用价值。
2025-04-14 eess.AS
Parallel and Flexible Sampling from Autoregressive Models via Langevin Dynamics
University of Washington（华盛顿大学）
本文介绍了一种从自回归模型中抽样的替代方法。自回归模型通常根据模型定义的转换动态顺序采样。相反，我们提出了一个采样过程，将一个序列与白噪声，并遵循一个马尔可夫链定义的朗之万动力学的全球对数似然序列。这种方法将采样过程并行化，并推广到条件采样。使用自回归模型作为贝叶斯先验，我们可以使用条件似然或约束来引导生成模型的输出。我们将这些技术应用于视觉和音频领域的自回归模型，在音频声源分离、超分辨率和图像修复方面具有竞争力。
2021-12-16 cs.LG cs.SD eess.AS
On the Conditioning of the Spherical Harmonic Matrix for Spatial Audio Applications
在本文中，我们试图研究球谐矩阵（SHM），这是广泛使用的离散，有限阶正交声场表示的条件。SHM已被广泛用于音频应用，如使用扬声器的空间声音再现、头部相关传递函数（HRTF）的正交表示等。SHM的调节行为取决于在3D空间中选择的采样位置。在连续3D空间中识别最佳采样点，导致任何数量的采样点的良好条件SHM是一项极具挑战性的任务。在这项工作中，已尝试解决上述问题的离散版本，使用基于优化的技术。离散问题是从三维空间的一组密集采样位置中确定最佳采样点，使SHM的条件数最小化。该方法已被用于识别扬声器的几何形状在空间声音再现，并在选择的空间采样配置的HRTF测量。应用程序的具体要求已制定为优化问题的附加约束。最近开发的混合整数优化求解器已被用于解决制定的问题。在每个应用程序中获得的采样位置的性能与现有的配置进行比较。客观的措施，如条件数，D-措施，和频谱失真被用来研究所提出的和现有的方法所产生的采样配置的性能。据观察，所提出的解决方案是能够找到的采样点，结果在一个更好的条件SHM，也保持了所有的应用程序的具体要求。
2018-03-05 eess.AS
Audio Decoding by Inverse Problem Solving
Dolby Sweden AB（杜比瑞典公司）
该研究将音频解码视为逆问题，通过扩散后验采样结合显式条件函数求解，在多种比特率和内容类型上优于传统方法，还可减少梯度计算量并提升客观性能。
2024-09-12 cs.LG cs.SD eess.AS
Distance Sampling-based Paraphraser Leveraging ChatGPT for Text Data Manipulation
Seoul National University（首尔大学）；Soongsil University（崇实大学）
本文针对音频-文本检索中因字幕重复导致的数据不平衡问题，提出利用ChatGPT结合距离采样与Jaccard相似度文本簇的少样本提示方法，可控生成多样化改写文本，显著提升检索性能并优于传统文本增强技术。
2024-05-01 cs.AI cs.IR cs.SD
Wave-U-Net: A Multi-Scale Neural Network for End-to-End Audio Source Separation
Queen Mary University of London（伦敦玛丽女王大学）；Spotify
用于音频声源分离的模型通常在幅度谱上操作，这忽略了相位信息，并且使得分离性能依赖于谱前端的超参数。因此，我们调查端到端的声源分离在时域，它允许建模相位信息，并避免固定的频谱变换。由于音频的高采样率，在采样级上采用长时间输入上下文是困难的，但是由于长范围时间相关性而需要高质量的分离结果。在这种情况下，我们提出了Wave-U-Net，这是U-Net对一维时域的适应，它重复地对特征图进行重新采样，以计算和组合不同时间尺度的特征。我们引入了进一步的架构改进，包括一个输出层，强制执行源的可加性，上采样技术和上下文感知的预测框架，以减少输出文物。歌声分离的实验表明，我们的架构产生的性能相媲美的最先进的基于频谱图的U-Net架构，给定相同的数据。最后，我们揭示了一个问题，离群值在目前使用的SDR评估指标，并建议报告排名为基础的统计数据，以减轻这个问题。
2018-06-08 cs.SD eess.AS stat.ML
Balanced SNR-Aware Distillation for Guided Text-to-Audio Generation
Xi'an Jiaotong-Liverpool University（西交利物浦大学）；University of Surrey（萨里大学）
本文提出平衡信噪比感知（BSA）蒸馏方法，用于加速文生音频扩散模型，在AudioCaps上以25步采样实现与200步教师模型相当的性能。
2023-12-25 cs.SD eess.AS
Inference-time Scaling for Diffusion-based Audio Super-resolution
The Hong Kong University of Science and Technology（香港科学与技术大学）；University of Surrey（萨里大学）；Chinese University of Hong Kong（香港中文大学）
本文提出一种基于扩散模型的音频超分辨率推理时扩展方法，通过验证器与搜索算法探索多条采样轨迹，在语音、音乐等任务上显著提升音质，如美学评分提升9.70%。
2025-08-04 cs.AI cs.SD eess.AS
FlashSR: One-step Versatile Audio Super-resolution via Diffusion Distillation
KAIST（韩国科学技术院）；Graduate School of Culture Technology（文化技术研究生院）
本文提出FlashSR，一种基于扩散蒸馏的单步扩散模型，用于多功能音频超分辨率，通过蒸馏损失、对抗损失和分布匹配蒸馏损失实现快速推理，并设计SR声码器提升性能，在保持与最先进模型相当性能的同时，速度提升约22倍。
2025-01-18 cs.SD eess.AS
