Text-to-Speech Synthesis Techniques for MIDI-to-Audio Synthesis
National Institute of Informatics（国立信息学研究所）
语音合成和从符号输入生成音乐音频在许多方面不同，但有一些相似之处。在这项研究中，我们调查如何文本到语音合成技术可以用于钢琴MIDI到音频合成任务。我们的研究包括Tacotron和神经源滤波器波形模型作为基本组件，我们以类似于TTS框架的方式构建MIDI到音频合成系统。我们还包括使用传统声音建模技术的参考系统，例如基于样本和基于物理建模的方法。主观实验结果表明，所研究的TTS组件可以应用于钢琴MIDI到音频合成的微小修改。结果还揭示了性能瓶颈-虽然波形模型可以合成高质量的钢琴声，给定的自然声学特征，从声音到声学特征的转换是具有挑战性的。完整的MIDI到音频合成系统仍然不如基于样本或基于物理建模的方法，但我们鼓励TTS研究人员测试他们的TTS模型，以完成这项新任务，并提高性能。
2022-02-24 cs.SD eess.AS
AudioEditor: A Training-Free Diffusion-Based Audio Editing Framework
College of Computer Science, Nankai University（南开大学计算机学院）；Lingxi (Beijing) Technology Co., Ltd.（灵犀（北京）科技有限公司）
本文提出免训练音频编辑框架AudioEditor，通过Null-text Inversion和EOT-suppression方法在预训练扩散TTA模型上实现精确编辑并保留未编辑部分，实验验证其高质量编辑效果。
2024-09-29 cs.SD eess.AS
STFTCodec: High-Fidelity Audio Compression through Time-Frequency Domain Representation
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；International Digital Economy Academy (IDEA)（国际数字经济学院（IDEA））；Shenzhen Graduate School, Peking University（北京大学深圳研究生院）
本研究提出新型神经音频编解码器STFTCodec，利用STFT构建紧凑频谱表示并引入解包裹相位导数作为辅助特征，采用并行幅相处理分支，在放宽相位重建约束的同时保持相位感知，实现了多比特率下优于现有方法的感知质量，且压缩比调节灵活。
2025-03-21 cs.SD eess.AS
Generating Sample-Based Musical Instruments Using Neural Audio Codec Language Models
Native Instruments
本文提出用神经音频编解码器语言模型，基于文本或音频提示自动生成乐器，引入三种条件化方案与新的音色一致性指标，经客观与主观测试验证其有效性。
2024-07-22 cs.LG cs.SD eess.AS
EnCLAP: Combining Neural Audio Codec and Audio-Text Joint Embedding for Automated Audio Captioning
MAUM AI Inc.（MAUM AI公司）；Seoul National University（首尔大学）；Soongsil University（崇实大学）
本研究提出自动音频字幕生成框架EnCLAP，结合EnCodec、CLAP与预训练模型BART，通过掩码编解码器建模提升声学感知，在AudioCaps和Clotho数据集上性能优于基线，并开源代码与演示。
2024-01-31 cs.AI cs.SD eess.AS
Audio Dequantization for High Fidelity Audio Generation in Flow-based Neural Vocoder
Korea University（高丽大学）；Netmarble Corporation（网石公司）
在最近的工作中，基于流的神经声码器在实时语音生成任务中表现出显着的改善。可逆流操作的序列允许模型将样本从简单分布转换为音频样本。然而，在离散音频数据上训练连续密度模型会由于潜在分布和实际分布之间的拓扑差异而降低模型性能。为了解决这个问题，我们提出了音频去量化方法在基于流的神经声码器高保真音频生成。数据去量化是图像生成中众所周知的方法，但尚未在音频域中进行研究。为此，我们在基于流的神经声码器中实现了各种音频去量化方法，并研究了其对生成音频的影响。我们进行了各种客观的性能评估和主观评价，以表明音频去量化可以提高音频生成质量。从我们的实验中，使用音频去量化产生波形音频具有更好的谐波结构和更少的数字伪影。
2020-08-16 cs.CL cs.SD eess.AS
Pindrop it! Audio and Visual Deepfake Countermeasures for Robust Detection and Fine Grained-Localization
Pindrop Security Inc.（Pindrop安全公司）
针对深度伪造视频检测与定位，提出音频与视觉对策，在ACM挑战赛中获时间定位最佳及分类前四。
2025-10-26 cs.CV cs.SD eess.AS
Both Ears Wide Open: Towards Language-Driven Spatial Audio Generation
Hong Kong University of Science and Technology（香港科技大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）
本文提出SpatialSonic模型，利用空间感知编码器和方位状态矩阵指导潜在扩散模型，从文本生成可控空间音频，并构建大规模数据集BEWO-1M，实验验证其有效性。
2025-02-25 cs.CV cs.SD eess.AS
Assessing speech quality metrics for evaluation of neural audio codecs under clean speech conditions
Collaboration AI, Cisco Systems, Inc.（思科系统公司协作AI部门）；Faculty of Engineering and Natural Sciences, Yeditepe University（耶迪特佩大学工程与自然科学学院）
该研究针对干净语音条件，通过17种编解码器的主观听辨得分，评估45种客观语音质量指标，发现scoreq、utmos等神经指标相关性最高，非侵入式指标在高质量时易饱和。
2026-08-05 cs.AI cs.SD eess.AS
SNAC: Multi-Scale Neural Audio Codec
Papla Media（帕普拉媒体）；ETH Zurich（苏黎世联邦理工学院）
本文提出多尺度神经音频编解码器SNAC，通过在不同时间分辨率上扩展残差矢量量化，实现更高效的音频压缩，并开源代码与模型权重。
2024-10-18 cs.LG cs.SD eess.AS
PLACE: Positional Latent Adaptation via Conditioned Embeddings for Binaural Audio Generation
Dolby Laboratories（杜比实验室）
PLACE通过条件嵌入和低秩变换扩展AudioX，实现多模态双耳音频生成，在FAIR-Play和BEWO-1M上提升空间一致性。
2026-10-02 cs.MM cs.SD eess.AS
Neural Audio Codec for Robust Audio Deepfake Detection
Yonsei University（延世大学）；MAAP Lab（MAAP实验室）；The University of Tokyo（东京大学）；University of Michigan（密歇根大学）
针对低比特率编码导致音频深度伪造检测性能下降的问题，提出保留取证信息的神经音频编解码器FP-NAC，通过检测器引导微调在ASVspoof 2019 LA上将EER最多降低49.8个百分点，并提升多个检测器性能。
2026-10-01 cs.MM cs.SD
AudioGenX: Explainability on Text-to-Audio Generative Models
针对文本到音频生成模型缺乏透明度的问题，提出可解释AI方法AudioGenX，通过事实与反事实目标优化解释器，在音频标记级提供忠实解释，增强模型可信度。
2025-02-04 cs.AI cs.LG cs.SD
Catch-A-Waveform: Learning to Generate Audio from a Single Short Example
Technion – Israel Institute of Technology（以色列理工学院）
用于音频生成的模型通常在数小时的录音上进行训练。在这里，我们说明了从单个训练信号中捕获音频源的本质通常是可能的，只要几十秒。具体来说，我们提出了一个基于GAN的生成模型，可以在来自任何领域（例如语音，音乐等）的一个短音频信号上进行训练。并且不需要预先培训或任何其他形式的外部监督。一旦经过训练，我们的模型可以生成任意持续时间的随机样本，这些样本与训练波形保持语义相似性，但表现出其音频原语的新组成。这使得一长串有趣的应用程序，包括生成新的爵士乐即兴或新的无伴奏说唱变体的基础上一个单一的短的例子，生产连贯的修改著名的歌曲（例如，仅根据原始录音为披头士的歌曲添加新的诗句），填补缺失部分（修复）、扩展语音信号的带宽（超分辨率）、以及在不访问任何干净的训练样本的情况下增强旧记录。我们表明，在所有情况下，不超过20秒的训练音频通常足以使我们的模型达到最先进的结果。这是尽管它完全缺乏关于一般音频信号的性质的先验知识。
2021-10-26 cs.LG cs.SD eess.AS
AudioLM: a Language Modeling Approach to Audio Generation
Google Research（谷歌研究院）
提出 AudioLM 框架，将音频生成转化为离散 token 空间的语言建模任务，采用混合分词方案结合掩码语言模型与神经音频编解码器，实现高质量且长期一致的语音与钢琴音乐续写。
2023-07-26 cs.LG cs.SD eess.AS
Challenge on Sound Scene Synthesis: Evaluating Text-to-Audio Generation
KAIST（韩国科学技术院）；NYU（纽约大学）；Doshisha Univ.（同志社大学）；UTokyo（东京大学）；Nantes Université（南特大学）；CMU（卡内基梅隆大学）
本文介绍 DCASE 2024 的 Sound Scene Synthesis 挑战赛，结合 Fréchet Audio Distance 与人类感知评估文本转音频模型，揭示模型规模、架构和类别差异，并验证客观指标有效性。
2024-10-23 cs.AI cs.LG cs.MM
Model-Guided Dual-Role Alignment for High-Fidelity Open-Domain Video-to-Audio Generation
KAIST, South Korea（韩国釜山国立大学）；NWPU, China（中国西北工业大学）；UNIST, South Korea（韩国全南国立大学）
本研究提出新型基于流的视频转音频生成框架MGAudio，通过模型引导双角色对齐实现生成模型自我引导，在VGGSound等基准上取得最优性能，为条件视频转音频生成提供可扩展新范式。
2025-10-28 cs.AI cs.MM cs.SD
FreeSonic: Training-Free Temporal-Aware Decoupled Attention for Precise Audio Editing
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）；Monash University（蒙纳士大学）；Renmin University of China（中国人民大学）；Fudan University（复旦大学）
提出FreeSonic，一种无需训练的框架，利用基于Rectified Flow的TangoFlux模型，通过优化反转-逆过程、联合文本-音频注意力图以及调度注意力解耦，实现精确且一致的音频编辑，同时保持背景保真度。
2026-06-16 cs.AI cs.SD eess.AS
GOMPSNR: Reflourish the Signal-to-Noise Ratio Metric for Audio Generation Tasks
本文提出GOMPSNR，通过引入相位距离项改进SNR，提升音频生成任务中客观度量的可靠性，并通过两种新型损失函数优化模型性能。
2026-01-20 cs.SD
On The Open Prompt Challenge In Conditional Audio Generation
Meta AI；Saarland University（萨尔大学）
针对TTA模型商业化中用户提示不明确的问题，研究将模型视为黑盒，用指令微调模型重写提示，结合边距排序学习的文本-音频对齐反馈提升音频质量，在主客观评估中均实现对齐度与音质的显著提升。
2023-11-01 cs.CL cs.SD eess.AS
Invisible Watermarking for Audio Generation Diffusion Models
Fordham University（福特汉姆大学）；IBM Research - Almaden（IBM研究院阿尔马登分院）；Florida International University（佛罗里达国际大学）；Google（谷歌）
本文提出首个面向梅尔频谱图音频扩散模型的不可见水印触发机制，用于验证模型所有权与完整性，并在保持良性音频生成性能的同时抵御未授权修改。
2023-10-31 cs.CR cs.LG cs.SD
Visual-based spatial audio generation system for multi-speaker environments
Queen Mary University of London（伦敦玛丽女王大学）；Xidian University（西安电子科技大学）
针对多媒体应用中空间音频生成复杂耗时的问题，提出集成YOLOv8人脸检测、单目深度估计与空间音频技术的自动化系统，无需额外双耳数据集训练，显著提升音视频空间一致性与语音质量，助力高效制作。
2025-02-13 cs.MM cs.SD eess.AS
Audio Time-Scale Modification with Temporal Compressing Networks
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Cheng Kung University（国立成功大学）；National Sun Yat-sen University（国立中山大学）
本研究提出一种基于时序压缩网络的音频时间尺度修改方法，通过将音频编码为可插值的Neuralgram潜在表示实现时域拉伸，经训练的解码器合成高保真音频，性能与现有基准相当，为该领域研究提供新思路。
2023-10-06 cs.SD eess.AS
Make-An-Audio: Text-To-Audio Generation with Prompt-Enhanced Diffusion Models
Zhejiang University（浙江大学）；Peking University（北京大学）；ByteDance AI Lab（字节跳动人工智能实验室）
大规模多模态生成建模在文本到图像和文本到视频生成方面创造了里程碑。它在音频方面的应用仍然落后，主要有两个原因：缺乏具有高质量文本音频对的大规模数据集，以及对长时间连续音频数据建模的复杂性。在这项工作中，我们提出了Make-An-Audio与增强的扩散模型，通过1）引入伪提示增强，然后重新编程的方法来解决这些差距，它通过使用无语言音频的数量级概念组合来消除数据稀缺性; 2）利用频谱图自动编码器来预测自监督音频表示而不是波形。与强大的对比语言音频预训练（CLAP）表示一起，Make-An-Audio在客观和主观基准评估方面都取得了最先进的结果。此外，我们提出了它的可控性和泛化的X到音频与“没有模态留下”，第一次解锁的能力，以产生高清晰度，高保真度的音频给定的用户定义的模态输入。音频样本可在https://Text-to-Audio.github.io上获得
2023-01-30 cs.LG cs.MM cs.SD
OmniVAE: An Audio-Video VAE with Cross-Modal Alignment for Joint Generation
研究针对音频和视频联合生成中跨模态对齐难的问题，提出OmniVAE，通过联合训练学习音频和视频潜在表示间的细粒度语义对齐，使用对比目标捕捉对应关系并对齐潜在空间，还提炼特征提升可学习性，实验证明其有效提升生成质量和同步准确性。
2026-08-03 cs.CV cs.SD
MoEScore: Mixture-of-Experts-Based Text-Audio Relevance Score Prediction for Text-to-Audio System Evaluation
Northwestern Polytechnical University（西北工业大学）；The University of Melbourne（墨尔本大学）；KAIST（韩国科学技术院）
MoEScore通过基于专家混合和顺序交叉注意的模型，实现了文本到音频系统评估中的高保真度评分，取得XACLE挑战第一名。
2026-01-11 cs.SD
Enhance audio generation controllability through representation similarity regularization
Meta AI
本文提出在语言模型音频生成训练中引入音频-文本表示相似性正则化，尤其在无分类器引导阶段强化对齐，从而提升音频与音乐生成的客观指标和人类感知质量。
2023-09-15 cs.AI cs.LG cs.SD
AudioGen: Textually Guided Audio Generation
Meta AI；The Hebrew University of Jerusalem（希伯来大学）
我们解决的问题，生成音频样本的条件下描述性的文本标题。在这项工作中，我们提出了AaudioGen，一个自回归生成模型，生成音频样本的文本输入的条件。AudioGen对学习的离散音频表示进行操作。文本到音频生成的任务提出了多个挑战。由于音频通过介质传播的方式，区分"对象“可能是一项困难的任务（例如，多人同时说话）。这由于真实世界的记录条件（例如，背景噪声、混响等）。稀少的文本注释施加了另一个约束，限制了缩放模型的能力。最后，对高保真音频进行建模需要以高采样率对音频进行编码，从而导致极长的序列。为了缓解上述挑战，我们提出了一种增强技术，可以混合不同的音频样本，驱动模型在内部学习分离多个源。我们策划了10个包含不同类型音频和文本注释的数据集，以处理文本音频数据点的稀缺性。为了更快的推理，我们探索使用多流建模，允许使用更短的序列，同时保持类似的比特率和感知质量。我们应用无分类器引导来提高对文本的遵守。与评估的基线相比，AudioGen在客观和主观指标上都优于其他指标。最后，我们探讨了所提出的方法产生音频连续条件和无条件的能力。样品：https://felixkreuk.github.io/audiogen
2023-03-05 cs.CL cs.LG cs.SD
Sep-Stereo: Visually Guided Stereophonic Audio Generation by Associating Source Separation
The Chinese University of Hong Kong（香港中文大学）
立体声音频是增强人类听觉体验不可或缺的组成部分。最近的研究已经探索了使用视觉信息作为指导来从具有立体声监督的单声道音频生成双耳或立体混响音频。然而，这种完全监督的范例具有固有的缺点：立体声音频的记录通常需要精密的设备，这些设备对于广泛的可访问性来说是昂贵的。为了克服这一挑战，我们建议利用大量可用的单声道数据来促进立体声音频的生成。我们的关键观察是，视觉指示音频分离的任务也将独立的音频映射到其相应的视觉位置，这与立体声音频生成具有类似的目标。我们将立体声生成和声源分离集成到一个统一的框架中，Sep-Stereo，通过将声源分离视为一种特定类型的音频空间化。具体而言，一种新的联想金字塔网络架构，精心设计的视听功能融合。大量的实验表明，我们的框架可以提高立体声音频生成的结果，同时执行准确的声音分离与共享骨干。
2020-07-20 cs.CV cs.MM cs.SD
ADNAC: Audio Denoiser using Neural Audio Codec
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
本文提出ADNAC，通过在大规模定制合成数据集上训练Descript Audio Codec (DAC)并结合多目标损失函数，克服传统架构局限，实现高保真音乐去噪与生成式音频修复。
2025-11-03 cs.LG cs.SD
AudioLDM: Text-to-Audio Generation with Latent Diffusion Models
University of Surrey（萨里大学）；Imperial College London（帝国理工学院）
提出AudioLDM，基于CLAP潜在空间学习连续音频表示的文本到音频生成系统，在单GPU上训练即达到最优性能，并首次支持零样本文本引导音频操作。
2023-09-09 cs.AI cs.MM cs.SD
Gull: A Generative Multifunctional Audio Codec
本文提出Gull，一种生成式多功能神经音频编解码器，通过子带建模、增益-形状表示、改进残差向量量化和弹性解码器设计，在多种采样率与比特率下实现与现有方法相当或更优的压缩性能，并内置不增加比特率的音频超分辨率能力。
2024-06-07 cs.AI cs.LG cs.SD
SALSA-V: Shortcut-Augmented Long-form Synchronized Audio from Videos
ETH Zurich（苏黎世联邦理工学院）
SALSA-V是一种多模态视频转音频生成模型，通过掩码扩散目标和捷径损失实现长音频同步高保真生成，仅需8步采样即可快速生成，性能优于现有SOTA，可用于专业音频合成任务。
2026-08-17 cs.LG cs.SD
AudioBERTScore: Objective Evaluation of Environmental Sound Synthesis Based on Similarity of Audio embedding Sequences
本文提出AudioBERTScore指标，通过结合最大范数与p-范数计算合成与参考音频嵌入序列的相似性，以客观评价文本到音频合成质量，实验证明其与主观评价值相关性优于传统指标。
2025-07-01 cs.SD eess.AS
A Production-Oriented Framework for Evaluation of SFX Generation
针对工业声音设计中声效生成评估问题，提出面向生产的评估框架，通过确定生产要求、两阶段协议及结合客观指标与人类研究，揭示不同基线的优势权衡，为声效变化评估建立协议并为设计音频生成管道提供基础。
2026-07-14 cs.AI cs.SD cs.SY
Adapting Neural Audio Codecs to EEG
ETH Zurich（苏黎世联邦理工学院）
本文提出将预训练的神经音频编解码器适应于EEG压缩，通过多通道扩展和注意力机制提升EEG重建质量与泛化能力。
2025-11-28 cs.LG cs.SD
Visual Representation Matters: Exploiting Temporal Differences in Video-to-Audio Generation
针对现有基于条件扩散的视频到音频（V2A）生成方法需额外网络或强归纳偏置的问题，提出TD-V2A框架，利用时间差异（TD）增强视觉条件，提升了V2A生成质量。
2026-08-06 cs.CV cs.LG cs.SD
AQP: An Open Modular Python Platform for Objective Speech and Audio Quality Metrics
University College Dublin（都柏林大学学院）；University of Warwick（华威大学）
音频质量评估是信号处理领域的一个研究热点。全面参考客观指标（例如，POLQA、ViSQOL）已经被开发用于仅依赖于人类评级实验来估计音频质量。为了评估新的音频处理技术的音频质量，研究人员经常需要比较客观的质量指标。测试相同指标的不同实现和评估新数据集是基本的和持续的迭代活动。在本文中，我们介绍了AQP -一个开源的，基于节点的，轻量级的Python管道，用于音频质量评估。AQP允许研究人员测试和比较客观的质量指标，有助于提高鲁棒性，可重复性和开发速度。我们介绍了平台，解释了动机，并举例说明如何使用AQP，客观的质量指标可以（i）比较和基准;（ii）原型和适应模块化的方式;（iii）可视化和检查错误。该代码已在GitHub上共享，以鼓励社区采用和贡献。
2022-06-30 cs.SD eess.AS
Masked Audio Modeling with CLAP and Multi-Objective Learning
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
针对现有掩码音频建模语义提取能力不足的问题，提出结合CLAP跨模态知识蒸馏与带监督分类分支的多目标学习的方法，显著提升了下游任务性能，在多类音频语音分类任务上达到新SOTA。
2024-01-29 cs.SD eess.AS
BINAQUAL: A Full-Reference Objective Localization Similarity Metric for Binaural Audio
School of Computer Science（计算机科学学院）；University College Dublin（都柏林大学学院）；Google LLC（谷歌公司）
本文提出全参考客观指标 BINAQUAL，将 AMBIQUAL 适配至双耳音频，以评估定位相似度，并证明其对空间变化敏感且与主观测试高度相关。
2025-10-19 cs.SD eess.AS
Objective Measures of Perceptual Audio Quality Reviewed: An Evaluation of Their Application Domain Dependence
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）
在过去的几十年中，已经开发了计算方法来估计感知音频质量。这些方法，也被称为客观质量测量，通常是针对特定的应用领域开发的。由于它们的方便性，它们通常在其最初预期的领域之外使用，即使不清楚它们在这种情况下是否提供可靠的质量估计。这项工作研究了相关性的知名国家的最先进的客观措施与人类的感知分数在两个不同的领域：音频编码和源分离。考虑以下客观测量：fwSNRseg、dLLR、PESQ、PEAQ、POLQA、PEMO-Q、ViSQOLAudio、（SI-）BSSEval、PEASS、LKR-PI、2f模型和HAAQI。此外，提出了一种新的措施（SI-SA 2f），基于2f模型和基于BSSEval的信号分解。我们使用感知分数从7个听力测试的音频编码和7个听力测试的源分离作为地面实况数据的相关性分析。结果表明，一种方法（2f模型）在这两个领域的表现明显优于其他方法，并表明用于训练该方法的数据集和强大的底层听觉模型是实现通用的、独立于领域的客观测量的关键因素。
2021-10-21 cs.SD eess.AS
SLAP: Scalable Language-Audio Pretraining with Variable-Duration Audio and Multi-Objective Training
Meta
SLAP通过可变时长音频和多目标训练，提升语言-音频预训练的规模和效果，实现更丰富的音频表示并在多个任务中取得新突破。
2026-01-18 cs.AI cs.SD eess.AS
A novel fuzzy logic-based metric for audio quality assessment: Objective audio quality assessment
INICTEL – UNI（秘鲁国家电信和信息技术研究所（国立工程大学））；University of Applied Sciences（应用科学大学）
ITU-R BS. 1387陈述了一种用于感知音频质量的客观评估的方法。该建议也称为PEAQ（音频质量感知评估），基于人耳的心理声学模型，由国际电信联盟标准化，作为主观测试的替代方案，主观测试是昂贵且耗时的过程。PEAQ结合了人耳的各种生理和心理声学特性，以测量参考音频和测试音频之间的质量差异。参考音频信号可以被认为是无失真源，而测试信号是参考的失真版本，其可能由于压缩而具有可听伪像。该算法使用三层感知器人工神经网络计算模型输出变量（MOV），这些变量被映射到单个质量度量，即客观差异等级（ODG）。ODG估计两个音频信号之间的感知失真。在本文中，我们提出了一个新的度量的低计算复杂度称为FQI（模糊质量指数），这是基于模糊逻辑推理，并已纳入现有的PEAQ模型，以提高其整体性能。结果表明，修改后的版本略优于PEAQ。
2019-10-29 cs.SD eess.AS eess.SP
Do You Remember? Overcoming Catastrophic Forgetting for Fake Audio Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Tsinghua University（清华大学）；University of Science and Technology of China（中国科学技术大学）
针对虚假音频检测中的灾难性遗忘问题，提出正则化自适应权重修改（RAWM）持续学习算法，依据真假音频比例自适应调整权重修改方向并引入正则化约束，在跨数据集实验中显著提升性能。
2023-08-07 cs.LG cs.SD eess.AS
Deep Learning-Based Single-Ended Objective Quality Measures for Time-Scale Modified Audio
Griffith University（格里菲斯大学）
用时间尺度修正（TSM）处理的音频的客观评估正在重新引起人们的兴趣。最近，一个标记的时间尺度的音频数据集被用来训练的TSM评估的客观措施。该DE测量是音频质量的感知评估的扩展，并且需要参考和测试信号。本文提出了两种不需要参考信号的单端客观时间尺度音频质量度量方法。数据驱动特征由卷积神经网络（CNN）或双向门控递归单元（BGRU）网络创建，并馈送到全连接网络以预测主观平均意见分数。所提出的CNN和BGRU测量分别实现了0.608和0.576的平均根均方误差以及0.771和0.794的平均Pearson相关性。所提出的措施被用来评估TSM算法，并提供了16 TSM实现的比较。可在https://www.github.com/zygurt/TSM上查阅客观衡量标准。
2020-09-07 cs.SD eess.AS eess.SP
On Metric Learning for Audio-Text Cross-Modal Retrieval
University of Surrey（萨里大学）
音频文本检索的目的是在给定另一模态的查询的情况下从候选者池中检索目标音频片段或字幕。解决这种跨模态检索任务是具有挑战性的，因为它不仅需要学习两种模态的鲁棒特征表示，而且还需要捕获这两种模态之间的细粒度对齐。现有的跨模态检索模型大多是通过度量学习目标来优化的，因为它们都试图将数据映射到嵌入空间，在嵌入空间中，相似的数据靠得很近，不相似的数据相距很远。与其他跨模态的检索任务，如图像-文本和视频-文本检索，音频-文本检索仍然是一个未开发的任务。在这项工作中，我们的目标是研究不同的度量学习目标对音频文本检索任务的影响。我们对AudioCaps和Clotho数据集上流行的度量学习目标进行了广泛的评估。我们证明了自监督学习的NT-Xent损失在不同的数据集和训练设置中表现出稳定的性能，并且优于流行的基于三元组的损失。我们的代码可在https://github.com/XinhaoMei/audio-text_retrieval上获得。
2022-06-30 cs.SD eess.AS
Spatial mixup: Directional loudness modification as data augmentation for sound event localization and detection
Aalto University（阿尔托大学）；Sony Group Corporation（索尼集团公司）
数据增强方法在标记数据稀缺或获取成本高的各种监督学习问题中表现出非常重要的作用。对于声音事件定位和检测（SELD）任务，已经提出了几种增强方法，其中大多数从其他领域（如图像，语音或单声道音频）借用想法。然而，只有少数人利用完整3D音频场景的空间属性。我们提出了空间混合，作为参数空间音频效果的数据增强，它修改了在立体混响域中编码的多声道空间音频信号的方向属性的应用。类似于波束成形，这些修改增强或抑制来自某些方向的信号，尽管效果不太明显。因此，使深度学习模型能够实现对小空间扰动的不变性。该方法在DCASE 2021任务3数据集中进行了实验评估，其中空间混合在非增强基线上提高了性能，并与其他众所周知的增强方法进行了比较。此外，将空间混淆与其他方法相结合，可以大大提高性能。
2021-10-12 cs.LG cs.SD eess.AS
Can we still use PEAQ? A Performance Analysis of the ITU Standard for the Objective Assessment of Perceived Audio Quality
International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）；Friedrich-Alexander Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
如国际电信联盟（ITU）建议ITU-R BS. 1387中所描述的音频质量的感知评估（PEAQ）方法已广泛用于计算地估计感知编码的音频信号的质量，而不需要广泛的主观收听测试。然而，许多报告强调了该方案在其标准化结束后的明显局限性，特别是涉及使用诸如带宽扩展或参数多信道编码等更新技术编码的信号。到目前为止，ITU还没有对测量语音和音频信号质量的其他方法进行标准化。因此，进一步调查这些限制的原因将有利于对所述计划进行可能的更新。我们的实验结果表明，PEAQ的模型的干扰响度的性能仍然是一样好（有时优于）其他国家的最先进的客观措施，虽然不同的性能取决于类型的退化信号内容（即语音或音乐）。这一发现证明需要改进认知模型。此外，结果表明，基于更新的训练数据更新模型输出值（MOV）到PEAQ失真指数（DI）的映射可以大大提高性能。最后，根据所报告的结果和与其他系统的比较，对PEAQ的改进提出了一些建议。
2022-12-02 cs.SD eess.AS
RELATE: Subjective evaluation dataset for automatic evaluation of relevance between text and audio
The University of Tokyo（东京大学）；Keio University（庆应大学）
本研究构建了开源主观评估数据集RELATE，并开发了一个自动预测主观评估分数的模型，该模型在多个声音类别上优于传统CLAPScore模型。
2025-06-30 cs.SD eess.AS
ViSQOL v3: An Open Source Production Ready Objective Speech and Audio Metric
Google LLC（谷歌有限责任公司）；University College of Dublin（都柏林大学学院）
音频和语音中的感知质量的估计可以使用各种方法。ViSQOL和ViSQOLAudio（分别用于语音和音频）的合并v3版本在设计和使用方面对以前的版本进行了改进。作为一个开源的C++库或二进制与许可证，ViSQOL现在可以部署到研究环境之外的生产使用。来自Google内部制作团队的反馈有助于改进这个新版本，并展示了它最适用的情况，以及突出的局限性。新模型根据真实数据进行基准测试以进行评估。最后对今后的工作趋势和方向进行了讨论。
2020-04-20 cs.SD eess.AS eess.SP
Perceptual Evaluation of 360 Audiovisual Quality and Machine Learning Predictions
FORCE Technology（FORCE Technology 公司）；Technical University of Denmark（丹麦技术大学）
在早期的研究中，我们收集了360视听内容的音频，视频和视听质量的感知评估。本文研究了基于360度视频和空间音频内容的客观质量度量和主观分数的感知视听质量预测。十三个客观的视频质量指标和三个客观的音频质量指标进行了评估，为每个编码参数的五个刺激。这里训练和测试了四个基于回归的机器学习模型，即，多元线性回归、决策树、随机森林和支持向量机。每个模型都是使用音频和视频质量指标的组合构建的，研究了两种交叉验证方法（k-Fold和Leave-One-Out），并产生了312个预测模型。结果表明，基于VMAF和AMBIQUAL的评价模型优于其他音视频质量度量的组合。在这项研究中，支持向量机提供了更高的性能，使用k倍（PCC = 0.909，SROCC = 0.914，和RMSE = 0.416）。这些结果可以为多媒体质量指标的设计和视听全向媒体预测模型的开发提供见解。
2021-12-22 cs.MM cs.SD eess.AS
On Training Targets and Objective Functions for Deep-Learning-Based Audio-Visual Speech Enhancement
Aalborg University（奥尔堡大学）；Oticon A/S（奥迪康公司）
视听语音增强（AV-SE）是利用来自说话者的音频和视频信息来改善噪声环境中的语音质量和可懂度的任务。最近，已经采用深度学习技术来以监督的方式解决AV-SE任务。在这种情况下，目标的选择，即要估计的数量，以及用于训练的量化该估计的质量的目标函数，对于性能至关重要。这项工作是第一个提出了一系列不同的目标和目标函数的实验研究，用于训练基于深度学习的AV-SE系统。结果表明，直接估计掩模的方法在估计的语音质量和可懂度方面整体表现最好，尽管直接估计对数幅度谱的模型在估计的语音质量方面表现良好。
2018-11-15 cs.LG cs.SD eess.AS
A Novel Approach for Object Based Audio Broadcasting
MPEG group（运动图像专家组）；ORPHEUS audio project（ORPHEUS音频项目）；Dolby（杜比）
本文提出逐样本对象音频嵌入方法 SSOBA，无需额外广播硬件即可兼容传统播放器，并通过实验证明其在 96 kHz 采样率下可高质量编码最多五个音频对象。
2023-10-25 cs.SD eess.AS
From Objectives to Applications: Aligning Architectural Biases in Audio Self-Supervised Learning
本文通过预训练目标、架构归纳偏差与下游应用的对齐，系统分析音频自监督学习，围绕五种范式讨论不同监督信号对表征的影响，并关联到CNN、RNN、状态空间模型、Transformer及混合架构的偏差，最后解读在语音、环境声、音乐、医学及多模态等领域的应用。
2026-07-02 eess.AS
