Adversarial Audio: A New Information Hiding Method and Backdoor for DNN-based Speech Recognition Models
Hunan University（湖南大学）
音频是人们日常生活中的重要媒介，隐藏信息可以嵌入到音频中进行隐蔽通信。目前的音频信息隐藏技术可以大致分为基于时域的技术和基于变换域的技术。基于时域的隐藏技术具有较大的隐藏容量，但不可感知性较低。基于变换域的技术具有较好的不可感知性，但隐藏容量较差。本文提出了一种新的音频信息隐藏技术，该技术具有高隐藏容量和良好的不可感知性。提出的音频信息隐藏方法以原始音频信号为输入，通过训练我们的私人自动语音识别（ASR）模型，得到嵌入隐藏信息的音频信号（称为隐写音频）。在不知道私有模型的内部参数和结构的情况下，私有模型可以提取隐藏信息，而公共模型不能提取隐藏信息。我们使用其他四个ASR模型来提取隐藏音频的隐藏信息，以评估私有模型的安全性。实验结果表明，该音频信息隐藏技术具有48 cps的隐藏容量，同时具有良好的不可感知性和较高的安全性。此外，我们提出的对抗性音频可用于激活基于DNN的ASR模型的内在后门，这给智能扬声器带来了严重威胁。
2019-04-08 cs.CR cs.SD eess.AS
A Multiversion Programming Inspired Approach to Detecting Audio Adversarial Examples
University of South Carolina（南卡罗来纳大学）；Temple University（天普大学）
对抗性示例（AE）是通过向输入中添加人类无法感知的扰动来制作的，这样基于机器学习的分类器就会错误地标记它们。它们已经成为机器学习可信度的严重威胁。虽然图像域中的AE已得到很好的研究，但音频AE的研究较少。最近，提出了多种技术来产生音频AE，这使得针对它们的对策成为一项紧迫的任务。我们的实验表明，给定一个AE，不同的自动语音识别（ASR）系统的转录结果有显着差异，因为它们使用不同的架构，参数和训练数据集。受多版本编程的启发，我们提出了一种新的音频AE检测方法，该方法利用多个现成的ASR系统来确定音频输入是否是AE。实验结果表明，该方法的检测准确率达到98.6%以上。
2019-12-03 cs.CR cs.SD eess.AS
Robust Audio Adversarial Example for a Physical Attack
University of Tsukuba（筑波大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
我们提出了一种方法来生成音频对抗的例子，可以攻击一个国家的最先进的语音识别模型在物理世界。以前的工作假设生成的对抗性示例直接馈送到识别模型，并且由于来自回放环境的混响和噪声而无法执行这种物理攻击。相比之下，我们的方法通过模拟物理世界中回放或记录引起的变换并将变换纳入生成过程来获得强大的对抗性示例。评估和听力实验表明，我们的对抗性示例能够在不被人类注意的情况下进行攻击。这一结果表明，该方法生成的音频对抗示例可能会成为真正的威胁。
2019-08-19 cs.CR cs.LG cs.SD
Targeted Adversarial Examples for Black Box Audio Systems
UC Berkeley（加州大学伯克利分校）
深度递归网络在音频转录中的应用已经在自动语音识别（ASR）系统中取得了令人印象深刻的进展。许多人已经证明，小的对抗性扰动可以欺骗深度神经网络，使其以高置信度错误地预测特定目标。目前关于愚弄ASR系统的工作主要集中在白盒攻击上，其中模型架构和参数是已知的。在本文中，我们采用了一个黑箱的方法来对抗生成，结合遗传算法和梯度估计的方法来解决这个问题。我们在3000代后实现了89.25%的目标攻击相似性，同时保持了94.6%的音频文件相似性。
2019-08-20 cs.CR cs.LG cs.SD
Characterizing Audio Adversarial Examples Using Temporal Dependency
Shanghai Jiao Tong University（上海交通大学）；University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）；UC, Berkeley（加州大学伯克利分校）
最近的研究强调对抗性示例是对不同神经网络模型和许多下游应用的普遍威胁。尽管如此，由于独特的数据属性激发了独特而强大的学习原则，本文旨在探索它们在减轻对抗性输入方面的潜力。特别是，我们的研究结果揭示了使用音频数据中的时间依赖性来获得对抗性示例的区分能力的重要性。在自动语音识别（ASR）任务和最近的三种音频对抗攻击上进行测试，我们发现（i）从图像对抗防御开发的输入变换提供了有限的鲁棒性改进，并且对高级攻击很微妙;（ii）可以利用时间依赖性来获得对音频对抗示例的区分能力，并且抵抗我们实验中考虑的自适应攻击。我们的研究结果不仅显示了提高ASR系统鲁棒性的有希望的方法，而且还提供了利用特定领域数据属性来减轻对抗性示例的负面影响的新见解。
2019-06-05 cs.AI cs.CR cs.LG
ADAGIO: Interactive Experimentation with Adversarial Attack and Defense for Audio
Georgia Institute of Technology（佐治亚理工学院）；Intel Corporation（英特尔公司）
对抗机器学习研究最近已经证明了通过向音频样本引入声学上不可感知的扰动来混淆自动语音识别（ASR）模型的可行性。为了帮助研究人员和从业人员更好地了解此类攻击的影响，并为他们提供工具，帮助他们更轻松地评估和为其模型制作强大的防御，我们介绍了ADAGIO，这是第一个旨在实时的ASR模型上的对抗攻击和防御的交互式实验工具，包括视觉和听觉。ADAGIO采用AMR和MP3音频压缩技术作为防御手段，用户可以交互式地将其应用于受攻击的音频样本。我们表明，这些技术，这是基于心理声学原理，有效地消除有针对性的攻击，攻击成功率从92.5%降低到0%。我们将演示ADAGIO，并邀请观众在Mozilla Common Voice数据集上试用。
2018-05-30 cs.CR cs.LG cs.SD
Isolated and Ensemble Audio Preprocessing Methods for Detecting Adversarial Examples against Automatic Speech Recognition
University of Chicago（芝加哥大学）；University of Florida（佛罗里达大学）
对抗攻击是一种利用过程，其中对自然输入进行微小的改变，导致输入被神经模型错误分类。在语音识别领域，这已经成为一个越来越重要的问题。虽然对抗攻击最初是在计算机视觉中引入的，但它们已经渗透到语音识别领域。2017年，基因攻击被证明对语音命令模型非常有效。有限词汇语音分类器，如语音命令模型，用于各种应用程序，特别是电话;因此，这种攻击产生的对抗性示例构成了重大的安全威胁。本文探讨了各种方法来检测这些敌对的例子与音频预处理的组合。一种结合了压缩、语音编码、过滤和音频平移的特定组合防御被证明对语音命令模型的攻击非常有效，检测音频对抗性示例的准确率为93.5%，召回率为91.2%。
2018-09-11 cs.CL cs.CR cs.LG
Selective Masking Adversarial Attack on Automatic Speech Recognition Systems
Wuhan University（武汉大学）
本文提出选择性掩蔽对抗攻击（SMA），针对双说话人同时发声的 ASR 场景，通过选择性掩蔽优化算法生成对抗样本，在 Conformer-CTC 上实现 100% 攻击成功率和 37.15dB 信噪比，优于现有基线。
2025-04-06 cs.CR cs.SD
Perceptual Loss Function for Neural Modelling of Audio Systems
Aalto University（阿尔托大学）
这项工作研究交替预加重滤波器的损失函数的一部分，在神经网络训练非线性音频处理。在我们之前的工作中，在网络训练期间使用了错误信号比损失函数，并将一阶高通预加重滤波器应用于目标信号和神经网络输出。这项工作考虑更多的感知相关的预加重滤波器，其中包括在高频低通滤波。我们进行了听力测试，以确定它们是否能改善吉他管放大器的神经网络模型的质量。听力测试结果表明，A加权预加重滤波器的使用提供了最好的改善测试中的过滤器。所提出的感知损失函数在不影响计算成本的情况下提高了音频处理中神经网络模型的声音质量。
2019-11-20 cs.SD eess.AS
DPLM: A Deep Perceptual Spatial-Audio Localization Metric
Facebook Reality Labs Research（Facebook现实实验室研究院）
主观评估对于评估音频合成驱动技术（如增强现实和虚拟现实）中声音的感知真实性至关重要。然而，它们的设置具有挑战性，用户会感到疲劳，而且价格昂贵。在这项工作中，我们解决了捕捉本地化声音的感知特性的问题。具体来说，我们提出了一个框架，用于建立一个通用的质量指标，以评估两个双耳录音之间的空间定位差异。我们通过利用来自经过波达方向（DOA）估计训练的深度网络的激活级距离来对定位相似性进行建模。我们提出的指标（DPLM）在与不同数据集上的主观评级相关性方面优于基线指标，即使没有任何人工标记的训练数据。
2021-05-29 cs.SD eess.AS
NOMAD: Unsupervised Learning of Perceptual Embeddings for Speech Enhancement and Non-matching Reference Audio Quality Assessment
Google（谷歌）；Science Foundation Ireland（爱尔兰科学基金会）
本文提出无监督、可微的感知相似度度量 NOMAD，利用 NSIM 引导的三元组损失学习音频嵌入，在质量评估、退化排序和语音增强任务中优于非匹配参考方法。
2024-01-19 cs.SD eess.AS
Perceptual Loss based Speech Denoising with an ensemble of Audio Pattern Recognition and Self-Supervised Models
Johns Hopkins University（约翰斯·霍普金斯大学）
基于深度学习的语音去噪仍然面临着提高增强信号的感知质量的挑战。我们引入了一个广义的框架，称为感知包围正则化损失（PERL）的感知损失的想法。感知损失阻止了某些语音属性的失真，我们使用六个大规模的预训练模型进行分析：扬声器分类，声学模型，扬声器嵌入，情感分类和两个自监督语音编码器（PASE+，wav 2 vec 2.0）。我们首先在流行的增强基准VCTK-DEMAND上使用Conformer Transformer Networks构建一个强基线（w/o PERL）。一次使用一个辅助模型，我们发现声学事件和自监督模型PASE+是最有效的。我们的最佳模型（PERL-AE）仅使用声学事件模型（利用AudioSet），在主要感知指标上优于最先进的方法。为了探索去噪是否可以利用完整的框架，我们使用了所有的网络，但发现我们的七损失公式受到了多任务学习的挑战。最后，我们报告了一个重要的观察结果，即最先进的多任务权重学习方法无法优于手动调整，这可能是由于域不匹配和损失互补性弱的挑战。
2020-10-22 cs.SD eess.AS
A subjective study of the perceptual acceptability of audio-video desynchronization in sports videos
本文介绍了一项研究的结果进行的感知接受的音频视频去噪声化的体育视频。该研究是通过对5个源内容应用8个音视频偏移生成的45个视频进行的。20名受试者参加了这项研究。结果表明，人类对语音刺激的音视频偏移误差更敏感，体育广播中发生的复杂事件具有更高的可接受阈值。这表明在广播中将音频-视频同步要求调谐到广播的内容。
2022-12-03 cs.SD eess.AS eess.IV
Objective Measures of Perceptual Audio Quality Reviewed: An Evaluation of Their Application Domain Dependence
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）
在过去的几十年中，已经开发了计算方法来估计感知音频质量。这些方法，也被称为客观质量测量，通常是针对特定的应用领域开发的。由于它们的方便性，它们通常在其最初预期的领域之外使用，即使不清楚它们在这种情况下是否提供可靠的质量估计。这项工作研究了相关性的知名国家的最先进的客观措施与人类的感知分数在两个不同的领域：音频编码和源分离。考虑以下客观测量：fwSNRseg、dLLR、PESQ、PEAQ、POLQA、PEMO-Q、ViSQOLAudio、（SI-）BSSEval、PEASS、LKR-PI、2f模型和HAAQI。此外，提出了一种新的措施（SI-SA 2f），基于2f模型和基于BSSEval的信号分解。我们使用感知分数从7个听力测试的音频编码和7个听力测试的源分离作为地面实况数据的相关性分析。结果表明，一种方法（2f模型）在这两个领域的表现明显优于其他方法，并表明用于训练该方法的数据集和强大的底层听觉模型是实现通用的、独立于领域的客观测量的关键因素。
2021-10-21 cs.SD eess.AS
PADP: Perceptual Audio Data Perturbation for Probing Perception Awareness in Audio Quality Models
本文提出PADP方法，通过引入感知无关的音频扰动来测试音频质量模型的感知能力，发现现有模型与人类听觉感知存在显著偏差。
2026-10-02 eess.AS
Exploring Perceptual Audio Quality Measurement on Stereo Processing Using the Open Dataset of Audio Quality
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫联合集成电路研究所）；Ball State University（巴尔的摩州立大学）；Netflix, Inc.（Netflix公司）
本文通过ODAQ数据集探讨立体声处理对音频质量的影响，发现基于音色的指标在复杂情境下表现不佳，强调需整合心理声学与上下文因素的模型。
2025-12-11 cs.SD eess.AS
Perceptual Audio Coding: A 40-Year Historical Perspective
本文回顾了感知音频编码40年的发展历程，从早期基础编码器到现代集成系统，并展望了未来方向。
2025-04-22 eess.AS
VR-PTOLEMAIC: A Virtual Environment for the Perceptual Testing of Spatial Audio Algorithms
本研究提出集成MUSHRA方法的VR-PTOLEMAIC虚拟现实评估系统，支持在25个模拟聆听位评估空间音频算法，测试验证其能有效支撑评估且用户体验良好。
2025-08-01 cs.SD eess.AS
Perceptual Evaluation of 360 Audiovisual Quality and Machine Learning Predictions
FORCE Technology（FORCE Technology 公司）；Technical University of Denmark（丹麦技术大学）
在早期的研究中，我们收集了360视听内容的音频，视频和视听质量的感知评估。本文研究了基于360度视频和空间音频内容的客观质量度量和主观分数的感知视听质量预测。十三个客观的视频质量指标和三个客观的音频质量指标进行了评估，为每个编码参数的五个刺激。这里训练和测试了四个基于回归的机器学习模型，即，多元线性回归、决策树、随机森林和支持向量机。每个模型都是使用音频和视频质量指标的组合构建的，研究了两种交叉验证方法（k-Fold和Leave-One-Out），并产生了312个预测模型。结果表明，基于VMAF和AMBIQUAL的评价模型优于其他音视频质量度量的组合。在这项研究中，支持向量机提供了更高的性能，使用k倍（PCC = 0.909，SROCC = 0.914，和RMSE = 0.416）。这些结果可以为多媒体质量指标的设计和视听全向媒体预测模型的开发提供见解。
2021-12-22 cs.MM cs.SD eess.AS
Improving Perceptual Audio Aesthetic Assessment via Triplet Loss and Self-Supervised Embeddings
Research Center for Information Technology Innovation, Academia Sinica（学术院信息科技创新研究中心）；College of Informatics, National Chengchi University（国立成功大学资讯学院）；Institute of Information Science, Academia Sinica（学术院信息科学研究所）；Institute of Communications Engineering, National Yang Ming Chiao Tung University（国立阳明交通大学通讯工程研究所）
针对生成式音频美学评估中自然训练数据与合成评估数据的域偏移问题，结合BEATs预训练模型与多分支LSTM，采用带缓冲区采样的三元组损失构建嵌入空间，提升了嵌入可区分性与泛化能力，实现无需合成训练数据的域鲁棒音频质量评估。
2025-09-03 cs.LG cs.SD eess.AS
Training a Perceptual Model for Evaluating Auditory Similarity in Music Adversarial Attack
Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）
针对MIR系统易受人类无法察觉的对抗攻击且现有感知指标与人类判断相关性低的问题，提出基于心理声学条件序列对比变换器的PAMT框架，提升了感知对齐度和对抗攻击下的鲁棒准确率。
2025-09-05 cs.SD eess.AS
A Differentiable Perceptual Audio Metric Learned from Just Noticeable Differences
Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
许多音频处理任务需要感知评估。获得人类判断的“黄金标准”是耗时的，昂贵的，并且不能用作优化标准。另一方面，自动化指标计算效率高，但通常与人类判断相关性差，特别是对于人类检测阈值处的音频差异。在这项工作中，我们通过将深度神经网络拟合到一个新的大型众包人类判断数据集来构建一个度量。受试者被要求回答一个简单、客观的问题：两个录音是否相同？这些对是在各种扰动下通过算法生成的，包括噪声、混响和压缩伪影;探测扰动空间的目的是有效地识别受试者的刚可察觉差异（JND）水平。我们表明，由此产生的学习度量是很好的校准与人类的判断，优于基线方法。由于它是一个深度网络，因此该度量是可微的，使其适合作为其他任务的损失函数。因此，简单地替换现有的损失（例如，深度特征损失）与我们的度量在去噪网络中产生显著的改进，如通过主观成对比较所测量的。
2020-05-18 cs.SD eess.AS
Do Joint Language-Audio Embeddings Encode Perceptual Timbre Semantics?
Department of Electrical and Computer Engineering（电气与计算机工程系）；Department of Computer Science（计算机科学系）；Northwestern University（西北大学）
本文评估MS-CLAP等联合语言-音频嵌入模型捕捉感知音色语义的能力，发现LAION-CLAP对齐表现较强但整体有限，混响诱导音色语义的编码一致性优于均衡诱导。
2026-08-26 cs.AI cs.SD eess.AS
Perceptual Evaluation on Audio-visual Dataset of 360 Content
FORCE Technology（FORCE科技）；Meta Reality Labs（Meta现实实验室）
为了开辟新的可能性来评估全向媒体格式的多模态感知质量，我们提出了一种新的开源360视听（AV）质量数据集。该数据集由等矩形（ERP）格式的高质量360视频剪辑和高阶立体混响（4阶）以及主观分数组成。三个主观质量的实验进行了音频，视频和AV与本文中详细的程序。使用来自主观测试的数据，我们证明了该数据集可用于量化感知的音频，视频和视听质量。对主观评分的多样性和区分度进行了分析。最后，我们研究了我们的数据集如何与音频和视频的各种客观质量指标相关。从这项研究的结果的证据表明，建议的数据集可以有利于未来的研究多模态质量评价的360内容。
2022-05-16 cs.MM cs.SD eess.AS
DeePAQ: A Perceptual Audio Quality Metric Based On Foundational Models and Weakly Supervised Learning
提出DeePAQ，一种基于弱监督标签和度量学习，利用LoRA微调音乐基础模型MERT的感知音频质量度量，在检测编码伪影及泛化到未见失真上超越现有指标。
2025-10-14 eess.AS
Ensemble-Based Perceptual Audio Quality Assessment with Confidence Intervals
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所 IIS）；International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）；Friedrich-Alexander Universität Erlangen-Nürnberg（纽伦堡弗里德里希-亚历山大大学）
提出一种轻量级侵入式音频质量评估方法，结合PEAQ前端与装袋集成回归器，通过校准生成分数分布，提供置信区间和不确定性评估，性能媲美数据密集型端到端方法。
2026-10-06 cs.SD eess.AS
Perceptually-motivated Spatial Audio Codec for Higher-Order Ambisonics Compression
本文针对高阶 Ambisonics 声道数过多、难以适应低带宽传输的问题，提出基于 HO-DirAC 的参数化空间音频编解码器，并通过五阶 HOA 听音测试验证其在低至中高比特率下的压缩质量提升。
2024-01-24 eess.AS eess.SP
BWSNet: Automatic Perceptual Assessment of Audio Signals
STMS Lab - IRCAM, CNRS, Sorbonne Université（STMS实验室 - 声学/音乐研究与协作研究所，法国国家科学研究中心，索邦大学）；Department of Speech Hearing and Phonetic Sciences, University College London（伦敦大学学院言语、听力和语音科学系）；School of Psychology and Neuroscience, University of Glasgow（格拉斯哥大学心理学与神经科学学院）
提出 BWSNet，利用 BWS 实验中的原始人类判断，通过度量学习代价与约束学习音频感知嵌入，并在言语社会态度和音色数据上验证其结构与人类判断一致。
2024-01-21 cs.SD eess.AS
Hallucination in Perceptual Metric-Driven Speech Enhancement Networks
University of Sheffield（谢菲尔德大学）；TOSHIBA Cambridge Research Laboratory（东芝剑桥研究实验室）
本文识别了感知度量驱动的语音增强网络中的幻觉问题，即增强系统通过欺骗语音质量预测器来引入幻觉，并旨在揭示这一潜在缺陷。
2024-05-24 cs.SD eess.AS
Towards Improved Objective Perceptual Audio Quality Assessment -- Part 1: A Novel Data-Driven Cognitive Model
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所IIS）；International Audio Laboratories Erlangen（埃尔兰根国际音频实验室）；Friedrich Alexander Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学）
针对现有客观音频质量评估工具泛化能力不足的问题，本文提出一种基于主观数据的新型数据驱动认知模型，通过自适应加权失真指标提升预测精度，为多维质量测量扩展提供更易管理的方案。
2024-11-27 cs.SD eess.AS eess.SP
Learning Perceptually Relevant Temporal Envelope Morphing
Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种基于感知指导的学习方法，用于生成具有时间中间性的音频包络变形，通过人类听觉研究和大规模数据集训练，优于现有方法。
2025-11-24 cs.SD eess.AS eess.SP
An Improved Metric of Informational Masking for Perceptual Audio Quality Measurement
Friedrich-Alexander Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
针对认知效应尤其在音乐信号上预测增益不稳的问题，本文提出考虑掩蔽阈值附近干扰信息复杂度的改进IM度量，并通过基于LT数据的交互分析融入质量测量系统，在多样化数据库验证中优于既有IM度量。
2023-07-13 cs.SD eess.AS eess.SP
CDPAM: Contrastive learning for perceptual audio similarity
Princeton University（普林斯顿大学）；Adobe Research（奥多比研究院）
许多基于深度学习的语音处理方法都需要一个自动的、可微分的音频度量作为损失函数。Manocha等人的DPAM方法学习了直接根据人类判断训练的全参考度量，因此与人类感知很好地相关。然而，它需要大量的人类注释，并且在训练的扰动范围之外不能很好地泛化。本文介绍了CDPAM，一个建立在DPAM的基础上并对其进行了改进的度量。主要的改进是结合对比学习和多维表示，从有限的数据中构建强大的模型。此外，我们收集人类对三重比较的判断，以提高对更广泛的音频扰动的泛化能力。CDPAM在九个不同的数据集上与人类反应良好相关。我们还表明，将此度量添加到现有的语音合成和增强方法产生显着的改善，客观和主观的测试。
2021-02-09 cs.LG cs.SD eess.AS
Correlation of Fréchet Audio Distance With Human Perception of Environmental Audio Is Embedding Dependant
École Centrale Nantes（南特中央理工学院）；CNRS（法国国家科学研究中心）；Gaudio Lab, Inc.（Gaudio实验室公司）；KAIST（韩国科学技术院）；Carnegie Mellon University（卡内基梅隆大学）；Doshisha University（同志社大学）；Ritsumeikan University（立命馆大学）
本文研究了不同领域特定嵌入对 Fréchet Audio Distance (FAD) 与环境声音感知评分相关性的影响，发现 PANNs-WGM-LogMel 嵌入效果最佳，强调了嵌入选择对 FAD 指标设计的关键重要性。
2024-03-26 cs.SD eess.AS
Generative timbre spaces: regularizing variational auto-encoders with perceptual metrics
IRCAM（声学/音乐研究和协作学院）；CNRS（法国国家科学研究中心）；Sorbonne Universite（索邦大学）
音色空间已被用于音乐感知，以研究基于相异性等级的乐器之间的感知关系。然而，这些空间并不推广到新的示例，并且不提供可逆的映射，从而阻止了音频合成。与此同时，生成模型的目的是提供合成新音色的方法。然而，这些系统不提供对其内部工作的理解，并且通常与任何感知相关的信息无关。在这里，我们表明，变分自动编码器（VAE）可以通过构建生成音色空间来缓解所有这些限制。为此，我们调整VAE来学习音频潜在空间，同时使用音色研究的感知评级来规范该空间的组织。由此产生的空间使我们能够分析新颖的乐器，同时能够从该空间的任何点合成音频。我们引入了一个特定的正则化，允许在这些空间上执行任何给定的相似距离。我们表明，由此产生的空间提供几乎类似的距离关系的音色空间。我们评估了几种谱变换，并表明非平稳Gabor变换（NSGT）提供了最高的相关性的音色空间和最好的合成质量。此外，我们表明，这些空间可以推广到新的仪器，可以产生任何工具之间的路径，以了解他们的音色关系。由于这些空间是连续的，我们研究音频描述符如何沿着潜在维度表现。我们表明，即使描述符有一个整体的非线性拓扑结构，他们遵循局部平滑的演变。在此基础上，我们介绍了一种基于描述符的合成方法，并表明，我们可以控制的描述符的乐器，同时保持其音色结构。
2018-10-01 cs.SD eess.AS
Perceptual Quality Assessment of Omnidirectional Audio-visual Signals
Institute of Image Communication and Network Engineering, Shanghai Jiao Tong University（上海交通大学图像通信与网络工程研究所）
针对现有全向视频质量评估忽略音频影响的问题，构建了包含375段失真序列的大规模全向视听质量评估数据集，并设计三种多模态融合的全参考评估基线方法，为全向体验质量评估提供新基准。
2023-07-20 cs.CV cs.SD eess.AS
Diverse Audio Captioning via Adversarial Training
University of Surrey（萨里大学）；Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音与信号处理中心（CVSSP））
音频字幕的目的是自动生成自然语言描述的音频片段。近年来，现有的音频字幕模型已经显示出有希望的改进。然而，这些模型大多通过最大似然估计（MLE）进行训练，这往往使字幕通用，简单和确定性。由于不同的人可以从不同的方面使用不同的单词和语法来描述音频片段，我们认为，音频字幕系统应该有能力为固定的音频片段和跨类似的音频片段生成不同的字幕。为了解决这个问题，我们提出了一个基于条件生成对抗网络（C-GAN）的音频字幕对抗训练框架，旨在提高生成字幕的自然性和多样性。与经典GAN中处理连续值的数据不同，句子由离散标记组成，并且离散采样过程是不可微的。为了解决这个问题，策略梯度，一种强化学习技术，用于将奖励反向传播到生成器。结果表明，我们提出的模型可以生成更多样化的字幕，相比国家的最先进的方法。
2022-03-29 cs.SD eess.AS
Enabling Fast and Universal Audio Adversarial Attack Using Generative Model
Rutgers University（罗格斯大学）；The University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）
近年来，基于DNN的音频系统对抗性攻击的脆弱性得到了越来越多的关注。然而，现有的音频对抗性攻击允许对手拥有整个用户的音频输入，并给予足够的时间预算来生成对抗性扰动。然而，这些理想化的假设使得现有的音频对抗性攻击在实践中几乎不可能及时发起（例如，与用户的流输入一起播放不明显的对抗性扰动）。为了克服这些限制，在本文中，我们提出了快速音频对抗扰动生成器（FAPG），它使用生成模型在单个前向传递中为音频输入生成对抗扰动，从而大大提高扰动生成速度。在FAPG的基础上，我们进一步提出了通用音频对抗扰动生成器（UAPG），这是一种制作通用对抗扰动的方案，可以对任意良性音频输入施加扰动以引起错误分类。大量的实验表明，我们提出的FAPG可以实现高达167倍的加速比最先进的音频对抗攻击方法。此外，我们提出的UAPG可以产生通用的对抗扰动，实现更好的攻击性能比最先进的解决方案。
2021-02-07 cs.LG cs.SD eess.AS
Listen Then Reason: Perception-Grounded Test-Time Reinforcement Learning for Large Audio-Language Models
The University of Melbourne（墨尔本大学）；University of Auckland（奥克兰大学）；University of Birmingham（伯明翰大学）；ARC OPTIMA
本研究提出感知接地测试时强化学习（PG-TTRL），通过量化并增强大型音频语言模型推理中对声学证据的依赖，显著提升音频推理准确率，优于基础模型和标准TTRL。
2026-09-22 cs.AI cs.SD eess.AS
Embedding-Based Intrusive Evaluation Metrics for Musical Source Separation Using MERT Representations
University of Music and Performing Arts Graz, Institute of Electronic Music and Acoustics (IEM)（格拉茨音乐与表演艺术大学，电子音乐与声学研究所）
本文提出基于MERT嵌入的侵入性评估指标，用于改进音乐源分离的评估方法，实验表明其在感知音频质量评分上表现优于传统BSS-Eval指标。
2026-04-22 cs.SD eess.AS
Enhancing Unsupervised Audio Representation Learning via Adversarial Sample Generation
Alibaba Group（阿里巴巴集团）；Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
现有的音频分析方法通常首先将音频流转换为频谱图，然后将其馈送到CNN中进行进一步分析。标准的CNN识别特征图上的特定视觉模式，然后汇集高级表示，这忽略了识别模式的位置信息。然而，与自然图像不同，音频频谱图的语义对位置变化敏感，因为其垂直和水平轴指示音频的频率和时间信息，而不是朴素的直角坐标。因此，CNN对位置变化的不敏感性对音频频谱图编码起负面作用。为了解决这个问题，本文提出了一种新的自监督学习机制，该机制通过首先生成对抗样本（\textit{i.e.}，负样本），然后驱动CNN来区分潜在空间中负对的嵌入来增强音频表示。大量实验表明，该方法在9个下游数据集上取得了较好的效果，验证了其在音频表示学习中的有效性。
2023-03-15 cs.SD eess.AS
JSQA: Speech Quality Assessment with Perceptually-Inspired Contrastive Pretraining Based on JND Audio Pairs
提出JSQA两阶段框架，利用最小可觉差(JND)音频对进行感知引导的对比预训练，再针对NISQA数据集微调以预测MOS，显著提升了语音质量评估性能。
2025-07-15 cs.AI cs.LG eess.AS
Optimizing Audio Compression Through Entropy-Controlled Dithering
Rutgers University（罗格斯大学）
本文研究结合噪声整形与熵参数的 TPDF 抖动，在多类音频中用 VISQOL、STOI 评估，证明其优于 RPDF，并提供可定制 DAW 插件。
2025-01-09 cs.SD eess.AS
Hybrid-Sep: Language-queried audio source separation via pre-trained Model Fusion and Adversarial Diffusion Training
HybridSep提出两阶段语言查询音频分离框架，融合SSL声学表示与CLAP语义嵌入，并引入对抗一致性训练，在多个指标上超越现有基线，树立新基准。
2025-06-20 cs.SD eess.AS
Perceptual Musical Features for Interpretable Audio Tagging
National Technical University of Athens（雅典国立技术大学）
本文针对自动音乐标注中深度模型不可解释的问题，提出结合符号知识、辅助深度网络与信号处理提取感知特征，并训练可解释模型，在MTG-Jamendo和GTZAN数据集上验证了以少量性能损失换取可解释性的可行性。
2024-02-23 cs.AI cs.SD eess.AS
Discriminating real and synthetic super-resolved audio samples using embedding-based classifiers
Tampere University（塔尔基耶大学）；Nokia Technologies（诺基亚技术）
本文提出基于嵌入式分类器区分真实与合成超分辨音频的方法，揭示了感知质量与真实分布忠实性之间的差距。
2026-01-06 cs.AI cs.SD eess.AS
SAM Audio Judge: A Unified Multimodal Framework for Perceptual Evaluation of Audio Separation
Johns Hopkins University（约翰霍普金斯大学）；Meta
SAM Audio Judge 提出了一种多模态细粒度参考自由客观指标，用于评估音频分离的感知性能，支持多种音频领域和输入类型，具有高一致性与实际应用潜力。
2026-01-27 cs.AI eess.AS
A Data-driven Cognitive Salience Model for Objective Perceptual Audio Quality Assessment
Friedrich-Alexander Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
客观音频质量测量系统通常使用感知模型来预测处理后信号的主观质量分数，如在收听测试中所报告的。大多数系统将感知到的退化的不同度量映射到预测主观质量的单个质量分数中。这需要质量映射阶段，该质量映射阶段由使用统计学习的真实收听测试数据通知（即，数据驱动的方法），其中失真度量作为输入特征。然而，在实践中，可靠的训练数据量是有限的，通常不足以全面训练大型学习模型。然而，目标系统中的认知效应模型可以改进学习模型。具体来说，考虑到某些失真类型的显著性，它们为映射阶段提供了额外的特征，这些特征可以改善学习过程，特别是对于有限数量的训练数据。我们提出了一种新的数据驱动的显着性模型，通知质量映射阶段明确估计认知/退化度量的相互作用，使用显着性措施。结合新的显着性模型的系统表现优于等效系统，仅使用统计学习结合认知和退化指标，以及其他众所周知的测量系统，为代表性的验证数据集。
2022-12-08 cs.SD eess.AS eess.SP
Comparing Representations for Audio Synthesis Using Generative Adversarial Networks
Sony Computer Science Laboratories（索尼计算机科学实验室）；Télecom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
在本文中，我们比较了不同的音频信号表示，包括原始音频波形和各种时频表示，用于生成对抗网络（GANs）的音频合成任务。我们在NSynth数据集的一个子集上进行实验。该架构遵循基准Progressive Growing Wasserstein GAN。我们以完全无条件的方式进行实验，并在音高信息上调节网络。我们利用标准指标对生成的材料进行定量评估，以评估生成模型，并比较训练和采样时间。我们表明，复值以及幅度和瞬时频率的短时傅里叶变换达到最佳效果，并产生快速生成和反转时间。用于特征提取、训练和评估模型的代码可在线获得。
2020-06-17 cs.SD eess.AS
Expressivity-aware Music Performance Retrieval using Mid-level Perceptual Features and Emotion Word Embeddings
Institute of Computational Perception（计算感知研究所）；Johannes Kepler University Linz（林茨约翰·开普勒大学）
针对同一作品不同演奏版本的跨模态检索任务，通过在文本侧用情感增强词嵌入、音频侧用中层感知特征改进通用跨模态系统，提升了钢琴演奏检索性能，还为检索及推荐的可解释性提供了思路。
2024-01-26 cs.IR cs.SD eess.AS
FAAG: Fast Adversarial Audio Generation through Interactive Attack Optimisation
Swinburne University of Technology（斯威本科技大学）；James Cook University（詹姆斯·库克大学）；Deakin University（迪肯大学）
自动语音识别服务（ASR）继承了深度神经网络的漏洞，如精心制作的对抗性示例。现有的方法通常效率低下，因为目标相位被添加到整个音频样本中，导致对计算资源的高需求。本文提出了一种名为FAAG的新方案，作为一种基于迭代优化的方法来快速生成有针对性的对抗性示例。通过在音频的开始部分注入噪声，FAAG以高的成功率及时生成高质量的对抗性音频。具体来说，我们使用音频的logits输出将转录中的每个字符映射到音频帧的近似位置。因此，FAAG仅使用CPU就可以在大约两分钟内生成一个对抗性示例，使用一个GPU大约需要十秒，同时保持平均成功率超过85%。具体来说，在对抗性示例生成过程中，FAAG方法与基线方法相比可以加快60%左右。此外，我们发现，附加良性音频到任何可疑的例子可以有效地抵御有针对性的对抗攻击。我们希望这项工作为发明新的针对具有计算约束的语音识别的对抗攻击铺平道路。
2022-02-11 cs.CR cs.SD eess.AS
A Comprehensive Survey on Video Saliency Detection with Auditory Information: the Audio-visual Consistency Perceptual is the Key!
China University of Petroleum (East China)（中国石油大学（华东））；Shandong University of Finance and Economics（山东财经大学）；Beijing Information Science and Technology University（北京信息科技大学）
视频显著性检测（VSD）的目的是快速定位最有吸引力的对象/事物/模式在给定的视频剪辑。现有的VSD相关工作主要依赖于视觉系统，而较少关注音频方面，而实际上，我们的音频系统是视觉系统最重要的补充部分。此外，视听显着性检测（AVSD），模仿人类感知机制的最具代表性的研究课题之一，目前正处于起步阶段，现有的调查论文都没有涉及它，特别是从显着性检测的角度。因此，本文的最终目标是提供一个广泛的审查，以弥合视听融合和显着性检测之间的差距。此外，作为本综述的另一个亮点，我们深入了解了可能直接决定AVSD深度模型性能的关键因素，我们声称视听一致性程度（AVC）-一个长期被忽视的问题，可以直接影响在执行显着性检测时使用音频使其视觉对应物受益的有效性。此外，为了使AVC问题对未来的追随者更加实用和有价值，我们最近为几乎所有现有的公开AVSD数据集配备了额外的逐帧AVC标签。基于这些升级后的数据集，我们进行了广泛的定量评估，以证实我们关于AVC在AVSD任务中的重要性的说法。总之，我们的想法和新的设置作为一个方便的平台，与目录和指导方针，所有这些都是非常有潜力的，以促进未来的工作，在促进国家的最先进的（SOTA）性能进一步。
2022-06-20 cs.CV cs.LG cs.SD
Evaluating generative audio systems and their metrics
Georgia Institute of Technology（佐治亚理工学院）
近年来，使用深度生成模型的音频合成取得了相当大的进展。然而，最新技术水平很难量化;不同的研究在报告结果时往往使用不同的评估方法和不同的指标，这使得与其他系统进行直接比较变得困难，甚至是不可能的。此外，在大多数情况下，所报告的度量的感知相关性和意义是未知的，从而禁止关于实际可用性和音频质量的任何结论性见解。本文提出了一项研究，调查国家的最先进的方法并排与（i）一组先前提出的音频重建的客观指标，并与（ii）听的研究。结果表明，目前使用的客观指标不足以描述当前系统的感知质量。
2022-08-31 cs.LG cs.SD eess.AS
Cortical Features for Defense Against Adversarial Audio Attacks
University of Maryland, College Park（马里兰大学帕克分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们建议使用听觉皮层的计算模型作为对音频的对抗攻击的防御。我们将几种基于白盒迭代优化的对抗攻击应用于Amazon Alexa硬件网络的实现，以及具有集成皮质表示的该网络的修改版本，并表明皮质特征有助于防御通用对抗示例。在相同的失真水平下，针对皮层网络发现的对抗性噪声对于通用音频攻击总是不太有效。我们在https://github.com/ilyakava/py3fst上公开发布我们的代码。
2021-11-17 cs.LG cs.SD eess.AS
