Contrastive timbre representations for musical instrument and synthesizer retrieval
本文提出一种对比学习框架，通过生成虚拟乐器的正负样本对，使用单一模型实现从单乐器到多乐器混合音频的高效乐器检索，并在多乐器检索任务上取得95.7%的top-5准确率。
2025-09-16 cs.AI cs.SD
Lung-SRAD: Spectral-Aware Regularized Audio DASS with Dual-Axis Patch-Mix Contrastive Learning for Respiratory Sound Classification
RSC LAB, MODULABS（RSC实验室，MODULABS）；Department of Electronic Engineering, Wonkwang University（圆光大学电子工程系）；AI Convergence Research Institute, Wonkwang University（圆光大学人工智能融合研究所）
针对呼吸音分类中AST模型对局部异常模式不敏感的问题，提出基于状态空间模型的谱感知层正则化和双轴补丁混合对比学习，在ICBHI基准上达到64.48%分数，比AST基线提升5%。
2026-06-11 cs.AI cs.SD
LJ-Spoof: A Generatively Varied Corpus for Audio Anti-Spoofing and Synthesis Source Tracing
Electrical and Computer Engineering（电气与计算机工程学院）；University of Michigan（密歇根大学）；Computer Engineering University of Michigan 4901 Evergreen Rd, Dearborn, MI 48128, USA（计算机工程密歇根大学4901 Evergreen Rd, Dearborn, MI 48128, USA）
LJ-Spoof 是一个生成多样化的语料库，用于提升音频反伪装和合成源追踪的鲁棒性和精度。
2026-01-12 cs.AI cs.SD eess.AS
EquiAV: Leveraging Equivariance for Audio-Visual Contrastive Learning
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
针对数据增强易破坏视听输入配对对应关系、限制自监督视听表征学习效果的问题，提出基于等变性的EquiAV框架，通过共享注意力变换预测器聚合多增强特征，以低计算开销实现更优的视听表征性能。
2024-06-20 cs.AI cs.LG cs.MM
An Efficient Temporary Deepfake Location Approach Based Embeddings for Partially Spoofed Audio Detection
State Key Laboratory of Media Convergence and Communication（媒体融合与传播国家重点实验室）；Communication University of China（中国传媒大学）
针对部分伪造音频帧级定位难题，提出Temporal Deepfake Location (TDL)方法，通过嵌入相似度模块分离真假帧并利用时间卷积操作聚焦位置信息，在ASVspoof2019数据集及跨数据集场景下均表现优越。
2023-11-21 cs.AI cs.SD eess.AS
Strumming to the Beat: Audio-Conditioned Contrastive Video Textures
University of California, Berkeley（加州大学伯克利分校）；University of Michigan（密歇根大学）
我们介绍了一种非参数的方法，无限的视频纹理合成使用的表示通过对比学习。我们从Video Textures中获得灵感，它表明可以通过将其帧以新颖但一致的顺序拼接在一起来从单个视频中生成看似合理的新视频。然而，这一经典作品受到手动设计距离度量的限制，仅限于简单重复的视频。我们利用自监督学习的最新技术来学习这种距离度量，使我们能够以一种更具有挑战性的动态方式来比较帧，并以其他数据（如音频）为条件。我们通过拟合使用对比学习训练的视频特定模型来学习视频帧和帧到帧的转换概率的表示。为了合成纹理，我们随机采样具有高转换概率的帧，以生成具有新颖序列和转换的不同时间平滑视频。该模型自然地扩展到音频调节设置，而不需要任何微调。我们的模型在人类感知分数上优于基线，可以处理各种各样的输入视频，并且可以结合语义和视听线索，以合成与音频信号同步的视频。
2021-04-06 cs.AI cs.CV cs.MM
Distilling Audio-Visual Knowledge by Compositional Contrastive Learning
University of Tübingen（蒂宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；Tencent PCG（腾讯平台与内容事业群）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
与从单一模态学习相比，获得多模态提示（例如视觉和音频）使一些认知任务能够更快地完成。在这项工作中，我们建议跨异构模态的知识转移，即使这些数据模态可能不语义相关。我们不是直接对齐不同模态的表示，而是跨模态组合音频、图像和视频表示，以揭示更丰富的多模态知识。我们的主要思想是学习一个复合嵌入，关闭跨模态的语义差距，并捕捉任务相关的语义，这有利于拉在一起的组合对比学习跨模态的表示。我们在三个视频数据集上建立了一个新的，全面的多模态蒸馏基准：UCF101，ActivityNet和VGGSound。此外，我们证明，我们的模型显着优于各种现有的知识蒸馏方法在转移视听知识，以提高视频表示学习。代码发布在这里：https://github.com/yanbeic/CCL。
2021-04-22 cs.AI cs.CV cs.LG
Waveform Boundary Detection for Partially Spoofed Audio
Duke University（杜克大学）；Duke Kunshan University（昆山杜克大学）
本文提出了一种波形边界检测系统的音频欺骗攻击包含部分操纵段。部分欺骗/假音频，其中话语的一部分被合成或自然音频片段替换，最近被报道为音频深度伪造的一种情况。由于deepfakes可能对社会安全构成威胁，因此检测此类欺骗音频至关重要。因此，我们建议使用基于深度学习的帧级检测系统来解决这个问题，该系统可以检测部分欺骗音频并定位被操纵的片段。我们提出的方法是根据ADD 2022挑战赛提供的数据进行训练和评估的。我们评估我们的检测模型，关于各种声学特征和网络配置。因此，我们的检测系统在ADD 2022挑战测试集上实现了6.58%的等错误率（EER），这是可以定位操纵剪辑的部分欺骗音频检测系统中的最佳性能。
2022-11-01 cs.SD eess.AS eess.SP
Generalizable Audio Spoofing Detection using Non-Semantic Representations
German Research Center for Artificial Intelligence（德国人工智能研究中心）；Technical University Berlin（柏林技术大学）；Gretchen AI GmbH（Gretchen AI公司）
针对现有音频深度伪造检测方案泛化性不足的问题，本研究提出利用非语义通用音频表征的泛化性欺骗检测方法，经实验验证其在域外及公开领域数据上泛化性能显著优于现有最优方案。
2025-08-29 cs.AI cs.SD eess.AS
ALDAS: Audio-Linguistic Data Augmentation for Spoofed Audio Detection
UMBC（马里兰大学巴尔的摩郡分校）
本文提出ALDAS框架，通过自动标注语音学与音系学特征来增强欺骗音频检测，在实现可扩展自动标注的同时提升检测性能，并得到专家验证。
2024-10-21 cs.SD eess.AS
Augmentation through Laundering Attacks for Audio Spoof Detection
本文面向 ASVspoof 5 挑战赛，提出利用洗白攻击进行数据增强来训练音频欺骗检测系统，并评估其在多样声学与编解码器条件下的攻击检测表现。
2024-10-01 cs.AI cs.SD eess.AS
Enhancing Partially Spoofed Audio Localization with Boundary-aware Attention Mechanism
Shenzhen University（深圳大学）
针对部分伪造音频定位中单一模型未利用边界信息的问题，提出含边界增强和边界逐帧注意力的BAM方法，在PartialSpoof数据集上取得最优性能。
2024-08-19 cs.AI cs.SD eess.AS
Spoof Diarization: "What Spoofed When" in Partially Spoofed Audio
National Institute of Informatics（信息学研究所）；SOKENDAI（高级研究大学机构）；National Institute of Information and Communications Technology（信息通信技术研究所）；Brno University of Technology（布尔诺理工大学）；EURECOM（欧洲通信与网络研究中心）
本文提出部分欺骗音频中的欺骗日志新任务，定义评估指标并给出3C基准模型，结合三种标注方案与欺骗定位预测揭示了该任务的高复杂性。
2024-06-12 cs.CL cs.SD eess.AS
A Preliminary Case Study on Long-Form In-the-Wild Audio Spoofing Detection
National Institute of Informatics（情报通信研究机构）
本研究探索真实场景下长时长、多说话人及复杂声学条件的音频欺骗检测，测试了AASIST模型并揭示当前方法的不足，提出初步改进建议，推动欺骗检测在现实应用中的适用性。
2024-08-26 cs.CR cs.SD eess.AS
Investigating Causal Cues: Strengthening Spoofed Audio Detection with Human-Discernible Linguistic Features
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
本文利用带社会语言学标注的混合欺骗音频数据集，通过因果发现与推断识别人类可辨别的EDLFs与欺骗标签的关系，为增强AI检测器和自动化标注提供依据。
2024-09-09 cs.CL cs.SD eess.AS
Voice Spoofing Detection Corpus for Single and Multi-order Audio Replays
Oakland University（奥克兰大学）；University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）
近年来，现代语音控制设备（VCD）的发展彻底改变了物联网，并通过语音命令增加了灵巧家庭、个性化和家庭自动化的实现。在物联网中引入VCD预计将出现物联网的新子领域，称为多媒体物联网（MoT）。这些VCD可以在物联网驱动的环境中被利用来生成各种欺骗攻击，包括重放。重放攻击是通过重放合法人类说话者的录音来产生的，其意图是欺骗具有说话者验证系统的VCD。在物联网驱动的环境中，可以很容易地利用VCD之间的连接来生成一系列重放攻击（多阶重放攻击）。现有的欺骗检测数据集，如ASVspoof和ReMASC，仅包含针对真实音频样本的一阶重放记录。这些数据集无法提供能够检测多阶重放攻击的反欺骗算法的评估。此外，这些数据集没有捕获麦克风阵列的特征，这是现代VCD的重要特征。我们需要一个多样化的重放欺骗检测语料库，由多阶重放录音对真正的语音样本。本文提出了一种新的语音欺骗检测语料库（VSDC），以评估多阶重放反欺骗方法的性能。建议的VSDC由一阶和二阶重放样本对真正的音频记录。此外，所提出的VSDC也可以用来评估说话人确认系统的性能，因为我们的语料库包括15个不同说话人的音频样本。据我们所知，这是第一个公开可用的重放欺骗检测语料库，包括一阶和二阶重放样本。
2019-09-03 cs.SD eess.AS
Toward Improving Synthetic Audio Spoofing Detection Robustness via Meta-Learning and Disentangled Training With Adversarial Examples
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Center for Robust Speech Systems (CRSS)（鲁棒语音系统中心）
针对未见合成欺骗攻击导致ASV系统性能下降的问题，提出加权加性角度间隔损失、元学习损失、对抗样本数据增强及辅助BN和注意力模块，在ASVspoof 2019 LA上实现0.87% EER，有效提升检测鲁棒性。
2024-08-23 cs.AI cs.SD eess.AS
Uncovering the Deceptions: An Analysis on Audio Spoofing Detection and Future Prospects
Indian Institute of Technology, Jodhpur（印度理工学院焦特布尔分校）
本文综述音频欺骗检测的最新技术、挑战与开放问题，强调伦理隐私影响，并提出提升鲁棒泛化性、融合ASV与对策系统及改进评估协议的方向。
2023-07-13 cs.CR cs.SD eess.AS
PC-Mix: Partial-Component Audio Spoofing Detection under Mixed Speech and Environmental Sound Conditions
研究针对部分音频欺骗检测，提出PC-Mix数据集，解决现有基准差距。构建含真实与部分欺骗环境声音组件并与语音信号混合的音频，建立评估协议与联合学习框架，实验表明匹配条件下训练检测欺骗更有效。
2026-07-14 cs.CL cs.SD
Can Quantized Audio Language Models Perform Zero-Shot Spoofing Detection?
Indian Institute of Technology Jodhpur（印度理工学院贾尔普尔）
本文评估五种音频语言模型在三个数据集上的零样本欺骗检测及 FP32、FP16、INT8 量化鲁棒性，发现模型存在严重欺骗类偏差，而 FP16 可在几乎不损性能时减半资源开销。
2025-06-07 cs.SD eess.AS
ASVspoof 2019: Future Horizons in Spoofed and Fake Audio Detection
EURECOM（欧洲通信研究院）；National Institute of Informatics（国立信息学研究所）；University of Eastern Finland（东芬兰大学）；Inria（法国国家信息与自动化研究所）；University of Edinburgh（爱丁堡大学）；NEC Corp.（日本电气股份有限公司）
ASVspoof现在是第三版，是一系列社区主导的挑战，促进了对抗措施的发展，以保护自动说话人验证（ASV）免受欺骗的威胁。2019年版的进步包括：（i）考虑了逻辑访问（LA）和物理访问（PA）场景以及三种主要形式的欺骗攻击，即合成，转换和重放语音;（ii）使用最先进的神经声学和波形模型生成的欺骗攻击;（iii）改进的，受控的重放攻击模拟;（iv）串联检测代价函数（t-DCF）的使用，其反映了欺骗和对抗措施对ASV可靠性的影响。即使ASV仍然是核心焦点，在保留等错误率（EER）作为次要指标的同时，ASYspoof也包含了虚假音频检测日益重要的意义。ASVspoof 2019吸引了63个研究团队的参与，其中一半以上的报告系统改进了两种基线欺骗对策的性能。本文描述了2019年的数据库、方案和挑战结果。它还概述了主要的调查结果，展示了在防范欺骗和虚假音频威胁方面取得的实际进展。
2019-04-14 cs.CR cs.SD eess.AS
Audio Anti-spoofing Using a Simple Attention Module and Joint Optimization Based on Additive Angular Margin Loss and Meta-learning
University of Texas at Dallas（德克萨斯大学达拉斯分校）
自动说话人验证系统容易受到各种访问威胁的影响，这促使人们研究制定有效的欺骗检测系统，以作为过滤此类欺骗攻击的门户。这项研究引入了一个简单的注意力模块来推断卷积层中特征图的三维注意力权重，然后优化能量函数来确定每个神经元的重要性。随着语音转换和语音合成技术的进步，不可见的欺骗攻击不断出现，限制了欺骗检测系统的性能。在这里，我们提出了一种基于加权加性角裕度损失的联合优化方法，用于二进制分类，并使用元学习训练框架来开发一种有效的系统，该系统对广泛的欺骗攻击具有鲁棒性，以增强模型泛化能力。因此，当与当前最先进的系统相比时，我们提出的方法提供了具有竞争力的结果，合并EER为0.99%，最小t-DCF为0.0289。
2022-11-17 cs.LG cs.SD eess.AS
SEA-Spoof: Bridging The Gap in Multilingual Audio Deepfake Detection for South-East Asian
South-East Asia（东南亚）
针对东南亚语言音频深度伪造检测数据稀缺问题，构建首个大规模数据集SEA-Spoof，覆盖六种语言300多小时，微调后显著恢复跨语言检测性能。
2025-09-25 cs.SD
Interpretable Temporal Class Activation Representation for Audio Spoofing Detection
Toronto Metropolitan University, Canada（多伦多 Metropolitan 大学，加拿大）；Shenzhen Key Laboratory of Ubiquitous Data Enabling, Tsinghua Shenzhen International Graduate School, Tsinghua University, China（深圳 ubiquitous 数据赋能关键实验室，清华大学深圳国际研究生院，清华大学，中国）
提出融合 wav2vec 2.0 与注意力话语级特征的可解释时间类激活表示，并采用欺骗类型多标签训练，在 ASVspoof2019-LA 上达到最先进性能。
2024-06-16 cs.CR cs.SD eess.AS
Towards robust audio spoofing detection: a detailed comparison of traditional and learned features
Singapore University of Technology and Design（新加坡科技设计大学）；Tencent Music Entertainment（腾讯音乐娱乐集团）；Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）
自动说话人验证与其他生物识别系统一样，容易受到欺骗攻击。仅使用说话者验证系统的真实客户端的几分钟录音，攻击者就可以开发出各种可能欺骗此类系统的欺骗攻击。使用录音中存在的音频线索检测这些攻击是一个重要的挑战。大多数现有的欺骗检测系统依赖于知道所使用的欺骗技术。通过这项研究，我们的目标是克服这一限制，通过检查强大的音频功能，无论是传统的还是通过自动编码器学习的，这些功能在不同类型的重放欺骗中是通用的。此外，我们还详细介绍了建立最先进的音频特征检测、预处理和后处理所需的所有步骤，以便（非音频专家）机器学习研究人员可以实现此类系统。最后，我们使用“野外”ASVspoof 2017数据集上提取的和机器学习的音频特征的各种不同组合来评估我们强大的重播说话者检测系统的性能。此数据集包含各种新的欺骗配置。由于我们的重点是检查哪些功能将确保鲁棒性，我们的系统基于传统的高斯混合模型-通用背景模型。然后，我们系统地研究每个功能集的相对贡献。分别基于已知音频特征和机器学习特征的融合模型具有相当的性能，其相等出错率（EER）为12。最终表现最好的模型，获得了10.8的EER，是一个混合模型，包含已知和机器学习的功能，从而揭示了在开发一个强大的欺骗预测模型时，结合这两种类型的功能的重要性。
2019-06-19 cs.CR cs.LG cs.MM
SEAR: Spoofing Evidence-Grounded Audio Reasoning Benchmark for Audio Language Models
University of Surrey（萨里大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Guangxi University（广西大学）；Shenzhen University of Advanced Technology（深圳先进技术大学）
针对现有音频深度伪造检测基准忽视声学证据验证的问题，提出SEAR基准和BAEA智能体，通过证据识别与量化等四项任务评估ALM，实验显示BAEA-Fixed提升判定与取证理由，且误导证据损害性能。
2026-10-01 cs.LG cs.SD
Generalized Spoofing Detection Inspired from Audio Generation Artifacts
AI Foundation（人工智能基金会）
用于音频生成的现有技术的方法遭受指纹伪像和跨时间域和频谱域的重复不一致。这种伪影可以通过频谱图上的频域分析很好地捕获。因此，我们提出了一种新的使用长距离谱-时间调制特征-在对数梅尔谱图上的2D DCT用于音频deepfake检测。我们表明，这个功能比对数梅尔频谱图，CQCC，MFCC，作为一个合适的候选人来捕捉这样的文物。我们采用频谱增强和特征归一化来减少过拟合，并在引入这种新特征的同时弥合训练数据集和测试数据集之间的差距。我们开发了一个基于CNN的基线，达到了0.0849 t-DCF，并且超过了ASVspoof 2019挑战赛中报告的之前最好的单个系统。最后，通过将我们的基线与我们提出的2D DCT谱时特征相结合，我们将t-DCF得分降低了14%，降至0.0737，使其成为最先进的欺骗检测系统。此外，我们使用两个外部数据集来评估我们的模型，显示了所提出的特征的泛化能力。我们还为我们提出的功能和结果提供了分析和消融研究。
2021-06-26 cs.CR cs.SD eess.AS
Generalizable Audio Deepfake Detection via Latent Space Refinement and Augmentation
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）
针对深度伪造语音检测泛化难的问题，提出结合潜在空间精炼与增强的方法，在多个数据集上达到或超越现有最佳性能。
2025-01-24 cs.SD eess.AS
What Counts as Real? Speech Restoration and Voice Quality Conversion Pose New Challenges to Deepfake Detection
本文研究语音重建和语音质量转换对深度伪造检测系统的影响，通过多类分类方法分析模型行为，发现良性变换导致分布偏移，改进了系统鲁棒性。
2026-07-08 cs.AI cs.LG cs.SD
Audio Spoof Detection with GaborNet
PhD（博士）
本文探讨了GaborNet在音频伪造检测中的应用，分析了其在RawNet2和RawGAT-ST架构中的表现，并研究了音频增强技术。
2026-04-21 cs.SD
Genuine-Focused Learning using Mask AutoEncoder for Generalized Fake Audio Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Tsinghua University（清华大学）；School of Information and Communication Engineering, Communication University of China（中国传媒大学信息与通信工程学院）；Shanghai Polytechnic University（上海第二工业大学）
本文提出GFL-FAD框架，通过MAE重建真实音频并融合瓶颈特征，在ASVspoof2019 LA上实现0.25% EER的最先进广义伪造音频检测性能。
2024-06-09 cs.SD eess.AS
FastAudio: A Learnable Audio Front-End for Spoof Speech Detection
语音助手，如智能扬声器，已经大受欢迎。据估计，智能音箱在美国成年人群中的采用率已经超过35%。制造商已经集成了说话人辨识技术，该技术试图确定说话人的身份，以向同一家庭的不同成员提供个性化服务。说话人辨识也可以在控制智能扬声器的使用方式方面发挥重要作用。例如，在播放音乐时正确识别用户并不重要。但是，当大声阅读用户的电子邮件时，正确验证发出请求的发言者是授权用户至关重要。因此，需要认证说话者身份的说话者验证系统作为看门人，以防止旨在冒充注册用户的各种欺骗攻击。本文比较了流行的可学习前端，通过与下游任务（端到端）的联合训练来学习音频的表示。我们通过定义两种通用架构对前端进行分类，然后根据学习约束分析这两种类型的过滤阶段。我们建议用一个可以更好地适应反欺骗任务的可学习层取代固定滤波器组。然后使用两个流行的后端测试拟议的FastAudio前端，以测量ASVspoof 2019数据集的LA轨道上的性能。与固定前端相比，FastAudio前端实现了27%的相对改进，在此任务上优于所有其他可学习的前端。
2021-09-06 cs.CR cs.LG cs.SD
When Fine-Tuning is Not Enough: Lessons from HSAD on Hybrid and Adversarial Audio Spoof Detection
Department of Computer Science and Technology, Kean University, USA（计算机科学与技术系，凯恩大学，美国）；Department of Computer Science and Technology, Wenzhou-Kean University, China（计算机科学与技术系，温州-凯恩大学，中国）
针对真实世界混合语音欺骗检测，提出HSAD基准数据集，评估六个Transformer模型，发现仅微调不足，数据集特定适应可显著提升性能（AST>97%，F1≈99%）。
2025-09-09 cs.CR cs.SD
DFALLM: Achieving Generalizable Multitask Deepfake Detection by Optimizing Audio LLM Components
Imperial College London（伦敦帝国学院）；Chinese University HongKong, Shenzhen, China（香港中文大学（深圳））；Huawei, Singapore（新加坡华为）；Technical University Munich, Munich, German（慕尼黑技术大学）
DFALLM通过优化音频LLM组件，实现了通用多任务深度伪造检测，取得SOTA性能。
2025-12-15 cs.SD
MultiAPI Spoof: A Multi-API Dataset and Local-Attention Network for Speech Anti-spoofing Detection
Duke Kunshan University（杜克大学昆山分校）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；OfSpectrum, Inc.（OfSpectrum公司）；Digital Innovation Research Center（数字创新研究中心）；School of Artificial Intelligence（人工智能学院）
针对现有反欺骗基准与真实场景差距大的问题，构建包含30种API生成约230小时合成语音的多API数据集，并提出局部注意力增强网络Nes2Net-LA，实现最先进性能与强鲁棒性。
2026-06-09 cs.SD
CL4AC: A Contrastive Loss for Audio Captioning
University of Surrey（萨里大学）；Southern University of Science and Technology（南方科技大学）
自动音频字幕（AAC）是一种跨模态翻译任务，旨在使用自然语言来描述音频片段的内容。正如DCASE 2021挑战的任务6所收到的意见书中所示，这个问题在社区中引起了越来越多的兴趣。现有的AAC系统通常基于编解码器架构，其中音频信号被编码成潜在表示，并与其对应的文本描述对齐，然后解码器用于生成字幕。然而，AAC系统的训练经常遇到数据稀缺的问题，这可能导致不准确的表示和音频文本对齐。为了解决这个问题，我们提出了一种新的编码器-解码器框架，称为音频字幕的对比损失（CL 4AC）。在CL 4AC中，来自原始音频-文本配对数据的自监督信号被用于通过对比样本来利用音频和文本之间的对应关系，这可以在有限的数据训练的情况下提高潜在表示的质量和音频与文本之间的对齐。在Clotho数据集上进行的实验表明了该方法的有效性。
2021-11-22 cs.AI cs.SD eess.AS
Self-Attention and Hybrid Features for Replay and Deep-Fake Audio Detection
University of Macau（澳门大学）
本文提出一种结合混合特征与自注意力机制的框架，通过并行提取深度学习特征和Mel-spectrogram特征，在ASVspoof 2021数据集上显著提升重放和Deep-Fake音频检测性能。
2024-01-11 cs.MM cs.SD eess.AS
Adaptive Fake Audio Detection with Low-Rank Model Squeezing
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing Jiaotong University（北京交通大学）；University of Science and Technology of China（中国科学技术大学）；Tsinghua University（清华大学）；University of Chinese Academy of Sciences（中国科学院大学）
针对传统微调方法适配新兴伪造音频检测时计算成本高、易遗忘旧知识的问题，提出低秩适配矩阵结合基础模型的自适应检测方法，在保留旧类检测精度的同时降低了存储需求与等错误率。
2023-06-08 cs.LG cs.SD eess.AS
On Negative Sampling for Contrastive Audio-Text Retrieval
Tampere University（坦佩雷大学）
本文研究了音频文本检索中的对比学习中的负采样问题。负采样的策略是指从正音频-文本对的候选池中选择负（音频片段或文本描述）。我们通过模型估计的音频和文本样本的模态内和跨模态相关性分数探索采样策略。在文献[1]的检索系统上，我们研究了八种抽样策略，包括硬和半硬负抽样。实验结果表明，不同策略的检索性能差异很大.特别地，通过选择具有跨模态分数的半硬否定，检索系统在文本到音频和音频到文本检索中获得改进的性能。此外，我们发现，功能崩溃时发生采样硬否定与跨模态分数。
2023-02-17 cs.SD eess.AS
HM-Conformer: A Conformer-based audio deepfake detection system with hierarchical pooling and multi-level classification token aggregation methods
University of Seoul（首尔大学）
针对Conformer直接用于音频深度伪造检测的局限，提出HM-Conformer，通过分层池化和多级分类令牌聚合方法处理不同序列长度并聚合信息，在ASVspoof 2021上取得15.71% EER的竞争性能。
2023-09-15 cs.CR cs.LG cs.SD
Large-scale Contrastive Language-Audio Pretraining with Feature Fusion and Keyword-to-Caption Augmentation
Mila, Quebec Artificial Intelligence Institute（米拉魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；University of California San Diego（加州大学圣地亚哥分校）；LAION
本文提出一种结合特征融合与关键词到字幕增强的对比语言-音频预训练流程，并发布633,526对音频-文本数据集，模型在零样本分类等任务上达到或接近非零样本的最先进性能。
2024-03-21 cs.SD eess.AS
Cacophony: An Improved Contrastive Audio-Text Model
University of Rochester（罗切斯特大学）
本文提出Cacophony音频-文本模型，通过构建13,000小时大规模音频-文本数据集，并结合掩码自编码器预训练与辅助字幕目标训练对比模型，在音频-文本检索等任务上取得最先进性能。
2024-09-30 cs.SD eess.AS
When Spoof Detectors Travel: Evaluation Across 66 Languages in the Low-Resource Language Spoofing Corpus
lab260, Moscow Technical University of Communications and Informatics（莫斯科通信与信息学技术大学）
本文提出LRLspoof语料库，用于跨语言伪装检测评估，包含66种语言的2732小时语音数据，揭示语言差异对检测性能的影响。
2026-06-27 cs.SD eess.AS
Securing Voice Biometrics: One-Shot Learning Approach for Audio Deepfake Detection
Oakland University（奥克兰大学）；University of Michigan-Flint（密歇根大学弗林特分校）
针对自动说话人验证系统易受音频深度伪造攻击、现有检测模型泛化性差的问题，提出基于单样本学习与度量学习的Quick-SpoofNet方法，可检测已知与未知合成攻击，在多个数据集上验证了有效性与泛化能力。
2023-10-05 cs.SD eess.AS
Human-CLAP: Human-perception-based contrastive language-audio pretraining
The University of Tokyo, Japan（东京大学）；Ritsumeikan University, Japan（立命馆大学）
Human-CLAP通过引入人类主观评价分数提升CLAPScore与人类评价的相关性
2026-03-10 cs.SD eess.AS
Interactive Audio-text Representation for Automated Audio Captioning with Contrastive Learning
Nanyang Technological University（南洋理工大学）
自动音频字幕（AAC）是一个跨模态的任务，它生成自然语言来描述输入音频的内容。大多数先前的作品通常提取单模态声学特征，因此对于跨模态解码任务是次优的。在这项工作中，我们提出了一种新的AAC系统称为CLIP-AAC学习交互式跨模态表示与声学和文本信息。具体地说，CLIP-AAC在预训练的编码器中引入音频头和文本头来提取音频文本信息。此外，我们还应用对比学习，通过学习音频信号与其配对字幕之间的对应关系来缩小域差异。实验结果表明，所提出的CLIP-AAC方法在Clotho数据集上的NLP评估指标方面超过了最佳基线。消融研究表明，预训练模型和对比学习都有助于AAC模型的性能增益。
2022-04-12 cs.CL cs.SD eess.AS
Augmented Contrastive Self-Supervised Learning for Audio Invariant Representations
Microsoft（微软）
由于标记数据的稀缺性，提高泛化能力是音频分类的主要挑战。自监督学习（SSL）方法通过利用未标记的数据来学习下游分类任务的有用特征来解决这个问题。在这项工作中，我们提出了一个增强的对比SSL框架，学习不变表示从未标记的数据。我们的方法将各种扰动应用于未标记的输入数据，并利用对比学习来学习对这种扰动具有鲁棒性的表示。在Audioset和DESED数据集上的实验结果表明，我们的框架在声音/事件分类任务上的性能明显优于最先进的SSL和监督学习方法。
2021-12-21 cs.LG cs.SD eess.AS
CALM: Contrastive Aligned Audio-Language Multirate and Multimodal Representations
Apple（苹果公司）
获得音频和词汇输入的多模态表示是自然语言理解（NLU）的核心问题。在本文中，我们提出了对比对齐的音频语言多速率和多模态表示（CALM），一种使用音频和词汇输入中固有的对比和多速率信息来学习多模态表示的方法。该模型将声学和词汇信息对齐在预训练的仅语言上下文嵌入模型的输入嵌入空间中。通过将音频表示与预训练的语言表示对齐，并利用声学输入之间的对比信息，CALM能够在短短几个小时的训练时间内引导音频嵌入，与现有的音频表示模型竞争。在操作上，通过频谱Transformer（SpecTran）使用线性化补丁来处理音频频谱图，频谱transformer（SpecTran）使用对比音频语言预训练目标来训练，以将来自类似查询的音频和语言对齐。随后，所导出的声学和词汇标记表示被输入到多模态Transformer中以并入话语级上下文并导出所提出的CALM表示。我们表明，这些预训练的嵌入随后可以用于多模态监督任务，并证明了所提出的预训练步骤在两个嵌入空间的对齐和预训练的多速率性质方面的好处。我们的系统表现出10- 25%的改进，现有的情感识别系统，包括国家的最先进的三模态系统在各种评价目标。
2022-02-08 cs.SD eess.AS eess.SP
Audio Deep Fake Detection System with Neural Stitching for ADD 2022
Beike（贝壳）
本文介绍了我们针对ADD 2022：首届音频深度合成检测挑战赛\cite{Yi2022ADD}的最佳系统和方法。轨道3.2的两轮评估使用了完全相同的系统，培训方法也类似。第一轮Track 3.2数据是由文本到语音（TTS）或语音转换（VC）算法生成的，而第二轮数据由Track 3.1中其他参与者生成的假音频组成，旨在欺骗我们的系统。我们的系统使用标准的34层ResNet，具有多头注意力池\cite{india2019self}来学习用于虚假音频和欺骗检测的判别式嵌入。我们进一步利用神经拼接来提高模型的泛化能力，以便在不同的任务中表现同样出色，更多细节将在下面的会议中解释。实验表明，我们提出的方法优于所有其他系统的10.1%的等错误率（EER）在轨道3.2。
2022-04-20 cs.CR cs.SD eess.AS
Contrastive Learning of General-Purpose Audio Representations
Google（谷歌）
我们介绍COLA，一种用于学习通用音频表示的自我监督预训练方法。我们的方法是基于对比学习：它学习一种表示，该表示将高相似性分配给从同一录音中提取的音频片段，同时将较低相似性分配给来自不同录音的片段。我们基于计算机视觉对比学习和强化学习的最新进展，设计了一个轻量级的，易于实现的自监督音频模型。我们在大规模Audioset数据库上预训练嵌入，并将这些表示转移到9个不同的分类任务中，包括语音，音乐，动物声音和声学场景。我们表明，尽管它的简单性，我们的方法显着优于以前的自我监督系统。我们还进行消融研究以确定关键的设计选择，并发布一个库来预训练和微调COLA模型。
2020-10-21 cs.LG cs.SD eess.AS
Multi-Format Contrastive Learning of Audio Representations
Google DeepMind（谷歌DeepMind）
最近的进展表明，与单一模式方法相比，多模式培训具有优势。与此相反，在我们的工作中，我们发现，可以从不同格式的单一模态的训练中获得类似的增益。特别是，我们研究了使用的对比学习框架来学习音频表示最大限度地提高原始音频和它的频谱表示之间的协议。我们发现，使用这种多格式的策略对单一格式的同行显着的收益。此外，在下游的AudioSet和ESC-50分类任务中，我们的纯音频方法分别以0.376的平均精度和90.5%的准确率实现了最新的最先进的结果。
2021-03-24 cs.LG cs.SD eess.AS
Contrastive Unsupervised Learning for Audio Fingerprinting
Bytedance AI Lab（字节跳动人工智能实验室）
视频分享平台的兴起吸引了越来越多的人拍摄视频并上传到互联网。这些视频大多包含精心编辑的背景音轨，其中可能涉及严重的语音变化、音高偏移和各种类型的音频效果，并且现有的音频识别系统可能无法识别音频。为了解决这个问题，本文将对比学习的思想引入到音频指纹识别（AFP）中。对比学习是一种无监督的学习方法，可以有效地对相似样本进行分组，并区分不同的样本。在我们的工作中，我们认为一个音轨和它的不同失真的版本是相似的，而认为不同的音轨是不相似的。基于动量对比（MoCo）框架，提出了一种基于对比学习的AFP指纹识别方法，该方法能够生成具有鉴别力和鲁棒性的指纹。一组实验表明，我们的AFP方法是有效的音频识别，与严重的音频失真的鲁棒性，包括具有挑战性的速度变化和音高变化。
2020-10-26 cs.LG cs.MM cs.SD
Anomalous Sound Detection using Audio Representation with Machine ID based Contrastive Learning Pretraining
Harbin Engineering University（哈尔滨工程大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Technology Sydney（悉尼科技大学）；University of Surrey（萨里大学）
本文提出一种两阶段对比学习方法，通过结合机器ID预训练音频表示模型并利用自监督ID分类器微调，增强同一ID的音频特征关系，在DCASE 2020数据集上显著提升了异常声音检测的性能与稳定性。
2023-04-10 cs.LG cs.SD eess.AS
How to Label Resynthesized Audio: The Dual Role of Neural Audio Codecs in Audio Deepfake Detection
University of Stuttgart, Institute for Natural Language Processing, Germany（斯图加特大学自然语言处理研究所）；AppTek GmbH, Germany（德国AppTek公司）
本研究提出扩展 ASVspoof 5 数据集以探索神经音频编解码器在音频深度伪造检测中的双重功能，并分析不同标记策略对检测性能的影响。
2026-02-18 cs.LG cs.SD
