Beyond Speech: Dual-Domain SSL Fusion for Unified All-Type Audio Deepfake Detection
Anhui University（安徽大学）；Anhui Laboratory for Safe Artificial Intelligence in the Yangtze River Delta（长三角地区安全人工智能安徽省实验室）；Wuhan University（武汉大学）
针对未知音频类型的全类型音频深度伪造检测难题，本文提出双域SSL融合方法，结合EAT-large与wav2vec 2.0 XLS-R-300M特征，在AT-ADD挑战赛赛道2获95.58%宏F1值且排名第二。
2026-09-01 eess.AS
VQalAttent: a Transparent Speech Generation Pipeline based on Transformer-learned VQ-VAE Latent Space
Rowan University（罗文大学）
本文提出轻量级语音生成模型VQalAttent，通过VQ-VAE压缩音频频谱图并结合仅解码器Transformer学习离散潜在表示，在有限计算资源下生成可理解语音，并为更大规模商用生成模型提供可解释的改进指导。
2024-11-22 cs.LG eess.AS
ULTRAS -- Unified Learning of Transformer Representations for Audio and Speech Signals
LEAP Laboratory, Electrical Engineering, Indian Institute of Science（印度科学学院电气工程系LEAP实验室）
ULTRAS通过统一的Transformer架构，利用时频图谱进行预测建模，提升语音和音频处理性能。
2026-04-08 eess.AS
SA-SSL-MOS: Self-supervised Learning MOS Prediction with Spectral Augmentation for Generalized Multi-Rate Speech Assessment
KTH Royal Institute of Technology（皇家理工学院）；Google LLC（谷歌公司）
本文提出基于频谱增强的自监督学习方法，通过两步训练提升多速率语音质量评估的准确性。
2026-02-16 cs.LG eess.AS
Causal Speech Enhancement with Predicting Semantics based on Quantized Self-supervised Learning Features
The University of Tokyo（东京大学）
本文首次将因果自监督学习特征引入语音增强模型，通过向量量化表示语义令牌，并在多任务学习中预测未来语义令牌，在VoiceBank + DEMAND数据集上取得PESQ 2.88，验证了语义预测对因果语音增强的重要性。
2024-12-26 cs.SD eess.AS
Audio Deepfake Detection Based on a Combination of F0 Information and Real Plus Imaginary Spectrogram Features
Anhui University（安徽大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；Qiyuan Laboratory（启元实验室）
近年来，许多学者提出了大量的声学特征（对数功率谱、线性倒谱系数、常Q倒谱系数等），并对这些特征进行了研究。对于音频deepfake检测，获得了良好的性能，并且示出了不同的子带对音频deepfake检测具有不同的贡献。然而，这缺乏对子带中的特定信息的解释，并且这些特征也丢失了诸如相位的信息。受合成语音机制的启发，利用基频（F0）信息来提高合成语音的质量，但合成语音的F0仍然过于平均，与真实语音的F0相差很大。人们期望F0可以作为区分真假语音的重要信息，而由于F0的不规则分布，该信息不能直接使用。相反，选择包含大部分F0的频带作为输入特征。同时，为了充分利用相位和全频带信息，我们还提出使用实部和虚部谱图特征作为互补输入特征，并对不相交的子带分别建模。最后，融合F0、实、虚谱图特征的结果。在ASVspoof 2019 LA数据集上的实验结果表明，我们提出的系统对于音频deepfake检测任务非常有效，实现了0.43%的等效出错率（EER），几乎超过了所有系统。
2022-08-02 cs.LG cs.SD eess.AS
Learning From Yourself: A Self-Distillation Method for Fake Speech Detection
Anhui University（安徽大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Qiyuan Laboratory（启源实验室）；Tsinghua University（清华大学）
本文提出了一种新的自蒸馏虚假语音检测方法，该方法在不增加模型复杂度的前提下，显著提高了虚假语音检测的性能。对于FSD，一些细粒度的信息是非常重要的，例如频谱图缺陷，静音段等，这些信息经常被浅层网络感知。然而，浅层网络有很多噪声，不能很好地捕捉这一点。为了解决这个问题，我们提出了使用最深的网络指导浅网络来增强浅网络。具体来说，FSD的网络被分成几个部分，最深的网络被用作教师模型，所有的浅网络通过添加分类器成为多个学生模型。同时，利用最深网络特征与浅网络特征之间的提取路径，减小特征差异。在ASVspoof 2019 LA和PA数据集上的一系列实验结果表明了该方法的有效性，与基线相比有显着改进。
2023-03-02 cs.LG cs.MM cs.SD
AV-SSAN: Audio-Visual Selective DoA Estimation through Explicit Multi-Band Semantic-Spatial Alignment
针对现有视听声源定位需空间配对数据且无法选择性定位的问题，提出AV-SSAN框架，通过多频带语义-空间对齐网络实现跨实例视觉提示下的选择性到达方向估计，在VGGSound-SSL数据集上显著优于现有方法。
2025-08-06 cs.SD eess.AS
Multilingual Source Tracing of Speech Deepfakes: A First Benchmark
School of Computing（计算学院）；Department of Linguistics and Translation（语言学与翻译系）
本文提出首个多语言语音深度伪造溯源基准，比较DSP与SSL方法，评估跨语言泛化，揭示训练与推理语言不同时的识别挑战。
2025-08-06 cs.CL cs.SD eess.AS
Deepfake Audio Detection Using Spectrogram-based Feature and Ensemble of Deep Learning Models
Austrian Institute of Technology（奥地利技术研究院）；HCM University of Technology（胡志明市理工大学）；Tokyo University of Agriculture and Technology（东京农工大学）
本文提出融合多种频谱图特征、视觉迁移学习与音频预训练嵌入的深度学习集成系统，在ASVspoof 2019上实现0.03 EER。
2024-07-01 cs.AI cs.SD eess.AS
Continuous Learning of Transformer-based Audio Deepfake Detection
Viettel AI, Viettel Group（越南电信人工智能公司，越南电信集团）；Institute for Infocomm Research, A*STAR（新加坡资讯通信研究院（新加坡科技研究局下属机构））
针对音频深度伪造检测，本文提出基于 Audio Spectrogram Transformer 的框架，并结合数据增强与持续学习插件，实现高准确率及少样本新伪造类型更新。
2024-09-09 cs.SD eess.AS
A SUPERB-Style Benchmark of Self-Supervised Speech Models for Audio Deepfake Detection
Electrical and Computer Engineering University of Michigan（密歇根大学电气与计算机工程系）
本文提出Spoof-SUPERB基准，评估20种自监督语音模型在音频深度伪造检测中的性能，发现大规模判别模型在多语言预训练和说话人感知目标下表现更优。
2026-03-02 cs.AI cs.LG eess.AS
Self-Attention and Hybrid Features for Replay and Deep-Fake Audio Detection
University of Macau（澳门大学）
本文提出一种结合混合特征与自注意力机制的框架，通过并行提取深度学习特征和Mel-spectrogram特征，在ASVspoof 2021数据集上显著提升重放和Deep-Fake音频检测性能。
2024-01-11 cs.MM cs.SD eess.AS
Adversarial Speaker Disentanglement Using Unannotated External Data for Self-supervised Representation Based Voice Conversion
Tsinghua University（清华大学）；Tencent Inc（腾讯公司）；The Chinese University of Hong Kong（香港中文大学）
提出一种基于自监督表示的高相似度任意到一人语音转换方法，通过在合成模块引入对抗训练机制和外部未标注语料库训练辅助判别器，有效去除说话人信息，在无需大量标注数据下提升了音色相似度与自然度。
2023-05-16 cs.CL cs.SD eess.AS
SLICER: Learning universal audio representations using low-resource self-supervised pre-training
University of Maryland, College Park（马里兰大学帕克分校）；IIT Madras（印度理工学院马德拉斯分校）
本文提出SLICER自监督学习方法，结合聚类与对比学习，在低资源无标签音频预训练中学习通用音频表征，并在LAPE基准上超越预训练数据量10倍的先前方法。
2023-05-18 cs.AI cs.CL cs.SD
Improved Intelligibility of Dysarthric Speech using Conditional Flow Matching
Spring Lab, Department of Electrical Engineering（Spring实验室，电气工程系）
本研究提出一种基于条件流匹配和扩散变换器的非自回归方法，利用WavLM特征和离散声学单元将构音障碍语音转换为清晰语音，以提高可懂度并加快收敛。
2025-06-19 cs.AI cs.SD eess.AS
Comparison of Speech Representations for the MOS Prediction System
ReadSpeaker（ReadSpeaker公司）
为了保证文语转换系统的质量，研究了自动预测听众平均意见得分（MOS）的方法。许多以前的研究集中在架构的进步（例如MBNet，LDNet等）。以更有效的方式捕获光谱特征与MOS之间的关系，并实现了高精度。然而，在泛化能力方面的最佳表示在很大程度上仍然是未知的。为此，我们比较的性能自监督学习（SSL）的wav2vec框架获得的频谱特征，如幅度的频谱图和melspectrogram。此外，我们建议结合SSL功能和功能，我们认为保留必要的信息，自动MOS，以弥补彼此的缺点。我们对从过去的暴雪和语音转换挑战收集的大规模听力测试语料库进行了全面的实验。我们发现，wav2vec特征集显示出最好的泛化能力，即使给定的地面实况并不总是可靠的。此外，我们发现这些组合表现最好，并分析了它们如何弥合光谱和wav2vec特征集之间的差距。
2022-06-28 cs.AI cs.SD eess.AS
Towards Universal Speech Discrete Tokens: A Case Study for ASR and TTS
Shanghai Jiao Tong University（上海交通大学）；Xiaomi Corporation（小米公司）
针对现有语音离散Token研究多聚焦单任务、多任务场景性能受限的问题，该研究对比优化多种主流SSL模型生成的离散Token在ASR和TTS任务中的表现，验证了其通用性与应用潜力，并开源了相关工作。
2023-12-14 cs.SD eess.AS
Multi-perspective Information Fusion Res2Net with RandomSpecmix for Fake Speech Detection
Anhui University（安徽大学）
本文提出结合随机Specmix数据增强与多视角信息融合的MPIF-Res2Net模型，通过增强频域信息定位与减少冗余干扰，有效提升了低质量场景下虚假语音检测的泛化与判别能力。
2023-06-27 cs.LG cs.SD eess.AS
Multi-objective Non-intrusive Hearing-aid Speech Assessment Model
Academia Sinica（中央研究院）；Nvidia（英伟达）
提出HASA-Net Large多目标非侵入式助听器语音评估模型，利用预训练SSL模型和听力损失模式预测语音质量与可懂度，显著提升性能及OOD迁移性。
2023-11-15 cs.SD eess.AS
Active Bird2Vec: Towards End-to-End Bird Sound Monitoring with Transformers
University of Kassel（卡塞尔大学）；University of Kiel（基尔大学）；Fraunhofer-Institut（弗劳恩霍夫研究所）
提出结合自监督和深度主动学习的端到端Transformer模型ActiveBird2Vec，直接处理原始音频生成鸟类声音表示，减少人工标注依赖，并构建基准任务以促进生物声学研究与保护策略。
2023-11-21 cs.HC cs.LG cs.SD
Hodge and Podge: Hybrid Supervised Sound Event Detection with Multi-Hot MixMatch and Composition Consistence Training
Fujitsu Research and Development Center（富士通研究开发中心）
在本文中，我们提出了一种称为Hodge和Podge的声音事件检测方法。我们在声学场景和事件的检测和分类（DCASE）2019挑战任务4的数据集上演示了Hodge和Podge。该任务旨在预测家庭环境中声音事件的存在或不存在以及开始和结束时间。声音事件检测由于缺乏大规模真实强标记数据而具有挑战性。最近，深度半监督学习（SSL）已被证明在弱标记和未标记数据的建模中是有效的。这项工作探讨了如何扩展深度SSL，以产生一种新的、最先进的声音事件检测方法，称为Hodge和Podge。以卷积递归神经网络（CRNN）为骨干网络，首先引入多尺度挤压激励机制，生成金字塔挤压激励CRNN。金字塔挤压激励层可以关注不同声音事件具有不同持续时间的问题，并且自适应地重新校准声道频谱图响应。此外，为了弥补缺乏真正的强标记数据的问题，我们提出了多热MixMatch和成分一致性训练与时频增强。我们对公开的DCASE2019挑战任务4验证数据的实验结果是基于事件的F分数为43.4%，比挑战中的最先进方法绝对好1.6%。而官方基线的F值为25.8%。
2020-02-13 cs.SD eess.AS
TADA: Training-free Attribution and Out-of-Domain Detection of Audio Deepfakes
提出免训练的 TADA 方法，结合预训练 SSL 模型与 kNN 实现音频深度伪造来源归因，并在五个数据集及未见模型的 OOD 检测中取得优异 F1 分数。
2025-09-29 eess.AS
Syn-Att: Synthetic Speech Attribution via Semi-Supervised Unknown Multi-Class Ensemble of CNNs
本文提出一种基于半监督未知多类CNN集成的合成语音归因方法，通过log-mel频谱图和CNN特征提取，在ICASSP 2022 IEEE SP Cup挑战赛中准确率显著优于其他顶尖团队。
2023-09-15 cs.CV cs.SD eess.AS
Frequency Domain-Based Detection of Generated Audio
Purdue University（普渡大学）
攻击者可能会操纵音频，以呈现伪造的报告，改变公众人物的意见，并赢得影响力和权力。非真实多媒体的流行程度持续上升，因此必须开发一套确定媒体合法性的工具。我们提出了一种方法，该方法分析音频信号以确定它们是否包含真实的人类声音或假的人类声音（即，由神经声学和波形模型生成的语音）。所提出的方法不是直接分析音频信号，而是将音频信号转换为显示频率、强度和时间内容的频谱图图像，并使用卷积神经网络（CNN）对其进行评估。在真实的人类语音信号和合成的语音信号上进行训练，我们表明我们的方法在这个分类任务上达到了很高的准确性。
2022-05-03 cs.CV cs.LG cs.SD
Multi-band MelGAN: Faster Waveform Generation for High-Quality Text-to-Speech
Northwestern Polytechnical University（西北工业大学）；Sogou（搜狗）
在本文中，我们提出了多频带MelGAN，这是一种针对高质量文本到语音的更快的波形生成模型。具体来说，我们从以下几个方面改进了原有的MelGAN。首先，我们增加了发生器的感受野，这被证明是有益的语音生成。其次，我们用多分辨率STFT损失代替特征匹配损失，以更好地衡量假语音和真语音之间的差异。与预训练一起，这种改进带来了更好的质量和更好的训练稳定性。更重要的是，我们通过多波段处理扩展了MelGAN：生成器将梅尔频谱图作为输入，并产生子波段信号，随后将其求和为全波段信号作为输入。所提出的多频带MelGAN在波形生成和TTS中分别实现了4.34和4.22的高MOS。仅使用1.91 M参数，我们的模型有效地将原始MelGAN的总计算复杂性从5.85 GFLOPS降低到0.95 GFLOPS。我们的Pytorch实现将很快开放资源，可以在CPU上实现0.03的实时系数，而无需特定的硬件优化。
2020-11-17 cs.SD eess.AS
DIN-CTS: Low-Complexity Depthwise-Inception Neural Network with Contrastive Training Strategy for Deepfake Speech Detection
Austrian Institute of Technology（奥地利技术研究院）；FPT University（FPT大学）；HCM University of Technology（胡志明市理工大学）
本文提出一种基于低复杂度Depthwise-Inception Network与对比训练策略的深度伪造语音检测方法，通过构建真实语音高斯分布计算距离判别真伪，在ASVspoof 2019 LA上表现优异且适用于实时应用。
2025-03-31 cs.CR cs.SD eess.AS
SLD-L2S: Hierarchical Subspace Latent Diffusion for High-Fidelity Lip to Speech Synthesis
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；School of Artificial Intelligence and Computer Science, Jiangnan University（江南大学人工智能与计算机学院）；Zhipu AI（智谱AI）
SLD-L2S通过分层子空间潜在扩散模型直接将唇部运动映射到语音编解码器的潜在空间，提升语音合成质量。
2026-02-12 cs.CE eess.AS
