Learning Audio-Visual embedding for Person Verification in the Wild
Beijing University of Posts and Telecommunications（北京邮电大学）；Tencent Inc（腾讯公司）
已经观察到，对于个人验证，视听嵌入比单模态嵌入更鲁棒。在这里，我们提出了一种新的视听策略，认为聚合器从融合的角度来看。首先，我们在人脸验证中首次引入了权重增强的专注统计池。我们发现在池化过程中模态之间存在很强的相关性，因此提出了包含周期一致性的联合注意池化来学习隐式帧间权重。最后，每一个模态与一个门控注意力机制融合，以获得鲁棒的视听嵌入。所有提出的模型都是在VoxCeleb2 dev数据集上训练的，最好的系统在VoxCeleb1的三个官方试验列表上分别获得了0.18%，0.27%和0.49%的EER，据我们所知，这是最好的个人验证结果。
2022-10-26 cs.CV cs.MM cs.SD
How to Design a Three-Stage Architecture for Audio-Visual Active Speaker Detection in the Wild
Technical University of Munich（慕尼黑工业大学）；Microsoft Corporation（微软公司）
成功的主动说话人检测需要三个阶段的流水线：（i）对剪辑中的所有说话人进行视听编码，（ii）在每个帧内参考说话人和背景说话人之间的说话人间关系建模，以及（iii）对参考说话人进行时间建模。这个流水线的每个阶段对于所创建的架构的最终性能都起着重要的作用。基于一系列的控制实验，这项工作提出了一些实用的视听主动说话人检测的指导方针。相应地，我们提出了一种名为ASDNet的新架构，该架构在AVA-ActiveSpeaker数据集上实现了新的最先进技术，mAP为93.5%，优于第二好的4.7%。我们的代码和预训练模型是公开的。
2021-09-07 cs.CV cs.LG cs.SD
DialogueSidon: Recovering Full-Duplex Dialogue Tracks from In-the-Wild Dialogue Audio
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology (AIST)（国立研究开发法人产业技术综合研究所）
DialogueSidon通过联合恢复与分离降质单通道对话音频，提升识别与分离质量，并实现更快推理。
2026-07-01 cs.SD eess.AS
Late Audio-Visual Fusion for In-The-Wild Speaker Diarization
MERL（三菱电机研究实验室）
针对真实场景视频中说话人多、话语短、画面说话人不一致的问题，提出后期融合音频与视觉子系统的音视频日志模型，并在 AVA-AVD 上刷新 SOTA。
2023-09-27 cs.CL cs.SD eess.AS
Into the Wild with AudioScope: Unsupervised Audio-Visual Separation of On-Screen Sounds
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
深度学习的最新进展使声音分离和视觉场景理解方面取得了许多进展。然而，提取自然视频中明显的声源仍然是一个悬而未决的问题。在这项工作中，我们提出了AudioScope，一种新颖的视听声音分离框架，可以在没有监督的情况下进行训练，将屏幕上的声源与真实的野外视频隔离开来。先前的视听分离工作假设了对声音类别域的人为限制（例如，语音或音乐），限制了源的数量，并需要强大的声音分离或视觉分割标签。AudioScope克服了这些限制，在开放的声音域上操作，具有可变数量的源，并且没有标签或先前的视觉分割。AudioScope的训练过程使用混合不变训练（MixIT）将合成混合物（MoM）分离为单个源，其中混合物的噪声标签由无监督的视听重合模型提供。使用嘈杂的标签，以及视频和音频特征之间的注意力，AudioScope学会识别视听相似性并抑制屏幕外的声音。我们证明了我们的方法的有效性，使用从开放域YFCC 100米视频数据中提取的视频剪辑的数据集。该数据集包含在不受约束的条件下记录的多种声音类别，使得以前的方法的应用不合适。对于评估和半监督实验，我们收集了一小部分剪辑上存在屏幕上和屏幕外声音的人类标签。
2021-05-30 cs.CV cs.SD eess.AS
Generating Realistic Images from In-the-wild Sounds
Artificial Intelligence Graduate School, UNIST（蔚山科学技术院人工智能研究生院）
本文提出一种从野外声音生成逼真图像的新方法，通过音频字幕、音频与句子注意力及CLIPscore优化，利用扩散模型生成，实验优于基线。
2023-09-05 cs.CV cs.SD eess.AS
Visual Sound Localization in the Wild by Cross-Modal Interference Erasing
The Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；S-Lab, Nanyang Technological University（南洋理工大学S-Lab）
视听声源定位的任务已经得到了很好的研究，在受约束的场景，其中的音频记录是干净的。然而，在现实世界中，音频通常会受到屏幕外声音和背景噪音的污染。它们将干扰识别所需来源和建立视听联系的过程，使以前的研究不适用。在这项工作中，我们提出了干扰擦除器（IEr）框架，它解决了在野外的视听声源定位的问题。其关键思想是通过重新定义和雕刻有区别的音频表示来消除干扰。具体来说，我们观察到，由于音频信号的加性，以前只学习单个音频表示的做法是不够的。因此，我们用我们的音频实例标识符模块扩展了音频表示，当不同音量的音频信号不均匀混合时，该模块可以清楚地区分发声实例。然后，我们通过一个具有跨模态提取功能的跨模态引用模块来消除屏幕外的声音和无声的可见物体的影响。定量和定性的评估表明，我们提出的框架取得了优异的成绩，声音定位任务，特别是在现实世界的情况下。代码可在https://github.com/alvinliu0/Visual-Sound-Localization-in-the-Wild上获得。
2022-02-13 cs.CV cs.SD eess.AS
A Preliminary Case Study on Long-Form In-the-Wild Audio Spoofing Detection
National Institute of Informatics（情报通信研究机构）
本研究探索真实场景下长时长、多说话人及复杂声学条件的音频欺骗检测，测试了AASIST模型并揭示当前方法的不足，提出初步改进建议，推动欺骗检测在现实应用中的适用性。
2024-08-26 cs.CR cs.SD eess.AS
ManiWAV: Learning Robot Manipulation from In-the-Wild Audio-Visual Data
Stanford University（斯坦福大学）；Columbia University（哥伦比亚大学）；Toyota Research Institute（丰田研究所）
针对机器人操作中音频数据来源受限的问题，提出ManiWAV音视频采集设备与对应策略接口，从真实场景人类演示学习操作策略，可完成多类接触任务并泛化到新环境。
2024-11-04 cs.AI cs.CV cs.RO
LPIPS-AttnWav2Lip: Generic Audio-Driven lip synchronization for Talking Head Generation in the Wild
University of Science and Technology Beijing（北京科技大学）；Xiaoduo Intelligent Technology (Beijing) Co., Ltd（小多智能技术（北京）有限公司）；Department of Computer Science, Changzhi University（长治大学计算机科学系）
本文提出LPIPS-AttnWav2Lip方法，通过音频驱动生成逼真高质的说话人面部图像，实现精确唇同步和视觉质量提升。
2026-01-30 cs.AI cs.MM cs.SD
How Private is Low-Frequency Speech Audio in the Wild? An Analysis of Verbal Intelligibility by Humans and Machines
RWTH Aachen University（亚琛工业大学）；Delft University of Technology（代尔夫特理工大学）
本文评估低频音频在真实环境中保护言语隐私的有效性，通过模拟攻击并权衡语音活动检测性能与隐私，结合人类和机器可懂度分析其平衡。
2024-07-18 cs.HC cs.SD eess.AS
In-the-wild Audio Spatialization with Flexible Text-guided Localization
State Key Laboratory for Novel Software Technology（新型软件技术国家重点实验室）
本文提出文本引导的音频空间化框架TAS，并构建包含37.6万样本的SpatialTAS数据集，通过文本提示实现对双耳音频空间位置的灵活交互式控制，在模拟与真实数据上均优于现有方法。
2025-06-01 cs.AI cs.SD eess.AS
RUMAA: Repeat-Aware Unified Music Audio Analysis for Score-Performance Alignment, Transcription, and Mistake Detection
Centre for Digital Music, Queen Mary University of London, UK（伦敦女王学院数字音乐中心）
本研究提出基于transformer的统一框架RUMAA，通过预训练编码器与三流解码器，以近乎端到端方式联合处理乐谱-演奏对齐、转录与错误检测，并有效解决了重复符号的对齐难题。
2025-07-16 cs.CL cs.LG cs.SD
ADD 2023: Towards Audio Deepfake Detection and Analysis in the Wild
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Department of Automation, Tsinghua University（清华大学自动化系）
ADD 2023挑战赛聚焦真实场景下的音频深度伪造检测，设置多类细分任务，本文介绍了其数据集、顶尖参赛方案的技术分析及未来研究方向，以推动该领域发展。
2024-12-11 cs.SD eess.AS
Multi-Modal Continuous Valence And Arousal Prediction in the Wild Using Deep 3D Features and Sequence Modeling
Accenture Technology Labs, Bangalore, India（埃森哲科技实验室（班加罗尔））
在野外连续的影响预测是一个非常有趣的问题，是具有挑战性的连续预测涉及大量的计算。本文介绍了在我们的贡献中使用的方法和技术来预测连续的情感维度，即，Aff-Wild 2数据库中ABAW竞争的效价和唤醒。Aff-Wild 2数据库由在帧水平上标记为效价和唤醒的野生视频组成。我们提出的方法使用融合的音频和视频特征（多模态）提取使用国家的最先进的方法。这些音频-视频特征用于训练基于门控递归单元（GRU）的序列到序列模型。我们展示了有希望的结果验证数据与简单的架构。该方法的总体效价和唤醒度分别为0.22和0.34，优于竞争基线0.14和0.24。
2020-02-26 cs.SD eess.AS
Mitigating Proxy-to-Wild Domain Gap in Deepfake Speech
Graduate Institute of Communication Engineering, National Taiwan University（国立台湾大学通信工程研究所）；Graduate Institute of Networking and Multimedia, National Taiwan University（国立台湾大学网络与多媒体研究所）；Department of Information Management, National Taiwan University（国立台湾大学信息管理系）；NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)（国立台湾大学人工智能研究中心卓越计划）
提出域偏移特征增强（DSFA）方法，通过将确定性特征统计转换为随机分布来缩小代理数据与真实世界之间的域差距，在CoSG ExtEval数据集上达到最先进性能。
2026-06-05 cs.SD eess.AS
Synchformer: Efficient Synchronization from Sparse Cues
Tampere University（坦佩雷大学）；Shanghai Jiao Tong University（上海交通大学）；University of Oxford（牛津大学）
针对野外视频中同步线索稀疏的问题，研究提出新型音视频同步模型Synchformer及解耦式训练方法，在密集和稀疏场景下均达最优，还拓展了训练数据集并探索了模型新能力。
2024-01-29 cs.CV cs.LG cs.MM
ML-ITW: A Multilingual in-the-wild Benchmark for Speech Deepfake Detection
School of Cyber Science and Engineering, Wuhan University（武汉大学网络科学与工程学院）；Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education（教育部航天信息安全与可信计算重点实验室）
本文提出ML-ITW数据集，评估了三种语音深度伪造检测方法在现实环境中的泛化能力，发现现有方法在不同语言和声学条件下性能显著下降。
2026-09-18 cs.SD
Bridging High-Quality Audio and Video via Language for Sound Effects Retrieval from Visual Queries
New York University（纽约大学）；Adobe Research（奥多比研究院）
针对视频帧检索高质量音效缺乏高质量训练数据的问题，本文提出用LLM与视觉-语言模型自动构建HQ音视频对，并训练对比学习检索系统，显著提升跨域泛化与用户偏好。
2023-08-17 cs.CV cs.IR cs.MM
Improved Handling of Repeats and Jumps in Audio-Sheet Image Synchronization
Harvey Mudd College（哈维穆德学院）
本文研究了在给定音频记录和原始乐谱图像的情况下自动生成钢琴乐谱的问题。虽然以前的作品专注于合成乐谱，其中数据已被清理和预处理，但我们专注于开发一个系统，可以处理来自IMSLP的原始，未处理的乐谱PDF的混乱。我们调查如何以及现有的系统应付真正的扫描乐谱，填充页和不相关的作品或运动，以及由于跳跃和重复的不连续性。我们发现，系统性能的一个重要瓶颈是正确处理跳跃和重复。特别是，我们发现，以前提出的跳跃DTW算法不执行时，跳跃位置是未知的先验鲁棒性。我们提出了一种新的对齐算法称为分层DTW，可以处理跳跃和重复，即使在跳跃位置是未知的。它首先在每个乐谱行上执行特征级别的对齐，然后在片段级别执行第二次对齐。通过在段级别上操作，它能够对关于特定跳跃的可能性的领域知识进行编码。通过精心控制的实验未处理的乐谱PDF从IMSLP，我们表明，层次DTW显着优于跳转DTW在处理各种类型的跳跃。
2020-07-29 cs.MM cs.SD eess.AS
Visual-Assisted Sound Source Depth Estimation in the Wild
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
深度估计支持各种各样的3D应用，例如机器人、自动驾驶和虚拟现实。尽管在该领域中进行了大量的工作，但如何实现准确、低成本、高分辨率和大范围的深度估计仍然是开放的。受闪电爆炸现象（即看到闪电后听到雷声）的启发，本文开发了第一个视听深度估计框架FBDepth。它需要光和声音的飞行时间（ToF）之间的差异来推断声源深度。FBDepth是第一个将视频和音频与语义特征和空间提示结合起来进行范围估计的工具。它首先对齐视频轨道和音频轨道之间的对应关系，以粗粒度定位目标对象和目标声音。FBDepth基于对运动对象运动轨迹的观察，提出了通过估计发声前后光流的交点来及时定位视频事件。FBDepth为最终的深度估计提供视频事件和音频剪辑的估计时间戳。我们使用手机收集3000+视频剪辑与20个不同的对象在高达$50m$。与基于RGB的方法相比，FBDepth将绝对相对误差（AbsRel）降低了55%。
2022-07-20 cs.SD eess.AS eess.IV
Reference-Driven Multi-Speaker Audio Scene Generation from In-the-Wild Priors
Lightricks；Tel Aviv University（特拉维夫大学）
提出ScenA方法，利用预训练的文本到音频流匹配基础模型，通过多参考声音和自然语言提示生成多说话人音频场景，并采用高噪声偏置时间步分布解决参考捷径问题，在CoVoMix2-Dialogue基准上优于现有系统。
2026-06-18 cs.AI cs.CV cs.SD
Improving On-Screen Sound Separation for Open-Domain Videos with Audio-Visual Self-Attention
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）
我们介绍了一个国家的最先进的视听屏幕上的声音分离系统，这是能够学习分离的声音，并将它们与屏幕上的对象，通过在野外的视频。我们确定了以前的工作的限制，视听屏幕上的声音分离，包括简单性和粗分辨率的时空注意力，和音频分离模型的收敛性差。我们提出的模型使用跨模态和自我注意模块来解决这些问题，这些模块可以随着时间的推移以更高的分辨率捕获视听依赖关系，并通过音频分离模型的无监督预训练来解决这些问题。这些改进使模型能够推广到更广泛的未见过视频。我们还展示了一种鲁棒的方法，通过校准我们的视听屏幕上分类器的概率来进一步提高我们模型的泛化能力，只使用少量的被标记为屏幕上存在的域内视频。为了进行评估和半监督训练，我们从一个大型的野外视频数据库（YFCC 100m）中收集了屏幕上音频的人类注释。我们的研究结果表明，在屏幕上的分离性能显着改善，在更一般的条件下比以前的方法。
2021-10-14 cs.CV cs.LG cs.SD
Spot the conversation: speaker diarisation in the wild
University of Oxford（牛津大学）；Naver Corporation（Naver公司）
本文的目标是扬声器diarisation收集的视频“在野外”。我们做出了三个重要贡献。首先，我们提出了一个自动的音频视频diarisation方法的YouTube视频。我们的方法包括使用视听方法的主动说话人检测和使用自注册说话人模型的说话人验证。其次，我们将我们的方法集成到半自动数据集创建管道中，这大大减少了使用diarisation标签注释视频所需的时间。最后，我们使用这个管道来创建一个名为VoxConverse的大规模日记数据集，从“野外”视频中收集，我们将向研究社区公开发布。我们的数据集包括重叠的语音，一个庞大而多样化的说话人池，以及具有挑战性的背景条件。
2021-08-15 cs.CV cs.SD eess.AS
Impact of annotation modality on label quality and model performance in the automatic assessment of laughter in-the-wild
TU Delft（代尔夫特理工大学）；Instituto Tecnologico de Costa Rica（哥斯达黎加技术学院）
笑被认为是快乐的最明显的信号之一。笑声被公认为是一种多模态现象，但最常见的是通过感知笑声来检测。目前还不清楚当通过笑声的身体动作从视频等其他形式注释时，笑声的感知和注释有何不同。在本文中，我们在这个方向上迈出了第一步，询问是否以及如何可以注释笑声时，只有音频，只有视频（包含全身运动信息）或视听形式可供注释。我们询问笑的注释是否在模态之间是一致的，并比较标记模态对机器学习模型性能的影响。我们比较注释和模型的笑声检测，强度估计和分割，在以前的研究中常见的三个任务的笑声。我们的4000多个注释从48个注释者获得的分析揭示了证据的不一致的看法笑，其强度之间的方式。进一步分析注释对统一的视听参考注释显示，召回是较低的平均视频相比，音频条件下，但往往会增加与强度的笑声样本。我们的机器学习实验比较了最先进的单峰（基于音频、基于视频和基于加速度）和多模态模型在输入模态、训练标签模态和测试标签模态的不同组合下的性能。无论训练标签模式如何，具有视频和加速度输入的模型都具有类似的性能，这表明使用视频获取的标签来训练模型用于从身体运动中检测笑声可能是完全合适的，尽管它们的评分者间一致性较低。
2022-11-02 cs.CV cs.CY cs.LG
Deploying self-supervised learning in the wild for hybrid automatic speech recognition
Microsoft Corporation（微软公司）
自监督学习（SSL）方法已被证明是非常成功的自动语音识别（ASR）。这些巨大的改进主要基于高度精心策划的数据集，例如用于非流媒体端到端ASR模型的LibriSpeech。然而，SSL的关键特性是用于任何未转录的音频数据。在本文中，我们提供了一个完整的探索如何利用未经策划的音频数据在SSL从数据预处理部署一个流混合ASR模型。更具体地说，我们提出了（1）音频事件检测（AED）模型在数据预处理管道中的作用（2）分析选择优化器和学习率调度（3）比较最近开发的对比损失，（4）比较各种预训练策略，如利用域内与域外预训练数据，单语与多语言预训练数据，多头多语言SSL与单头多语言SSL以及监督预训练与SSL。实验结果表明，SSL预训练与域内未经策划的数据可以实现更好的性能相比，所有替代的域外预训练策略。
2022-05-17 cs.CL cs.SD eess.AS
ICLAD: In-Context Learning with Comparison-Guidance for Audio Deepfake Detection
Purdue University（普渡大学）；Reality Defender Inc.（Reality Defender公司）
ICLAD提出一种基于比较引导的上下文学习方法，利用音频语言模型实现无训练泛化，提升音频深度伪造检测的宏F1指标，具有部署潜力。
2026-04-17 cs.CL cs.SD eess.AS
Fake Speech Wild: Detecting Deepfake Speech on Social Media Platform
Communication University of China（通信大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Beijing Institute of Technology（北京理工大学）；Beijing National Research Center for Information Science and Technology（北京国家信息科学与技术研究中心）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对深度伪造语音在社交媒体泛滥及现有对策在跨域场景性能下降的问题，提出FSW数据集并建立基于自监督学习的基准，通过数据增强与纳入FSW训练集将平均等错误率降至3.54%。
2025-08-14 cs.AI cs.SD
Supervising Sound Localization by In-the-wild Egomotion
Tsinghua University（清华大学）；University of Michigan（密歇根大学）；Shanghai Qi Zhi Institute（上海期智研究院）
提出利用自我运动作为监督信号学习双耳声音定位，结合传统双耳线索，在真实世界数据集上验证了模型的有效性。
2026-10-02 cs.AI cs.CV cs.MM
Visual Speech Recognition for Multiple Languages in the Wild
Imperial College London（帝国理工学院）；Meta AI
视觉语音识别（VSR）的目标是基于嘴唇运动来识别语音内容，而不依赖于音频流。深度学习的进步和大型视听数据集的可用性导致了比以往任何时候都更准确和强大的VSR模型的发展。然而，这些进步通常是由于更大的训练集，而不是模型设计。在这里，我们证明了设计更好的模型与使用更大的训练集同样重要。我们建议在VSR模型中添加基于预测的辅助任务，并强调超参数优化和适当的数据增强的重要性。我们表明，这样的模型适用于不同的语言，并且在很大程度上优于所有以前在公开数据集上训练的方法。它甚至优于在非公开数据集上训练的模型，这些数据集包含多达21倍的数据。此外，我们表明，使用额外的训练数据，即使在其他语言或自动生成的transmittance，结果在进一步改善。
2022-10-30 cs.CV cs.SD eess.AS
FunnyNet-W: Multimodal Learning of Funny Moments in Videos in the Wild
Lappeenranta-Lahti University of Technology（拉彭兰塔-拉赫蒂理工大学）；Ecole Polytechnique（巴黎综合理工学院）
本文提出FunnyNet-W模型，利用交叉和自注意力机制融合视觉、音频及自动提取的文本数据，并通过无监督方法获取标签，在五个数据集上实现了多模态搞笑时刻检测的最新技术水平。
2024-01-08 cs.AI cs.CL cs.CV
Expression Recognition in the Wild Using Sequence Modeling
Accenture Technology Labs（埃森哲技术实验室）
由于我们超越了对行为的不同方面进行建模的过程，表情识别已成为人机交互研究的一个关键领域。野外表情识别是一个非常有趣的问题，并且具有挑战性，因为它涉及详细的特征提取和繁重的计算。本文介绍了在我们的贡献中使用的方法和技术来识别不同的表达，即，在Aff-Wild 2数据库上的ABAW竞争中，中性，愤怒，厌恶，恐惧，快乐，悲伤，惊讶。Aff-Wild 2数据库由在帧级别标记为七种不同表达的野生视频组成。我们使用双模态方法，融合音频和视觉特征，并训练基于门控循环单元（GRU）和长短期记忆（LSTM）网络的序列到序列模型。我们展示了验证数据的实验结果。该方法的总体准确率为41.5%，优于竞争基线的37%。
2020-02-26 cs.SD eess.AS
SpeakerCard-1M: An Evidence-Grounded Corpus for In-the-Wild Speaker Verification
Brno University of Technology, Czechia（布拉格技术大学，捷克）；Peking University, China（北京大学，中国）；Xiaomi, China（小米，中国）；Athens University of Economics and Business, Greece（雅典经济与商业大学，希腊）；The Hong Kong Polytechnic University, Hong Kong（香港理工大学，香港）；Nanjing University, China（南京大学，中国）
提出SpeakerCard-1M双语说话人资源，通过声学探针和受限LLM生成结构化说话人卡片，并定义跨模态协议以支持基于证据的说话人确认。
2026-06-28 cs.SD eess.AS
Temporally Aligned Audio for Video with Autoregression
Tampere University（坦佩雷大学）；University of Oxford（牛津大学）
V-AURA是首个自回归视频到音频生成模型，通过高帧率视觉特征提取和跨模态融合实现高时间对齐，并推出VisualSound基准数据集，优于现有模型。
2024-09-20 cs.CV cs.MM cs.SD
Improved DeepFake Detection Using Whisper Features
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）
本文研究将 Whisper ASR 模型作为音频 DeepFake 检测前端，结合 LCNN、SpecRNet 和 MesoNet 在 ASVspoof 2021 上训练并在 In-The-Wild 上评估，使等错误率降低 21%。
2023-06-02 cs.LG cs.SD eess.AS
Speaker Recognition in the Wild
Thoughtworks；Ekstep Foundation（Ekstep基金会）
在本文中，我们提出了一个管道来找到扬声器的数量，以及属于音频数据源中的每个扬声器的音频，其中扬声器或扬声器标签的数量先验未知。我们使用这种方法作为印度语言语音识别的数据准备管道的一部分（https：//github.com/Open-Speech-EkStep/vakyansh-wav2vec2-experimentary）。为了理解和评估我们提出的管道的准确性，我们引入了两个指标：集群纯度和集群均匀性。聚类纯度量化聚类的“纯”程度。另一方面，聚类均匀度量化了仅属于单个主导说话者的聚类的百分比。我们将在\ref{sec:metrics}一节中详细讨论这些指标。由于我们开发这个实用程序是为了帮助我们在训练自动语音识别（ASR）模型之前根据说话者ID识别数据，并且由于大多数数据需要相当大的努力才能抓取，我们还得出结论，98%的数据被映射到前80%的集群（通过去除具有少于固定数量的话语的任何聚类来计算--我们这样做是为了去除一些非常小的聚类，并使用该阈值为30）。
2022-05-05 cs.CL cs.SD eess.AS
A robust audio deepfake detection system via multi-view feature
Huawei Noah's Ark Lab（华为诺亚方舟实验室）
本文系统比较手工与预训练学习型音频特征，并提出多视角多特征融合方法，以提升音频深度伪造检测在域外场景中的泛化性能。
2024-03-04 cs.SD eess.AS
Sound2Vision: Generating Diverse Visuals from Audio through Cross-Modal Latent Alignment
POSTECH（浦项科技大学）；KAIST（韩国科学技术院）；Yonsei University（延世大学）
本研究提出Sound2Vision跨模态生成方法，通过音视频模态对齐将音频特征转换到视觉潜空间以生成图像，结合声源定位提升质量，在多个数据集上表现优于现有方法且具备良好泛化性。
2024-12-09 cs.CV cs.MM cs.SD
PAM: Prompting Audio-Language Models for Audio Quality Assessment
Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软公司）
本研究提出基于音频-语言模型的无参考音频质量评估指标PAM，无需参考数据集嵌入或任务特定模型训练，在四类音频任务上验证了其与现有指标及人类评分的良好相关性。
2024-02-01 cs.SD eess.AS
$M^3$T: Multi-Modal Continuous Valence-Arousal Estimation in the Wild
Key Lab of Intelligent Information Processing, Chinese Academy of Sciences (CAS) Institute of Computing Technology, CAS（中国科学院计算技术研究所智能信息处理重点实验室）；School of Computer Science and Technology University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）
本报告描述了一种多模态多任务（$M^3$ T）方法，该方法是我们提交的情感行为分析野外（ABAW）挑战赛的效价唤醒估计跟踪的基础，该挑战赛与IEEE自动面部和手势识别国际会议（FG）2020联合举行。在提出的$M^3$ T框架中，我们融合了视频的视觉特征和音轨的声学特征来估计效价和唤醒。利用三维卷积网络和双向递归神经网络提取图像的时空视觉特征。考虑到效价/唤醒，情绪和面部动作之间的相关性，我们还探索了从其他任务中受益的机制。我们在ABAW提供的验证集上评估了$M^3$ T框架，它显著优于基线方法。
2020-02-07 cs.CV cs.SD eess.AS
MFAAN: Unveiling Audio Deepfakes with a Multi-Feature Authenticity Network
本文提出多特征音频真实性网络 MFAAN，通过并行融合 MFCC、LFCC 和 Chroma-STFT 特征检测音频深度伪造，在两个基准数据集上分别取得 98.93% 和 94.47% 的准确率。
2023-11-06 cs.AI cs.SD eess.AS
Audio Deepfake Detection Using Temporal Coherence Analysis
University of California, Berkeley（加州大学伯克利分校）
提出基于CLAP嵌入的时间一致性分析框架，通过余弦相似度与统计特征训练轻量集成分类器，有效检测语音和音乐深度伪造，并发现特征-标签反转与语音-音乐方向反转现象。
2026-09-10 cs.CR cs.SD
Investigating self-supervised representations for audio-visual deepfake detection
Bitdefender；Politehnica Bucharest（巴蒂亚努大学）
本文系统评估了自监督表示在多模态和多领域中的检测效果、信息可解释性和跨模态互补性，发现音频引导的表示在深度伪造检测中表现最佳。
2026-03-24 cs.CV cs.LG cs.SD
Dual-Granularity Orthogonal Disentanglement for Generalizable Audio Deepfake Detection
Beijing Jiaotong University（北京交通大学）；Shanghai Jiao Tong University（上海交通大学）；ITMO University（ITMO大学）
针对音频深度伪造检测中隐式身份泄漏问题，提出双粒度正交解耦框架，通过样本级余弦正交性和批次级交叉协方差正则化强制特征独立，无需辅助网络或对抗训练，在多个数据集上取得更优等错误率。
2026-06-23 cs.AI cs.SD
AV-SyncBench: Decoupled Benchmarking of Temporal and Semantic Audio-Visual Synchronization
Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）；Fudan University（复旦大学）
提出AV-SyncBench，首个完全分离音视频时间与语义一致性评估的基准，涵盖语音、音乐和声音三大类10个场景5项挑战任务，基于野外视频构建并人工验证，用于量化特征提取模型的对齐质量。
2026-07-02 cs.CV cs.SD
