Analysis and Extensions of Adversarial Training for Video Classification
Mathematical Institute for Data Science, Johns Hopkins University（约翰斯·霍普金斯大学数据科学数学研究所）
对抗性训练（AT）是图像分类系统抵御对抗攻击的一种简单而有效的方法，它是基于对训练集进行最大化损失的攻击。然而，AT作为视频分类的防御的有效性还没有被彻底研究。我们的第一个贡献是表明，产生最佳的攻击视频需要仔细调整攻击参数，特别是步长。值得注意的是，我们表明，最佳步长随攻击预算线性变化。我们的第二个贡献是表明，在训练时使用较小的（次优）攻击预算会导致在测试时更强大的性能。基于这些发现，我们提出了三种防御攻击与可变的攻击预算。第一种是自适应AT，它是一种攻击预算从随着训练迭代进行而调整的分布中提取的技术。第二种是Curriculum AT，它是一种攻击预算随着训练迭代的进行而增加的技术。第三种是生成AT，它进一步将AT与去噪生成对抗网络耦合，以提高鲁棒性能。在UCF101数据集上的实验表明，所提出的方法提高了对抗多种攻击类型的鲁棒性。
2022-06-16 cs.AI cs.CV cs.LG
Cross-Modal Transferable Adversarial Attacks from Images to Videos
Fudan University（复旦大学）
最近的研究表明，在一个白盒模型上手工制作的对抗性示例可以用来攻击其他黑盒模型。这种跨模型可转移性使得执行黑盒攻击成为可能，这引发了现实世界DNN应用程序的安全问题。然而，现有的工作主要集中在研究共享相同输入数据模态的不同深度模型之间的对抗性可转移性。对抗扰动的跨模态可传递性从未被探索过。本文研究了对抗扰动在不同模态之间的可转移性，即，利用在白盒图像模型上生成的对抗性扰动来攻击黑盒视频模型。具体来说，由于观察到图像和视频帧之间的低级特征空间相似，我们提出了一种简单而有效的跨模态攻击方法，称为图像到视频（I2 V）攻击。I2 V通过最小化来自对抗性和良性示例的预训练图像模型的特征之间的余弦相似性来生成对抗性帧，然后组合生成的对抗性帧以对视频识别模型执行黑盒攻击。大量的实验表明，I2 V可以在不同的黑盒视频识别模型上实现高攻击成功率。在Kinetics-400和UCF-101上，I2 V的平均攻击成功率分别为77.88%和65.68%，这揭示了跨模式对抗攻击的可行性。
2021-12-10 cs.CR cs.CV cs.LG
Transferability of Adversarial Attacks in Video-based MLLMs: A Cross-modal Image-to-Video Approach
本文提出了一种跨模态图像到视频的对抗攻击方法，用于研究视频多模态大语言模型的可迁移性，实验表明该方法在多个视频-文本多模态任务中表现出强对抗转移性。
2026-01-09 cs.CR cs.CV cs.LG
Boosting the Transferability of Video Adversarial Examples via Temporal Translation
Shanghai Key Lab of Intelligent Information Processing, School of Computer Science, Fudan University（复旦大学计算机科学技术学院上海市智能信息处理重点实验室）；Shanghai Collaborative Innovation Center on Intelligent Visual Computing（上海智能视觉计算协同创新中心）
尽管基于深度学习的视频识别模型取得了显著的成功，但它们容易受到对抗性示例的影响，这些示例是通过在干净的视频样本上添加人类无法感知的扰动而生成的。正如最近的研究所表明的那样，对抗性示例是可转移的，这使得黑盒攻击在现实世界中的应用变得可行。然而，现有的大多数对抗攻击方法在攻击其他视频模型时具有较差的可移植性，并且对视频模型的基于移植的攻击仍然是未被探索的。为此，我们建议提高视频对抗示例的可转移性，以用于对视频识别模型的黑盒攻击。通过大量的分析，我们发现，不同的视频识别模型依赖于不同的歧视性时间模式，导致视频对抗性的例子的可移植性差。这促使我们引入一种时间翻译攻击方法，该方法优化了一组时间翻译视频片段上的对抗性扰动。通过在翻译的视频上生成对抗性示例，生成的对抗性示例对被攻击的白盒模型中存在的时间模式不太敏感，因此可以更好地传输。在Kinetics-400数据集和UCF-101数据集上的大量实验表明，我们的方法可以显着提高视频对抗示例的可移植性。针对视频识别模型的基于传输的攻击，它在Kinetics-400上的平均攻击成功率为61.56%，在UCF-101上的平均攻击成功率为48.60%。代码可在https://github.com/zhipeng-wei/TT上获得。
2021-12-28 cs.CV
Motion-Excited Sampler: Video Adversarial Attack with Sparked Prior
University of Technology Sydney（悉尼科技大学）；Amazon Web Services（亚马逊云科技）
众所周知，深度神经网络易受对抗性噪声的影响，这些噪声是微小且难以察觉的扰动。以往对对抗攻击的研究主要集中在图像模型上，而对视频模型的脆弱性研究较少。在本文中，我们的目标是攻击视频模型，利用内在的运动模式和区域之间的相对运动的视频帧。我们提出了一种有效的运动激励采样器，以获得运动感知噪声先验，我们称之为火花先验。我们的启发式先验强调帧相关性，并通过相对运动利用视频动态。通过在梯度估计中使用火花先验，我们可以用较少的查询次数成功地攻击各种视频分类模型。在四个基准数据集上的实验结果验证了该方法的有效性。
2020-10-06 cs.CV cs.LG eess.IV
Enhancing Transformer for Video Understanding Using Gated Multi-Level Attention and Temporal Adversarial Training
Samsung Research America（美国三星研究院）
Transformer模型的引入使序列建模，特别是文本领域的建模取得了巨大的进步。然而，使用基于注意力的模型进行视频理解仍然是相对未开发的。在本文中，我们引入了门控对抗Transformer（GAT），以增强基于注意力的模型对视频的适用性。GAT使用多级注意门来基于局部和全局上下文对帧的相关性进行建模。这使得模型能够以各种粒度理解视频。此外，GAT使用对抗训练来提高模型的泛化能力。我们提出了时间注意力正则化方案，以提高注意力模块对对抗性示例的鲁棒性。我们说明了GAT在大规模YoutTube-8 M数据集上的视频分类任务的性能。我们进一步显示消融研究以及定量和定性分析，以展示改善。
2021-03-18 cs.CV cs.LG cs.MM
Adversarial Deepfakes: Evaluating Vulnerability of Deepfake Detectors to Adversarial Examples
University of California San Diego（加州大学圣迭戈分校）
视频处理技术的最新进展使得生成假视频比以往任何时候都更容易。被操纵的视频会助长虚假信息，降低对媒体的信任。因此，虚假视频的检测在学术界和工业界引起了极大的兴趣。最近开发的Deepfake检测方法依赖于深度神经网络（DNN）来区分AI生成的假视频和真实视频。在这项工作中，我们证明了可以通过对使用现有Deepfake生成方法合成的假视频进行逆向修改来绕过此类检测器。我们进一步证明了我们的对抗扰动对图像和视频压缩编解码器是鲁棒的，使它们成为现实世界的威胁。我们在白盒和黑盒攻击场景中提供了流水线，可以欺骗基于DNN的Deepfake检测器将假视频分类为真实视频。
2020-11-07 cs.CV
PAT: Pseudo-Adversarial Training For Detecting Adversarial Videos
Arizona State University（亚利桑那州立大学）
广泛的研究表明，深度神经网络（DNN）容易受到对抗攻击。虽然已经提出了各种防御机制的图像分类网络，存在较少的方法用于基于视频的模型，用于安全敏感的应用程序，如监视。在本文中，我们提出了一种新颖而简单的算法，称为伪对抗训练（PAT），在不需要攻击知识的情况下检测视频中的对抗帧。我们的方法产生的“过渡帧”，捕捉关键偏离原始帧，并消除组件无关紧要的检测任务。为了避免知道攻击模型的必要性，我们产生“伪扰动”来训练我们的检测网络。然后通过使用检测到的帧来实现对抗检测。在UCF-101和20 BN-Jester数据集上的实验结果表明，PAT能够以较高的检测率检测到恶意视频帧和视频。通过大量的实验，我们还揭示了过渡框架和伪扰动有效性的潜在原因。
2021-09-13 cs.CV
VideoPure: Diffusion-based Adversarial Purification for Video Recognition
Shanghai Engineering Research Center of AI Robotics, Academy for Engineering & Technology, Fudan University（复旦大学工程与技术学院上海市人工智能机器人工程研究中心）；Engineering Research Center of AI & Robotics, Ministry of Education, Academy for Engineering & Technology, Fudan University（复旦大学工程与技术学院教育部人工智能与机器人工程研究中心）；School of Computer Science, Fudan University（复旦大学计算机科学学院）
针对视频识别模型的对抗防御问题，提出首个基于扩散的视频净化框架VideoPure，通过时序DDIM反演和引导式时空优化去除对抗噪声并保持时间一致性，实现高效且鲁棒的视频对抗防御。
2025-01-25 cs.CV
Overcomplete Representations Against Adversarial Videos
Johns Hopkins University（约翰斯·霍普金斯大学）
深度神经网络的对抗鲁棒性是文献中广泛研究的问题，并且已经提出了各种方法来防御对抗图像。然而，只有少数的防御方法已被开发用于防御攻击的视频。在本文中，我们提出了一种新的Over-and-Under完全恢复网络，用于防御对抗性视频（OUDefend）。大多数恢复网络采用编码器-解码器架构，首先缩小空间维度，然后将其扩展回来。这种方法学习不完全表示，它有很大的接收域来收集全局信息，但忽略了局部细节。另一方面，过完备表示具有相反的性质。因此，OUDefend旨在通过学习这两种表示来平衡局部和全局特征。我们将OUDefend作为特征恢复块附加到目标视频识别模型，并对整个网络进行端到端的训练。实验结果表明，针对图像的防御可能对视频无效，而OUDefend增强了对不同类型对抗视频的鲁棒性，包括加法攻击、乘法攻击和物理可实现攻击。代码：https://github.com/shaoyuanlo/OUDefend
2021-06-14 cs.CV cs.LG eess.IV
Black-box Adversarial Attacks on Video Recognition Models
Fudan University（复旦大学）；The University of Melbourne（墨尔本大学）
深度神经网络（DNN）因其对对抗性示例的脆弱性而闻名。这些例子经历了小的，精心制作的扰动，并且可以很容易地欺骗DNN在测试时进行错误分类。到目前为止，对抗性研究领域主要集中在图像模型上，无论是在白盒设置下，对手都可以完全访问模型参数，还是在黑盒设置下，对手只能查询目标模型的概率或标签。虽然已经针对视频模型提出了几种白盒攻击，但黑盒视频攻击仍然未被探索。为了缩小这一差距，我们提出了第一个黑盒视频攻击框架，称为V-BAD。V-BAD利用从图像模型传输的试探性扰动，以及NES在试探性扰动的分区（补丁）上发现的基于分区的校正，以获得良好的对抗性梯度估计，同时对目标模型的查询较少。V-BAD等价于估计对抗梯度在所选子空间上的投影。使用三个基准视频数据集，我们证明了V-BAD可以制作无针对性和有针对性的攻击，以欺骗两个最先进的深度视频识别模型。对于有针对性的攻击，它只使用平均$3.4 \sim 8.4 \times 10^4$查询就达到了$>$ 93\%的成功率，这与最先进的黑盒图像攻击的查询数量相似。尽管事实上视频通常具有比静态图像高两个数量级的维度。我们相信V-BAD是一个很有前途的新工具，以评估和提高视频识别模型的鲁棒性，以黑盒对抗攻击。
2019-06-28 cs.CR cs.CV cs.LG
Real-Time Robust Video Object Detection System Against Physical-World Adversarial Attacks
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Cambricon Technologies（寒武纪科技）；Drexel University（德雷塞尔大学）；Northeastern University（东北大学）
基于DNN的视频目标检测（VOD）为自动驾驶和视频监控行业提供了越来越重要的支持和充满希望的机会。然而，对抗补丁攻击由于其实用性、可行性和强大的攻击效果，在实时视觉任务中受到了极大的关注。这项工作提出了Themis，一个软件/硬件系统，以抵御对抗补丁的实时的【形】鲁棒视频目标检测。我们观察到，对抗补丁表现出非常本地化的表面特征的重要性，在一个小的区域与非鲁棒的预测，从而提出了对抗区域检测算法的对抗效应消除。Themis还提出了一个系统化的设计，通过消除冗余计算和内存流量来有效地支持该算法。实验结果表明，该方法可以有效地恢复系统从对抗攻击与可忽略不计的硬件开销。
2022-08-19 cs.AR cs.CR cs.CV
SNEAK: Synonymous Sentences-Aware Adversarial Attack on Natural Language Video Localization
Huazhong University of Science and Technology（华中科技大学）；Xidian University（西安电子科技大学）
自然语言视频定位是视觉-语言理解领域的一个重要课题，它不仅需要深入理解计算机视觉和自然语言这两个方面，更重要的是需要深入理解两者之间的相互作用。对抗脆弱性已被公认为深度神经网络模型的关键安全问题，这需要谨慎的调查。尽管在视频和语言任务中进行了广泛而独立的研究，但目前对NLVL等视觉-语言联合任务中的对抗鲁棒性的理解还不太发达。因此，本文的目的是全面调查的对抗鲁棒性NLVL模型，从攻击和防御方面检查三个方面的漏洞。为了实现攻击目标，我们提出了一种新的对抗攻击范式，称为同义词感知的对抗攻击NLVL（SNEAK），它捕捉视觉和语言侧之间的跨通道相互作用。
2021-12-08 cs.AI cs.CL cs.CV
SVASTIN: Sparse Video Adversarial Attack via Spatio-Temporal Invertible Neural Networks
College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机学院）
提出SVASTIN方法，通过时空可逆神经网络在特征空间进行信息交换，结合GTVL模块平衡扰动预算与优化速度，在UCF-101和Kinetics-400上实现了更高欺骗率与不可感知性的视频对抗攻击。
2024-06-04 cs.CV
Sparse Adversarial Video Attacks with Spatial Transformations
Lancaster University（兰卡斯特大学）；University of Exeter（埃克塞特大学）
近年来，大量的研究工作集中在图像上的对抗攻击，而对抗视频攻击很少被探索。我们提出了一种对视频的对抗攻击策略，称为DeepSAVA。我们的模型包括加性扰动和空间变换通过一个统一的优化框架，其中的结构相似性指数（SSIM）的措施，采用测量对抗距离。我们设计了一个有效的和新颖的优化方案，它交替利用贝叶斯优化，以确定最有影响力的帧中的视频和随机梯度下降（SGD）为基础的优化，以产生添加剂和空间变换的扰动。这样做使DeepSAVA能够对视频执行非常稀疏的攻击，以保持人类的不可感知性，同时在攻击成功率和对抗性可转移性方面仍然实现最先进的性能。我们在各种类型的深度神经网络和视频数据集上进行的密集实验证实了DeepSAVA的优越性。
2021-11-10 cs.CV
Fast Adversarial Training with Weak-to-Strong Spatial-Temporal Consistency in the Frequency Domain on Videos
针对视频对抗训练计算成本高及准确性与鲁棒性难以平衡的问题，提出首个视频快速对抗训练方法VFAT-WS，结合频率增强与弱到强一致性正则化，在UCF-101和HMDB-51上显著提升鲁棒性并加速训练近490%。
2025-04-23 cs.AI cs.CV
Comparing the Robustness of Modern No-Reference Image- and Video-Quality Metrics to Adversarial Attacks
MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院系统编程研究所可信人工智能研究中心）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
本文比较了15种现代无参考图像与视频质量指标对不同对抗攻击的鲁棒性，发现部分指标具有较高抵抗能力，并提供了可在线提交新指标的基准平台。
2024-02-27 cs.CV cs.LG cs.MM
FMM-Attack: A Flow-based Multi-modal Adversarial Attack on Video-based LLMs
Tsinghua University（清华大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Tencent Technology (Beijing) Co.Ltd（腾讯科技（北京）有限公司）；Tencent Lab（腾讯实验室）；Peng Cheng Laboratory（鹏城实验室）；Peking University（北京大学）
本文提出首个针对视频 LLM 的对抗攻击方法 FMM-Attack，通过在视频少量帧上构建基于流的多模态对抗扰动，能有效诱导模型生成错误答案并产生幻觉，对理解多模态鲁棒性与安全特征对齐具有重要意义。
2024-03-21 cs.CV
RoVISQ: Reduction of Video Service Quality via Adversarial Attacks on Deep Learning-based Video Compression
University of California San Diego（加州大学圣地亚哥分校）；KDDI Research, Inc.（KDDI研究所）
视频压缩通过在给定带宽预算下最大化终端用户体验质量（QoE）在视频流传输和分类系统中起着至关重要的作用。在本文中，我们对基于深度学习的视频压缩和下游分类系统的对抗攻击进行了首次系统性研究。我们的攻击框架，称为RoVISQ，操纵率失真（$\textit{R}$ - $\textit{D}$）关系的视频压缩模型，以实现以下一个或两个目标：（1）增加网络带宽，（2）降低最终用户的视频质量。我们进一步设计了针对下游视频分类服务的有针对性和无针对性攻击的新目标。最后，我们设计了一个输入不变的扰动，普遍扰乱视频压缩和分类系统的实时性。与之前提出的对视频分类的攻击不同，我们的对抗性扰动是第一个能够承受压缩的。我们凭经验证明了RoVISQ攻击对各种防御的弹性，即，对抗训练、视频去噪和JPEG压缩。我们在各种视频数据集上的大量实验结果表明，RoVISQ攻击使峰值信噪比下降高达5.6dB，比特率下降高达$\sim$ 2.4 $\times$，同时在下游分类器上实现超过90的$\%$攻击成功率。我们的用户研究进一步证明了RoVISQ攻击对用户QoE的影响。
2022-12-08 cs.CR cs.CV
ReToMe-VA: Recursive Token Merging for Video Diffusion-based Unrestricted Adversarial Attack
School of Computer Science, Fudan University（复旦大学计算机科学技术学院）；Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与孵化研究院）
针对视频领域基于扩散的无限制对抗攻击研究不足的问题，提出ReToMe-VA框架，通过TALO策略实现空间不可感知性、ReToMe机制保障时间一致性，显著提升了对抗视频的迁移性。
2024-08-10 cs.CV
Breaking Temporal Consistency: Generating Video Universal Adversarial Perturbations Using Image Models
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本文提出BTC方法，利用图像模型生成视频通用对抗扰动，通过最小化相邻帧特征相似性打破时间一致性，实现对未见视频模型的有效攻击，并在多个数据集上超越现有方法。
2023-11-17 cs.CV
Heuristic Black-box Adversarial Attacks on Video Recognition Models
Jilin University（吉林大学）；Fudan University（复旦大学）；Beihang University（北京航空航天大学）；National University of Singapore（新加坡国立大学）
我们研究了黑盒环境下攻击视频识别模型的问题，在黑盒环境下，模型信息是未知的，对手只能进行查询来检测预测的前1类及其概率。与对图像的黑盒攻击相比，攻击视频更具挑战性，因为由于视频的高维性，搜索视频上的对抗性扰动的计算成本要高得多。为了克服这一挑战，我们提出了一种启发式黑盒攻击模型，该模型仅在选定的帧和区域上生成对抗性扰动。更具体地说，提出了一种基于竞争的算法来衡量视频中每个帧对生成对抗性示例的重要性。该算法根据框架的重要性，在生成的对抗样本具有较强的对抗攻击能力的框架子集中搜索一个子集，同时保持扰动小于给定的界。此外，为了进一步提高攻击效率，我们建议只在选定帧的显著区域上生成扰动。以这种方式，所生成的扰动在时间域和空间域中都是稀疏的。在UCF-101数据集和HMDB-51数据集上对两种主流视频识别方法进行攻击的实验结果表明，所提出的启发式黑盒对抗攻击方法可以显著降低计算开销，并使两种数据集上的非目标攻击的查询次数减少28%以上.
2019-11-21 cs.CV
Adversarially Robust Video Perception by Seeing Motion
Columbia University（哥伦比亚大学）
尽管性能优异，但最先进的计算机视觉模型在遇到对抗性示例时往往会失败。视频感知模型在攻击下往往更脆弱，因为对手在高维数据中有更多的地方可以操纵。在本文中，我们发现视频模型脆弱的一个原因是它们在对抗性扰动下无法感知正确的运动。受大量证据表明运动是人类视觉系统的关键因素的启发，我们提出通过恢复感知到的运动信息来纠正模型所看到的内容。由于运动信息是视频数据的内在结构，因此可以在推理时恢复运动信号，而无需任何人工注释，这允许模型适应不可预见的最坏情况输入。在UCF-101和HMDB-51数据集上的可视化和经验实验表明，在深度视觉模型中恢复运动信息可以提高对抗鲁棒性。即使在适应性攻击的对手知道我们的防御，我们的算法仍然是有效的。我们的工作提供了新的见解强大的视频感知算法，通过使用数据的内在结构。我们的网页是https://motion4robust.cs.columbia.edu。
2022-12-13 cs.CV
Adversarially Robust Frame Sampling with Bounded Irregularities
Google AI（谷歌人工智能研究院）；California PATH, UC Berkeley（加州大学伯克利分校加州PATH研究所）
近年来，用于从视频中自动提取有意义的信息的视频分析工具被广泛研究和部署。因为它们中的大多数使用计算上昂贵的深度神经网络，所以期望仅将视频帧的子集馈送到这样的算法中。以固定速率对帧进行采样一直因其简单性、代表性和可解释性而具有吸引力。例如，一个流行的云视频API通过仅处理视频中每秒的第一帧来生成视频和镜头标签。然而，人们可以通过将选定的帧放置在采样位置处来容易地攻击这种策略。在本文中，我们提出了一个优雅的解决方案，这个采样问题，可证明是强大的对抗对抗攻击，并介绍了有界的不规则性。
2020-02-04 cs.CV
IOI: Invisible One-Iteration Adversarial Attack on No-Reference Image- and Video-Quality Metrics
Lomonosov Moscow State University（莫斯科罗蒙诺索夫国立大学）；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院信息学研究所可信人工智能研究中心）；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）
本文提出了一种针对无参考图像和视频质量指标的不可见单次迭代（IOI）对抗攻击方法，在保持相当的攻击成功率和速度的同时，展现出更优的视觉质量。
2024-05-29 cs.CV eess.IV
CAVALRY-V: A Large-Scale Generator Framework for Adversarial Attacks on Video MLLMs
Nanyang Technological University（南洋理工大学）；Beijing Jiaotong University（北京交通大学）；A*STAR Project Page（A*STAR项目页面）
本文提出CAVALRY-V框架，通过双目标语义-视觉损失函数和两阶段生成器架构，高效生成针对视频多模态大语言模型的对抗攻击，在商业和开源模型上平均提升22.8%，并展现出跨模态对抗研究的通用潜力。
2025-07-01 cs.AI cs.CV
Adversarial Attacks on Black Box Video Classifiers: Leveraging the Power of Geometric Transformations
University of California（加利福尼亚大学）
与图像分类模型相比，对视频分类模型的黑盒对抗攻击在很大程度上研究不足。这是可能的，因为对于视频，时间维度在梯度估计中提出了显著的额外挑战。查询高效的黑盒攻击依赖于有效地估计梯度，以最大限度地提高错误分类目标视频的概率。在这项工作中，我们证明了这样的有效梯度可以通过参数化的时间结构的搜索空间与几何变换。具体来说，我们设计了一种新的迭代算法几何变换扰动（GEO-TRAP），攻击视频分类模型。GEO-TRAP采用标准的几何变换操作，将有效梯度的搜索空间减少到搜索定义这些操作的一小组参数。这组参数描述了梯度的几何级数，从而导致减小的和结构化的搜索空间。我们的算法固有地导致成功的扰动，令人惊讶的是很少的查询。例如，从GEO-TRAP生成的对抗性示例具有更好的攻击成功率，与广泛使用的Jester数据集上的视频对抗攻击的最新方法相比，查询减少了约73.55%。总的来说，我们的算法暴露了不同视频分类模型的漏洞，并在两个大型数据集的黑盒设置下获得了新的最先进的结果。代码可在这里：https://github.com/sli057/Geo-TRAP
2021-10-26 cs.CV
Fast Adversarial CNN-based Perturbation Attack on No-Reference Image- and Video-Quality Metrics
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院系统编程研究所可信人工智能研究中心）；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能研究所）
本文提出一种针对无参考图像与视频质量指标的快速对抗扰动攻击FACPA，可用于实时视频处理与压缩预处理，并揭示无参考指标适用性边界，为设计更稳定的神经网络质量指标提供依据。
2023-05-24 cs.CV cs.MM eess.IV
Naming is framing: How cybersecurity's language problems are repeating in AI governance
本文探讨网络安全中的语言误称问题如何在AI治理中重演，提出以语言为先的治理方法，强调语言改革对构建透明公平监管框架的核心作用。
2025-04-16 cs.AI cs.CR cs.CY
NetFlick: Adversarial Flickering Attacks on Deep Learning Based Video Compression
University of California, San Diego（加州大学圣地亚哥分校）；KDDI Research, Inc.（KDDI研究所）
本文提出了一种名为NetFlick的现实世界LED对抗性闪烁攻击方法，通过注入时间扰动破坏视频帧间的时空相关性，在数字和物理环境中成功恶化了深度学习视频压缩框架的性能，并可扩展攻击下游视频分类网络。
2023-04-04 cs.CR cs.CV eess.IV
Adversarial Attacks on Video Object Segmentation with Hard Region Discovery
Hangzhou Dianzi University（杭州电子科技大学）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳））；Peking University（北京大学）；PengCheng Laboratory（鹏城实验室）；Institute of North Electronic Equipment（北方电子设备研究所）；Wenzhou University（温州大学）
针对视频对象分割缺乏像素级区域攻击研究的问题，提出一种与对象无关、基于梯度困难区域发现的首帧对抗攻击方法，并在三个基准上显著降低多个 SOTA 模型性能。
2023-09-25 cs.CV
From Pretrain to Pain: Adversarial Vulnerability of Video Foundation Models Without Task Knowledge
本文研究无需任务知识即可攻击由开源视频基础模型微调的下游模型和 MLLMs 的对抗威胁，提出利用时间表示动态的可迁移视频攻击 TVA，并在 24 个视频任务上验证其有效性。
2025-11-10 cs.CR cs.CV
Adversarially robust deepfake media detection using fused convolutional neural network predictions
CYENS Centre of Excellence（CYENS卓越中心）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
Deepfake是合成的图像，视频或音频，欺诈者使用它们来操纵合法信息。当前的深度造假检测系统难以应对看不见的数据。为了解决这个问题，我们采用了三种不同的深度卷积神经网络（CNN）模型，（1）VGG 16，（2）InceptionV 3和（3）XceptionNet来分类从视频中提取的假图像和真实图像。我们还构建了深度CNN模型的融合，以提高鲁棒性和泛化能力。当在公开的DeepFake检测挑战（DFDC）测试数据（包括400个视频）上进行测试时，所提出的技术以96.5%的准确率优于最先进的模型。该融合模型在较低质量的DeepFake-TIMIT数据集视频上达到99%的准确率，在较高质量的DeepFake-TIMIT视频上达到91.88%。此外，我们证明了预测融合对对抗攻击更鲁棒。如果一个模型受到对抗攻击的损害，预测融合不会让它影响整体分类。
2021-02-11 cs.CR cs.CV
Secure Video Quality Assessment Resisting Adversarial Attacks
School of Computer Science and Cyber Engineering, Guangzhou University（计算机科学与网络安全学院，广州大学）；School of Artificial Intelligence, Guangzhou University（人工智能学院，广州大学）
本文针对现有VQA模型对抗攻击的脆弱性，首次提出安全VQA框架SecureVQA，通过随机空间网格采样、守护图逐像素随机化和时序信息补偿实现帧内与帧间防御，在保障评估性能的同时树立了安全性新基准。
2025-06-27 cs.CV eess.IV
Watch, Listen, Understand, Mislead: Tri-modal Adversarial Attacks on Short Videos for Content Appropriateness Evaluation
United International University（国际大学）；BRAC University（BRAC大学）；University of British Columbia（不列颠哥伦比亚大学）；Bangladesh University of Professionals（孟加拉专业大学）；University of Alberta（阿尔伯塔大学）
本文提出评估MLLMs三模态安全的综合框架，包含SVMA数据集与新型三模态攻击策略ChimeraBreak，揭示模型在短视频内容审核中的漏洞与误分类偏差，为开发更安全的模型提供关键见解。
2025-07-16 cs.CV
Query-Efficient Video Adversarial Attack with Stylized Logo on Service Computing
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Computing, National University of Singapore（新加坡国立大学计算机学院）；Cybersecurity and Quantum Systems Group, CSIRO’s Data61（CSIRO Data61网络安全与量子系统小组）；School of Science, Computing and Engineering Technologies, Swinburne University of Technology（斯威本科技大学科学、计算与工程技术学院）；Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）
提出一种黑盒视频攻击框架SLA，通过风格化标志和强化学习实现低预算、高逼真度的对抗样本生成，在目标攻击中优于现有方法。
2026-06-17 cs.CR cs.CV
Ti-Patch: Tiled Physical Adversarial Patch for no-reference video quality metrics
Lomonosov Moscow State University（莫斯科罗蒙诺索夫国立大学）；ISP RAS Research Center for Trusted Artificial Intelligence（俄罗斯科学院系统编程研究所可信人工智能研究中心）；Ivannikov Institute for System Programming of the RAS（俄罗斯科学院伊万尼科夫系统编程研究所）；MSU Institute for Artificial Intelligence（莫斯科国立大学人工智能学院）
针对基于学习的无参考质量指标易受对抗攻击的问题，提出物理空间测试方法Ti-Patch，通过像素与物理空间实验验证其有效性，可补充传统脆弱性评估，相关代码和数据已开源。
2024-04-15 cs.CV eess.IV
Vulnerabilities in Video Quality Assessment Models: The Challenge of Adversarial Attacks
Guangzhou University（广州大学）
本文首次评估了无参考视频质量评估（NR-VQA）模型抵御对抗攻击的鲁棒性，提出一种基于补丁的随机搜索黑盒攻击方法，并设计了分数反转边界损失函数，在恰可察觉差异约束下有效且难以察觉地发起白盒与黑盒攻击。
2023-10-20 cs.CV eess.IV
Visual Framing of Science Conspiracy Videos: Integrating Machine Learning with Communication Theories to Study the Use of Color and Brightness
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Stanford University（斯坦福大学）
近年来，互联网上的科学阴谋视频呈爆炸式增长，挑战了科学认识论和公众对科学的理解。学者们已经开始研究阴谋信息中使用的说服技巧，如不确定性和恐惧，但对视觉叙事的了解甚少，特别是揭穿阴谋的视频与传播阴谋的视频中的视觉叙事如何不同。本文通过使用计算方法分析来自阴谋和反阴谋YouTube视频的数百万帧来解决理解阴谋视频中视觉框架的差距。我们发现阴谋视频倾向于使用较低的颜色变化和亮度，特别是在缩略图和视频的早期部分。本文还展示了研究人员如何在机器学习模型中整合文本和视觉特征，以研究社交媒体上的阴谋，并讨论了计算建模对数字时代有兴趣研究视觉操纵的学者的影响。本文提出的视觉和文本特征的分析可能是有用的，为未来的研究重点是设计系统，以确定互联网上的阴谋内容。
2021-11-18 cs.CV cs.LG cs.MM
Auteur: Language-Driven Cinematographic Framing for Human-Centric Video Generation
Koç University（科克大学）；University College London（伦敦大学学院）；Adobe（Adobe公司）；Hacettepe University（哈切特佩大学）
提出Auteur方法，通过将相机运动参数化为以人为中心的取景（包括镜头尺寸、角度和构图），并利用领域特定语言（DSL）和微调的多模态大语言模型，实现语言驱动的电影化取景，在人类中心视频生成中优于现有方法。
2026-09-28 cs.CV
Adversarial Video Generation on Complex Datasets
DeepMind
自然图像的生成模型已经通过规模的强大杠杆作用向高保真样本发展。我们试图通过展示在复杂的Kinetics-600数据集上训练的大型生成对抗网络能够产生比以前工作更高复杂度和保真度的视频样本，将这一成功带到视频建模领域。我们提出的模型，双视频鉴别器GAN（DVD-GAN），规模更长，更高分辨率的视频，利用计算效率的分解，其分辨率。我们对视频合成和视频预测的相关任务进行了评估，并实现了用于Kinetics-600预测的最新Fréchet Inception Distance，以及用于UCF-101数据集合成的最新Inception Score，同时为Kinetics-600的合成建立了强大的基线。
2019-09-25 cs.CV cs.LG stat.ML
Adversarial Distortion for Learned Video Compression
Qualcomm AI Research, Qualcomm Technologies, Inc.（高通人工智能研究院，高通技术公司）；Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.（高通人工智能研究院，高通技术荷兰有限公司）；University of California San Diego（加州大学圣迭戈分校）
在本文中，我们提出了一种新的对抗有损视频压缩模型。在极低的比特率，标准的视频编码方案遭受不愉快的重建文物，如阻塞，振铃等现有的学习神经的方法来视频压缩已经取得了合理的成功，降低比特率的有效传输，并在一定程度上减少文物的影响。然而，它们在极端压缩下仍然倾向于产生模糊的结果。在本文中，我们提出了一种深度对抗学习的视频压缩模型，该模型可以最大限度地减少辅助对抗失真目标。我们发现，相对于传统的质量指标（如MS-SSIM和PSNR），这种对抗性目标与人类感知质量判断的相关性更好。我们的实验使用一个国家的最先进的学习视频压缩系统表现出减少感知文物和重建的细节丢失，特别是在极高的压缩。
2021-06-18 cs.CV cs.LG eess.IV
VisualTrust: Video Reasoning under On-Screen Claim Framing
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Tencent（腾讯）
该研究针对多模态大语言模型易受屏幕误导性声明影响的问题，推出反事实基准VisualTrust及无训练智能体DEAR，DEAR可显著提升模型在误导性声明下的视频问答准确率并降低陷阱答案选择率。
2026-10-16 cs.CV
Diffusion Adversarial Post-Training for One-Step Video Generation
ByteDance Seed（字节跳动种子）
针对扩散模型迭代生成慢、现有图像单步蒸馏方法质量下降的问题，提出带架构与流程改进及近似R1正则的扩散对抗后训练APT方法，实现单步实时生成高清视频与媲美SOTA的单步图像生成。
2025-10-01 cs.AI cs.CV cs.LG
Exploiting video sequences for unsupervised disentangling in generative adversarial networks
UNR-CONICET（国立罗萨里奥大学-阿根廷国家科学与技术研究理事会）
在这项工作中，我们提出了一种对抗性训练算法，该算法利用视频中的相关性来学习-没有监督-具有解开的潜在空间的图像生成器模型。所提出的方法只需要对生成对抗网络（GAN）的标准算法进行一些修改，并且涉及使用从短视频中获取的帧集进行训练。我们在两个以面部为中心的视频数据集上训练我们的模型，这些视频呈现不同的人说话或移动头部：VidTIMIT和YouTube Faces数据集。我们发现，我们的建议允许我们将生成器潜在空间分成两个子空间。其中一个控制内容属性，这些属性不会随着短视频序列而改变。对于所考虑的数据集，这是所生成的面部的身份。另一个子空间控制运动属性，这些属性被观察到沿着短视频变化。我们观察到，这些运动属性是面部表情，头部方向，嘴唇和眼睛的运动。所提出的实验提供了定量和定性的证据支持，所提出的方法诱导解开这两种属性的潜在空间。
2019-10-16 cs.CV cs.LG stat.ML
Injective State-Image Mapping facilitates Visual Adversarial Imitation Learning
IBM Research AI（IBM研究院人工智能部门）
在游戏和娱乐等应用中，虚拟自主智能体的使用越来越多，需要更好的控制策略来实现自然的运动和动作。与传统的硬编码运动例程的方法不同，我们提出了一种深度学习方法，通过直接模仿原始视频演示来获得控制策略。该领域的先前方法依赖于从专家视频中提取低维特征，然后是单独的手工制作的奖励估计步骤。我们提出了一个模仿学习框架，通过使用生成对抗网络（GANs）联合学习特征提取和奖励估计步骤，减少了对手工设计的奖励函数的依赖。我们在本文中的主要贡献是表明，在低级联合状态（角度和速度）轨迹和相应的原始视频流之间的内射映射下，对视频演示进行对抗性模仿学习相当于从状态轨迹中学习。实验结果表明，所提出的对抗性学习方法从原始视频产生类似的性能，以国家的最先进的模仿学习技术，同时经常优于现有的手工制作的视频模仿方法。此外，我们表明，我们的方法可以通过模仿YouTube上的视频演示来学习动作策略，其性能与来自真实奖励信号的学习代理相似。请在https://ibm.biz/BdzzNA上查看补充视频提交。
2019-10-25 cs.CV cs.LG stat.ML
Over-the-Air Adversarial Flickering Attacks against Video Recognition Networks
Technion Institute of Technology（以色列理工学院）；Rafael - Advanced Defense Systems Ltd.（拉斐尔先进防务系统有限公司）；Nvidia Research（英伟达研究院）
用于视频分类的深度神经网络，就像图像分类网络一样，可能会受到对抗性操纵。图像分类器和视频分类器之间的主要区别在于后者通常使用视频中包含的时间信息。在这项工作中，我们提出了一个操纵方案，通过引入闪烁的时间扰动，在某些情况下，可能是不明显的人类观察者，是在现实世界中实现的欺骗视频分类。在演示了单个视频的动作分类操作后，我们推广了通用对抗扰动的过程，实现了高欺骗率。此外，我们推广了通用的扰动，并产生一个时间不变的扰动，它可以应用于视频不同步的扰动的输入。该攻击在几个目标模型上实现，并证明了攻击的可移植性。这些属性使我们能够弥合模拟环境和现实世界的应用程序之间的差距，将在本文中首次展示的空中闪烁攻击。
2021-06-04 cs.CR cs.CV cs.LG
Video to Video Generative Adversarial Network for Few-shot Learning Based on Policy Gradient
Northwestern University（西北大学）；Allstate Insurance Company（好事达保险公司）
本文提出 RL-V2V-GAN，结合策略梯度、ConvLSTM 与细粒度时空 GAN，实现无需成对输入的无监督条件视频到视频合成，并在少样本目标域中生成时间连贯视频。
2024-10-28 cs.CV cs.LG
Learning to navigate image manifolds induced by generative adversarial networks for unsupervised video generation
Institut national de la recherche scientifique (INRS-EMT)（国家科学研究院（INRS-EMT））
在这项工作中，我们介绍了一个两步的框架生成建模的时态数据。具体而言，生成对抗网络（GANs）设置用于生成移动对象的合成场景。为此，我们提出了一个两步训练方案，其中：首先训练静态帧的生成器。然后，训练一个递归模型，目标是为先前训练的帧生成器提供一系列输入，从而产生看起来自然的场景。在这两个训练步骤中都采用了对抗性设置。然而，为了避免GANs中已知的训练不稳定性，使用多重训练方法来训练这两个模型。在研究的视频数据集的结果表明，通过采用这种方法，经常性的部分是能够学习如何连贯地导航由帧生成器引起的图像流形，从而产生更自然的场景。
2019-01-23 cs.CV cs.LG stat.ML
Appending Adversarial Frames for Universal Video Attack
Xi’an Jiaotong University（西安交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
在对抗性扰动攻击图像分类模型方面已经有许多努力，但是关于视频分类的相同主题尚未得到深入研究。本文提出了一种基于视频的攻击的新思想，该思想通过添加一些虚拟帧（例如，包含“感谢观看”的文本）添加到视频剪辑，然后仅在这些新帧上添加对抗性扰动。我们的方法享有三个主要的好处，即，一个高的成功率，低感知，并在不同的网络之间传输的能力很强。这些好处主要来自于共同的虚拟帧，它将所有样本推向分类的边界。另一方面，这种攻击很容易被隐藏，因为大多数人不会注意到被干扰的视频片段背后的异常。我们在两个流行的数据集上进行了实验，使用了六种最先进的视频分类模型，并证明了我们的方法在通用视频攻击场景中的有效性。
2019-12-10 cs.CV cs.LG
Autoregressive Adversarial Post-Training for Real-Time Interactive Video Generation
ByteDance Seed（字节跳动 Seed）；The Chinese University of Hong Kong（香港中文大学）；ByteDance Intelligent Creation Lab（字节跳动智能创作实验室）
针对现有视频生成模型计算量大难适配实时交互场景的问题，提出自回归对抗后训练方法，将预训练潜空间扩散模型改造为高效自回归生成器，实现单卡/多卡H100上的高分辨率实时流式交互式视频生成。
2025-10-01 cs.AI cs.CV cs.LG
Convolutional Transformer based Dual Discriminator Generative Adversarial Networks for Video Anomaly Detection
Columbia University（哥伦比亚大学）；University of Connecticut（康涅狄格大学）；NEC Laboratories America, Inc.（NEC美国实验室）
在真实世界的监控视频中检测异常活动是一项重要而具有挑战性的任务，因为有关视频异常的先验知识通常是有限的或不可用的。尽管已经开发了许多方法来解决这个问题，但很少有方法能够有效地捕获正常的时空模式。此外，现有的工作很少明确考虑在帧级的局部一致性和全局一致性的时间动态的视频序列。为此，我们提出了基于卷积Transformer的双鉴别器生成对抗网络（CT-D2 GAN）来执行无监督的视频异常检测。具体来说，我们首先提出了一个卷积Transformer来执行未来的帧预测。它包含三个关键组成部分，即，卷积编码器，用于捕获输入视频剪辑的空间信息;时间自注意模块，用于编码时间动态;以及卷积解码器，用于整合时空特征并预测未来帧。接下来，一个基于双阈值的对抗性训练过程，它联合考虑了图像阈值，可以保持局部一致性在帧级和视频阈值，可以强制执行的时间动态的全局一致性，以提高未来帧的预测。最后，利用预测误差来识别异常视频帧。对三个公开的视频异常检测数据集进行了深入的实证研究，UCSD Ped 2，CUHK Avenue和上海理工大学校园，证明了所提出的对抗时空建模框架的有效性。
2021-07-29 cs.AI cs.CV cs.LG
Adversarial Perturbations Against Real-Time Video Classification Systems
University of California, Riverside（加州大学河滨分校）；United States Army Research Laboratory（美国陆军研究实验室）
最近的研究已经证明了机器学习系统对对抗性扰动的脆弱性。然而，这些研究大多局限于图像上的扰动，更一般地说，分类不处理随时间变化的输入。在本文中，我们问“对抗扰动可能在实时的【形】视频分类系统，如果是这样，他们必须满足什么性质？“这样的系统在监控应用、智能车辆和智能老年人护理中有应用，因此，错误分类可能特别有害（例如，可能错过老年人护理设施处的事故）。我们表明，占时间结构是在这样的系统中生成对抗性例子的关键。我们利用生成对抗网络（GAN）架构的最新进展来解释时间相关性，并生成对抗样本，这些样本可能导致目标活动的错误分类率超过80%。更重要的是，这些样本也基本上不影响其他活动，使它们非常隐蔽。最后，我们还惊讶地发现，在许多情况下，相同的扰动可以应用于视频剪辑中的每一帧，这使得对手实现错误分类的能力相对容易。
2018-07-02 cs.CR cs.CV cs.LG
Divide-and-Conquer Adversarial Learning for High-Resolution Image and Video Enhancement
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
本文介绍了一种用于照片增强的分治启发对抗学习（DACAL）方法。其核心思想是将照片增强过程分解为层次化的多个子问题，自下而上可以更好地解决。在顶层，我们提出了一个基于感知的划分来学习加法和乘法分量，这是将低质量图像或视频转换为高质量图像或视频所需的。在中间层面，我们使用基于频率的划分与生成对抗网络（GAN）来弱监督照片增强过程。在底层，我们设计了一种基于维度的划分，使GAN模型能够更好地近似多个独立一维数据上的分布距离，以训练GAN模型。在考虑所有三个层次的同时，我们开发了多尺度和循环训练方法，以弱监督的方式优化图像和视频增强过程。定量和定性的结果都清楚地表明，所提出的DACAL实现了高分辨率图像和视频增强的最先进的性能。
2019-10-23 cs.CV cs.LG eess.IV
