TenAd: A Tensor-based Low-rank Black Box Adversarial Attack for Video Classification
Tarbiat Modares University(塔比亚特·莫达雷斯大学)
本文提出TenAd,一种基于张量的低秩黑盒对抗攻击方法,通过将视频表示为四阶张量并利用低秩攻击显著减少搜索空间和查询次数,在视频分类任务中实现了更高的攻击成功率、查询效率和扰动不可察觉性。
2025-04-01 cs.AI cs.CV
MultAV: Multiplicative Adversarial Videos
Johns Hopkins University(约翰斯·霍普金斯大学)
大多数对抗性机器学习研究都集中在加法攻击上,即向输入数据添加对抗性扰动。另一方面,与图像识别问题不同,在视频领域中只有少数攻击方法被探索。在本文中,我们提出了一种新的攻击方法对视频识别模型,乘法对抗视频(MultAV),它通过乘法对视频数据施加扰动。MultAV具有与加性对应物不同的噪声分布,因此挑战了针对抵抗加性对抗攻击的防御方法。此外,它不仅可以推广到LP范数攻击与一个新的对手约束称为比界,但也不同类型的物理可实现的攻击。实验结果表明,对抗性训练的模型对加性攻击的鲁棒性较差。
2021-10-10 cs.CV cs.LG stat.ML
Diffusion Adversarial Post-Training for One-Step Video Generation
ByteDance Seed(字节跳动种子)
针对扩散模型迭代生成慢、现有图像单步蒸馏方法质量下降的问题,提出带架构与流程改进及近似R1正则的扩散对抗后训练APT方法,实现单步实时生成高清视频与媲美SOTA的单步图像生成。
2025-10-01 cs.AI cs.CV cs.LG
Video to Video Generative Adversarial Network for Few-shot Learning Based on Policy Gradient
Northwestern University(西北大学);Allstate Insurance Company(好事达保险公司)
本文提出 RL-V2V-GAN,结合策略梯度、ConvLSTM 与细粒度时空 GAN,实现无需成对输入的无监督条件视频到视频合成,并在少样本目标域中生成时间连贯视频。
2024-10-28 cs.CV cs.LG
Analysis and Extensions of Adversarial Training for Video Classification
Mathematical Institute for Data Science, Johns Hopkins University(约翰斯·霍普金斯大学数据科学数学研究所)
对抗性训练(AT)是图像分类系统抵御对抗攻击的一种简单而有效的方法,它是基于对训练集进行最大化损失的攻击。然而,AT作为视频分类的防御的有效性还没有被彻底研究。我们的第一个贡献是表明,产生最佳的攻击视频需要仔细调整攻击参数,特别是步长。值得注意的是,我们表明,最佳步长随攻击预算线性变化。我们的第二个贡献是表明,在训练时使用较小的(次优)攻击预算会导致在测试时更强大的性能。基于这些发现,我们提出了三种防御攻击与可变的攻击预算。第一种是自适应AT,它是一种攻击预算从随着训练迭代进行而调整的分布中提取的技术。第二种是Curriculum AT,它是一种攻击预算随着训练迭代的进行而增加的技术。第三种是生成AT,它进一步将AT与去噪生成对抗网络耦合,以提高鲁棒性能。在UCF101数据集上的实验表明,所提出的方法提高了对抗多种攻击类型的鲁棒性。
2022-06-16 cs.AI cs.CV cs.LG
Defending Against Multiple and Unforeseen Adversarial Videos
Johns Hopkins University(约翰斯·霍普金斯大学)
深度神经网络的对抗鲁棒性已经得到了积极的研究。然而,大多数现有的防御方法仅限于特定类型的对抗性扰动。具体而言,它们通常无法同时抵抗多种攻击类型,即,它们缺乏多扰动鲁棒性。此外,与图像识别问题相比,视频识别模型的对抗鲁棒性相对未被探索。虽然有几项研究提出了如何生成对抗性视频,但文献中只有少数关于防御策略的方法。在本文中,我们提出了针对视频识别的多种类型对抗视频的第一种防御策略之一。所提出的方法,称为MultiBN,使用多个独立的批量归一化(BN)层与基于学习的BN选择模块对多个对抗性视频类型进行对抗性训练。对于多BN结构,每个BN分支负责学习单个扰动类型的分布,从而提供更精确的分布估计。这种机制有利于处理多种扰动类型。BN选择模块检测输入视频的攻击类型并将其发送到相应的BN分支,使MultiBN完全自动化并允许端到端训练。与目前的对抗训练方法相比,所提出的MultiBN对不同甚至不可预见的对抗视频类型(从LP有界攻击到物理可实现攻击)具有更强的多扰动鲁棒性。这适用于不同的数据集和目标模型。此外,我们进行了广泛的分析,研究多BN结构的性能。
2021-12-14 cs.CV cs.LG stat.ML
Cross-Modal Transferable Adversarial Attacks from Images to Videos
Fudan University(复旦大学)
最近的研究表明,在一个白盒模型上手工制作的对抗性示例可以用来攻击其他黑盒模型。这种跨模型可转移性使得执行黑盒攻击成为可能,这引发了现实世界DNN应用程序的安全问题。然而,现有的工作主要集中在研究共享相同输入数据模态的不同深度模型之间的对抗性可转移性。对抗扰动的跨模态可传递性从未被探索过。本文研究了对抗扰动在不同模态之间的可转移性,即,利用在白盒图像模型上生成的对抗性扰动来攻击黑盒视频模型。具体来说,由于观察到图像和视频帧之间的低级特征空间相似,我们提出了一种简单而有效的跨模态攻击方法,称为图像到视频(I2 V)攻击。I2 V通过最小化来自对抗性和良性示例的预训练图像模型的特征之间的余弦相似性来生成对抗性帧,然后组合生成的对抗性帧以对视频识别模型执行黑盒攻击。大量的实验表明,I2 V可以在不同的黑盒视频识别模型上实现高攻击成功率。在Kinetics-400和UCF-101上,I2 V的平均攻击成功率分别为77.88%和65.68%,这揭示了跨模式对抗攻击的可行性。
2021-12-10 cs.CR cs.CV cs.LG
Identifying and Resisting Adversarial Videos Using Temporal Consistency
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Peng Cheng Laboratory(鹏城实验室);Beihang University(北京航空航天大学)
视频分类是计算机视觉中一项具有挑战性的任务。尽管深度神经网络(DNN)在视频分类方面取得了优异的性能,但最近的研究表明,向干净的视频中添加不可察觉的扰动会使经过良好训练的模型以高置信度输出错误的标签。在本文中,我们提出了一个有效的防御框架来描述和防御对抗性视频。所提出的方法包括两个阶段:(1)利用相邻帧之间的时间一致性进行对抗性视频检测,以及(2)分别通过空域和时域的去噪器减少对抗性扰动。具体而言,由于DNN的线性性质,不可感知的扰动将随着DNN深度的增加而放大,这导致相邻帧之间DNN输出的不一致性。然而,由于这些微小的变化,良性视频帧通常与它们的相邻帧具有相同的输出。基于这一观察,我们可以区分敌对视频和良性视频。然后,我们针对不同的攻击采用不同的防御策略。我们提出的时间防御,重建污染的帧与其时间上相邻的清洁帧,处理具有稀疏污染帧的对抗性视频。对于具有密集污染帧的视频,我们使用有效的对抗去噪器在空间域中处理每一帧,从而净化扰动(我们称之为空间防御)。在UCF-101数据集上进行的一系列实验表明,该方法显著提高了视频分类器对对抗攻击的鲁棒性。
2019-09-11 cs.CR cs.CV cs.LG
Boosting the Transferability of Video Adversarial Examples via Temporal Translation
Shanghai Key Lab of Intelligent Information Processing, School of Computer Science, Fudan University(复旦大学计算机科学技术学院上海市智能信息处理重点实验室);Shanghai Collaborative Innovation Center on Intelligent Visual Computing(上海智能视觉计算协同创新中心)
尽管基于深度学习的视频识别模型取得了显著的成功,但它们容易受到对抗性示例的影响,这些示例是通过在干净的视频样本上添加人类无法感知的扰动而生成的。正如最近的研究所表明的那样,对抗性示例是可转移的,这使得黑盒攻击在现实世界中的应用变得可行。然而,现有的大多数对抗攻击方法在攻击其他视频模型时具有较差的可移植性,并且对视频模型的基于移植的攻击仍然是未被探索的。为此,我们建议提高视频对抗示例的可转移性,以用于对视频识别模型的黑盒攻击。通过大量的分析,我们发现,不同的视频识别模型依赖于不同的歧视性时间模式,导致视频对抗性的例子的可移植性差。这促使我们引入一种时间翻译攻击方法,该方法优化了一组时间翻译视频片段上的对抗性扰动。通过在翻译的视频上生成对抗性示例,生成的对抗性示例对被攻击的白盒模型中存在的时间模式不太敏感,因此可以更好地传输。在Kinetics-400数据集和UCF-101数据集上的大量实验表明,我们的方法可以显着提高视频对抗示例的可移植性。针对视频识别模型的基于传输的攻击,它在Kinetics-400上的平均攻击成功率为61.56%,在UCF-101上的平均攻击成功率为48.60%。代码可在https://github.com/zhipeng-wei/TT上获得。
2021-12-28 cs.CV
Adversarial Deepfakes: Evaluating Vulnerability of Deepfake Detectors to Adversarial Examples
University of California San Diego(加州大学圣迭戈分校)
视频处理技术的最新进展使得生成假视频比以往任何时候都更容易。被操纵的视频会助长虚假信息,降低对媒体的信任。因此,虚假视频的检测在学术界和工业界引起了极大的兴趣。最近开发的Deepfake检测方法依赖于深度神经网络(DNN)来区分AI生成的假视频和真实视频。在这项工作中,我们证明了可以通过对使用现有Deepfake生成方法合成的假视频进行逆向修改来绕过此类检测器。我们进一步证明了我们的对抗扰动对图像和视频压缩编解码器是鲁棒的,使它们成为现实世界的威胁。我们在白盒和黑盒攻击场景中提供了流水线,可以欺骗基于DNN的Deepfake检测器将假视频分类为真实视频。
2020-11-07 cs.CV
Adversarial Imitation Learning from Video using a State Observer
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Army Research Laboratory(陆军研究实验室);Sony AI(索尼人工智能研究院)
模仿学习研究界最近在实现使人工智能体能够仅从视频演示中模仿行为的目标方面取得了重大进展。然而,目前的国家的最先进的方法开发的这个问题表现出高样本的复杂性,部分原因是由于视频观测的高维性质。为了解决这个问题,我们在这里介绍一个新的算法,称为视觉生成对抗模仿从观察使用状态观察VGAIfO-SO。在其核心,VGAIfO-SO试图解决样本效率低下,使用一种新的,自我监督的状态观测器,它提供了估计的低维本体感觉状态表示从高维图像。我们的实验表明,在几个连续的控制环境中,VGAIFO-SO是更有效的样本比其他IfO算法在学习视频只有演示,有时甚至可以实现性能接近生成对抗模仿观察(GAIFO)算法,有特权访问演示的本体感受状态信息。
2022-07-27 cs.AI cs.CV cs.LG
Transferability of Adversarial Attacks in Video-based MLLMs: A Cross-modal Image-to-Video Approach
本文提出了一种跨模态图像到视频的对抗攻击方法,用于研究视频多模态大语言模型的可迁移性,实验表明该方法在多个视频-文本多模态任务中表现出强对抗转移性。
2026-01-09 cs.CR cs.CV cs.LG
Appending Adversarial Frames for Universal Video Attack
Xi’an Jiaotong University(西安交通大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在对抗性扰动攻击图像分类模型方面已经有许多努力,但是关于视频分类的相同主题尚未得到深入研究。本文提出了一种基于视频的攻击的新思想,该思想通过添加一些虚拟帧(例如,包含“感谢观看”的文本)添加到视频剪辑,然后仅在这些新帧上添加对抗性扰动。我们的方法享有三个主要的好处,即,一个高的成功率,低感知,并在不同的网络之间传输的能力很强。这些好处主要来自于共同的虚拟帧,它将所有样本推向分类的边界。另一方面,这种攻击很容易被隐藏,因为大多数人不会注意到被干扰的视频片段背后的异常。我们在两个流行的数据集上进行了实验,使用了六种最先进的视频分类模型,并证明了我们的方法在通用视频攻击场景中的有效性。
2019-12-10 cs.CV cs.LG
PAT: Pseudo-Adversarial Training For Detecting Adversarial Videos
Arizona State University(亚利桑那州立大学)
广泛的研究表明,深度神经网络(DNN)容易受到对抗攻击。虽然已经提出了各种防御机制的图像分类网络,存在较少的方法用于基于视频的模型,用于安全敏感的应用程序,如监视。在本文中,我们提出了一种新颖而简单的算法,称为伪对抗训练(PAT),在不需要攻击知识的情况下检测视频中的对抗帧。我们的方法产生的“过渡帧”,捕捉关键偏离原始帧,并消除组件无关紧要的检测任务。为了避免知道攻击模型的必要性,我们产生“伪扰动”来训练我们的检测网络。然后通过使用检测到的帧来实现对抗检测。在UCF-101和20 BN-Jester数据集上的实验结果表明,PAT能够以较高的检测率检测到恶意视频帧和视频。通过大量的实验,我们还揭示了过渡框架和伪扰动有效性的潜在原因。
2021-09-13 cs.CV
Motion-Excited Sampler: Video Adversarial Attack with Sparked Prior
University of Technology Sydney(悉尼科技大学);Amazon Web Services(亚马逊云科技)
众所周知,深度神经网络易受对抗性噪声的影响,这些噪声是微小且难以察觉的扰动。以往对对抗攻击的研究主要集中在图像模型上,而对视频模型的脆弱性研究较少。在本文中,我们的目标是攻击视频模型,利用内在的运动模式和区域之间的相对运动的视频帧。我们提出了一种有效的运动激励采样器,以获得运动感知噪声先验,我们称之为火花先验。我们的启发式先验强调帧相关性,并通过相对运动利用视频动态。通过在梯度估计中使用火花先验,我们可以用较少的查询次数成功地攻击各种视频分类模型。在四个基准数据集上的实验结果验证了该方法的有效性。
2020-10-06 cs.CV cs.LG eess.IV
VideoPure: Diffusion-based Adversarial Purification for Video Recognition
Shanghai Engineering Research Center of AI Robotics, Academy for Engineering & Technology, Fudan University(复旦大学工程与技术学院上海市人工智能机器人工程研究中心);Engineering Research Center of AI & Robotics, Ministry of Education, Academy for Engineering & Technology, Fudan University(复旦大学工程与技术学院教育部人工智能与机器人工程研究中心);School of Computer Science, Fudan University(复旦大学计算机科学学院)
针对视频识别模型的对抗防御问题,提出首个基于扩散的视频净化框架VideoPure,通过时序DDIM反演和引导式时空优化去除对抗噪声并保持时间一致性,实现高效且鲁棒的视频对抗防御。
2025-01-25 cs.CV
Enhancing Transformer for Video Understanding Using Gated Multi-Level Attention and Temporal Adversarial Training
Samsung Research America(美国三星研究院)
Transformer模型的引入使序列建模,特别是文本领域的建模取得了巨大的进步。然而,使用基于注意力的模型进行视频理解仍然是相对未开发的。在本文中,我们引入了门控对抗Transformer(GAT),以增强基于注意力的模型对视频的适用性。GAT使用多级注意门来基于局部和全局上下文对帧的相关性进行建模。这使得模型能够以各种粒度理解视频。此外,GAT使用对抗训练来提高模型的泛化能力。我们提出了时间注意力正则化方案,以提高注意力模块对对抗性示例的鲁棒性。我们说明了GAT在大规模YoutTube-8 M数据集上的视频分类任务的性能。我们进一步显示消融研究以及定量和定性分析,以展示改善。
2021-03-18 cs.CV cs.LG cs.MM
Convolutional Transformer based Dual Discriminator Generative Adversarial Networks for Video Anomaly Detection
Columbia University(哥伦比亚大学);University of Connecticut(康涅狄格大学);NEC Laboratories America, Inc.(NEC美国实验室)
在真实世界的监控视频中检测异常活动是一项重要而具有挑战性的任务,因为有关视频异常的先验知识通常是有限的或不可用的。尽管已经开发了许多方法来解决这个问题,但很少有方法能够有效地捕获正常的时空模式。此外,现有的工作很少明确考虑在帧级的局部一致性和全局一致性的时间动态的视频序列。为此,我们提出了基于卷积Transformer的双鉴别器生成对抗网络(CT-D2 GAN)来执行无监督的视频异常检测。具体来说,我们首先提出了一个卷积Transformer来执行未来的帧预测。它包含三个关键组成部分,即,卷积编码器,用于捕获输入视频剪辑的空间信息;时间自注意模块,用于编码时间动态;以及卷积解码器,用于整合时空特征并预测未来帧。接下来,一个基于双阈值的对抗性训练过程,它联合考虑了图像阈值,可以保持局部一致性在帧级和视频阈值,可以强制执行的时间动态的全局一致性,以提高未来帧的预测。最后,利用预测误差来识别异常视频帧。对三个公开的视频异常检测数据集进行了深入的实证研究,UCSD Ped 2,CUHK Avenue和上海理工大学校园,证明了所提出的对抗时空建模框架的有效性。
2021-07-29 cs.AI cs.CV cs.LG
Adversarial Distortion for Learned Video Compression
Qualcomm AI Research, Qualcomm Technologies, Inc.(高通人工智能研究院,高通技术公司);Qualcomm AI Research, Qualcomm Technologies Netherlands B.V.(高通人工智能研究院,高通技术荷兰有限公司);University of California San Diego(加州大学圣迭戈分校)
在本文中,我们提出了一种新的对抗有损视频压缩模型。在极低的比特率,标准的视频编码方案遭受不愉快的重建文物,如阻塞,振铃等现有的学习神经的方法来视频压缩已经取得了合理的成功,降低比特率的有效传输,并在一定程度上减少文物的影响。然而,它们在极端压缩下仍然倾向于产生模糊的结果。在本文中,我们提出了一种深度对抗学习的视频压缩模型,该模型可以最大限度地减少辅助对抗失真目标。我们发现,相对于传统的质量指标(如MS-SSIM和PSNR),这种对抗性目标与人类感知质量判断的相关性更好。我们的实验使用一个国家的最先进的学习视频压缩系统表现出减少感知文物和重建的细节丢失,特别是在极高的压缩。
2021-06-18 cs.CV cs.LG eess.IV
Can't Fool Me: Adversarially Robust Transformer for Video Understanding
Samsung Research America(三星美国研究院)
深度神经网络已经被证明在对抗性示例上表现不佳。为了解决这个问题,已经提出了几种技术来增加用于图像分类任务的模型的鲁棒性。然而,在视频理解任务中,开发对抗鲁棒模型仍然是未探索的。在本文中,我们的目标是弥合这一差距。我们首先表明,基于图像的对抗性鲁棒模型的简单扩展稍微改善了最坏情况下的性能。此外,我们在Transformer中提出了一种时间注意力正则化方案,以提高注意力模块对对抗性示例的鲁棒性。我们使用大规模视频数据集YouTube-8 M说明,最终模型(A-ART)在其对抗性示例集上实现了接近非对抗性的性能。我们在对抗性示例上实现了91%的差距,而基线Transformer和简单对抗性扩展分别实现了72.9%和82%,这表明鲁棒性比最新技术水平有显着提高。
2021-10-26 cs.CR cs.CV cs.LG
Real-Time Robust Video Object Detection System Against Physical-World Adversarial Attacks
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Cambricon Technologies(寒武纪科技);Drexel University(德雷塞尔大学);Northeastern University(东北大学)
基于DNN的视频目标检测(VOD)为自动驾驶和视频监控行业提供了越来越重要的支持和充满希望的机会。然而,对抗补丁攻击由于其实用性、可行性和强大的攻击效果,在实时视觉任务中受到了极大的关注。这项工作提出了Themis,一个软件/硬件系统,以抵御对抗补丁的实时的【形】鲁棒视频目标检测。我们观察到,对抗补丁表现出非常本地化的表面特征的重要性,在一个小的区域与非鲁棒的预测,从而提出了对抗区域检测算法的对抗效应消除。Themis还提出了一个系统化的设计,通过消除冗余计算和内存流量来有效地支持该算法。实验结果表明,该方法可以有效地恢复系统从对抗攻击与可忽略不计的硬件开销。
2022-08-19 cs.AR cs.CR cs.CV
Adversarial Video Generation on Complex Datasets
DeepMind
自然图像的生成模型已经通过规模的强大杠杆作用向高保真样本发展。我们试图通过展示在复杂的Kinetics-600数据集上训练的大型生成对抗网络能够产生比以前工作更高复杂度和保真度的视频样本,将这一成功带到视频建模领域。我们提出的模型,双视频鉴别器GAN(DVD-GAN),规模更长,更高分辨率的视频,利用计算效率的分解,其分辨率。我们对视频合成和视频预测的相关任务进行了评估,并实现了用于Kinetics-600预测的最新Fréchet Inception Distance,以及用于UCF-101数据集合成的最新Inception Score,同时为Kinetics-600的合成建立了强大的基线。
2019-09-25 cs.CV cs.LG stat.ML
Overcomplete Representations Against Adversarial Videos
Johns Hopkins University(约翰斯·霍普金斯大学)
深度神经网络的对抗鲁棒性是文献中广泛研究的问题,并且已经提出了各种方法来防御对抗图像。然而,只有少数的防御方法已被开发用于防御攻击的视频。在本文中,我们提出了一种新的Over-and-Under完全恢复网络,用于防御对抗性视频(OUDefend)。大多数恢复网络采用编码器-解码器架构,首先缩小空间维度,然后将其扩展回来。这种方法学习不完全表示,它有很大的接收域来收集全局信息,但忽略了局部细节。另一方面,过完备表示具有相反的性质。因此,OUDefend旨在通过学习这两种表示来平衡局部和全局特征。我们将OUDefend作为特征恢复块附加到目标视频识别模型,并对整个网络进行端到端的训练。实验结果表明,针对图像的防御可能对视频无效,而OUDefend增强了对不同类型对抗视频的鲁棒性,包括加法攻击、乘法攻击和物理可实现攻击。代码:https://github.com/shaoyuanlo/OUDefend
2021-06-14 cs.CV cs.LG eess.IV
Autoregressive Adversarial Post-Training for Real-Time Interactive Video Generation
ByteDance Seed(字节跳动 Seed);The Chinese University of Hong Kong(香港中文大学);ByteDance Intelligent Creation Lab(字节跳动智能创作实验室)
针对现有视频生成模型计算量大难适配实时交互场景的问题,提出自回归对抗后训练方法,将预训练潜空间扩散模型改造为高效自回归生成器,实现单卡/多卡H100上的高分辨率实时流式交互式视频生成。
2025-10-01 cs.AI cs.CV cs.LG
Adversarial Framing for Image and Video Classification
Jagiellonian University(雅盖隆大学);Element AI;Nomagic
神经网络容易受到对抗攻击。一般来说,这种攻击通过稍微修改大部分像素或用补丁遮挡像素来降低输入的质量。在本文中,我们提出了一种方法,保持图像不变,只增加了一个对抗框架的图像的边界。我们的经验表明,我们的方法能够成功地攻击最先进的方法对图像和视频分类问题。值得注意的是,所提出的方法导致在测试时非常快的通用攻击。源代码可以在https://github.com/zajaczajac/adv_framing上找到。
2019-10-17 cs.AI cs.CV cs.LG
SVASTIN: Sparse Video Adversarial Attack via Spatio-Temporal Invertible Neural Networks
College of Computer Science and Technology, National University of Defense Technology(国防科技大学计算机学院)
提出SVASTIN方法,通过时空可逆神经网络在特征空间进行信息交换,结合GTVL模块平衡扰动预算与优化速度,在UCF-101和Kinetics-400上实现了更高欺骗率与不可感知性的视频对抗攻击。
2024-06-04 cs.CV
Generating Videos with Dynamics-aware Implicit Generative Adversarial Networks
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);NAVER AI Lab(NAVER人工智能实验室)
在深度学习时代,由于视频的时空复杂性和连续性,高质量的长视频生成仍然具有挑战性。现有的现有工作已经尝试通过将视频表示为RGB值的3D网格来对视频分布进行建模,这阻碍了所生成的视频的规模并且忽略了连续动态。在本文中,我们发现,最近出现的模式隐式神经表示(INR),编码一个连续的信号到一个参数化的神经网络有效地缓解了这个问题。通过利用视频的INR,我们提出了动态感知隐式生成对抗网络(DIGAN),一种新的生成对抗网络的视频生成。具体来说,我们介绍了(a)一个基于INR的视频生成器,通过不同地操纵空间和时间坐标来提高运动动态性,以及(b)一个运动跟踪器,可以有效地识别不自然的运动,而无需观察整个长帧序列。我们证明了DIGAN在各种数据集下的优越性,以及多个有趣的属性,例如,长视频合成、视频外推和非自回归视频生成。例如,DIGAN将UCF-101上先前最先进的FVD分数提高了30.7%,并且可以在128 x128分辨率的128帧视频上进行训练,比先前最先进方法的48帧长80帧。
2022-02-21 cs.CV cs.LG
SNEAK: Synonymous Sentences-Aware Adversarial Attack on Natural Language Video Localization
Huazhong University of Science and Technology(华中科技大学);Xidian University(西安电子科技大学)
自然语言视频定位是视觉-语言理解领域的一个重要课题,它不仅需要深入理解计算机视觉和自然语言这两个方面,更重要的是需要深入理解两者之间的相互作用。对抗脆弱性已被公认为深度神经网络模型的关键安全问题,这需要谨慎的调查。尽管在视频和语言任务中进行了广泛而独立的研究,但目前对NLVL等视觉-语言联合任务中的对抗鲁棒性的理解还不太发达。因此,本文的目的是全面调查的对抗鲁棒性NLVL模型,从攻击和防御方面检查三个方面的漏洞。为了实现攻击目标,我们提出了一种新的对抗攻击范式,称为同义词感知的对抗攻击NLVL(SNEAK),它捕捉视觉和语言侧之间的跨通道相互作用。
2021-12-08 cs.AI cs.CL cs.CV
Sparse Adversarial Video Attacks with Spatial Transformations
Lancaster University(兰卡斯特大学);University of Exeter(埃克塞特大学)
近年来,大量的研究工作集中在图像上的对抗攻击,而对抗视频攻击很少被探索。我们提出了一种对视频的对抗攻击策略,称为DeepSAVA。我们的模型包括加性扰动和空间变换通过一个统一的优化框架,其中的结构相似性指数(SSIM)的措施,采用测量对抗距离。我们设计了一个有效的和新颖的优化方案,它交替利用贝叶斯优化,以确定最有影响力的帧中的视频和随机梯度下降(SGD)为基础的优化,以产生添加剂和空间变换的扰动。这样做使DeepSAVA能够对视频执行非常稀疏的攻击,以保持人类的不可感知性,同时在攻击成功率和对抗性可转移性方面仍然实现最先进的性能。我们在各种类型的深度神经网络和视频数据集上进行的密集实验证实了DeepSAVA的优越性。
2021-11-10 cs.CV
Autoencoding Video Latents for Adversarial Video Generation
Samsung Research Institute(三星研究院)
鉴于视频信号的三维复杂性,由于数据空间中涉及的大随机性,训练鲁棒且多样的基于GAN的视频生成模型是繁重的。学习数据的非纠缠表示有助于提高鲁棒性并提供采样过程中的控制。对于视频生成,通过将运动和外观视为正交信息并设计有效地解开它们的架构,在这一领域取得了最新进展。这些方法依赖于手工制作的架构,该架构在生成器上施加结构先验以分解潜在空间中的外观和运动代码。受基于自动编码器的图像生成的最新进展的启发,我们提出了AVLAE(对抗视频潜伏自动编码器),这是一个两流潜伏自动编码器,其中视频分布是通过对抗训练来学习的。特别是,我们建议在对抗环境中自动编码视频生成器的运动和外观特征向量。我们证明,我们的方法学会解开运动和外观代码,即使没有明确的结构组成的生成器。定性和定量的实验结果证明了我们的方法的有效性。
2022-01-18 cs.CV
Identifying Auxiliary or Adversarial Tasks Using Necessary Condition Analysis for Adversarial Multi-task Video Understanding
Stanford University(斯坦福大学);NVIDIA(英伟达)
近年来,视频理解的多任务学习越来越受到人们的关注。在这项工作中,我们提出了一个广义的多任务学习的概念,通过合并辅助任务,模型应该表现良好,对抗任务,模型不应该表现良好。我们采用必要条件分析(NCA)作为数据驱动的方法来决定这些任务应该属于哪一类。我们提出的新框架,对抗性多任务神经网络(AMT),惩罚对抗性任务,由NCA确定为整体视频理解(HVU)数据集中的场景识别,以提高动作识别。这颠覆了通常的假设,即应该总是鼓励模型在多任务学习中的所有任务上都做得很好。同时,AMT仍然保留了多任务学习的所有优点,作为现有方法的推广,并使用对象识别作为辅助任务来辅助动作识别。我们介绍了HVU的两个具有挑战性的场景不变测试分割,其中模型在训练中没有遇到的动作场景同现上进行评估。我们表明,我们的方法将准确率提高了约3%,并鼓励模型关注动作特征,而不是相关偏置场景特征。
2022-08-22 cs.AI cs.CV
Efficient Robustness Assessment via Adversarial Spatial-Temporal Focus on Videos
Institute of Artificial Intelligence, Beihang University(北京航空航天大学人工智能研究院)
由于视频识别模型在安全关键任务中的广泛应用,其对抗鲁棒性评估引起了人们的关注。与图像相比,视频具有更高的维数,这给生成对抗视频带来了巨大的计算代价。这对于基于查询的黑盒攻击尤为严重,其中通常使用威胁模型的梯度估计,并且高维将导致大量的查询。为了缓解这个问题,我们建议同时消除视频中的时间和空间冗余,以实现有效和高效的梯度估计减少搜索空间,从而查询数量可以减少。为了实现这一思想,我们设计了一种新的对抗性时空聚焦(AstFocus)攻击视频,它对视频中帧间和帧内同时聚焦的关键帧和关键区域进行攻击。AstFocus攻击基于协作式多智能体强化学习(MARL)框架。一个代理负责选择关键帧,另一个代理负责选择关键区域。这两个智能体通过从黑盒威胁模型接收的共同奖励来联合训练,以执行合作预测。通过连续查询,由关键帧和关键区域组成的缩小搜索空间变得更加精确,整个查询次数变得比原始视频少。在四种主流视频识别模型和三种广泛使用的动作识别数据集上的实验表明,AstFocus攻击在欺骗率、查询次数、时间和扰动幅度等方面均优于SOTA方法。
2023-03-27 cs.CV cs.LG
Fast Adversarial Training with Weak-to-Strong Spatial-Temporal Consistency in the Frequency Domain on Videos
针对视频对抗训练计算成本高及准确性与鲁棒性难以平衡的问题,提出首个视频快速对抗训练方法VFAT-WS,结合频率增强与弱到强一致性正则化,在UCF-101和HMDB-51上显著提升鲁棒性并加速训练近490%。
2025-04-23 cs.AI cs.CV
Local Anomaly Detection in Videos using Object-Centric Adversarial Learning
Polytechnique Montréal(蒙特利尔高等理工学院);Institute of Biomedical Engineering, Polytechnique Montréal(蒙特利尔高等理工学院生物医学工程研究所)
我们提出了一种新的无监督方法,基于两阶段的以对象为中心的对抗框架,只需要对象区域来检测视频中的帧级局部异常。第一阶段包括学习被认为正常的场景中对象的当前外观和过去梯度图像之间的对应关系,允许我们从当前外观生成过去梯度或相反。第二阶段提取具有正常对象行为的真实图像和生成图像(外观和过去梯度)之间的部分重建误差,并以对抗方式训练器。在推理模式下,我们使用训练的图像生成器和逆向学习的二元分类器来输出区域级异常检测分数。我们在四个公共基准测试中测试了我们的方法,UMN,UCSD,Avenue和ShanghaiTech,与最先进的方法相比,我们提出的以对象为中心的对抗方法产生了具有竞争力甚至更好的结果。
2020-11-13 cs.CV cs.LG
Transformation-based Adversarial Video Prediction on Large-Scale Data
DeepMind
最近在对抗生成建模方面的突破使得模型能够生成高质量的视频样本,即使是在大型复杂的真实世界视频数据集上。在这项工作中,我们专注于视频预测的任务,其中给定从视频中提取的帧序列,目标是生成一个合理的未来序列。我们首先提高了国家的最先进的进行系统的实证研究的分解,并提出了一个架构,产生更快的收敛速度和更高的性能比以前的方法。然后,我们分析了生成器中的递归单元,并提出了一种新的递归单元,该单元根据预测的类运动特征转换其过去的隐藏状态,并对其进行改进以处理解遮挡,场景变化和其他复杂行为。我们表明,这种经常性的单位始终优于以前的设计。我们的最终模型导致了最先进性能的飞跃,在大规模Kinetics-600数据集上获得了25.7的测试集Frechet视频距离,低于69.2。
2021-11-17 cs.CV cs.LG
Evolvement Constrained Adversarial Learning for Video Style Transfer
University at Albany, SUNY(纽约州立大学奥尔巴尼分校);JD Finance AI Lab(京东金融人工智能实验室);GE Global Research(通用电气全球研究中心)
视频风格转移对于诸如增强现实、非真实感渲染和交互式游戏之类的应用是有用的组件。许多现有的方法使用光流来保持合成视频的时间平滑性。然而,光流的估计对遮挡和快速运动敏感。因此,在这项工作中,我们引入了一种新的进化同步损失计算的进化,以取代光流。使用这种进化同步损失,我们建立了一个对抗学习框架,称为视频风格传输生成对抗网络(VST-GAN),它改进了MGAN图像风格传输方法,以实现更有效的视频风格传输。我们对我们的方法进行了广泛的实验评估,并显示了对最先进方法的定量和定性改进。
2018-11-06 cs.CV
Over-the-Air Adversarial Flickering Attacks against Video Recognition Networks
Technion Institute of Technology(以色列理工学院);Rafael - Advanced Defense Systems Ltd.(拉斐尔先进防务系统有限公司);Nvidia Research(英伟达研究院)
用于视频分类的深度神经网络,就像图像分类网络一样,可能会受到对抗性操纵。图像分类器和视频分类器之间的主要区别在于后者通常使用视频中包含的时间信息。在这项工作中,我们提出了一个操纵方案,通过引入闪烁的时间扰动,在某些情况下,可能是不明显的人类观察者,是在现实世界中实现的欺骗视频分类。在演示了单个视频的动作分类操作后,我们推广了通用对抗扰动的过程,实现了高欺骗率。此外,我们推广了通用的扰动,并产生一个时间不变的扰动,它可以应用于视频不同步的扰动的输入。该攻击在几个目标模型上实现,并证明了攻击的可移植性。这些属性使我们能够弥合模拟环境和现实世界的应用程序之间的差距,将在本文中首次展示的空中闪烁攻击。
2021-06-04 cs.CR cs.CV cs.LG
FMM-Attack: A Flow-based Multi-modal Adversarial Attack on Video-based LLMs
Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院);Tencent Technology (Beijing) Co.Ltd(腾讯科技(北京)有限公司);Tencent Lab(腾讯实验室);Peng Cheng Laboratory(鹏城实验室);Peking University(北京大学)
本文提出首个针对视频 LLM 的对抗攻击方法 FMM-Attack,通过在视频少量帧上构建基于流的多模态对抗扰动,能有效诱导模型生成错误答案并产生幻觉,对理解多模态鲁棒性与安全特征对齐具有重要意义。
2024-03-21 cs.CV
RoVISQ: Reduction of Video Service Quality via Adversarial Attacks on Deep Learning-based Video Compression
University of California San Diego(加州大学圣地亚哥分校);KDDI Research, Inc.(KDDI研究所)
视频压缩通过在给定带宽预算下最大化终端用户体验质量(QoE)在视频流传输和分类系统中起着至关重要的作用。在本文中,我们对基于深度学习的视频压缩和下游分类系统的对抗攻击进行了首次系统性研究。我们的攻击框架,称为RoVISQ,操纵率失真($\textit{R}$ - $\textit{D}$)关系的视频压缩模型,以实现以下一个或两个目标:(1)增加网络带宽,(2)降低最终用户的视频质量。我们进一步设计了针对下游视频分类服务的有针对性和无针对性攻击的新目标。最后,我们设计了一个输入不变的扰动,普遍扰乱视频压缩和分类系统的实时性。与之前提出的对视频分类的攻击不同,我们的对抗性扰动是第一个能够承受压缩的。我们凭经验证明了RoVISQ攻击对各种防御的弹性,即,对抗训练、视频去噪和JPEG压缩。我们在各种视频数据集上的大量实验结果表明,RoVISQ攻击使峰值信噪比下降高达5.6dB,比特率下降高达$\sim$ 2.4 $\times$,同时在下游分类器上实现超过90的$\%$攻击成功率。我们的用户研究进一步证明了RoVISQ攻击对用户QoE的影响。
2022-12-08 cs.CR cs.CV
AVD: Adversarial Video Distillation
University of Oulu(奥卢大学);Institute for Research in Fundamental Sciences (IPM)(基础科学研究所(IPM))
在本文中,我们提出了一种简单而有效的视频表示方法,称为对抗视频蒸馏(AVD)。其核心思想是通过压缩视频以真实感图像的形式来表示视频,这可以用于各种基于视频的景物分析应用。将视频表示为单个图像使我们能够通过图像分析技术来解决视频分析问题。为此,我们利用3D卷积编码器-解码器网络通过最小化重构误差将输入视频编码为图像。此外,对抗训练过程的弱监督被施加在编码器的输出上,以生成语义逼真的图像。编码器通过将3D输入映射到2D潜在表示来学习从给定的输入视频中提取语义上有意义的表示。所获得的表示可以简单地用作在图像上预训练的深度模型的输入,用于视频分类。我们评估了我们提出的基于视频的活动识别方法在三个标准和具有挑战性的基准数据集上的有效性,即UCF 101,HMDB 51和Kinetics。实验结果表明,AVD实现了有趣的性能,优于国家的最先进的视频分类方法。
2019-07-12 cs.CV
Temporal Generative Adversarial Nets with Singular Value Clipping
Preferred Networks Inc.(Preferred Networks 公司)
在本文中,我们提出了一个生成模型,时间生成对抗网络(TGAN),它可以学习未标记视频的语义表示,并能够生成视频。与现有的基于生成对抗网络(GAN)的方法不同,这些方法使用由3D去卷积层组成的单个生成器生成视频,我们的模型利用了两种不同类型的生成器:时间生成器和图像生成器。时间生成器将单个潜变量作为输入并输出一组潜变量,每个潜变量对应于视频中的图像帧。图像生成器将一组这样的潜变量转换成视频。为了解决GAN训练中的不稳定问题,我们采用了最近提出的Wasserstein GAN模型,并提出了一种新的方法,以端到端的方式对其进行稳定的训练。实验结果证明了该方法的有效性。
2017-08-18 cs.CV cs.LG
Comparing the Robustness of Modern No-Reference Image- and Video-Quality Metrics to Adversarial Attacks
MSU Institute for Artificial Intelligence(莫斯科国立大学人工智能研究所);ISP RAS Research Center for Trusted Artificial Intelligence(俄罗斯科学院系统编程研究所可信人工智能研究中心);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学)
本文比较了15种现代无参考图像与视频质量指标对不同对抗攻击的鲁棒性,发现部分指标具有较高抵抗能力,并提供了可在线提交新指标的基准平台。
2024-02-27 cs.CV cs.LG cs.MM
Transferable Adversarial Attacks for Image and Video Object Detection
Tsinghua University(清华大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
对抗性的例子已经被证明威胁到许多计算机视觉任务,包括目标检测。然而,现有的针对目标检测的攻击方法存在两个局限性:可移植性差,即生成的对抗性样本攻击其他类型检测方法的成功率较低;计算代价高,即生成对抗性图像需要较长时间,难以处理视频数据。为了解决这些问题,我们利用生成机制来获得对抗图像和视频。以这种方式,减少了处理时间。为了增强可移植性,我们破坏了从特征网络中提取的特征图,这些特征图通常构成对象检测器的基础。该方法基于生成对抗网络(GAN)框架,将高级类别损失和低级特征损失相结合,共同训练对抗样本生成器。在PASCAL VOC和ImageNet VID数据集上进行的一系列实验表明,我们的方法可以有效地生成图像和视频对抗示例,更重要的是,这些对抗示例具有更好的可移植性,因此能够同时攻击两种代表性的目标检测模型:基于建议的模型,如Faster-RCNN,以及基于回归的模型,如SSD。
2019-05-13 cs.CV
ReToMe-VA: Recursive Token Merging for Video Diffusion-based Unrestricted Adversarial Attack
School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Artificial Intelligence Innovation and Incubation Institute, Fudan University(复旦大学人工智能创新与孵化研究院)
针对视频领域基于扩散的无限制对抗攻击研究不足的问题,提出ReToMe-VA框架,通过TALO策略实现空间不可感知性、ReToMe机制保障时间一致性,显著提升了对抗视频的迁移性。
2024-08-10 cs.CV
Exploiting video sequences for unsupervised disentangling in generative adversarial networks
UNR-CONICET(国立罗萨里奥大学-阿根廷国家科学与技术研究理事会)
在这项工作中,我们提出了一种对抗性训练算法,该算法利用视频中的相关性来学习-没有监督-具有解开的潜在空间的图像生成器模型。所提出的方法只需要对生成对抗网络(GAN)的标准算法进行一些修改,并且涉及使用从短视频中获取的帧集进行训练。我们在两个以面部为中心的视频数据集上训练我们的模型,这些视频呈现不同的人说话或移动头部:VidTIMIT和YouTube Faces数据集。我们发现,我们的建议允许我们将生成器潜在空间分成两个子空间。其中一个控制内容属性,这些属性不会随着短视频序列而改变。对于所考虑的数据集,这是所生成的面部的身份。另一个子空间控制运动属性,这些属性被观察到沿着短视频变化。我们观察到,这些运动属性是面部表情,头部方向,嘴唇和眼睛的运动。所提出的实验提供了定量和定性的证据支持,所提出的方法诱导解开这两种属性的潜在空间。
2019-10-16 cs.CV cs.LG stat.ML
Cycle-SUM: Cycle-consistent Adversarial LSTM Networks for Unsupervised Video Summarization
National University of Singapore(新加坡国立大学);Hangzhou Dianzi University(杭州电子科技大学)
在本文中,我们提出了一种新的无监督视频摘要模型,不需要手动注释。Cycle-SUM模型采用了一种新的周期一致的对抗性LSTM架构,可以有效地最大限度地提高摘要视频的信息保留和紧凑性。它由一个帧选择器和一个基于周期一致性学习的评价器组成。选择器是一个双向LSTM网络,它学习嵌入视频帧之间的长程关系的视频表示。评估器定义原始视频和摘要视频之间的可学习的信息保持度量,并且“监督”选择器以识别最具信息性的帧以形成摘要视频。特别地,评估器由两个生成对抗网络(GANs)组成,其中前向GAN学习从摘要视频重建原始视频,而后向GAN学习反转处理。这种循环学习的输出之间的一致性被采用作为视频摘要的信息保持度量。我们证明了互信息最大化和这样的循环学习过程之间的密切关系。在两个视频摘要基准数据集上的实验验证了Cycle-SUM模型的最新性能和优越性。
2019-04-17 cs.CV
Non-Adversarial Video Synthesis with Learned Priors
University of California, Riverside(加州大学河滨分校);IBM Research AI(IBM研究AI部门)
视频合成中的大多数现有工作都集中在使用对抗学习生成视频。尽管这些方法取得了成功,但它们通常需要输入参考帧,或者无法从给定的数据分布生成不同的视频,可以生成的视频质量几乎没有均匀性。与这些方法不同的是,我们专注于从潜在噪声向量生成视频的问题,没有任何参考输入帧。为此,我们开发了一种新的方法,通过非对抗学习联合优化输入潜在空间,递归神经网络和生成器的权重。优化输入潜在空间以及网络权重使我们能够在受控环境中生成视频,即,我们可以忠实地生成模型在学习过程中看到的所有视频以及新的未看到的视频。在三个具有挑战性和多样性的数据集上进行的大量实验充分证明,与现有的最先进的方法相比,我们的方法可以生成质量更高的视频。
2020-04-17 cs.CV eess.IV
Phased One-Step Adversarial Equilibrium for Video Diffusion Models
V-PAE通过相位单步对抗均衡方法提升大规模视频模型的生成质量与效率,实现高质量视频生成并显著降低扩散延迟。
2025-12-25 cs.CV
Black-box Adversarial Attacks on Video Recognition Models
Fudan University(复旦大学);The University of Melbourne(墨尔本大学)
深度神经网络(DNN)因其对对抗性示例的脆弱性而闻名。这些例子经历了小的,精心制作的扰动,并且可以很容易地欺骗DNN在测试时进行错误分类。到目前为止,对抗性研究领域主要集中在图像模型上,无论是在白盒设置下,对手都可以完全访问模型参数,还是在黑盒设置下,对手只能查询目标模型的概率或标签。虽然已经针对视频模型提出了几种白盒攻击,但黑盒视频攻击仍然未被探索。为了缩小这一差距,我们提出了第一个黑盒视频攻击框架,称为V-BAD。V-BAD利用从图像模型传输的试探性扰动,以及NES在试探性扰动的分区(补丁)上发现的基于分区的校正,以获得良好的对抗性梯度估计,同时对目标模型的查询较少。V-BAD等价于估计对抗梯度在所选子空间上的投影。使用三个基准视频数据集,我们证明了V-BAD可以制作无针对性和有针对性的攻击,以欺骗两个最先进的深度视频识别模型。对于有针对性的攻击,它只使用平均$3.4 \sim 8.4 \times 10^4$查询就达到了$>$ 93\%的成功率,这与最先进的黑盒图像攻击的查询数量相似。尽管事实上视频通常具有比静态图像高两个数量级的维度。我们相信V-BAD是一个很有前途的新工具,以评估和提高视频识别模型的鲁棒性,以黑盒对抗攻击。
2019-06-28 cs.CR cs.CV cs.LG
Injective State-Image Mapping facilitates Visual Adversarial Imitation Learning
IBM Research AI(IBM研究院人工智能部门)
在游戏和娱乐等应用中,虚拟自主智能体的使用越来越多,需要更好的控制策略来实现自然的运动和动作。与传统的硬编码运动例程的方法不同,我们提出了一种深度学习方法,通过直接模仿原始视频演示来获得控制策略。该领域的先前方法依赖于从专家视频中提取低维特征,然后是单独的手工制作的奖励估计步骤。我们提出了一个模仿学习框架,通过使用生成对抗网络(GANs)联合学习特征提取和奖励估计步骤,减少了对手工设计的奖励函数的依赖。我们在本文中的主要贡献是表明,在低级联合状态(角度和速度)轨迹和相应的原始视频流之间的内射映射下,对视频演示进行对抗性模仿学习相当于从状态轨迹中学习。实验结果表明,所提出的对抗性学习方法从原始视频产生类似的性能,以国家的最先进的模仿学习技术,同时经常优于现有的手工制作的视频模仿方法。此外,我们表明,我们的方法可以通过模仿YouTube上的视频演示来学习动作策略,其性能与来自真实奖励信号的学习代理相似。请在https://ibm.biz/BdzzNA上查看补充视频提交。
2019-10-25 cs.CV cs.LG stat.ML
DiscrimNet: Semi-Supervised Action Recognition from Videos using Generative Adversarial Networks
Georgia Institute of Technology(佐治亚理工学院);Google(谷歌)
我们提出了一个使用生成对抗网络的动作识别框架。我们的模型涉及使用没有标签信息的大型视频活动数据集训练深度卷积生成对抗网络(DCGAN)。然后,我们使用来自GAN模型的训练后的神经网络作为无监督的预训练步骤,并在标记数据集上微调训练后的神经网络模型以识别人类活动。我们确定了良好的网络架构和超参数设置,以便使用DCGAN的训练模型来学习有用的动作识别表示。我们的半监督框架仅使用外观信息,在两个具有挑战性的视频活动数据集UCF 101和HMDB 51上实现了优于或与当前最先进的半监督动作识别方法相当的性能。
2018-01-22 cs.CV
Breaking Temporal Consistency: Generating Video Universal Adversarial Perturbations Using Image Models
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
本文提出BTC方法,利用图像模型生成视频通用对抗扰动,通过最小化相邻帧特征相似性打破时间一致性,实现对未见视频模型的有效攻击,并在多个数据集上超越现有方法。
2023-11-17 cs.CV
Heuristic Black-box Adversarial Attacks on Video Recognition Models
Jilin University(吉林大学);Fudan University(复旦大学);Beihang University(北京航空航天大学);National University of Singapore(新加坡国立大学)
我们研究了黑盒环境下攻击视频识别模型的问题,在黑盒环境下,模型信息是未知的,对手只能进行查询来检测预测的前1类及其概率。与对图像的黑盒攻击相比,攻击视频更具挑战性,因为由于视频的高维性,搜索视频上的对抗性扰动的计算成本要高得多。为了克服这一挑战,我们提出了一种启发式黑盒攻击模型,该模型仅在选定的帧和区域上生成对抗性扰动。更具体地说,提出了一种基于竞争的算法来衡量视频中每个帧对生成对抗性示例的重要性。该算法根据框架的重要性,在生成的对抗样本具有较强的对抗攻击能力的框架子集中搜索一个子集,同时保持扰动小于给定的界。此外,为了进一步提高攻击效率,我们建议只在选定帧的显著区域上生成扰动。以这种方式,所生成的扰动在时间域和空间域中都是稀疏的。在UCF-101数据集和HMDB-51数据集上对两种主流视频识别方法进行攻击的实验结果表明,所提出的启发式黑盒对抗攻击方法可以显著降低计算开销,并使两种数据集上的非目标攻击的查询次数减少28%以上.
2019-11-21 cs.CV
Targeted Nonlinear Adversarial Perturbations in Images and Videos
Princeton University(普林斯顿大学)
我们介绍了一种学习针对单个图像或视频的对抗性扰动的方法。学到的扰动被发现是稀疏的,而在同一时间包含一个高层次的功能细节。因此,提取的扰动允许一种形式的对象或动作识别,并提供对所研究的深度神经网络模型在达到其分类决策时认为重要的特征的见解。从对抗的角度来看,稀疏扰动成功地将模型混淆为错误分类,尽管通过视觉检查,扰动的样本仍然属于同一个原始类别。这是在一个前瞻性的数据增强计划方面进行讨论。稀疏但高质量的扰动也可以用于图像或视频压缩。
2018-08-27 cs.CV