AMIL: Adversarial Multi Instance Learning for Human Pose Estimation
Shanghai Jiao Tong University（上海交通大学）；University of Leicester（莱斯特大学）
人体姿态估计在从人机接口到监控和基于内容的视频检索等广泛的应用中具有重要的影响。对于人体姿态估计，关节遮挡和人体上的重叠导致了分离的姿态估计。为了解决这些问题，通过整合人体结构的先验知识，我们提出了一种新的结构感知网络，在网络的训练过程中谨慎地考虑这些先验知识。通常，学习这种约束是一项具有挑战性的任务。相反，我们提出了生成对抗网络作为我们的学习模型，其中我们设计了两个具有相同架构的剩余多实例学习（MIL）模型，一个用作生成器，另一个用作学习器。识别任务是区分真实的姿势和假的姿势。如果姿态生成器生成的结果是模型无法与真实的结果区分开，则模型已经成功地学习了先验知识。在所提出的模型中，该模型将地面实况热图与生成的热图区分开来，然后将对抗性损失反向传播到生成器。这种方法有助于生成器学习合理的身体配置，并被证明是有利的，以提高姿态估计精度。同时，我们提出了一种新的MIL函数，它是一种可调节的结构，用于实例选择和建模，以便在单个包中适当地传递实例之间的信息。在建议的剩余MIL神经网络，池行动充分更新的实例贡献，其袋。提出的对抗性残差多实例神经网络，是基于池已被验证的人体姿态估计任务的两个数据集上，并成功地优于其他国家的最先进的模型。
2020-03-18 cs.CV
3D Human Pose Estimation in the Wild by Adversarial Learning
CUHK-SenseTime Joint Lab, The Chinese University of Hong Kong（香港中文大学-商汤科技联合实验室（CUHK-SenseTime Joint Lab, The Chinese University of Hong Kong））；School of Electrical and Information Engineering, The University of Sydney（悉尼大学电气与信息工程学院（School of Electrical and Information Engineering, The University of Sydney））；The Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所（The Robotics Institute, Carnegie Mellon University））；SenseTime Research（商汤科技研究院）
近年来，由于强大的深度卷积神经网络（DCNN），在单目图像的三维人体姿态估计方面取得了显着的进展。尽管它们在受限的实验室环境中收集的大规模数据集上取得了成功，但很难获得野外图像的3D姿态注释。因此，野外3D人体姿态估计仍然是一个挑战。在本文中，我们提出了一个对抗性学习框架，它将从完全注释的数据集中学习到的3D人体姿势结构提取到只有2D姿势注释的野外图像中。我们没有定义硬编码规则来约束姿态估计结果，而是设计了一种新的多源模型来区分预测的3D姿态和地面实况，这有助于强制姿态估计器生成人体测量有效的姿态，即使是在野外的图像。我们还观察到，一个精心设计的信息源的搜索引擎是必不可少的，以提高性能。因此，我们设计了一个几何描述符，它计算身体关节之间的两两相对位置和距离，作为一个新的信息源的机器人。我们的对抗性学习框架与新的几何描述符的有效性已经通过广泛使用的公共基准测试的广泛实验得到了证明。与以前的最先进的方法相比，我们的方法显着提高了性能。
2018-04-16 cs.CV
RepNet: Weakly Supervised Training of an Adversarial Reprojection Network for 3D Human Pose Estimation
Leibniz Universität Hannover（汉诺威莱布尼茨大学）；Hannover, Germany（德国汉诺威（注：此处原文本中该部分为地址信息，根据提取规则，不应作为机构提取，正确机构仅为Leibniz Universität Hannover））
本文研究了从单幅图像中估计三维人体姿态的问题。虽然很长一段时间的人的骨骼参数化，并通过满足重投影误差的观察，现在的研究人员直接使用神经网络来推断的3D姿态从观察。然而，这些方法中的大多数忽略了必须满足重投影约束的事实，并且对过拟合敏感。我们通过忽略2D到3D的对应来解决过拟合问题。这有效地避免了训练数据的简单记忆，并允许弱监督训练。所提出的重投影网络（RepNet）的一部分使用对抗训练方法学习从2D姿势分布到3D姿势分布的映射。网络的另一部分估计摄像头。这允许定义网络层，该网络层执行将估计的3D姿态重新投影回2D，这导致重新投影损失函数。我们的实验表明，RepNet可以很好地推广到未知数据，并且在应用于未知数据时优于最先进的方法。此外，我们的实现实时运行在一个标准的桌面PC上。
2019-03-12 cs.CV
Jointly Optimize Data Augmentation and Network Training: Adversarial Data Augmentation in Human Pose Estimation
Rutgers University（罗格斯大学）；Facebook（脸书）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
随机数据增强是训练深度神经网络模型时避免过拟合的关键技术。然而，数据增强和网络训练通常被视为两个孤立的过程，限制了网络训练的有效性。为什么不把两者结合起来优化呢？我们提出了对抗性数据增强来解决这一限制。其主要思想是设计一个增强网络（生成器），通过在线生成“硬”增强操作来与目标网络竞争。增强网络探索目标网络的弱点，而后者则从“硬”增强中学习以实现更好的性能。我们还设计了一个有效的联合训练的奖励/惩罚策略。我们展示了我们在人体姿态估计问题上的方法，并进行了全面的实验分析，表明我们的方法可以显着改善最先进的模型，而无需额外的数据工作。
2018-05-24 cs.CV
Adversarial Learning of Structure-Aware Fully Convolutional Networks for Landmark Localization
Nanjing University of Science and Technology（南京理工大学）；The University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Nanjing University（南京大学）
单目图像中的地标/姿态估计由于其重要的应用而在计算机视觉中受到了广泛的关注。当输入图像严重遮挡时，不利的相机视图。在这种情况下，可能会产生生物学上难以置信的姿势预测。相比之下，人类视觉能够通过利用界标点互连的几何约束来预测姿态。为了解决这个问题，通过结合关于姿势组件结构的先验知识，我们提出了一种新的结构感知的完全卷积网络，以在深度网络的训练过程中隐式地考虑这些先验知识。这种约束的显式学习通常具有挑战性。相反，受人类如何识别不可信姿势的启发，我们设计了判别器来区分真实姿势和虚假姿势（例如生物学上不可信的姿势）。如果姿态生成器G生成的结果无法与真实的结果区分开来，则网络成功地学习了先验知识。网络的训练遵循条件生成对抗网络（GANs）的策略。所提出的网络的有效性进行了评估三个姿势相关的任务：2D单人姿势估计，2D面部地标估计和3D单人姿势估计。所提出的方法显著优于最先进的方法，并且几乎总是生成合理的姿势预测，证明了使用GANs的结构隐式学习的有用性。
2019-02-24 cs.CV
3D Human Pose Estimation Based on 2D-3D Consistency with Synchronized Adversarial Training
School of Computer and Information Technology, Beijing Jiaotong University（北京交通大学计算机与信息技术学院）；Key Lab of Big Data & Artificial Intelligence in Transportation, Ministry of Education（教育部交通大数据与人工智能重点实验室）；School of Information Science and Electrical Engineering, Kyushu University（九州大学信息科学与电气工程学院）
针对单目3D人体姿态估计中的深度歧义问题，提出基于GAN的2D-3D一致性同步对抗训练框架，并用加权KCS矩阵引入运动学约束，在Human3.6M上多数指标优于现有方法。
2024-03-05 cs.CV
On the Robustness of Human Pose Estimation
Indian Institute of Science（印度科学学院）；IIT Bombay（印度理工学院孟买分校）；Axogyan AI（Axogyan人工智能公司）
本文对人体姿态估计模型的对抗攻击及其鲁棒性评估进行了全面而详尽的研究。除了强调研究充分的分类系统和人类姿态估计系统之间的重要差异。对抗攻击，我们还提供了深入的见解姿态估计系统的设计选择，以塑造未来的工作。我们对在多个数据集、MPII和COCO上训练的几个2D单人姿势估计架构的鲁棒性进行了基准测试。在这样做的过程中，我们还探讨了攻击非分类网络的问题，包括基于回归的网络，这在过去几乎没有被探索过。\par我们发现，分类和语义分割相比，人体姿态估计架构是相对强大的对抗攻击的单步攻击是令人惊讶的无效。我们的研究表明，基于热图的姿态估计模型比直接基于回归的系统具有显著的鲁棒性，并且显式地模拟人体拟人化语义的系统比其他系统更好。此外，有针对性的攻击比无针对性的攻击更难获得，一些身体关节比其他关节更容易欺骗。我们提出了可视化的普遍扰动，以促进前所未有的见解，他们的工作姿态估计。此外，我们还展示了它们在不同网络中的泛化能力。最后，我们对这些例子的感知性进行了用户研究。
2021-06-10 cs.CV
Fight Fire with Fire: Combating Adversarial Patch Attacks using Pattern-randomized Defensive Patches
School of Information, Renmin University of China（中国人民大学信息学院）
本文提出一种以攻为守的对抗性补丁防御方法，通过注入随机化的金丝雀和啄木鸟补丁来探测和反击攻击，无需修改模型，且对未知和自适应攻击均表现出高鲁棒性和低开销。
2024-11-08 cs.CV
View Consistency Aware Holistic Triangulation for 3D Human Pose Estimation
Shanghai Jiao Tong University（上海交通大学）
多视角三维人体姿态估计（HPE）的快速发展归功于单目二维HPE的成熟和三维重建几何学的发展。然而，由于忽视视图一致性而导致的遮挡视图中的2D检测离群值以及由于缺乏姿势一致性而导致的3D不可信姿势仍然是挑战。为了解决这个问题，我们引入了多视图融合模块，通过建立视图相关性来细化2D结果。然后，提出了整体三角剖分的方法来推断整个姿态作为一个整体，并注入解剖先验来保持姿态的连贯性和提高可解释性。以骨骼结构特征为输入的主成分分析提取解剖先验信息，能够从抽象到具体地分解出全局上下文和关节间关系。受益于封闭式解决方案，整个框架都是端到端训练的。我们的方法在精度和可扩展性方面都优于现有技术，这是由一个新的度量标准评估的。
2023-02-23 cs.CV
Calibrated Adversarial Refinement for Stochastic Semantic Segmentation
University of Amsterdam（阿姆斯特丹大学）；TomTom（TomTom公司）
在语义分割任务中，输入图像通常可以有一个以上的合理解释，从而允许多个有效标签。为了捕捉这种模糊性，最近的工作已经探索了概率网络的使用，它可以学习预测的分布。然而，这些并不一定准确地代表经验分布。在这项工作中，我们提出了一种策略，用于在语义映射上学习校准的预测分布，其中与每个预测相关的概率反映了其真实正确性的可能性。为此，我们提出了一种新的两阶段级联方法用于校准对抗性细化：（i）使用分类交叉熵训练标准分割网络，以预测语义类上的像素概率分布;（ii）使用对抗性训练的随机网络对像素间相关性进行建模，以将第一个网络的输出细化为相干样本。重要的是，为了校准细化网络并防止模式坍塌，第二阶段中样本的期望值与第一阶段中预测的概率相匹配。我们证明了该方法的多功能性和鲁棒性，通过在多级LIDC数据集和具有注入模糊性的修改后的Cityscapes数据集上实现最先进的结果。此外，我们表明，核心设计可以适应其他任务，需要学习校准的预测分布通过实验的玩具回归数据集。我们在https://github.com/EliasKassapis/CARSSS上提供了我们方法的开源实现。
2021-08-04 cs.CV
Optimising 2D Pose Representation: Improve Accuracy, Stability and Generalisability Within Unsupervised 2D-3D Human Pose Estimation
University of Southampton（南安普顿大学）
本文讨论了在无监督的2D到3D姿态提升过程中的2D姿态表示问题，以提高3D人体姿态估计（HPE）模型的准确性、稳定性和通用性。所有无监督的2D-3D HPE方法在训练期间为模型提供整个2D运动学骨架。我们认为，这是次优和破坏性的，因为在训练期间，独立的2D关键点和预测的3D坐标之间会产生长程相关性。为此，我们进行了以下研究。在最大架构容量为6个残差块的情况下，我们评估了5个模型的性能，每个模型在对抗性无监督2D-3D HPE过程中以不同的方式表示2D姿势。此外，我们还展示了在训练过程中学习到的2D关键点之间的相关性，突出显示了将整个2D姿势提供给提升模型时引起的不直观的相关性。我们的研究结果表明，2D姿势的最佳表示是两个独立的部分，躯干和腿，每个提升网络之间没有共享的功能。与在整个2D运动骨架上训练的具有几乎相同的参数计数的模型相比，这种方法在Human3.6M数据集上将平均误差降低了20%。此外，由于对抗学习的复杂性，我们展示了这种表示如何在训练过程中提高收敛性，从而更频繁地获得最佳结果。
2022-09-01 cs.CV
Understanding Pose and Appearance Disentanglement in 3D Human Pose Estimation
EPFL（洛桑联邦理工学院）；ClearSpace SA（ClearSpace公司）
本文通过图像合成实验和对抗攻击策略，系统分析了自监督三维人体姿态估计中三种最先进解耦表示学习框架，发现其姿态编码仍包含显著外观信息，解耦远未完成，并提出了评估解耦程度的测试方法。
2023-09-20 cs.CV
Learning Coated Adversarial Camouflages for Object Detectors
Army Military Transportation University of PLA（中国人民解放军陆军军事交通学院）；Army Engineering University of PLA（中国人民解放军陆军工程大学）；The 28th Research Institute of China Electronics Technology Group Corporation（中国电子科技集团公司第二十八研究所）；Hunan University of Technology（湖南工业大学）
对手可以通过生成对抗性噪声来欺骗深度神经网络对象检测器。大多数现有的作品集中在学习本地可见的噪音在一个对抗性的“补丁”的方式。然而，附加到3D对象的2D补丁往往会随着视点的改变而遭受攻击性能的不可避免的降低。为了解决这个问题，这项工作提出了涂层对抗性伪装（CAC）攻击检测器在任意的观点。与在2D空间中训练的补丁不同，我们的伪装由一个概念上不同的训练框架生成，包括3D渲染和密集建议攻击。具体地说，我们使伪装执行3D空间变换，根据对象的姿态变化。基于多视图渲染结果，对区域建议网络的前n个建议进行固定，同时对固定密集建议中的所有分类进行攻击，输出错误。此外，我们建立了一个虚拟的3D场景，公平和可重复地评估不同的攻击。大量的实验证明了CAC相对于现有攻击的优越性，无论是在虚拟场景还是现实世界中，都表现出了令人印象深刻的性能。这对安全关键的计算机视觉系统构成了潜在的威胁。
2022-05-14 cs.CV
A Dual-Augmentor Framework for Domain Generalization in 3D Human Pose Estimation
University of Central Florida（中佛罗里达大学）
针对3D人体姿态估计领域泛化中单一增强器与对抗训练的局限，提出包含弱增强器和强增强器的双增强器框架，结合元优化模拟领域偏移，显著提升了模型泛化能力。
2024-03-20 cs.CV
Adv3D: Generating 3D Adversarial Examples for 3D Object Detection in Driving Scenarios with NeRF
Artificial Intelligence Thrust, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）人工智能学科）；Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（香港科技大学计算机科学与工程学系）
本文提出 Adv3D，首次将对抗样本建模为 NeRF，并通过基元感知采样与语义引导正则化生成可物理实现的 3D 伪装纹理补丁，攻击驾驶场景中的 3D 检测器。
2024-08-06 cs.CV
Strike (with) a Pose: Neural Networks Are Easily Fooled by Strange Poses of Familiar Objects
Auburn University（奥本大学）；Adobe Inc（奥多比公司）
尽管在静态测试集上表现出色，但深度神经网络（DNN）可能无法推广到分布外（OoD）输入，包括自然的、非对抗性的输入，这在现实世界中很常见。在本文中，我们提出了一个利用3D渲染器和3D模型发现DNN故障的框架。也就是说，我们估计3D渲染器的参数，这些参数会导致目标DNN响应渲染图像而行为不端。使用我们的框架和自组装的3D对象数据集，我们研究了DNN对ImageNet中知名对象的OoD姿态的脆弱性。对于DNN在其规范姿势中容易识别的对象，DNN错误地分类了97%的姿势空间。此外，DNN对轻微的姿态扰动高度敏感。重要的是，对抗姿势可以跨模型和数据集传输。我们发现，Inception-v3错误分类的姿势中有99.9%和99.4%分别转移到在同一ImageNet数据集上训练的AlexNet和ResNet-50图像分类器，75.5%转移到在MS COCO上训练的YOLOv 3对象检测器。
2019-04-18 cs.CV cs.LG
Learning Transferable 3D Adversarial Cloaks for Deep Trained Detectors
University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一种新的基于补丁的对抗攻击管道，在三维人体网格上训练对抗补丁。我们在参考人体网格上采样三角形面部，并在这些面部上创建对抗性纹理图谱。对抗性纹理被转移到各种姿势的人类网格中，这些网格被渲染到真实世界背景图像的集合上。与传统的基于补丁的对抗攻击相反，先前的工作试图使用附加的对抗补丁来欺骗训练的对象检测器，这种新形式的攻击被映射到3D对象世界，并通过可微分渲染反向传播到纹理图谱。因此，对抗补丁在与真实世界材料一致的变形下进行训练。此外，与现有的对抗补丁不同，我们的新3D对抗补丁被证明可以在不同的视图下稳健地欺骗最先进的深度对象检测器，这可能导致在物理世界中持续强大的攻击方案。
2021-04-22 cs.AI cs.CV
Pose-aware Adversarial Domain Adaptation for Personalized Facial Expression Recognition
University of Science and Technology of China（中国科学技术大学）
目前的面部表情识别方法无法同时处理姿势和主题变化。在本文中，我们提出了一种新的无监督对抗领域自适应方法，可以同时减轻这两种变化。特别地，我们的方法由三种学习策略组成：对抗性领域自适应学习、跨对抗性特征学习和重建学习。第一个目标是学习源域中与姿势和表情相关的特征表示，并通过实施对抗性学习使两个特征分布适应目标域的特征分布。通过使用个性化的对抗性领域自适应，该学习策略可以减轻主题变化，并利用来自源领域的信息来帮助目标领域的学习。第二个用于通过推动姿势相关特征表示expression-undistinguished和姿势相关特征表示expression-undistinguished来执行姿势相关特征表示和表情相关特征表示之间的特征解纠缠。最后一个可以通过应用人脸图像重建来进一步增强特征学习，使得学习的表情相关特征表示更具姿态和身份鲁棒性。在四个基准数据集上的实验结果证明了该方法的有效性。
2020-07-12 cs.CV
Adversarial Synthesis of Human Pose from Text
University of Bonn（波恩大学）；RWTH-Aachen University（亚琛工业大学）
这项工作的重点是从人类水平的文本描述合成人类构成。我们提出了一个基于条件生成对抗网络的模型。它的目的是生成2D人类构成人类书面文字描述的条件。该模型使用COCO数据集进行训练和评估，该数据集由捕获具有各种人类姿势的复杂日常场景的图像组成。我们通过定性和定量的结果表明，该模型是能够合成合理的构成匹配给定的文本，这表明它是可能的，以生成与给定的语义特征，特别是与独特的构成动作是一致的构成。
2020-10-16 cs.CV
Adversarial Exploitation of Data Diversity Improves Visual Localization
New York University（纽约大学）
本研究通过引入外观多样性与对抗性训练提升视觉定位的鲁棒性，显著降低定位误差，尤其在动态驾驶和天气变化场景中表现优异。
2025-11-29 cs.AI cs.CV cs.LG
Adversarial Networks for Camera Pose Regression and Refinement
Johns Hopkins University（约翰斯·霍普金斯大学）；Siemens AG（西门子股份公司）；Technical University of Munich（慕尼黑工业大学）
尽管最近在使用神经网络的直接相机姿态回归的主题上取得了进展，但准确地估计单个RGB图像的相机姿态仍然是一项具有挑战性的任务。为了解决这个问题，我们引入了一个新的框架，其核心是基于隐式学习RGB图像及其相应相机姿态的联合分布的想法，使用一个神经网络和对抗学习。我们的方法不仅允许从单个图像回归相机姿态，但是，也提供了一个完全基于RGB的解决方案，用于使用RGB网络的相机姿态细化。此外，我们表明，我们的方法可以有效地用于优化预测的相机姿态，从而提高定位精度。为此，我们在公开的7场景数据集上验证了我们提出的方法，改进了直接相机姿态回归方法的结果。
2019-10-27 cs.CV
Towards Robust 3D Pose Transfer with Adversarial Learning
CMVS；Stanford University（斯坦福大学）
针对3D姿态迁移依赖干净姿态源与预处理的问题，提出结合对抗样本和多尺度掩码的3D-PoseMAE，提升噪声输入、原始点云及扫描场景下的迁移质量与泛化性。
2024-04-02 cs.CV
Adversarial samples for deep monocular 6D object pose estimation
Guangxi University（广西大学）；Samsung Research China - Beijing (SRC-B)（三星电子中国研究院（北京））；Tsinghua University（清华大学）
从RGB图像中估计6D对象姿态对于许多现实世界的应用（例如自动驾驶和机器人抓取）非常重要。最近的深度学习模型在这方面取得了重大进展，但其鲁棒性却很少受到研究关注。在这项工作中，我们第一次研究了对抗性样本，这些样本可以通过对输入图像的不可感知的扰动来欺骗深度学习模型。特别是，我们提出了一种统一的6D姿态估计攻击，即U6 DA，它可以成功地攻击几个最先进的（SOTA）深度学习模型，用于6D姿态估计。我们的U6 DA的关键思想是欺骗模型来预测对象实例定位和形状的错误结果，这些结果对于正确的6D姿态估计至关重要。具体来说，我们探索了一种基于转移的黑盒攻击6D姿态估计。我们设计了U6 DA损失来指导对抗性示例的生成，损失的目的是将分割注意力图从其原始位置移开。我们表明，生成的对抗样本不仅对直接6D姿态估计模型有效，而且能够攻击两阶段模型，而不管它们的鲁棒RANSAC模块。在大规模的公共基准测试中进行了大量的实验，以证明我们的U6 DA的有效性，可移植性和抗防御能力。我们还引入了一个新的U6 DA-Linemod数据集，用于6D姿态估计任务的鲁棒性研究。我们的代码和数据集将在\url{https://github.com/cuge1995/U6DA}上提供。
2022-03-05 cs.CV
Adversarial Parametric Pose Prior
EPFL（洛桑联邦理工学院）
蒙皮多人线性模型（SMPL）通过将姿态和形状参数映射到人体网格来表示人体。这已被证明有助于通过不同的学习模型从图像中推断3D人体姿势和形状。然而，并非所有姿势和形状参数值都产生物理上合理的甚至真实的体网格。换句话说，SMPL是欠约束的，并且因此当用于通过直接优化其参数或通过学习从图像到这些参数的映射来从图像重建人时可能导致无效结果。因此，在本文中，我们学习了一个先验知识，将SMPL参数限制为通过对抗训练产生真实姿势的值。我们表明，我们学习的先验知识涵盖了真实数据分布的多样性，有利于从2D关键点进行3D重建的优化，并在用于图像回归时产生更好的姿态估计。我们发现，基于球形分布的先验可以得到最好的结果。此外，在所有这些任务中，它优于最先进的基于VAE的方法来约束SMPL参数。
2021-12-08 cs.CV
Generating Realistic Training Images Based on Tonality-Alignment Generative Adversarial Networks for Hand Pose Estimation
University of California, Irvine（加利福尼亚大学欧文分校）；Tencent Medical AI Lab（腾讯医疗人工智能实验室）；Academia Sinica（中央研究院）
从单目RGB图像中估计手部姿态是一项重要但具有挑战性的任务。影响其性能的主要因素是缺乏足够大的训练数据集和准确的手部关键点注释。在这项工作中，我们绕过这个问题，提出了一个有效的方法产生逼真的手构成，并表明，国家的最先进的手姿态估计算法可以大大提高利用所产生的手构成的训练数据。具体来说，我们首先采用一个增强现实（AR）模拟器来合成准确的手部关键点标签的手部姿势。虽然合成手部姿势带有精确的关节标签，消除了手动注释的需要，但它们看起来不自然，不是理想的训练数据。为了产生更逼真的手部姿势，我们建议将合成手部姿势与真实背景（如手臂和袖子）混合。为此，我们开发了色调对齐生成对抗网络（TAGAN），它将合成手部姿势和真实背景之间的色调和颜色分布对齐，并可以生成高质量的手部姿势。我们在三个基准上评估TAGAN，包括RHP，STB和CMU-PS手部姿势数据集。借助于合成的姿势，我们的方法在2D和3D手部姿势估计方面都优于现有技术。
2020-12-13 cs.CV
Dual Encoder-Decoder based Generative Adversarial Networks for Disentangled Facial Representation Learning
Jiangnan University（江南大学）；University of Surrey（萨里大学）
为了学习面部图像的解纠缠表示，我们提出了一种基于双编码器-解码器的生成对抗网络（DED-GAN）。在所提出的方法中，生成器和解码器都是以深度编码器-解码器架构作为其骨干来设计的。更具体地说，编码器-解码器结构化生成器用于学习姿态解纠缠的人脸表示，并且编码器-解码器结构化生成器的任务是执行真/假分类、人脸重建、确定身份和估计人脸姿态。我们进一步改进了所提出的网络架构，通过最小化由Wasserstein距离定义的额外像素损失，以便对抗框架可以更好地训练。此外，我们认为人脸姿态变化是连续的，而不是离散的现有文献中，注入更丰富的姿态信息到我们的模型。姿态估计任务被公式化为回归问题，这有助于从姿态变化中解开身份信息。建议的网络进行评估的任务的姿态不变的人脸识别（PIFR）和跨姿态的人脸合成。对几个受控和野外基准测试数据集进行的广泛的定量和定性评估表明，所提出的DED-GAN方法优于最先进的方法。
2019-09-19 cs.CV
Adversarial Motion Modelling helps Semi-supervised Hand Pose Estimation
ETH Zurich（苏黎世联邦理工学院）；NVIDIA（英伟达）
由于不同的环境条件、物体遮挡和自遮挡以及手部形状和外观的多样性，手部姿态估计是困难的。在完全注释的数据集中彻底覆盖这一广泛的因素仍然是不切实际的，这对监督方法的推广提出了重大挑战。面对这一挑战，我们建议将对抗训练和运动建模的思想结合起来，利用未标记的视频。为此，我们提出了据我们所知的第一个手部运动模型，并表明对抗性公式通过对未标记视频序列进行半监督训练，可以提高手部姿势估计器的泛化性能。在这种情况下，姿态预测器必须产生一个有效的序列的手姿势，由一个有区别的对手。这个对手的原因都在结构以及时间域，有效地利用时空结构的任务。我们的方法的主要优点是，我们可以利用未配对的视频和联合序列数据，这两者都是更容易获得比成对的训练数据。我们进行了广泛的评估，调查所需的基本组成部分，所提出的框架和经验证明，在两个具有挑战性的设置，所提出的方法导致姿态估计精度的显着改善。在最低的标签设置，我们达到了$40\%$的绝对平均联合误差的改善。
2021-06-10 cs.CV
Pose Guided Human Video Generation
CUHK-SenseTime Joint Lab（香港中文大学-商汤联合实验室）；SenseTime Research（商汤科技研究院）；Carnegie Mellon University（卡内基梅隆大学）
由于生成对抗网络的出现，视频合成技术取得了突破性的进展。然而，现有的方法缺乏一个适当的表示来显式地控制视频中的动态。另一方面，人体姿态可以内在地和可解释地表示运动模式，并且施加几何约束而不管外观如何。在本文中，我们提出了一种姿势指导的方法来合成人类视频在一个解开的方式：合理的运动预测和连贯的外观生成。在第一阶段中，姿态序列生成对抗网络（PSGAN）以对抗方式学习以产生以类别标签为条件的姿态序列。在第二阶段中，语义一致的生成对抗网络（SCGAN）从姿势生成视频帧，同时保留输入图像中的连贯外观。通过在高特征级别上执行生成的姿势和地面真实姿势之间的语义一致性，我们的SCGAN对噪声或异常姿势具有鲁棒性。在人体动作和人脸数据集上的大量实验表明，该方法优于其他国家的艺术。
2018-07-30 cs.CV
A Black-Box Adversarial Attack on Human Pose Estimation and Keypoint-Based Action Recognition Models
University of Rzeszów（热舒夫大学）
提出OKS攻击，一种基于决策的黑盒对抗攻击，利用目标关键点相似度作为反馈信号，针对人体姿态估计和动作识别模型，实验显示能有效降低姿态质量并显著降低下游动作识别准确率。
2026-09-09 cs.CV
Decomposed Human Motion Prior for Video Pose Estimation via Adversarial Training
Durham University（杜伦大学）；China Academy of Industrial Internet（中国工业互联网研究院）；Research Institute of Tsinghua, Pearl River Delta（清华大学珠三角研究院）
本文提出将整体人体运动先验解耦为关节级先验并以对抗方式训练视频姿态估计网络，同时引入正则化损失平衡准确性与平滑性，在3DPW上显著降低姿态误差和加速度误差。
2023-09-24 cs.CV
"Teaching Independent Parts Separately" (TIPSy-GAN) : Improving Accuracy and Stability in Unsupervised Adversarial 2D to 3D Pose Estimation
我们提出了TIPSy-GAN，这是一种新的方法，可以提高无监督对抗2D到3D人体姿态估计的准确性和稳定性。在我们的工作中，我们证明了人类运动骨架不应该被假设为一个单一的空间相关结构;事实上，我们认为当在训练过程中提供完整的2D姿势时，会有一个固有的偏差，其中关键点的3D坐标在空间上依赖于所有其他关键点的2D坐标。为了研究我们的假设，我们遵循以前的对抗方法，但训练两个发电机上的空间独立的部分的运动骨架，躯干和腿。我们发现，提高自我一致性周期是降低评估误差的关键，因此在训练过程中引入了新的一致性约束。通过从这些生成器中进行知识蒸馏来生成TIPSy模型，该TIPSy模型可以预测整个2D姿态的3D坐标，并具有改进的结果。此外，我们解决了一个悬而未决的问题，在以前的工作多久训练在一个真正的无人监督的情况下。我们发现，两个独立的发电机训练adversarially有改善的稳定性比一个单独的发电机崩溃。与基线单独发生器在Human3.6M数据集上的平均误差相比，TIPSy将平均误差降低了17%。TIPSy改进了其他无监督方法，同时在评估Human3.6M和MPI-INF-3DHP数据集时，对监督和弱监督方法也表现出色。
2022-09-01 cs.CV
UV-GAN: Adversarial Facial UV Map Completion for Pose-invariant Face Recognition
Imperial College London（帝国理工学院）
最近提出的鲁棒的3D人脸对齐方法在3D人脸模型和2D人脸图像之间建立密集或稀疏的对应关系。这些方法的使用提出了新的挑战，以及面部纹理分析的机会。特别地，通过使用拟合模型对图像进行采样，可以创建面部UV。不幸的是，由于自遮挡，这样的UV贴图总是不完整的。在本文中，我们提出了一个用于训练深度卷积神经网络（DCNN）的框架，以完成从野外图像中提取的面部UV图。为此，我们首先通过将3D Morphable Model（3DMM）拟合到各种多视图图像和视频数据集，并利用具有3,000多个身份的新3D数据集来收集完整的UV映射。其次，我们设计了一个精心设计的架构，结合本地和全局对抗DCNN来学习一个身份保护的面部UV完成模型。我们证明，通过将完成的UV附加到拟合的网格并生成任意姿势的实例，我们可以增加用于训练深度人脸识别/验证模型的姿势变化，并最大限度地减少测试期间的姿势差异，从而获得更好的性能。在受控和野外UV数据集上的实验证明了我们的对抗UV完成模型的有效性。我们实现了国家的最先进的验证精度，$94.05\%$，根据CFP的正面轮廓协议，只有在训练过程中的姿势增强和姿势差异减少在测试过程中相结合。我们将发布第一个野外UV数据集（我们称之为WildUV），该数据集包含来自1，892个身份的完整面部UV地图，用于研究目的。
2017-12-13 cs.CV
DGGAN: Depth-image Guided Generative Adversarial Networks for Disentangling RGB and Depth Images in 3D Hand Pose Estimation
University of California, Irvine（加州大学欧文分校）；Tencent America（腾讯美国）；Amazon（亚马逊）；National Chiao Tung University（国立交通大学）
从RGB图像中估计3D手部姿态对于广泛的潜在应用是必不可少的，但由于从RGB图像中推断深度信息存在大量模糊性，因此具有挑战性。最先进的估计器通过在训练过程中正则化3D手部姿势估计模型来解决这个问题，以加强预测的3D姿势和地面真实深度图之间的一致性。然而，这些估计器在训练过程中依赖于RGB图像和成对的深度图。在这项研究中，我们提出了一种条件生成对抗网络（GAN）模型，称为深度图像引导GAN（DGGAN），以生成基于输入RGB图像的真实深度图，并使用合成的深度图来正则化3D手势估计模型，因此不需要地面真实深度图。在多个基准数据集上的实验结果表明，DGGAN生成的合成深度图在正则化姿态估计模型方面非常有效，获得了新的最先进的结果估计精度，在RHD、STB和MHP数据集上，平均3D端点误差（EPE）分别显著降低了4.7%、16.5%和6.8%。
2020-12-06 cs.CV
Facial UV Map Completion for Pose-invariant Face Recognition: A Novel Adversarial Approach based on Coupled Attention Residual UNets
Chosun University（朝鲜大学）；Hanoi University of Science and Technology（河内理工大学）；Vietnam Academy of Science and Technology（越南科学技术院）
姿态不变的人脸识别是指通过分析从不同姿态捕获的人脸图像来识别或验证一个人的问题。这个问题是具有挑战性的，由于姿态，照明和面部表情的大变化。一种很有前途的方法来处理姿态变化是实现不完整的UV地图提取在野外的脸，然后附加完成的UV地图到一个合适的3D网格，最后生成不同的2D人脸的任意姿态。合成的人脸增加了用于训练深度人脸识别模型的姿势变化，并减少了测试阶段的姿势差异。在本文中，我们提出了一种新的生成模型，称为Attention ResCUNet-GAN，以提高UV地图完成。我们通过使用几个U网来增强原始的UV-GAN。特别是，每个U-Net内的跳跃连接都是通过注意门来提升的。同时，从两个U-网的特征融合与可训练的标量权重。在Multi-PIE、LFW、CPLWF和CFP数据集上的实验结果表明，该方法具有较好的性能。
2020-11-02 cs.CV
ACR-Pose: Adversarial Canonical Representation Reconstruction Network for Category Level 6D Object Pose Estimation
最近，类别级的6D对象姿态估计已经取得了显着的改进与重建规范的3D表示的发展。然而，现有方法的重建质量仍然远远不够好。在本文中，我们提出了一种新的对抗规范表示重建网络ACR-Pose。ACR-Pose由一个Reconstructor和一个Discriminator组成。重构器主要由两个新的子模块组成：姿势无关模块（PIM）和关系重构模块（RRM）。PIM倾向于学习规范相关的特征，使重建器对旋转和平移不敏感，而RRM探索不同输入模态之间的基本关系信息，以生成高质量的特征。随后，一个鉴别器被用来指导重建器生成真实的规范表示。重构器和鉴别器通过对抗训练学习优化。在流行的NOCS-CAMERA和NOCS-REAL数据集上的实验结果表明，我们的方法达到了最先进的性能。
2021-11-20 cs.AI cs.CV
Pose-guided Generative Adversarial Net for Novel View Action Synthesis
CRCV, University of Central Florida（中佛罗里达大学计算机视觉研究中心）；National University of Singapore（新加坡国立大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
我们关注的问题，新颖的观点人类的行动合成。给定一个动作视频，目标是从一个看不见的视点生成相同的动作。当然，新视角视频合成比图像合成更具挑战性。它需要合成一系列具有时间相干性的真实帧。此外，将不同的动作转换为新的目标视图需要同时意识到动作类别和视角变化。为了应对这些挑战，我们提出了一个新的框架，名为姿势引导的动作可分离生成对抗网络（PAS-GAN），它利用姿势来减轻这项任务的难度。首先，我们提出了一个经常性的姿势转换模块，从源视图到目标视图的动作转换，并在2D坐标空间中生成新的视图姿势序列。第二，一个良好的转换姿态序列使我们能够分离的目标视图中的动作和背景。我们采用了一种新的局部-全局空间变换模块，有效地生成序列的视频功能，在目标视图中使用这些动作和背景功能。最后，生成的视频特征被用来合成人体动作的帮助下的3D解码器。此外，针对视频中的动态动作，提出了一种新的多尺度动作可分离损失，进一步提高了视频质量。我们在两个大规模的多视角人体动作数据集NTU-RGBD和PKU-MMD上进行了大量的实验，证明了PAS-GAN的有效性，优于现有的方法。
2021-12-09 cs.CV
Adversarial Attacks on Monocular Pose Estimation
NavInfo Europe（四维图新欧洲公司）
深度学习的进步导致计算机视觉的稳步发展，提高了目标检测和语义分割等任务的准确性。然而，深度神经网络容易受到对抗攻击的攻击，因此在可靠部署方面提出了挑战。机器人和高级驾驶辅助系统的3D场景理解中的两个突出任务是单目深度和姿态估计，通常以无监督的方式一起学习。虽然存在评估对抗攻击对单目深度估计的影响的研究，但缺乏对抗性扰动对姿态估计的系统演示和分析。我们展示了如何添加剂不可察觉的扰动不仅可以改变预测，以增加轨迹漂移，但也灾难性地改变其几何形状。我们还研究了针对单目深度和姿态估计网络的对抗性扰动之间的关系，以及扰动到具有不同架构和损失的其他网络的可转移性。我们的实验表明，所产生的扰动如何导致相对旋转和平移预测的显着错误，并阐明网络的脆弱性。
2022-07-14 cs.AI cs.CV
SHARE: Single-view Human Adversarial REconstruction
Amazon（亚马逊）
SHARE通过对抗数据增强微调方法，利用RoME采样技术提升单视图3D人体姿态和形状重建在不同相机视角下的鲁棒性，显著降低平均关节误差且不损失基线性能。
2023-12-30 cs.CV
Generative Adversarial Stacked Autoencoders for Facial Pose Normalization and Emotion Recognition
Coventry University（考文垂大学）；American University of Beirut（贝鲁特美国大学）
在这项工作中，我们提出了一种新的生成对抗堆叠自动编码器，它可以学习将面部表情（最多正负60度）映射到0度的光照不变面部表示。我们通过使用一种新的卷积层来实现这一点，该卷积层利用了局部和全局空间信息，并且卷积层具有减少的参数，利用了面部对称性。此外，我们引入了一个生成对抗逐步贪婪逐层学习算法，旨在以高效和增量的方式训练对抗自动编码器。我们证明了我们的方法的效率和报告国家的最先进的性能在几个面部表情识别语料库，包括一个收集在野外。
2020-07-19 cs.CV cs.LG
Adversarial Transfer of Pose Estimation Regression
Naver Labs Europe（Naver Labs欧洲）
我们解决视觉定位中的摄像机姿态估计问题。当前用于姿态估计的基于回归的方法是按场景训练和评估的。它们取决于训练数据集的坐标系，并且在场景和数据集中表现出较低的泛化能力。我们确定了数据集转移的一个重要障碍，泛化和考虑迁移学习作为一种替代方式，更好地重用姿态估计模型。我们修改领域自适应技术的分类，并将其扩展到相机姿态估计，这是一个多元回归的任务。我们开发了一个深度自适应网络来学习场景不变的图像表示，并使用对抗学习来生成这种表示用于模型传输。我们丰富的网络与自监督学习，并使用自适应性理论来验证存在的场景不变表示的图像在两个给定的场景。我们在两个公共数据集Cambridge Landmarks和7Scene上评估了我们的网络，证明了它在几个基线上的优越性，并与最先进的方法进行了比较。
2020-11-23 cs.CV cs.LG
P2I-NET: Mapping Camera Pose to Image via Adversarial Learning for New View Synthesis in Real Indoor Environments
Shenzhen University（深圳大学）；Peng Cheng Laboratory（鹏城实验室）；Southwestern University of Finance and Economics（西南财经大学）；The University of Nottingham（诺丁汉大学）
本文提出条件生成对抗网络 P2I-NET，由相机位姿直接预测室内新视角，并通过位姿、特征和像素一致性约束提升效果，速度较 NeRF 基线快40至100倍。
2023-09-27 cs.CV
MsCGAN: Multi-scale Conditional Generative Adversarial Networks for Person Image Generation
Anhui University（安徽大学）
合成具有任意姿态的高质量人物图像具有挑战性。本文提出了一种新的多尺度条件生成对抗网络（MsCGAN），旨在将输入的条件人物图像转换为任意给定目标姿态的合成图像，其外观和纹理与输入图像一致。MsCGAN是一个多尺度对抗网络，由两个生成器和两个鉴别器组成。一个生成器将条件人物图像转换为目标姿态的全局粗图像，另一个是通过局部增强网络来增强合成人物图像的细节质量。然后，两个生成器的输出被合并为合成的、判别式的和高分辨率的图像。另一方面，合成图像被下采样到多个分辨率，作为多尺度小波网络的输入。提出的多尺度生成器和鉴别器处理不同层次的视觉特征，可以有利于合成高分辨率的人与现实的外观和纹理的图像。在Market-1501和DeepFashion数据集上进行了实验，定性和定量结果都证明了所提出的MsCGAN的优越性能。
2020-03-05 cs.CV
LatentStealth: Unnoticeable and Efficient Adversarial Attacks on Expressive Human Pose and Shape Estimation
Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, School of Artificial Intelligence, Beihang University（北京未来区块链与隐私计算高级创新中心，人工智能学院，北航）；College of Cyber Security, Jinan University（网络安全学院，暨南大学）；National University of Singapore（新加坡国立大学）；School of Computer Science and Information Engineering, Hefei University of Technology（计算机科学与信息工程学院，合肥工业大学）；School of Computer Science and Engineering, Beihang University（计算机科学与工程学院，北航）
本文提出LatentStealth方法，通过利用自然图像的结构化潜在表示，在潜在空间中生成并优化对抗扰动，实现无痕高效的对抗攻击，揭示当前系统关键安全漏洞。
2026-04-27 cs.CV
3D Hand Pose Estimation via Regularized Graph Representation Learning
Peking University（北京大学）
针对单目RGB图像的三维手势估计问题。虽然以前的方法已经取得了很大的成功，但手的结构还没有得到充分利用，这在姿势估计中是至关重要的。为此，我们提出了一个正则化图表示学习下的条件对抗学习框架的3D手姿态估计，旨在捕捉手关节的结构相互依赖性。特别地，我们从参数化手部模型中估计初始手部姿势作为手部结构的先验，其通过残差图卷积来正则化先验姿势中的结构变形的推断以用于精确的图表示学习。为了进一步优化手部结构，我们提出了两个骨骼约束的损失函数，它明确地描述了手部姿势的变形结构。此外，我们引入了一个对抗性学习框架的输入图像的条件下，与多源图像，它施加的结构约束到生成的3D手姿势的分布拟人化有效的手姿势。大量的实验表明，我们的模型设置了新的国家的最先进的3D手姿态估计从单目图像上的五个标准基准。
2021-06-03 cs.CV
Detection and Recovery of Adversarial Slow-Pose Drift in Offloaded Visual-Inertial Odometry
The Graduate Center, City University of New York（城市大学纽约研究生中心）；Hunter College（亨特学院）
针对卸载式VIO中慢速位姿欺骗累积漂移的威胁，提出无监督检测与恢复机制，在ILLIXR测试平台上显著降低轨迹和位姿误差。
2025-09-08 cs.CV cs.MM
Appearance-Invariant 6-DoF Visual Localization using Generative Adversarial Networks
China Unicom（中国联通）；AI Innovation and Application Center（人工智能创新应用中心）
我们提出了一种新的视觉定位网络，当外部环境发生变化，如不同的光照，天气和季节。视觉定位网络由特征提取网络和姿态回归网络组成。特征提取网络由基于生成对抗网络CycleGAN的编码器网络组成，该网络可以从不同天气和季节的未配对样本中捕获内在外观不变的特征图。有了这样一个不变的特征，我们使用一个6自由度的姿态回归网络来解决长期的视觉定位在户外照明，天气和季节变化的存在。使用各种具有挑战性的地点识别和定位数据集来证明我们的视觉定位网络，结果表明，我们的方法在各种环境变化的情况下优于最先进的方法。
2020-12-24 cs.CV
Robust Adversarial Attacks Detection for Deep Learning based Relative Pose Estimation for Space Rendezvous
City, University of London（伦敦城市大学）；European Space Agency（欧洲空间局）
针对空间交会中基于深度学习的相对位姿估计易受对抗攻击的问题，提出基于可解释性（Shapley值）与LSTM的检测方法，仿真与实验准确率达99.21%和96.29%。
2023-11-10 cs.AI cs.CR cs.CV
CAPAA: Classifier-Agnostic Projector-Based Adversarial Attack
Southwest University（西南大学）；Rutgers University（罗格斯大学）；Stony Brook University（石溪大学）
针对多分类器与相机位姿变化问题，本文提出 CAPAA，通过聚合多分类器梯度并采用注意力加权机制，生成更鲁棒、隐蔽且成功率更高的对抗投影。
2025-06-09 cs.CR cs.CV
Robot Localization and Mapping Final Report -- Sequential Adversarial Learning for Self-Supervised Deep Visual Odometry
本文提出一种自监督深度视觉里程计方法，通过结合光流与RNN建模时空相关性，并引入GAN损失函数改进深度和位姿估计，减少轨迹漂移和图像伪影。
2023-09-08 cs.CV
Masked GANs for Unsupervised Depth and Pose Prediction with Scale Consistency
East China University of Science and Technology（华东理工大学）；Oklahoma State University（俄克拉荷马州立大学）
以往的工作表明，对抗学习可以用于无监督的单目深度和视觉里程计（VO）估计，其中对抗损失和几何图像重建损失被用作主要的监督信号来训练整个无监督框架。然而，对抗框架和图像重建的性能通常受到遮挡和帧之间视野变化的限制。提出了一种用于无监督单目深度和自运动估计的掩码生成对抗网络（GAN），在该框架中设计了MaskNet和布尔掩码方案，分别消除了遮挡和视野变化对重建损失和对抗损失的影响。此外，我们还考虑了我们的姿势网络的规模一致性，利用一个新的规模一致性损失，因此，我们的姿势网络能够提供完整的相机轨迹在一个长的单目序列。在KITTI数据集上进行的大量实验表明，本文提出的每个组件都有助于提高性能，并且我们的深度和轨迹预测在KITTI和Make3D数据集上都具有竞争力的性能。
2021-04-13 cs.CV eess.IV
Adversarial Learning for Fine-grained Image Search
University of Washington（华盛顿大学）；eBay Inc.（eBay公司）
细粒度的图像搜索仍然是一个具有挑战性的问题，由于在捕捉细微的差异，无论姿态变化的对象从细粒度的类别。在实践中，具有新的细粒度类别的动态库存为这一挑战增加了另一个维度。在这项工作中，我们提出了一个端到端的网络，称为FGGAN，通过隐式地学习从多视图图像的几何变换来学习区分表示，以进行细粒度图像搜索。我们集成了一个生成对抗网络（GAN），它可以自动处理复杂的视图和姿势变化，通过将它们转换为规范视图，而无需任何预定义的转换。此外，在开集场景中，我们的网络能够更好地匹配来自不可见和未知细粒度类别的图像。在两个公共数据集和一个新收集的数据集上进行的广泛实验表明，所提出的FGGAN在闭集和开集场景中都具有出色的鲁棒性能，与基线相比，相对提高了10%。
2018-07-06 cs.CV
An Adversarial Neuro-Tensorial Approach For Learning Disentangled Representations
Imperial College London（伦敦帝国理工学院）；Stony Brook University（石溪大学）
有几个因素对视觉场景中对象的外观有贡献，包括姿势、照明和变形等。每个因素都是数据中可变性的来源，而这些因素的乘法相互作用模拟了纠缠的可变性，从而产生了视觉对象外观的丰富结构。将这些未观察到的因素从视觉数据中分离出来是一项具有挑战性的任务，特别是当数据是在不受控制的记录条件下（也称为“野外”）捕获的并且标签信息不可用时。在本文中，我们提出了第一种无监督的深度学习方法（具有伪监督），用于解开野外捕获的人脸图像中的多个潜在变化因素。为此，我们提出了一个深潜变量模型，其中多个潜在的变化因素的乘法相互作用显式建模的多线性（张量）结构。我们证明了所提出的方法确实学习了面部表情和姿势的解纠缠表示，这可以用于各种应用，包括面部编辑，以及面部表情，身份和姿势的3D面部重建和分类。
2018-02-24 cs.CV
Watermark Vaccine: Adversarial Attacks to Prevent Watermark Removal
University of Chinese Academy of Sciences（中国科学院大学）；Sun Yat-sen University（中山大学）；Institute of Information Engineering, CAS（中国科学院信息工程研究所）；Ant Group（蚂蚁集团）；Tencent Security Zhuque Lab（腾讯安全朱雀实验室）；University of Munich（慕尼黑大学）
可见水印作为一种常用的安全工具，在数字图像版权保护中得到了广泛的应用。然而，最近的工作表明，DNN可以在不损坏其宿主图像的情况下删除可见水印。这种水印去除技术对图像的所有权构成了极大的威胁。受DNN在对抗性扰动下的脆弱性的启发，我们提出了一种新的防御机制，通过对抗性机器学习来实现。从对手的角度来看，盲水印去除网络可以作为我们的目标模型;然后我们实际上优化了宿主图像上的不可感知的对抗扰动，以主动攻击水印去除网络，称为水印疫苗。具体而言，提出了两种疫苗。破坏性水印疫苗（DWV）导致宿主图像通过水印去除网络后连同水印一起被破坏。相比之下，不可擦除水印疫苗（IWV）以另一种方式工作，试图保持水印不被删除并且仍然明显。大量的实验表明，我们的DWV/IWV在防止水印删除，特别是在各种水印删除网络的有效性。
2022-07-17 cs.CV
A high-precision self-supervised monocular visual odometry in foggy weather based on robust cycled generative adversarial networks and multi-task learning aided depth estimation
North University of China（中北大学）
本文提出了一种高精度的自监督单目VO，这是专门设计用于雾天导航。设计了一种循环生成对抗网络，通过强制前向和后向半循环输出一致的估计，获得高质量的自监督损失。此外，基于梯度的损失和感知损失的引入，以消除复杂的光度变化的自我监督损失在雾天的干扰。为解决深度估计的不适定性问题，基于雾天图像深度估计与透射图计算之间的强相关性，设计了一种自监督多任务学习辅助深度估计模块。在人工雾天KITTI数据集上的实验结果表明，本文提出的自监督单目VO在深度和姿态估计方面优于文献中其他最先进的单目VO，表明所设计的方法更适合雾天。
2022-03-09 cs.CV
