Style-based Point Generator with Adversarial Rendering for Point Cloud Completion
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一种基于样式的点生成器和对抗性绘制（SpareNet）来完成点云的绘制。首先，我们提出了通道关注EdgeConv，以充分利用点特征的局部结构以及全局形状。其次，我们观察到香草折叠所使用的连接方式限制了其生成复杂和忠实形状的潜力。受StyleGAN的成功启发，我们将形状特征视为样式代码，在折叠过程中调制规范化层，这大大增强了其能力。第三，我们认识到，现有的点监督，例如，倒角距离或地球移动器的距离，不能忠实地反映重建点的感知质量。为了解决这个问题，我们建议使用可区分的渲染器将完成的点投影到深度图，并应用对抗训练来倡导不同视角下的感知现实主义。ShapeNet和KITTI上的综合实验证明了我们方法的有效性，它在提供卓越视觉质量的同时实现了最先进的定量性能。
2021-05-12 cs.CV
Leveraging Single-View Images for Unsupervised 3D Point Cloud Completion
City University of Hong Kong（香港城市大学）；Bio-Computing Research Center, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）生物计算研究中心）；Shenzhen Key Laboratory of Visual Object Detection and Recognition（深圳市视觉目标检测与识别重点实验室）
针对点云补全需大量难采集的3D完整点云的问题，提出无监督方法Cross-PCC，仅用易获取的单视图2D图像，通过特征融合、轮廓约束与视图校准实现补全，性能优于现有无监督方法，甚至媲美部分有监督方法。
2023-12-06 cs.CV
PointCA: Evaluating the Robustness of 3D Point Cloud Completion Models Against Adversarial Examples
Huazhong University of Science and Technology（华中科技大学）；City University of Hong Kong（香港城市大学）；Deakin University（迪肯大学）；Lehigh University（理海大学）
作为三维识别和分割的上游步骤，点云数据的处理已经成为导航、场景理解等任务的重要组成部分。虽然各种点云补全模型已经证明了它们的强大功能，但它们对对抗攻击的鲁棒性仍然是未知的，这些攻击已被证明对深度神经网络具有致命的恶意。此外，现有的点云分类器的攻击方法不能适用于完成模型，由于不同的输出形式和攻击目的。为了评估完成模型的鲁棒性，我们提出了PointCA，第一个针对3D点云完成模型的对抗攻击。PointCA可以生成与原始点云保持高度相似性的对抗点云，同时作为具有完全不同语义信息的另一个对象完成。具体来说，我们最大限度地减少对抗性示例和目标点集之间的表示差异，以联合探索几何空间和特征空间中的对抗性点云。此外，为了发动更隐蔽的攻击，我们创新性地采用邻域密度信息来定制扰动约束，从而对每个点进行几何感知和分布自适应修改。针对不同的主要点云完成网络的大量实验表明，PointCA可以导致性能下降77.9%到16.7%，结构倒角距离保持在0.01以下。我们的结论是，现有的完成模型非常容易受到对抗性示例的影响，并且当应用于不完整和不均匀的点云数据时，最先进的点云分类防御将部分无效。
2022-12-01 cs.CR cs.CV
Unsupervised Point Cloud Completion through Unbalanced Optimal Transport
Seoul National University（首尔大学）；Sungkyunkwan University（成均馆大学）
本文提出UOT-UPC模型，首次将非配对点云补全任务表述为非平衡最优传输问题，通过神经网络学习UOT映射，在单类别和多类别基准上表现优异且对类别不平衡问题具有鲁棒性。
2025-05-29 cs.AI cs.CV
Unsupervised Adversarial Depth Estimation using Cycled Generative Networks
University of Trento（特伦托大学）；University of Oxford（牛津大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
虽然最近基于监督回归的深单目深度估计方法已经取得了显著的性能，但在训练期间需要昂贵的地面实况注释。为了解决这个问题，在本文中，我们提出了一种新的无监督深度学习方法来预测深度图，并表明深度估计任务可以在对抗学习框架内有效地解决。具体来说，我们提出了一个深度生成网络，它可以学习预测对应场，即在校准的立体相机设置中两个图像视图之间的视差图。所提出的架构由两个生成子网络组成，这两个生成子网络通过对抗学习进行联合训练，用于重建视差图，并以循环的方式组织，以便相互提供约束和监督。在公开数据集KITTI和Cityscapes上的大量实验证明了所提出的模型的有效性和与最先进方法的竞争结果。代码和训练模型可在https://github.com/andrea-pilzer/unsup-stereo-depthGAN上获得。
2018-07-28 cs.CV
Unsupervised Depth Completion from Visual Inertial Odometry
University of California, Los Angeles（加州大学洛杉矶分校）
我们描述了一种方法来推断密集的深度从相机运动和稀疏的深度估计使用视觉惯性里程计系统。与使用激光雷达或结构光传感器的点云的其他场景不同，我们只有几百到几千个点，不足以告知场景的拓扑结构。我们的方法首先构建一个分段平面脚手架的场景，然后使用它来推断密集的深度使用的图像以及稀疏点。我们使用一个预测性的跨模态标准，类似于“自我监督”，测量跨时间的光度一致性，前后姿势一致性，以及与稀疏点云的几何兼容性。我们还推出了第一个视觉惯性+深度数据集，我们希望这将促进更多的探索，以结合视觉和惯性传感器的互补优势。为了将我们的方法与以前的工作进行比较，我们采用了无监督的KITTI深度完成基准，并在其上显示了最先进的性能。代码可在：https://github.com/alexklwong/unsupervised-depth-completion-visual-inertial-odometry上获得。
2021-07-21 cs.AI cs.CV cs.LG
Unsupervised 3D Reconstruction from a Single Image via Adversarial Learning
NYU Multimedia and Visual Computing Lab（纽约大学多媒体与视觉计算实验室）；Courant Institute of Mathematical Science（库朗数学科学研究所）；NYU Tandon School of Engineering（纽约大学坦登工程学院）；NYU Abu Dhabi（纽约大学阿布扎比分校）
深度学习的最新进展为在大规模数据集上进行充分训练的情况下从单个2D图像学习高质量3D模型提供了新的机会。然而，图像和3D模型的可用量之间的显著不平衡，以及标记的2D图像数据（即图像及其对应的3D模型之间的手动注释对）的有限可用性，严重影响了实践中大多数监督深度学习方法的训练。在本文中，由一种新的设计的对抗性网络的驱动下，我们已经开发了一个无监督学习范式，从一个单一的2D图像，这是免费的手动注释成对输入图像及其相关的3D模型重建3D模型。特别地，该范例开始于通过具有对抗性损失的自动编码器训练自适应网络，该自适应网络将不成对的2D合成图像域与真实世界图像域嵌入到共享的潜在向量空间中。然后，我们共同训练一个3D反卷积网络，将潜在向量空间转换到3D对象空间以及嵌入过程。我们的实验验证了我们的网络的鲁棒性和优越的性能，在处理从一个单一的2D图像的3D立体对象生成。
2017-11-26 cs.CV
Unsupervised Point Cloud Pre-Training via Occlusion Completion
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；UC Berkeley（加州大学伯克利分校）；University College London（伦敦大学学院）
我们描述了一个简单的点云预训练方法。它分为三个步骤：1.屏蔽在相机视图中被遮挡的所有点; 2.学习编码器-解码器模型以重建被遮挡点; 3.使用编码器权重作为下游点云任务的初始化。我们发现，即使我们构建了一个单一的预训练数据集（来自ModelNet 40），这种预训练方法也可以提高不同数据集和编码器在广泛的下游任务中的准确性。具体来说，我们证明了我们的方法在对象分类以及基于部分和语义分割任务方面优于以前的预训练方法。我们研究了预训练的特征，发现它们会导致宽的下游最小值，具有高变换不变性，并且具有与部件标签高度相关的激活。代码和数据可在https://github.com/hansen7/OcCo上获得
2021-10-13 cs.CV cs.LG
DEUX: Active Exploration for Learning Unsupervised Depth Perception
Yale University（耶鲁大学）
提出DEUX主动探索方法，利用深度不确定性引导运动规划收集数据，提升无监督深度补全性能，在MP3D上平均改善超18%，并增强零样本泛化。
2023-09-16 cs.CV cs.LG cs.RO
Learning Topology from Synthetic Data for Unsupervised Depth Completion
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一种从图像和稀疏深度测量推断密集深度图的方法，该方法利用合成数据来学习稀疏点云与密集自然形状的关联，并使用图像作为证据来验证预测的深度图。我们针对自然形状的学习先验仅使用稀疏深度作为输入，而不是图像，因此当尝试将学习模型从合成数据转换为真实数据时，该方法不受协变量偏移的影响。这使我们能够使用大量的合成数据与地面真理学习重建过程中最困难的组成部分，这是拓扑估计，并使用图像来完善基于光度证据的预测。我们的方法比以前的方法使用更少的参数，但在室内和室外基准数据集上都达到了最先进的水平。代码可在：https://github.com/alexklwong/learning-topology-synthetic-data获得。
2021-08-24 cs.CV cs.LG cs.RO
Discontinuous and Smooth Depth Completion with Binary Anisotropic Diffusion Tensor
University of Tokyo（东京大学）；Nippon Telegraph and Telephone Corporation（日本电报电话公司）
我们提出了一个无监督的实时密集深度完成稀疏深度图指导下的一个单一的图像。我们的方法生成平滑的深度图，同时保留不同对象之间的不连续性。我们的核心思想是一个二元各向异性扩散张量（B-ADT），它可以完全消除光滑约束在预期的位置和方向，通过将其应用到变分正则化。我们还提出了一个图像引导的最近邻搜索（IGNNS），以获得一个分段恒定的深度图，用于B-ADT推导和变分能量的数据项。我们的实验表明，我们的方法可以优于以前的无监督和半监督深度完成方法的准确性。此外，由于我们得到的深度图保留了对象之间的不连续性，因此可以将结果转换为视觉上合理的点云。这是值得注意的，因为以前的方法产生不自然的表面不连续的对象之间的文物。
2020-06-25 cs.CV cs.RO
PF-Net: Point Fractal Network for 3D Point Cloud Completion
Shanghai Jiao Tong University（上海交通大学）；SenseTime（商汤科技）
在本文中，我们提出了一个点分形网络（PF-Net），一种新的基于学习的方法，用于精确和高保真的点云完成。与现有的点云补齐网络不同，现有的点云补齐网络从不完整的点云生成点云的整体形状，并且总是改变现有的点并遇到噪声和几何损失，PF-Net保留了不完整点云的空间排列，并且可以在预测中找出缺失区域的详细几何结构。为了成功完成这项任务，PF-Net通过利用基于特征点的多尺度生成网络分层估计缺失点云。此外，我们将多阶段完成损失和对抗损失相加，以生成更真实的缺失区域。对抗性损失可以更好地处理预测中的多个模式。我们的实验证明了我们的方法的有效性，几个具有挑战性的点云完成任务。
2020-03-01 cs.CV cs.GR
Unsupervised Depth Completion with Calibrated Backprojection Layers
UCLA Vision Lab（加州大学洛杉矶分校视觉实验室）
我们提出了一个深度神经网络架构，从图像和稀疏点云推断密集深度。它是使用视频流和相应的同步稀疏点云（如从LIDAR或其他范围传感器获得的）以及相机的固有校准参数来训练的。在推理时，摄像机的校准（可能与用于训练的摄像机不同）作为输入与稀疏点云和单个图像一起馈送到网络。校准后的反投影层使用校准矩阵和深度特征描述符将图像中的每个像素反投影到三维空间。产生的3D位置编码与图像描述符和前一层输出级联，以产生编码器下一层的输入。解码器，利用跳跃连接，产生密集的深度图。由此产生的校准反投影网络（KBNet）在没有监督的情况下通过最小化光度重投影误差进行训练。KBNet基于训练集而不是通用正则化来估算缺失的深度值。我们在公共深度完成基准上测试KBNet，当使用相同的相机进行训练和测试时，它在室内和室外的表现分别比最先进的水平高出30.5%和8.8%。当测试相机不同时，改进达到62%。代码可在：https://github.com/alexklwong/calibrated-backprojection-network获得。
2021-10-10 cs.AI cs.CV cs.LG
The Missing Data Encoder: Cross-Channel Image Completion\\with Hide-And-Seek Adversarial Network
Sorbonne Université（索邦大学）
图像补全是从片段生成完整图像的问题。它包括修复（在给定其周围的情况下生成一个补丁），反向修复/外推（在给定中心补丁的情况下生成外围）以及着色（在给定其他通道的情况下生成一个或多个通道）。在本文中，我们使用深度网络来执行图像完成，具有对抗性训练以及感知和完成损失，并将其称为“缺失数据编码器”（MDE）。我们考虑几种配置的基础上如何选择的种子片段。我们表明，训练MDE的“随机外推和着色”（MDE-REC），即使用随机通道独立的片段，可以更好地捕捉图像的语义和几何形状。MDE训练利用了一种新的“隐藏和寻找”对抗性损失，其中搜索器寻找原始的非掩蔽区域，而生成器试图隐藏它们。我们在几个数据集上定性和定量地验证了我们的模型，显示了他们对图像完成，无监督表示学习以及面部遮挡处理的兴趣。
2019-05-06 cs.CV
DesNet: Decomposed Scale-Consistent Network for Unsupervised Depth Completion
Nanjing University of Science and Technology（南京理工大学）
无监督深度补全旨在从稀疏深度恢复密集深度，而不使用地面实况注释。虽然从LiDAR获得的深度测量通常是稀疏的，但它包含有效和真实的距离信息，即，比例一致的绝对深度值。与此同时，尺度不可知的同行寻求估计相对深度，并取得了令人印象深刻的性能。为了利用这两个固有特性，我们建议在无监督的规模不可知框架上对规模一致的深度进行建模。具体来说，我们提出了分解尺度一致性学习（DSCL）策略，该策略将绝对深度分解为相对深度预测和全局尺度估计，有助于个体学习的益处。但不幸的是，大多数现有的无监督尺度无关框架严重遭受深度洞，由于非常稀疏的深度输入和弱监督信号。为了解决这个问题，我们引入了全局深度指导（GDG）模块，它通过新的密集到稀疏的注意力，将密集的深度参考传播到稀疏的目标。大量的实验表明，我们的方法在室外KITTI基准测试中的优越性，排名第一，在RMSE方面优于最好的KBNet超过12%。此外，我们的方法在室内NYUv2数据集上实现了最先进的性能。
2022-11-20 cs.CV
Face Completion with Semantic Knowledge and Collaborative Adversarial Learning
University of Rochester（罗切斯特大学）；Siemens Healthineers（西门子医疗）；Tencent X-Lab（腾讯X实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
与传统的背景修复方法不同，传统的背景修复方法从与背景相似的图像块中推断出缺失区域，人脸修复需要关于目标对象的语义知识以获得逼真的输出。当前图像修补方法利用生成对抗网络（GANs）来实现这种语义理解。然而，在对抗学习中，语义知识是隐式学习的，因此并不总是保证良好的语义理解。在这项工作中，我们提出了一个合作的对抗性学习方法，面对完成明确诱导的培训过程。我们的方法是制定下一个新的生成框架称为协作GAN（collaGAN），它允许更好的语义理解的目标对象，通过协作学习的多个任务，包括面部完成，地标检测，和语义分割。与collaGAN一起，我们还引入了一个修复集中方案，使得模型更强调修复而不是自动编码。大量的实验表明，所提出的设计确实是有效的，合作对抗学习提供了更好的面部特征表示。与其他生成式图像修补模型和单任务学习方法相比，我们的解决方案在所有任务上都具有优异的性能。
2022-03-23 cs.CV
Transferable 3D Adversarial Shape Completion using Diffusion Models
The Hong Kong Polytechnic University（香港理工大学）
针对现有3D对抗攻击可迁移性差、样本不真实的问题，提出基于扩散模型的对抗形状补全方法，结合不确定性、集成引导与关键点约束，生成高可迁移真实对抗点云，刷新黑盒攻击鲁棒性评估基准。
2024-07-14 cs.CV
3D Semantic Scene Completion from a Single Depth Image using Adversarial Training
RWTH Aachen University（亚琛工业大学）；University of Bonn（波恩大学）
我们解决了3D语义场景完成的任务，即，给定单个深度图像，我们预测表示场景的3D网格中的体素的语义标签和占用。鉴于最近引入的生成对抗网络（GAN），我们的目标是探索这种模型的潜力和各种重要设计选择的效率。我们的结果表明，使用条件GANs优于普通GAN设置。我们在几个数据集上评估这些架构设计。基于我们的实验，我们证明了GANs能够在干净注释的情况下优于基线3D CNN的性能，但它们遭受对齐不良的注释。
2019-05-15 cs.CV
Diverse Shape Completion via Style Modulated Generative Adversarial Networks
Oregon State University（俄勒冈州立大学）
提出一种基于风格调制生成对抗网络的条件生成模型，通过引入随机性、风格码分布学习及多尺度多样性惩罚，在无需多真实值的情况下实现部分点云的多样化合理补全。
2023-11-18 cs.CV
UnCLe: Benchmarking Unsupervised Continual Learning for Depth Completion
本文提出首个深度补全无监督持续学习基准 UnCLe，通过跨领域、多传感器的连续数据流评估代表性方法，揭示灾难性遗忘仍待解决。
2025-06-09 cs.CV cs.LG
Feed-Forward SceneDINO for Unsupervised Semantic Scene Completion
TU Munich（慕尼黑工业大学）；TU Darmstadt（达姆施塔特工业大学）；University of Oxford（牛津大学）；MCML（慕尼黑机器学习中心）；ELIZA
本文提出前馈 SceneDINO，仅利用多视图一致性自监督从单图推断三维几何与 DINO 特征，并通过三维特征蒸馏实现无监督语义场景补全，取得当前最优分割精度。
2025-07-25 cs.CV
Unsupervised Visual Attribute Transfer with Reconfigurable Generative Adversarial Networks
SK T-Brain
学习传递视觉属性需要监督数据集。学习传递函数需要具有相同身份的不同属性值的对应图像。这在很大程度上限制了它们的应用，因为捕获它们通常是一项艰巨的任务。为了解决这个问题，我们提出了一个无监督的方法来学习转移视觉属性。所提出的方法可以学习的传递函数没有任何对应的图像。通过对多个无监督属性迁移任务的可视化结果进行检验，验证了该方法的有效性。
2017-07-31 cs.CV
A Domain Agnostic Normalization Layer for Unsupervised Adversarial Domain Adaptation
我们提出了一个规范化层的语义场景分割无监督域自适应。已知归一化层可以提高收敛性和泛化能力，并且是许多最先进的全卷积神经网络的一部分。我们发现，传统的归一化层恶化了当前无监督对抗域自适应（UADA）的性能，UADA是一种提高未标记数据集网络性能的方法，也是我们研究的重点。因此，我们提出了一种新的领域不可知的归一化层，从而释放了归一化层对无监督对抗领域自适应的好处。在我们的评估中，我们从合成的GTA5数据集适应真实的Cityscapes数据集，一个常见的基准实验，并超越了最先进的。由于我们的规范化层在测试时是领域不可知的，我们进一步证明了UADA使用领域不可知的规范化提高了看不见的领域的性能，特别是在Apolloscape和Mapillary上。
2018-09-14 cs.CV
Unsupervised Domain Adaptation for Image Classification via Structure-Conditioned Adversarial Learning
Zhejiang University（浙江大学）；Huawei Technologies（华为技术有限公司）
无监督领域自适应（UDA）通常通过对抗学习将知识从标签丰富的源领域转移到未标记的目标领域。原则上，现有的UDA方法主要关注域之间的全局分布对齐，而忽略了固有的局部分布特性。基于这一观察结果，我们提出了一种端到端的结构条件对抗学习方案（SCAL），该方案能够在域分布对齐过程中保持类内紧凑性。通过使用局部结构作为结构感知条件，该方案在结构条件对抗学习管道中实现。上述学习过程通过在局部结构建立和结构条件对抗学习之间交替来迭代执行。实验结果证明了该方案在UDA场景中的有效性。
2021-03-04 cs.CV
Virtual Adversarial Training in Feature Space to Improve Unsupervised Video Domain Adaptation
School of Computing Sciences, University of East Anglia（东英吉利大学计算科学学院）
虚拟对抗训练最近在半监督学习和无监督领域自适应方面取得了很大的成功。然而，到目前为止，它已被用于像素空间中的输入样本，而我们建议将其直接应用于特征向量。我们还讨论了熵最小化和决策边界迭代精化训练与教师在领域自适应的不稳定行为，并建议实现类似的行为的替代品。通过将上述技术添加到现有技术的模型TA $^3$ N，我们在多个无监督视频领域自适应任务中保持有竞争力的结果或优于现有技术
2020-08-19 cs.CV
In2I : Unsupervised Multi-Image-to-Image Translation Using Generative Adversarial Networks
Rutgers University（罗格斯大学）
在无监督图像到图像翻译中，目标是使用一组未配对的训练图像来学习输入图像和输出图像之间的映射。在本文中，我们提出了一个扩展的无监督图像到图像的翻译问题的多输入设置。给定来自多个模态的一组配对图像，学习变换以将输入转换到指定的域。为此，我们引入了一个基于生成对抗网络（GAN）的框架，以及一个多模态生成器结构和一个新的损失项，潜在的一致性损失。通过各种实验，我们表明，利用多个输入一般提高翻译图像的视觉质量。此外，我们表明，该方法优于目前最先进的无监督图像到图像的翻译方法。
2017-11-26 cs.CV
Unsupervised Partial Point Set Registration via Joint Shape Completion and Registration
NYU Multimedia and Visual Computing Lab, NYU Tandon（纽约大学坦登工程学院多媒体与视觉计算实验室）；NYU Abu Dhabi（纽约大学阿布扎比分校）；Department of Electrical and Computer Engineering, NYU Tandon（纽约大学坦登工程学院电气与计算机工程系）；Department of Electrical and Computer Engineering, NYU Abu Dhabi（纽约大学阿布扎比分校电气与计算机工程系）
提出了一种自监督的局部点集配准方法。虽然最近提出的基于学习的方法已经取得了令人印象深刻的注册性能的完整形状的意见，这些方法大多遭受性能下降时，处理部分形状。为了弥补部分点集配准与全点集配准之间的性能差距，我们提出了一个形状完成网络，以利于配准过程。为了实现这一点，我们为每对形状设计了一个潜在的代码，它可以被视为目标形状的几何编码。通过这样做，我们的模型确实需要一个显式的特征嵌入网络来学习特征编码。更重要的是，我们的形状完成网络和点集配准网络都将共享的潜在代码作为输入，这些代码在训练过程中与两个解码器网络的参数一起优化。因此，点集配准过程因此可以受益于潜码的联合优化过程，潜码被强制表示完整形状的信息而不是部分形状的信息。在推理阶段，我们固定网络参数，优化潜在代码，以获得最佳的形状完成和配准结果。我们提出的方法是纯无监督的，不需要任何地面实况监督。在ModelNet40数据集上的实验证明了该模型对部分点集配准的有效性。
2020-09-11 cs.CV
Viewer-Centred Surface Completion for Unsupervised Domain Adaptation in 3D Object Detection
Australian Centre for Field Robotics（澳大利亚现场机器人中心）；University of Sydney（悉尼大学）；Baraja Pty Ltd（巴拉哈私人有限公司）
每个自动驾驶数据集都有不同的传感器配置，来自不同的地理区域，覆盖各种场景。因此，3D检测器往往会过拟合它们所训练的数据集。当检测器在一个数据集上训练并在另一个数据集上测试时，这会导致准确性急剧下降。我们观察到，激光雷达扫描模式的差异形成了很大的组成部分，这种性能降低。我们解决这个问题，在我们的方法，SEE-VCN，通过设计一种新的以观众为中心的表面完成网络（VCN），完成感兴趣的对象的表面在一个无监督的领域自适应框架，SEE。通过SEE-VCN，我们可以获得跨数据集的对象的统一表示，使网络能够专注于学习几何形状，而不是过度拟合扫描模式。通过采用域不变表示，SEE-VCN可以被归类为多目标领域自适应方法，其中不需要注释或重新训练来获得新扫描模式的3D检测。通过大量的实验，我们表明我们的方法在多个领域自适应设置中优于以前的领域自适应方法。我们的代码和数据可在https://github.com/darrenjkt/SEE-VCN上获得。
2022-09-14 cs.CV
Unsupervised 3D Shape Completion through GAN Inversion
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）
大多数3D形状完成方法严重依赖于部分完整形状对，并以完全监督的方式学习。尽管它们在域内数据上的表现令人印象深刻，但当推广到其他形式的局部形状或真实世界的局部扫描时，由于域间隙，它们通常会获得不满意的结果。与以前的完全监督方法相比，在本文中，我们提出了形状反演，它首次将生成对抗网络（GAN）反演引入形状完成。ShapeInversion使用GAN通过搜索潜在代码来对完整形状进行预训练，该潜在代码给出了最佳重建给定部分输入的完整形状。通过这种方式，ShapeInversion不再需要成对的训练数据，并且能够将在经过良好训练的生成模型中捕获的丰富先验结合起来。在ShapeNet基准测试中，所提出的ShapeInversion优于SOTA无监督方法，并且与使用配对数据学习的监督方法相当。它还表现出显着的泛化能力，为真实世界的扫描和各种形式和不完整程度的部分输入提供了强大的结果。重要的是，由于预先训练的GAN的参与，ShapeInversion自然能够实现一系列额外的功能，例如为模糊的部分输入生成多个有效的完整形状，以及形状操作和插值。
2021-04-29 cs.CV
Generative Adversarial Networks for Unsupervised Object Co-localization
Yonsei University（延世大学）
提出了一种基于生成对抗网络（GANs）的无监督目标协同定位方法。GAN是一种强大的工具，可以以无监督的方式隐式地学习未知数据分布。从观察到，GAN像素是高度影响的像素出现的对象，我们分析的内部层的像素和可视化的激活像素。我们的重要发现是，高图像多样性的GAN，这是GAN研究的主要目标，具有讽刺意味的是不利于对象定位，因为这样的鉴别器不仅关注于目标对象，而且关注于各种对象，如背景对象。基于大量的评估和实验研究，我们发现图像多样性和定位性能有负相关。此外，我们的方法使用公开的基准数据集实现了无监督对象协同定位的有意义的准确性，甚至可以与最先进的弱监督方法相媲美。
2018-07-08 cs.CV
Pulling Back the Curtain: Unsupervised Adversarial Detection via Contrastive Auxiliary Networks
Ben-Gurion University（本·古里安大学）；DeepKeep
提出U-CAN方法，通过嵌入目标模型中间层的对比辅助网络，无需对抗样本即可检测对抗输入，在多个数据集和架构上超越现有无监督方法，提升F1分数。
2025-10-26 cs.CV
Multimodal Shape Completion via Conditional Generative Adversarial Networks
Peking University（北京大学）；Shandong University（山东大学）
已经提出了几种深度学习方法来完成来自形状采集设置的部分数据，即，填充形状中缺失的区域。然而，这些方法仅使用单个输出来完成部分形状，忽略了在推理丢失的几何体时的模糊性。因此，我们提出了一个多模态形状完成问题，在这个问题中，我们试图通过学习一个一对多的映射来完成具有多个输出的部分形状。我们开发了第一个多峰形状完成方法，通过条件生成建模完成部分形状，而不需要成对的训练数据。我们的方法通过在可能结果的学习多模态分布上完成条件来提取模糊性。我们广泛评估的方法在几个数据集，包含不同形式的形状不完整性，并比较几个基线方法和我们的方法的变体定性和定量，证明我们的方法在完成部分形状的多样性和质量的优点。
2020-07-08 cs.CV
Adversarial Semantic Scene Completion from a Single Depth Image
Technische Universität München（慕尼黑工业大学）
我们提出了一种方法来重建，完整和语义标记的3D场景从一个单一的输入深度图像。我们通过一种基于对抗学习的新架构来提高回归语义3D地图的准确性。特别是，我们建议使用多个对抗性损失项，这些项不仅可以强制执行与地面真实值有关的现实输出，而且还可以有效嵌入内部特征。这是通过将处理部分2.5D数据的编码器的潜在特征与从训练成重建完整语义场景的变分3D自动编码器提取的潜在特征相关联来完成的。此外，与其他完全通过3D卷积操作的方法不同，在测试时，我们在下采样期间保留了输入的原始2.5D结构，以提高模型内部表示的有效性。我们在语义场景完成的主要基准数据集上测试我们的方法，以定性和定量地评估我们的建议的有效性。
2018-10-25 cs.CV
Unsupervised Image-to-Image Translation with Stacked Cycle-Consistent Adversarial Networks
Tencent AI Lab（腾讯人工智能实验室）；Fudan University（复旦大学）
最近关于无监督图像到图像翻译的研究通过训练一对具有周期一致损失的生成对抗网络取得了显着进展。然而，当图像分辨率较高或两个图像域具有显著的外观差异时，例如Cityscapes数据集中语义布局和自然图像之间的转换，这种无监督方法可能会生成较差的结果。在本文中，我们提出了一种新的堆叠循环一致性对抗网络（SCANs），通过将单个翻译分解为多阶段变换，不仅提高了图像翻译质量，而且还以粗到细的方式实现了更高分辨率的图像到图像的翻译。此外，为了适当地利用来自前一级的信息，设计了自适应融合块来学习当前级的输出和前一级的输出的动态积分。在多个数据集上的实验表明，与以前的单阶段无监督方法相比，我们提出的方法可以提高翻译质量。
2018-07-28 cs.CV
CANU-ReID: A Conditional Adversarial Network for Unsupervised person Re-IDentification
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Télécom Paris（巴黎高等电信学院）；IP Paris（巴黎理工学院）
无监督人员重新识别是在目标数据集上识别在训练期间ID标签不可用的人员的任务。在本文中，我们提出统一无监督人员重新识别的两个趋势：聚类和微调以及对抗性学习。一方面，聚类将训练图像分组为伪ID标签，并使用它们来微调特征提取器。另一方面，受领域自适应的启发，使用对抗学习来匹配来自不同领域的分布。由于目标数据分布在不同的相机视点，我们建议将每个相机建模为一个独立的域，并旨在学习域独立的功能。简单的对抗性学习会产生负迁移，因此我们引入了一个条件向量来减轻这种不良影响。在我们的框架中，视觉样本所属的聚类的质心被用作我们的条件对抗网络的条件向量，其中向量是置换不变的（聚类排序无关紧要），其大小与聚类的数量无关。据我们所知，我们是第一个提出使用条件对抗网络进行无监督人员重新识别的人。我们在两种最先进的基于集群的无监督人员重新识别（re-ID）方法的基础上评估了所提出的架构。在四个不同的实验环境中使用三个不同的数据集，并在所有四个数据集上设置了新的最先进性能。我们的代码和模型将在https://team.inria.fr/perception/canu-reid/上公开。
2020-04-28 cs.CV
AIR-DA: Adversarial Image Reconstruction for Unsupervised Domain Adaptive Object Detection
Southeast University（东南大学）；Graz University of Technology（格拉茨技术大学）
无监督域自适应目标检测是一项具有挑战性的视觉任务，其中目标检测器从标签丰富的源域适应到未标记的目标域。最近的进展证明了基于对抗的域对齐的有效性，其中特征提取器和域对齐器之间的对抗训练导致特征空间中的域不变性。然而，由于域的变化，域的歧视，特别是在低级别的功能，是一个容易的任务。这导致了域训练器和特征提取器之间的对抗训练的不平衡。在这项工作中，我们通过引入辅助正则化任务来改善训练平衡，从而实现更好的域对齐。具体来说，我们提出了对抗性图像重建（AIR）作为正则化器，以促进特征提取器的对抗性训练。我们进一步设计了一个多层次的特征对齐模块，以提高自适应性能。我们对几个具有挑战性的域转移数据集的评估表明，在大多数情况下，所提出的方法优于所有以前的方法，无论是一个阶段还是两个阶段。
2023-03-27 cs.CV
Unsupervised Pixel-Level Domain Adaptation with Generative Adversarial Networks
Google Brain（谷歌大脑）；Google Research（谷歌研究院）
收集注释良好的图像数据集来训练现代机器学习算法对于许多任务来说都是非常昂贵的。一个吸引人的替代方案是渲染合成数据，其中自动生成地面实况注释。不幸的是，纯粹在渲染图像上训练的模型往往无法推广到真实图像。为了解决这个缺点，先前的工作引入了无监督的领域自适应算法，该算法试图在两个域之间映射表示或学习提取域不变的特征。在这项工作中，我们提出了一种新的方法，学习，在无监督的方式，在像素空间中的变换从一个域到其他。我们基于生成对抗网络（GAN）的方法使源域图像看起来像是从目标域绘制的。我们的方法不仅产生合理的样本，而且在许多无监督领域自适应场景上的表现优于最先进的方法。最后，我们证明了自适应过程可以推广到训练过程中看不到的对象类。
2017-08-23 cs.CV
Unsupervised Adversarial Attacks on Deep Feature-based Retrieval with GAN
Renmin University of China（中国人民大学）
研究表明，基于深度神经网络（DNN）的图像分类模型容易受到恶意构建的对抗性样本的攻击。然而，很少有人研究基于DNN的图像检索模型如何受到此类攻击的影响。在本文中，我们引入了无监督对抗攻击与生成对抗网络（UAA-GAN）来攻击基于深度特征的图像检索系统。UAA-GAN是一种无监督学习模型，只需要少量未标记的数据进行训练。一旦经过训练，它会对查询图像产生特定于查询的扰动，以形成对抗性查询。其核心思想是确保附加的扰动是几乎察觉不到的人，但有效地推动查询远离其在深特征空间中的原始位置。UAA-GAN适用于各种基于深度特征的应用场景，包括图像检索，人员Re-ID和人脸搜索。实验结果表明，UAA-GAN削弱检索性能没有显着的视觉变化的查询图像。UAA-GAN生成的对抗性示例不太可区分，因为它们倾向于在图像的纹理或突出区域（诸如人类的关键身体部位、主要结构模式/纹理或边缘）中而不是在视觉上不重要的区域（例如，背景和天空）。这种趋势表明，该模型确实学会了如何玩弄图像检索系统和人眼。
2019-07-12 cs.CV
Unsupervised Image Segmentation by Mutual Information Maximization and Adversarial Regularization
AmirKabir University of Technology（阿米尔卡比尔理工大学）；Sharif University of Technology（谢里夫理工大学）；Monash University（莫纳什大学）
语义分割是自主智能体场景理解的基本任务之一。监督机器学习和神经网络的最新发展在增强用于该任务的最先进技术的性能方面取得了巨大成功。然而，它们的卓越性能高度依赖于大规模注释数据集的可用性。在本文中，我们提出了一种新的完全无监督的语义分割方法，所谓的信息最大化和对抗正则化分割（InMARS）。受人类感知的启发，将场景解析为感知组，而不是单独分析每个像素，我们提出的方法首先将输入图像划分为有意义的区域（也称为超像素）。接下来，它利用互信息最大化，然后采用对抗训练策略将这些区域聚类为语义上有意义的类。为了针对该问题定制对抗性训练方案，我们将对抗性像素噪声与空间扰动结合起来，以在深度神经网络上施加光度和几何不变性。我们的实验表明，我们的方法达到了最先进的性能上两个常用的无监督语义分割数据集，COCO-Stuff，波茨坦。
2021-07-01 cs.CV
Semantic-Aware Generative Adversarial Nets for Unsupervised Domain Adaptation in Chest X-ray Segmentation
The Chinese University of Hong Kong（香港中文大学）；Imsight Medical Technology Inc.（艾迈医疗科技有限公司）
尽管深度神经网络（DNN）在医学图像计算方面取得了令人瞩目的成就，但这些深度模型在应用于具有域偏移的新测试数据集时往往会出现性能下降。在本文中，我们提出了一种新的无监督领域自适应适应分割任务的方法，通过设计语义感知生成对抗网络（GANs）。具体来说，我们将测试图像转换为源域的外观，语义结构信息得到很好的保留，这是通过在语义标签空间中实施嵌套对抗学习来实现的。通过这种方式，从源域学习的分割DNN能够直接推广到变换后的测试图像，无需为每个新的目标数据集训练新模型。我们的领域自适应过程是无监督的，不使用任何目标域标签。我们网络的对抗学习由映射数据分布的GAN损失、保留像素级内容的循环一致性损失和增强结构信息的语义感知损失指导。我们在两个不同的胸部X射线公共数据集上验证了我们的方法，用于左/右肺分割。实验结果表明，我们的无监督方法的分割性能是非常有竞争力的上界监督迁移学习。
2018-06-05 cs.CV
Unsupervised Learning for Cell-level Visual Representation in Histopathology Images with Generative Adversarial Networks
Beihang University（北京航空航天大学）；Zhejiang University（浙江大学）；Microsoft Research（微软研究院）
细胞的视觉属性，如核形态和染色质开放性，是组织病理学图像分析的关键。通过学习细胞级视觉表示，我们可以获得丰富的特征组合，这些特征可高度重用于各种任务，如细胞级分类、细胞核分割和细胞计数。在本文中，我们提出了一个统一的生成对抗网络架构，具有新的损失公式，可以在无监督的环境中进行鲁棒的细胞级视觉表示学习。我们的模型不仅是无标记的，易于训练，而且能够进行细胞水平的无监督分类，具有可解释的可视化，这在骨髓细胞成分的无监督分类中取得了可喜的成果。基于所提出的细胞级视觉表示学习，我们进一步开发了一个管道，利用各种细胞元素来执行组织病理学图像分类，其优点在骨髓数据集上得到了证明。
2018-07-07 cs.CV
Domain-Invariant Adversarial Learning for Unsupervised Domain Adaption
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
无监督域自适应的目的是在给定标记的源数据集和未标记的目标数据集的情况下，为目标域学习一个功能强大的分类器。为了减轻“域移位”的影响，这是领域自适应中的主要挑战，研究已经尝试对齐两个域的分布。最近的研究表明，生成对抗网络（GAN）具有隐式捕获数据分布的能力。因此，在本文中，我们提出了一个简单但有效的模型，用于利用对抗学习的无监督域自适应。在源域和目标域之间共享相同的编码器，期望在对抗性编码器的帮助下提取域不变表示。对于标记的源数据，我们引入中心损失来增加学习的特征的区分能力。我们进一步对齐两个域的条件分布，以加强对目标域中特征的区分。与以前的研究不同，其中源特征是用固定的预训练编码器提取的，我们的方法联合学习两个域的特征表示。此外，通过共享编码器，该模型在测试过程中不需要知道图像的来源，因此具有更广泛的适用性。我们评估所提出的方法在几个无监督域自适应基准，并实现卓越的或可比的性能，以国家的最先进的结果。
2018-11-30 cs.CV
A Pairwise DomMix Attentive Adversarial Network for Unsupervised Domain Adaptive Object Detection
Shanghai University of Electric Power（上海电力大学）
本文针对无监督域自适应目标检测中单向域迁移导致信息丢失的问题，提出结合 DomMix 深度混合模块与成对注意力对抗网络的方法，通过构建中间域并在多尺度图像级和实例级特征上进行注意力对抗对齐，在多个基准数据集上验证了其优越性。
2024-07-03 cs.CV
Unsupervised domain adaptation in brain lesion segmentation with adversarial networks
Imperial College London（帝国理工学院）；Microsoft Research Cambridge（微软剑桥研究院）；Cambridge University（剑桥大学）
使用机器学习为各种生物医学应用构建准确的自动分割系统已经取得了重大进展。然而，当将这些系统应用于不同于训练数据的新数据时，例如由于成像协议的变化，这些系统的性能经常降级。手动注释每个测试域的新数据不是一个可行的解决方案。在这项工作中，我们调查无监督领域自适应使用对抗神经网络训练的分割方法，这是更不变的差异，在输入数据，并不需要任何注释的测试域。具体来说，我们通过学习对抗对抗网络来学习域不变特征，对抗网络试图通过观察分割网络的激活来对输入数据的域进行分类。此外，我们还提出了一种多连接域训练算法来改进对抗训练。我们的系统进行评估，使用两个磁共振数据库的主题与创伤性脑损伤，收购使用不同的扫描仪和成像协议。使用我们的无监督的方法，我们得到的分割精度接近上界的监督领域自适应。
2016-12-28 cs.CV
Unsupervised Generative Adversarial Cross-modal Hashing
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
跨模态哈希算法将异构的多媒体数据映射到一个共同的汉明空间中，实现跨模态的快速、灵活的检索。无监督跨模态哈希比监督方法更灵活和适用，因为不涉及密集的标记工作。然而，现有的无监督方法通过保留内部和内部相关性来学习散列函数，同时忽略了不同模态之间的底层流形结构，这对于捕获不同模态的有意义的最近邻居以用于跨模态检索非常有帮助。为了解决上述问题，在本文中，我们提出了一种无监督的生成对抗跨模态哈希方法（UGACH），它充分利用了GAN的无监督表示学习的能力，以利用跨模态数据的底层流形结构。主要贡献可以概括如下：（1）我们提出了一个生成对抗网络，以无监督的方式对跨模式哈希进行建模。在所提出的UGACH中，给定一种模态的数据，生成模型试图拟合流形结构上的分布，并选择另一种模态的信息数据来挑战判别模型。判别模型学习区分生成的数据和从相关图中采样的真阳性数据，以实现更好的检索精度。这两个模型以对抗的方式进行训练，以相互改进并促进哈希函数学习。(2)我们提出了一种基于相关图的方法来捕获跨不同模态的底层流形结构，使不同模态但在同一流形内的数据可以具有较小的汉明距离，并提高检索精度。与6种最先进的方法进行了大量的实验比较，验证了我们所提出的方法的有效性。
2017-12-01 cs.CV
Cycle Contrastive Adversarial Learning for Unsupervised image Deraining
School of Artificial Intelligence, Nanjing Normal University（南京师范大学人工智能学院）
针对无监督单幅图像去雨中语义表示不足导致内容与雨层分离不佳的问题，提出结合循环对比学习和位置对比学习的CCLGAN，通过特征拉近推远及互信息约束提升去雨性能。
2024-07-16 cs.CV
UniABG: Unified Adversarial View Bridging and Graph Correspondence for Unsupervised Cross-View Geo-Localization
针对无监督跨视角地理定位的伪标签噪声问题，提出双阶段框架UniABG，通过对抗视角桥接与图对应校准实现SOTA性能，在两个基准数据集上精度大幅提升，甚至超过部分有监督方法。
2025-11-15 cs.CV
Adversarial Feature Augmentation for Unsupervised Domain Adaptation
Istituto Italiano di Tecnologia（意大利理工学院）；Stanford University（斯坦福大学）；Università di Verona（维罗纳大学）
最近的工作表明，生成对抗网络（GANs）可以成功地应用于无监督领域自适应，其中，给定标记的源数据集和未标记的目标数据集，目标是为目标样本训练强大的分类器。特别是，它表明，一个GAN目标函数可以用来学习目标功能与源的不可区分的。在这项工作中，我们通过（i）强制学习的特征提取器是域不变的，以及（ii）通过特征空间中的数据增强来训练它，即执行特征增强来扩展这个框架。虽然图像空间中的数据增强是深度学习中一种成熟的技术，但特征增强尚未受到同等程度的关注。我们通过对源特征进行GAN极大极小博弈训练的特征生成器来完成它。结果表明，无论是强制执行域不变性和执行功能增强导致卓越的或可比的性能，以国家的最先进的结果，在几个无监督的领域自适应基准。
2018-05-04 cs.CV
Adversarial Camera Alignment Network for Unsupervised Cross-camera Person Re-identification
Southeast University（东南大学）；University of Wollongong（伍伦贡大学）；Nanjing University（南京大学）
在人的再识别（Re-ID）中，有监督的方法通常需要大量昂贵的标签信息，而无监督的方法仍然无法提供令人满意的识别性能。在本文中，我们介绍了一种新的人Re-ID任务称为无监督跨相机人Re-ID，它只需要内相机（内相机）标签信息，但不跨相机（相机间）标签，这是更昂贵的获得。在实际应用中，摄像机内标签信息可以通过跟踪算法或少量手动注释轻松捕获。在这种情况下，主要的挑战变成了不同相机视图之间的分布差异，这是由不同相机中的各种身体姿势、遮挡、图像分辨率、照明条件和背景噪声引起的。为了解决这种情况，我们提出了一种新的对抗性摄像机对准网络（ACAN）的无监督跨摄像机的人Re-ID。它包括摄像机对准任务和监督内摄像机学习任务。为了实现摄像机对齐，我们开发了一个多摄像机对抗学习（MCAL），将不同摄像机的图像映射到一个共享的子空间。特别是，我们研究了两种不同的方案，包括现有的GRL（即，梯度反转层）方案和所提出的称为“其他相机等概率”（OCE）的方案，以进行多相机对抗任务。基于这个共享子空间，我们然后利用摄像机内的标签来训练网络。在五个大规模数据集上进行的广泛实验证明了ACAN优于多种最先进的无监督方法，这些方法利用了标记的源域和基于GAN的模型生成的图像。特别是，我们验证了所提出的多相机对抗任务确实有助于显着改善。
2021-07-09 cs.CV
Adversarial Examples can be Effective Data Augmentation for Unsupervised Machine Learning
National Yang Ming Chiao Tung University（阳明交通大学）；IBM Research（IBM研究院）；Michigan State University（密歇根州立大学）
引起回避预测的对抗性示例被广泛用于评估和提高机器学习模型的鲁棒性。然而，目前的研究集中在监督学习任务，依赖于地面实况数据标签，有针对性的目标，或来自训练分类器的监督。在本文中，我们提出了一个为无监督模型生成对抗性示例的框架，并展示了数据增强的新应用。我们的框架利用互信息神经估计器作为信息理论相似性度量，在没有监督的情况下生成对抗性示例。我们提出了一种新的MinMax算法，具有可证明的收敛保证，可有效生成无监督对抗性示例。我们的框架也可以扩展到监督对抗的例子。当使用无监督对抗性示例作为模型再训练的简单插件数据增强工具时，在不同的无监督任务和数据集上都能观察到显著的改进，包括数据重建、表示学习和对比学习。我们的研究结果显示了新的方法和相当大的优势，在研究和改进无监督机器学习通过对抗性的例子。
2021-12-08 cs.CV cs.LG
"Teaching Independent Parts Separately" (TIPSy-GAN) : Improving Accuracy and Stability in Unsupervised Adversarial 2D to 3D Pose Estimation
我们提出了TIPSy-GAN，这是一种新的方法，可以提高无监督对抗2D到3D人体姿态估计的准确性和稳定性。在我们的工作中，我们证明了人类运动骨架不应该被假设为一个单一的空间相关结构;事实上，我们认为当在训练过程中提供完整的2D姿势时，会有一个固有的偏差，其中关键点的3D坐标在空间上依赖于所有其他关键点的2D坐标。为了研究我们的假设，我们遵循以前的对抗方法，但训练两个发电机上的空间独立的部分的运动骨架，躯干和腿。我们发现，提高自我一致性周期是降低评估误差的关键，因此在训练过程中引入了新的一致性约束。通过从这些生成器中进行知识蒸馏来生成TIPSy模型，该TIPSy模型可以预测整个2D姿态的3D坐标，并具有改进的结果。此外，我们解决了一个悬而未决的问题，在以前的工作多久训练在一个真正的无人监督的情况下。我们发现，两个独立的发电机训练adversarially有改善的稳定性比一个单独的发电机崩溃。与基线单独发生器在Human3.6M数据集上的平均误差相比，TIPSy将平均误差降低了17%。TIPSy改进了其他无监督方法，同时在评估Human3.6M和MPI-INF-3DHP数据集时，对监督和弱监督方法也表现出色。
2022-09-01 cs.CV
Self-Paced Collaborative and Adversarial Network for Unsupervised Domain Adaptation
本文提出无监督领域自适应方法CAN及自步版本SPCAN，通过结合领域协同与对抗学习策略分别学习特定与不变特征表示，并逐步选择伪标签样本重训分类器，在多个基准数据集上达到最先进性能。
2025-06-24 cs.CV
On the Robustness of Domain Adaption to Adversarial Attacks
Chongqing University（重庆大学）
最先进的深度神经网络（DNN）已被证明在无监督域自适应（UDA）方面具有出色的性能。然而，最近的工作表明，DNN在受到对抗性样本攻击时表现不佳，这些攻击是通过简单地向原始图像添加小干扰来实现的。虽然已有大量的工作致力于此，但据我们所知，还没有系统的研究无监督领域自适应模型的鲁棒性。因此，我们首次讨论了无监督域自适应对对抗性攻击的鲁棒性。对域自适应中的各种对抗攻击和防御设置进行了基准测试，提出了一种基于伪标签的跨域攻击方法。最重要的是，我们分析了不同的数据集，模型，攻击方法和防御方法的影响。我们的工作直接证明了无监督领域自适应模型的鲁棒性有限，我们希望我们的工作能够促使社会各界更加关注提高模型对攻击的鲁棒性。
2021-08-04 cs.CV
Unsupervised Domain Adaptation for Learning Eye Gaze from a Million Synthetic Images: An Adversarial Approach
IIT Kharagpur（印度理工学院卡拉格普尔分校）
随着图形引擎的当代进步，深度学习社区的最新趋势是在自动注释的模拟示例上训练模型，并在测试期间应用于真实数据。这减轻了手动注释的负担。然而，图形引擎生成的图像与真实世界的图像在分布上存在着固有的差异。这种域差异会降低在合成示例上训练的模型的测试时间性能。在本文中，我们通过跨合成域和实域的无监督对抗特征自适应来解决这个问题，用于眼睛注视估计的特殊用例，这是各种下游HCI任务的重要组成部分。我们首先学习从3D游戏引擎渲染的带注释的合成样本上的凝视估计器，然后通过零和极大极小对抗游戏来适应未注释的真实样本的特征，该对抗游戏遵循最近的生成对抗网络的范例。这种对抗性适应迫使两个域的特征无法区分，这使得我们能够使用在合成域上训练的回归模型来用于真实样本。在具有挑战性的MPIIGaze真实生活数据集上，我们的表现优于最近在手动注释的真实样本上训练的完全监督方法，并且与SimGAN的当前基准方法相比，在适应后还实现了13\%的相对增益
2018-10-18 cs.CV
