Unsupervised Generative Adversarial Cross-modal Hashing
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
跨模态哈希算法将异构的多媒体数据映射到一个共同的汉明空间中，实现跨模态的快速、灵活的检索。无监督跨模态哈希比监督方法更灵活和适用，因为不涉及密集的标记工作。然而，现有的无监督方法通过保留内部和内部相关性来学习散列函数，同时忽略了不同模态之间的底层流形结构，这对于捕获不同模态的有意义的最近邻居以用于跨模态检索非常有帮助。为了解决上述问题，在本文中，我们提出了一种无监督的生成对抗跨模态哈希方法（UGACH），它充分利用了GAN的无监督表示学习的能力，以利用跨模态数据的底层流形结构。主要贡献可以概括如下：（1）我们提出了一个生成对抗网络，以无监督的方式对跨模式哈希进行建模。在所提出的UGACH中，给定一种模态的数据，生成模型试图拟合流形结构上的分布，并选择另一种模态的信息数据来挑战判别模型。判别模型学习区分生成的数据和从相关图中采样的真阳性数据，以实现更好的检索精度。这两个模型以对抗的方式进行训练，以相互改进并促进哈希函数学习。(2)我们提出了一种基于相关图的方法来捕获跨不同模态的底层流形结构，使不同模态但在同一流形内的数据可以具有较小的汉明距离，并提高检索精度。与6种最先进的方法进行了大量的实验比较，验证了我们所提出的方法的有效性。
2017-12-01 cs.CV
Cycle Contrastive Adversarial Learning for Unsupervised image Deraining
School of Artificial Intelligence, Nanjing Normal University（南京师范大学人工智能学院）
针对无监督单幅图像去雨中语义表示不足导致内容与雨层分离不佳的问题，提出结合循环对比学习和位置对比学习的CCLGAN，通过特征拉近推远及互信息约束提升去雨性能。
2024-07-16 cs.CV
"Teaching Independent Parts Separately" (TIPSy-GAN) : Improving Accuracy and Stability in Unsupervised Adversarial 2D to 3D Pose Estimation
我们提出了TIPSy-GAN，这是一种新的方法，可以提高无监督对抗2D到3D人体姿态估计的准确性和稳定性。在我们的工作中，我们证明了人类运动骨架不应该被假设为一个单一的空间相关结构;事实上，我们认为当在训练过程中提供完整的2D姿势时，会有一个固有的偏差，其中关键点的3D坐标在空间上依赖于所有其他关键点的2D坐标。为了研究我们的假设，我们遵循以前的对抗方法，但训练两个发电机上的空间独立的部分的运动骨架，躯干和腿。我们发现，提高自我一致性周期是降低评估误差的关键，因此在训练过程中引入了新的一致性约束。通过从这些生成器中进行知识蒸馏来生成TIPSy模型，该TIPSy模型可以预测整个2D姿态的3D坐标，并具有改进的结果。此外，我们解决了一个悬而未决的问题，在以前的工作多久训练在一个真正的无人监督的情况下。我们发现，两个独立的发电机训练adversarially有改善的稳定性比一个单独的发电机崩溃。与基线单独发生器在Human3.6M数据集上的平均误差相比，TIPSy将平均误差降低了17%。TIPSy改进了其他无监督方法，同时在评估Human3.6M和MPI-INF-3DHP数据集时，对监督和弱监督方法也表现出色。
2022-09-01 cs.CV
Autoencoding Video Latents for Adversarial Video Generation
Samsung Research Institute（三星研究院）
鉴于视频信号的三维复杂性，由于数据空间中涉及的大随机性，训练鲁棒且多样的基于GAN的视频生成模型是繁重的。学习数据的非纠缠表示有助于提高鲁棒性并提供采样过程中的控制。对于视频生成，通过将运动和外观视为正交信息并设计有效地解开它们的架构，在这一领域取得了最新进展。这些方法依赖于手工制作的架构，该架构在生成器上施加结构先验以分解潜在空间中的外观和运动代码。受基于自动编码器的图像生成的最新进展的启发，我们提出了AVLAE（对抗视频潜伏自动编码器），这是一个两流潜伏自动编码器，其中视频分布是通过对抗训练来学习的。特别是，我们建议在对抗环境中自动编码视频生成器的运动和外观特征向量。我们证明，我们的方法学会解开运动和外观代码，即使没有明确的结构组成的生成器。定性和定量的实验结果证明了我们的方法的有效性。
2022-01-18 cs.CV
Cycle-SUM: Cycle-consistent Adversarial LSTM Networks for Unsupervised Video Summarization
National University of Singapore（新加坡国立大学）；Hangzhou Dianzi University（杭州电子科技大学）
在本文中，我们提出了一种新的无监督视频摘要模型，不需要手动注释。Cycle-SUM模型采用了一种新的周期一致的对抗性LSTM架构，可以有效地最大限度地提高摘要视频的信息保留和紧凑性。它由一个帧选择器和一个基于周期一致性学习的评价器组成。选择器是一个双向LSTM网络，它学习嵌入视频帧之间的长程关系的视频表示。评估器定义原始视频和摘要视频之间的可学习的信息保持度量，并且“监督”选择器以识别最具信息性的帧以形成摘要视频。特别地，评估器由两个生成对抗网络（GANs）组成，其中前向GAN学习从摘要视频重建原始视频，而后向GAN学习反转处理。这种循环学习的输出之间的一致性被采用作为视频摘要的信息保持度量。我们证明了互信息最大化和这样的循环学习过程之间的密切关系。在两个视频摘要基准数据集上的实验验证了Cycle-SUM模型的最新性能和优越性。
2019-04-17 cs.CV
Unsupervised Image Super-Resolution using Cycle-in-Cycle Generative Adversarial Networks
Sensetime Research（商汤科技研究院）；Shenzhen University（深圳大学）；Tsinghua University（清华大学）
我们考虑在低/高分辨率对和下采样过程不可用的更一般情况下的单个图像超分辨率问题。与传统的超分辨率公式不同，低分辨率输入被噪声和模糊进一步降级。这种复杂的设置使得监督学习和精确的核估计是不可能的。为了解决这个问题，我们求助于没有配对数据的无监督学习，受到最近成功的图像到图像翻译应用的启发。以生成对抗网络（GAN）为基本组成部分，我们提出了一个循环中循环的网络结构，以解决这个问题，在三个步骤。首先，噪声和模糊的输入被映射到无噪声的低分辨率空间。然后，使用预先训练的深度模型对中间图像进行上采样。最后，我们以端到端的方式微调这两个模块，以获得高分辨率的输出。在NTIRE 2018数据集上的实验表明，所提出的无监督方法取得了与最先进的监督模型相当的结果。
2018-09-03 cs.CV
A One-Shot Texture-Perceiving Generative Adversarial Network for Unsupervised Surface Inspection
Tsinghua University（清华大学）；University of Cincinnati（辛辛那提大学）
由于目标表面和缺陷区域的外观高度多样化，视觉表面检测是一项具有挑战性的任务。以前的尝试严重依赖于大量带有手动注释的训练样本。但是，在一些实际情况下，很难获得大量样品进行检查。为了解决这个问题，我们提出了一个分层的纹理感知生成对抗网络（HTP-GAN），它是从一个无监督的计划中的一次性正常图像中学习的。具体来说，HTP-GAN包含一个卷积GANs金字塔，可以同时捕获图像的全局结构和细粒度表示。这一创新有助于区分缺陷表面区域和正常表面区域。此外，在该算法中，设计了一个纹理感知模块，通过方向卷积捕获正常图像的空间不变表示，使其对缺陷区域更加敏感。在各种数据集上的实验一致地证明了我们的方法的有效性。
2021-06-12 cs.CV
Unsupervised Image Generation with Infinite Generative Adversarial Networks
Zhejiang University（浙江大学）；University of Leeds（利兹大学）；Clemson University（克莱姆森大学）
图像生成在计算机视觉中得到了广泛的研究，其中一个核心研究挑战是在很少监督的情况下从任意复杂分布生成图像。生成对抗网络（GANs）作为一种隐式方法在这方面取得了巨大的成功，因此得到了广泛的应用。然而，GANs被称为遭受的问题，如模式坍塌，非结构化的潜在空间，无法计算似然度等，在本文中，我们提出了一种新的无监督的非参数方法命名为混合的无限条件GANs或MIC-GANs，以解决几个GAN问题，旨在与简约的先验知识的图像生成。通过对不同数据集的综合评估，我们表明MIC-GAN在构建潜在空间和避免模式坍塌方面是有效的，并且优于最先进的方法。MICGAN具有自适应性、通用性和鲁棒性。它们为几个众所周知的GAN问题提供了一个有前途的解决方案。可用代码：github.com/yinghdb/MICGANs。
2021-08-18 cs.CV
Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
indico Research（indico研究公司）；Facebook AI Research（脸书人工智能研究院）
近年来，使用卷积网络（CNN）的监督学习在计算机视觉应用中得到了广泛采用。相比之下，使用CNN的无监督学习受到的关注较少。在这项工作中，我们希望帮助弥合CNN在监督学习和无监督学习中的成功之间的差距。我们介绍了一类称为深度卷积生成对抗网络（DCGAN）的CNN，它们具有一定的架构约束，并证明它们是无监督学习的强有力候选者。在各种图像数据集上进行训练，我们展示了令人信服的证据，证明我们的深度卷积对抗对在生成器和生成器中学习了从对象部分到场景的表示层次。此外，我们将学习到的功能用于新的任务-证明它们作为一般图像表示的适用性。
2016-01-07 cs.CV cs.LG
Unsupervised Projection Networks for Generative Adversarial Networks
UC Berkeley（加州大学伯克利分校）
我们建议使用无监督学习来训练投影网络，投影到已经训练好的生成器的潜在空间上。我们将我们的方法应用于经过训练的StyleGAN，并使用我们的投影网络来执行图像超分辨率和图像聚类到语义可识别的组中。
2019-10-06 cs.CV cs.LG eess.IV
Unsupervised Shadow Removal Using Target Consistency Generative Adversarial Network
Chongqing University of Technology（重庆理工大学）
无监督阴影去除的目的是学习一个非线性函数，在没有成对的阴影和非阴影数据的情况下，将原始图像从阴影域映射到非阴影域。在本文中，我们开发了一个简单而有效的目标一致性生成对抗网络（TC-GAN）的阴影消除任务，在无监督的方式。与基于周期一致性GAN的阴影去除方法中的双向映射相比，TC-GAN试图学习单侧映射，以将阴影图像投射到无阴影图像。提出的目标一致性约束，阴影图像和输出的无阴影图像之间的相关性被严格限制。大量的对比实验结果表明，TC-GAN在FID和KID方面分别比最先进的无监督阴影去除方法高出14.9%和31.5%。值得注意的是，TC-GAN实现了与监督阴影去除方法相当的性能。
2021-05-30 cs.CV eess.IV
Structured Coupled Generative Adversarial Networks for Unsupervised Monocular Depth Estimation
受对抗学习成功的启发，我们提出了一种新的端到端无监督深度学习框架，用于单目深度估计，该框架由两个生成对抗网络（GAN）组成，与结构化条件随机场（CRF）模型深度耦合。这两个GANs的目标是生成不同的和互补的视差图，并通过利用对抗学习策略来提高生成质量。提出了深度CRF耦合模型，用于融合双GAN网络的生成输出和判别输出。因此，该模型隐式地构造了两个网络分支上以及发电机和发电机之间的相互约束。这有助于优化整个网络以更好地生成视差。在KITTI、Cityscapes和Make 3D数据集上的大量实验清楚地证明了所提出的方法的有效性，并显示出与最先进的方法相比的优越性能。代码和模型可在https://github.com/mihaipuscas/ 3dv-coupled-crf-disparity上获得。
2019-08-15 cs.CV eess.IV
Preserving Semantic Consistency in Unsupervised Domain Adaptation Using Generative Adversarial Networks
Queensland University of Technology（昆士兰科技大学）
无监督领域自适应是在给定源域的标记样本和目标域的未标记样本的情况下，寻求缓解源域和目标域之间的分布差异。生成对抗网络（GANs）通过生成特定于训练领域的图像，在领域自适应方面表现出了显着的改进。然而，大多数现有的基于GAN的无监督领域自适应技术在领域匹配过程中不考虑语义信息，因此当源和目标领域数据在语义上不同时，这些方法降低了性能。在本文中，我们提出了一个端到端的新的语义一致的生成对抗网络（SCGAN）。该网络可以通过在特征级捕获语义信息并从源域和目标域生成用于无监督领域自适应的图像来实现源域到目标域的匹配。我们证明了我们提出的方法的鲁棒性，它超过了国家的最先进的性能，在无监督的领域自适应设置进行数字和对象分类任务的实验。
2021-04-28 cs.AI cs.CV cs.LG
Unsupervised Diverse Colorization via Generative Adversarial Networks
Shanghai Jiao Tong University（上海交通大学）
灰度图像的彩色化一直是计算机视觉的研究热点。以前的研究主要集中在产生一个彩色图像，以匹配原始的。然而，由于许多颜色共享相同的灰度值，因此输入灰度图像可以在保持其真实性的同时被着色。在本文中，我们设计了一种新的解决方案，无监督的多样化着色。具体来说，我们利用条件生成对抗网络来模拟现实世界中物品颜色的分布，其中我们开发了一个完全卷积的生成器，使用多层噪声来增强多样性，使用多层条件级联来保持真实性，并使用步幅1来保持空间信息。通过这种新颖的网络架构，该模型在开放的LSUN卧室数据集上产生了极具竞争力的性能。80人的图灵测试进一步表明我们生成的配色方案是高度一致的。
2017-07-01 cs.AI cs.CV
Unsupervised Image-to-Image Translation with Generative Adversarial Networks
Imperial College London（帝国理工学院）；Indian Institute of Technology（印度理工学院）
自动将图像从其原始形式转换为某种合成形式（样式，部分内容等）非常有用，同时保持原始结构或语义。我们将这一要求定义为“图像到图像的转换”问题，并提出了一种基于深度卷积和条件生成对抗网络（GANs）的通用方法来实现它，自2014年以来，该网络在从噪声输入中学习映射图像方面取得了惊人的成功。在这项工作中，我们开发了一种两步（无监督）学习方法，通过使用未标记的图像在不同的域之间转换图像，而不指定它们之间的任何对应关系，从而避免了获取标记数据的成本。与以往的工作相比，我们证明了我们的模型的通用性，通过这种能力，翻译的方差可以由一个单一类型的模型进行。这种能力在双向翻译等应用中是理想的
2017-01-10 cs.CV cs.LG
Masked GANs for Unsupervised Depth and Pose Prediction with Scale Consistency
East China University of Science and Technology（华东理工大学）；Oklahoma State University（俄克拉荷马州立大学）
以往的工作表明，对抗学习可以用于无监督的单目深度和视觉里程计（VO）估计，其中对抗损失和几何图像重建损失被用作主要的监督信号来训练整个无监督框架。然而，对抗框架和图像重建的性能通常受到遮挡和帧之间视野变化的限制。提出了一种用于无监督单目深度和自运动估计的掩码生成对抗网络（GAN），在该框架中设计了MaskNet和布尔掩码方案，分别消除了遮挡和视野变化对重建损失和对抗损失的影响。此外，我们还考虑了我们的姿势网络的规模一致性，利用一个新的规模一致性损失，因此，我们的姿势网络能够提供完整的相机轨迹在一个长的单目序列。在KITTI数据集上进行的大量实验表明，本文提出的每个组件都有助于提高性能，并且我们的深度和轨迹预测在KITTI和Make3D数据集上都具有竞争力的性能。
2021-04-13 cs.CV eess.IV
Cycle-Consistent Adversarial Autoencoders for Unsupervised Text Style Transfer
Lenovo Research AI Lab（联想研究院人工智能实验室）；Kwai Inc.（快手公司）；Tianjin University（天津大学）；Cornell University（康奈尔大学）
由于缺乏并行数据和内容保存困难，无监督文本风格转换充满了挑战。在本文中，我们提出了一种新的神经方法来进行无监督的文本风格传输，我们称之为从非并行数据中训练的周期一致性对抗自动编码器（CAE）。CAE由三个基本组成部分组成：（1）LSTM自动编码器，将一种风格的文本编码为其潜在表示，并将编码表示解码为其原始文本或将转换表示解码为风格转换文本，（2）对抗性风格转换网络，使用对抗性训练的生成器将一种风格的潜在表示转换为另一种风格的表示，以及（3）增强对抗风格传输网络在内容保存中的能力的循环一致性约束。包含这三个组件的整个CAE可以进行端到端的培训。在两个广泛使用的公共数据集上进行的广泛实验和深入分析一致地验证了所提出的CAE在风格转换和内容保存方面的有效性，并与四个自动评估指标和人类评估方面的几个强基线进行了比较。
2020-10-02 cs.CL cs.CV cs.LG
Fully Convolutional Change Detection Framework with Generative Adversarial Network for Unsupervised, Weakly Supervised and Regional Supervised Change Detection
基于深度学习的变化检测是当前遥感领域的研究热点之一。然而，大多数端到端网络都是针对有监督的变化检测而提出的，而无监督的变化检测模型依赖于传统的预检测方法。因此，我们提出了一个具有生成对抗网络的完全卷积变化检测框架，将无监督，弱监督，区域监督和完全监督的变化检测任务归纳到一个框架中。一个基本的Unet分割器被用来获得变化检测地图，一个图像到图像生成器被实现来模拟多时间图像之间的光谱和空间变化，并提出了一个用于改变和不变的建模语义变化弱和区域监督变化检测任务。分割器和生成器的迭代优化可以构建一个端到端的无监督变化检测网络，分割器和生成器之间的对抗过程可以为弱监督和区域监督的变化检测提供解决方案，分割器本身可以被训练用于完全监督的任务。实验结果表明，该框架在无监督、弱监督和区域监督的变化检测中是有效的。本文对无监督、弱监督和区域监督的变化检测任务进行了理论定义，展示了端到端网络在遥感变化检测中的巨大潜力。
2022-01-16 cs.AI cs.CV eess.IV
Unsupervised Detection of Lung Nodules in Chest Radiography Using Generative Adversarial Networks
University of Waterloo（滑铁卢大学）
肺结节在胸片中常被漏诊。我们提出并评估P-AnoGAN，一种用于X光片中肺结节的无监督异常检测方法。P-Ano GAN通过利用渐进式GAN和卷积编码器-解码器-编码器流水线来修改快速异常检测生成对抗网络（f-Ano GAN）。模型训练仅使用从印第安纳大学胸部X射线收集中提取的未标记的健康肺部补丁。使用分别从ChestX-ray 14和日本放射技术学会数据集提取的健康和不健康补丁进行外部验证和测试。我们的模型在外部验证和测试数据中鲁棒地识别了包含肺结节的斑块，ROC-AUC分别为91.17%和87.89%。这些结果表明，无监督的方法可能是有用的，在具有挑战性的任务，如肺结节检测X光片。
2021-08-04 cs.CV cs.LG eess.IV
GANVO: Unsupervised Deep Monocular Visual Odometry and Depth Estimation with Generative Adversarial Networks
Computer Science Department, The University of Oxford（牛津大学计算机科学系）
在过去的十年中，监督式深度学习方法已被广泛用于视觉里程计（VO）应用中，这在标记数据不丰富的环境中是不可行的。另一方面，无监督的深度学习方法在未知环境中从未标记的数据进行定位和映射，在VO研究中受到的关注相对较少。在这项研究中，我们提出了一个生成式无监督学习框架，该框架使用深度卷积生成对抗网络（GANs）从未标记的RGB图像序列预测场景的6-DoF姿势相机运动和单眼深度图。我们通过扭曲视图序列并将重投影最小化分配给多视图姿态估计和单视图深度生成网络中采用的目标损失函数来创建监督信号。在KITTI和Cityscapes数据集上对所提出的框架进行了详细的定量和定性评估，结果表明，所提出的方法优于现有的传统和无监督深度VO方法，为姿态估计和深度恢复提供了更好的结果。
2019-03-05 cs.CV cs.LG stat.ML
SGANVO: Unsupervised Deep Visual Odometry and Depth Estimation with Stacked Generative Adversarial Networks
University of Essex（埃塞克斯大学）
最近，端到端的无监督深度学习方法在视觉深度和自我运动估计任务中取得了超越几何方法的效果。这些基于数据的学习方法在一些具有挑战性的场景中表现得更加稳健和准确。编解码器网络在深度估计中得到了广泛的应用，而RCNN在自运动估计方面有着显著的改进。此外，生成对抗网络（GANs）在深度和自我运动估计中的最新使用表明，可以通过在游戏学习过程中生成图片来进一步改进估计。本文提出了一种新的用于视觉深度和自我运动估计的无监督网络系统：堆叠生成对抗网络（SGANVO）。它由一堆GAN层组成，其中最低层估计深度和自我运动，而较高层估计空间特征。它还可以捕获由于跨层使用递归表示而导致的时间动态。详见图1。我们选择最常用的KITTI [1]数据集进行评估。评估结果表明，我们提出的方法可以产生更好的或可比的深度和自我运动估计的结果。
2019-06-20 cs.CV cs.RO eess.IV
Unsupervised Action Segmentation for Instructional Videos
Google（谷歌）；Google Research（谷歌研究院）
在本文中，我们解决的问题，自动发现原子动作在无监督的方式从教学视频，这是很少与原子动作注释。我们提出了一种无监督的方法来学习原子动作的结构化的人类任务，从各种教学视频的基础上顺序随机自回归模型的时间分割的视频。它学习表示和发现任务的不同原子动作之间的顺序关系，并提供自动和无监督的自标记。
2021-06-07 cs.CV
Scene-Centric Unsupervised Video Panoptic Segmentation
TU Munich（慕尼黑技术大学）；TU Darmstadt（达姆施塔特技术大学）；NVIDIA（英伟达）；University of Oxford（牛津大学）；MCML；ELIZA
提出无监督视频全景分割任务及首个方法VideoCUPS，利用深度、运动和视觉线索生成伪标签，并通过Video DropLoss训练，在无监督条件下实现准确分割。
2026-06-03 cs.CV
Unsupervised Discovery of Actions in Instructional Videos
Robotics at Google（谷歌机器人部门）；Google Research（谷歌研究院）
在本文中，我们解决的问题，自动发现原子的行动在无监督的方式从教学视频。教学视频包含复杂的活动，是智能代理的丰富信息源，例如，自主机器人或虚拟助手，它们可以自动“读取”教学视频中的步骤并执行它们。然而，视频很少用原子活动、它们的边界或持续时间来注释。我们提出了一种无监督的方法来学习原子动作的结构化的人类任务，从各种教学视频。我们提出了一个序列随机自回归模型的时间分割的视频，学习表示和发现的顺序关系的任务的不同原子动作，并提供自动和无监督的自标记的视频。我们的方法优于最先进的无监督方法，具有很大的利润率。我们将开放源代码。
2021-06-28 cs.CV
A Domain Agnostic Normalization Layer for Unsupervised Adversarial Domain Adaptation
我们提出了一个规范化层的语义场景分割无监督域自适应。已知归一化层可以提高收敛性和泛化能力，并且是许多最先进的全卷积神经网络的一部分。我们发现，传统的归一化层恶化了当前无监督对抗域自适应（UADA）的性能，UADA是一种提高未标记数据集网络性能的方法，也是我们研究的重点。因此，我们提出了一种新的领域不可知的归一化层，从而释放了归一化层对无监督对抗领域自适应的好处。在我们的评估中，我们从合成的GTA5数据集适应真实的Cityscapes数据集，一个常见的基准实验，并超越了最先进的。由于我们的规范化层在测试时是领域不可知的，我们进一步证明了UADA使用领域不可知的规范化提高了看不见的领域的性能，特别是在Apolloscape和Mapillary上。
2018-09-14 cs.CV
Unsupervised Domain Adaptation for Image Classification via Structure-Conditioned Adversarial Learning
Zhejiang University（浙江大学）；Huawei Technologies（华为技术有限公司）
无监督领域自适应（UDA）通常通过对抗学习将知识从标签丰富的源领域转移到未标记的目标领域。原则上，现有的UDA方法主要关注域之间的全局分布对齐，而忽略了固有的局部分布特性。基于这一观察结果，我们提出了一种端到端的结构条件对抗学习方案（SCAL），该方案能够在域分布对齐过程中保持类内紧凑性。通过使用局部结构作为结构感知条件，该方案在结构条件对抗学习管道中实现。上述学习过程通过在局部结构建立和结构条件对抗学习之间交替来迭代执行。实验结果证明了该方案在UDA场景中的有效性。
2021-03-04 cs.CV
Virtual Adversarial Training in Feature Space to Improve Unsupervised Video Domain Adaptation
School of Computing Sciences, University of East Anglia（东英吉利大学计算科学学院）
虚拟对抗训练最近在半监督学习和无监督领域自适应方面取得了很大的成功。然而，到目前为止，它已被用于像素空间中的输入样本，而我们建议将其直接应用于特征向量。我们还讨论了熵最小化和决策边界迭代精化训练与教师在领域自适应的不稳定行为，并建议实现类似的行为的替代品。通过将上述技术添加到现有技术的模型TA $^3$ N，我们在多个无监督视频领域自适应任务中保持有竞争力的结果或优于现有技术
2020-08-19 cs.CV
Pulling Back the Curtain: Unsupervised Adversarial Detection via Contrastive Auxiliary Networks
Ben-Gurion University（本·古里安大学）；DeepKeep
提出U-CAN方法，通过嵌入目标模型中间层的对比辅助网络，无需对抗样本即可检测对抗输入，在多个数据集和架构上超越现有无监督方法，提升F1分数。
2025-10-26 cs.CV
Masked Autoencoder for Unsupervised Video Summarization
NAVER Cloud（NAVER 云）；KAIST（韩国科学技术院）
本文提出一种用于无监督视频摘要的自监督掩码自编码器，直接利用解码器重建分数评估帧重要性，无需额外下游架构或微调，并在多个基准上验证有效性。
2023-06-02 cs.CV
Unsupervised Object-Level Video Summarization with Online Motion Auto-Encoder
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Carnegie Mellon University（卡内基梅隆大学）；Xidian University（西安电子科技大学）
无监督视频摘要在消化、浏览和搜索每天不断增长的视频方面发挥着重要作用，并且底层的细粒度语义和运动信息（即，感兴趣的对象及其关键动作）在在线视频中几乎没有被触及。在本文中，我们探讨了一个先驱的研究方向，对细粒度的无监督对象级视频摘要。它可以从两个方面区别于现有的管道：提取参与对象的关键运动，并以无监督和在线的方式学习总结。为了实现这一目标，我们提出了一种新的在线运动自动编码器（在线运动AE）的框架上的超分割对象运动剪辑的功能。在新收集的监控数据集和公共数据集上的综合实验证明了该方法的有效性。
2018-08-11 cs.CV
Unsupervised Open-Vocabulary Object Localization in Videos
Fudan University（复旦大学）；Amazon Web Services（亚马逊网络服务）；National University of Singapore（新加坡国立大学）
本文利用视频表示学习和预训练视觉-语言模型，提出一种结合槽注意力与CLIP的无监督视频目标定位方法，首次在常规基准上取得良好结果。
2024-06-26 cs.CV
CANU-ReID: A Conditional Adversarial Network for Unsupervised person Re-IDentification
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Télécom Paris（巴黎高等电信学院）；IP Paris（巴黎理工学院）
无监督人员重新识别是在目标数据集上识别在训练期间ID标签不可用的人员的任务。在本文中，我们提出统一无监督人员重新识别的两个趋势：聚类和微调以及对抗性学习。一方面，聚类将训练图像分组为伪ID标签，并使用它们来微调特征提取器。另一方面，受领域自适应的启发，使用对抗学习来匹配来自不同领域的分布。由于目标数据分布在不同的相机视点，我们建议将每个相机建模为一个独立的域，并旨在学习域独立的功能。简单的对抗性学习会产生负迁移，因此我们引入了一个条件向量来减轻这种不良影响。在我们的框架中，视觉样本所属的聚类的质心被用作我们的条件对抗网络的条件向量，其中向量是置换不变的（聚类排序无关紧要），其大小与聚类的数量无关。据我们所知，我们是第一个提出使用条件对抗网络进行无监督人员重新识别的人。我们在两种最先进的基于集群的无监督人员重新识别（re-ID）方法的基础上评估了所提出的架构。在四个不同的实验环境中使用三个不同的数据集，并在所有四个数据集上设置了新的最先进性能。我们的代码和模型将在https://team.inria.fr/perception/canu-reid/上公开。
2020-04-28 cs.CV
FlowCut: Unsupervised Video Instance Segmentation via Temporal Mask Matching
Computer Vision Group University of Bern（伯尔尼大学计算机视觉组）
本研究提出无监督视频实例分割方法FlowCut，通过三阶段框架构建带伪标签的数据集，在多个基准上实现了当前最优性能。
2025-05-19 cs.CV
Instance Embedding Transfer to Unsupervised Video Object Segmentation
University of Southern California（南加州大学）；Google Inc.（谷歌公司）
我们提出了一种通过传输基于图像的实例嵌入网络中封装的知识来进行无监督视频对象分割的方法。实例嵌入网络为每个像素生成嵌入向量，该嵌入向量能够识别属于同一对象的所有像素。虽然是在静态图像上训练的，但实例嵌入在连续的视频帧上是稳定的，这允许我们随着时间的推移将对象链接在一起。因此，我们将在静态图像上训练的实例网络适应于视频对象分割，并将具有对象和光流特征的嵌入结合起来，而无需模型重新训练或在线微调。该方法在DAVIS数据集和FBMS数据集中的性能优于最先进的无监督分割方法。
2018-02-27 cs.CV
Unsupervised Incremental Learning of Deep Descriptors From Video Streams
MICC -- University of Florence（MICC——佛罗伦萨大学）
我们提出了一种新的无监督的方法从视频序列的人脸身份学习。该方法利用ResNet深度网络进行人脸检测和VGGface fc7人脸描述符，以及利用视频流中视觉数据的时间一致性的智能学习机制。我们提出了一种新的特征匹配解决方案的基础上反向最近邻和特征遗忘策略，支持增量学习与内存大小控制，而时间的推移。结果表明，所提出的学习过程是渐近稳定的，可以有效地应用于相关的应用，如多人脸跟踪。
2017-08-11 cs.CV
Unsupervised learning from video to detect foreground objects in single images
Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）
从视觉数据中进行无监督学习是计算机视觉中最困难的挑战之一，是理解视觉识别如何工作的基本任务。从实践的角度来看，从无监督的视觉输入中学习具有巨大的实用价值，因为可以以低成本收集大量未标记的视频。在本文中，我们解决的任务无监督学习检测和分割前景物体在单一的图像。我们通过训练由深度神经网络组成的学生路径来实现我们的目标。它学习从单个输入图像（视频帧）预测该特定帧的输出，教师路径在视频中执行无监督对象发现。我们的方法是不同的，从已发表的文献中进行无监督的发现在视频或图像的集合在测试时。我们在训练阶段移动无监督发现阶段，而在测试时，我们沿着学生路径应用标准前馈处理。这有双重好处：首先，它原则上允许在训练期间无限的学习和推广可能性，同时在测试时保持非常快。其次，学生不仅能够在单个图像中检测到比无监督视频发现教师更好的效果，而且还在两个重要的当前基准测试（YouTube Objects和Object Discovery数据集）上取得了最先进的结果。此外，在测试时，我们的系统至少比以前的其他方法快两个数量级。
2017-03-31 cs.CV
AIR-DA: Adversarial Image Reconstruction for Unsupervised Domain Adaptive Object Detection
Southeast University（东南大学）；Graz University of Technology（格拉茨技术大学）
无监督域自适应目标检测是一项具有挑战性的视觉任务，其中目标检测器从标签丰富的源域适应到未标记的目标域。最近的进展证明了基于对抗的域对齐的有效性，其中特征提取器和域对齐器之间的对抗训练导致特征空间中的域不变性。然而，由于域的变化，域的歧视，特别是在低级别的功能，是一个容易的任务。这导致了域训练器和特征提取器之间的对抗训练的不平衡。在这项工作中，我们通过引入辅助正则化任务来改善训练平衡，从而实现更好的域对齐。具体来说，我们提出了对抗性图像重建（AIR）作为正则化器，以促进特征提取器的对抗性训练。我们进一步设计了一个多层次的特征对齐模块，以提高自适应性能。我们对几个具有挑战性的域转移数据集的评估表明，在大多数情况下，所提出的方法优于所有以前的方法，无论是一个阶段还是两个阶段。
2023-03-27 cs.CV
Unsupervised Semantic Parsing of Video Collections
Stanford University（斯坦福大学）；Cornell University（康奈尔大学）；Brain of Things Inc.（Brain of Things公司）
人类交流通常有一个基本结构。这反映在以下事实中：在许多用户生成的视频中，可以识别起点、终点和这两者之间的某些客观步骤。在本文中，我们提出了一种方法来解析视频到这样的语义步骤，在无监督的方式。所提出的方法是能够提供一个语义的“故事情节”的视频组成的目标步骤。我们在一个联合生成模型中使用视觉和语言线索来实现这一点。所提出的方法还可以为所识别的语义步骤和视频片段中的每一个提供文本描述。我们在大量复杂的YouTube视频上评估了这种方法，并为这个复杂而有影响力的问题展示了前所未有的质量结果。
2016-01-27 cs.CV
Unsupervised Visual-Linguistic Reference Resolution in Instructional Videos
Stanford University（斯坦福大学）；University of Southern California（南加州大学）
我们提出了一种用于教学视频中的参考分辨率的无监督方法，其中目标是在时间上链接实体（例如，“穿衣”）到动作（例如，“混合酸奶”）。关键的挑战是视频中实体的视觉外观和指称表达的变化不可避免地产生视觉语言模糊性。我们的目标是在没有监督的情况下解决引用，这一事实加剧了这一挑战。我们通过学习联合视觉语言模型来解决这些挑战，其中语言线索可以帮助解决视觉歧义，反之亦然。我们通过使用YouTube上的2000多个非结构化烹饪视频无监督地学习我们的模型来验证我们的方法，并表明我们的视觉语言模型可以大大提高教学视频中最先进的语言模型的参考分辨率。
2017-05-20 cs.CV
S2D: Sparse-To-Dense Keymask Distillation for Unsupervised Video Instance Segmentation
Ulm University（乌尔姆大学）；Google（谷歌）；KAUST（卡尔斯鲁厄大学）；TU Vienna（维也纳技术大学）
S2D通过稀疏到密集关键掩码蒸馏方法，利用深度运动先验提升无监督视频实例分割的性能。
2025-12-16 cs.CV
Deep Reinforcement Learning for Unsupervised Video Summarization with Diversity-Representativeness Reward
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Queen Mary University of London（伦敦玛丽女王大学）
视频摘要旨在通过生成简短、简洁的摘要来促进大规模视频浏览，这些摘要是多样化的，并且具有原始视频的代表性。在本文中，我们将视频摘要制定为一个顺序决策过程，并开发了一个深度摘要网络（DSN）来总结视频。DSN为每个视频帧预测一个概率，该概率指示帧被选择的可能性，然后根据概率分布采取措施来选择帧，形成视频摘要。为了训练我们的DSN，我们提出了一个端到端的，基于强化学习的框架，在那里我们设计了一个新的奖励函数，该函数联合考虑了生成的摘要的多样性和代表性，并且完全不依赖于标签或用户交互。在训练过程中，奖励函数判断生成的摘要的多样性和代表性，而DSN则通过学习生成更多样、更有代表性的摘要来争取获得更高的奖励。由于不需要标签，我们的方法可以完全无监督。在两个基准数据集上的大量实验表明，我们的无监督方法不仅优于其他最先进的无监督方法，而且与大多数已发表的监督方法相当，甚至优于它们。
2018-02-13 cs.CV
Unsupervised Pixel-Level Domain Adaptation with Generative Adversarial Networks
Google Brain（谷歌大脑）；Google Research（谷歌研究院）
收集注释良好的图像数据集来训练现代机器学习算法对于许多任务来说都是非常昂贵的。一个吸引人的替代方案是渲染合成数据，其中自动生成地面实况注释。不幸的是，纯粹在渲染图像上训练的模型往往无法推广到真实图像。为了解决这个缺点，先前的工作引入了无监督的领域自适应算法，该算法试图在两个域之间映射表示或学习提取域不变的特征。在这项工作中，我们提出了一种新的方法，学习，在无监督的方式，在像素空间中的变换从一个域到其他。我们基于生成对抗网络（GAN）的方法使源域图像看起来像是从目标域绘制的。我们的方法不仅产生合理的样本，而且在许多无监督领域自适应场景上的表现优于最先进的方法。最后，我们证明了自适应过程可以推广到训练过程中看不到的对象类。
2017-08-23 cs.CV
Contrast-Phys: Unsupervised Video-based Remote Physiological Measurement via Spatiotemporal Contrast
University of Oulu（奥卢大学）
针对有监督rPPG方法需真实生理信号训练的问题，提出无监督方法Contrast-Phys，用3DCNN结合时空对比损失训练，在五个数据集上性能接近最优有监督方法，且速度更快、鲁棒性更强。
2022-08-08 cs.CV
Unsupervised Adversarial Attacks on Deep Feature-based Retrieval with GAN
Renmin University of China（中国人民大学）
研究表明，基于深度神经网络（DNN）的图像分类模型容易受到恶意构建的对抗性样本的攻击。然而，很少有人研究基于DNN的图像检索模型如何受到此类攻击的影响。在本文中，我们引入了无监督对抗攻击与生成对抗网络（UAA-GAN）来攻击基于深度特征的图像检索系统。UAA-GAN是一种无监督学习模型，只需要少量未标记的数据进行训练。一旦经过训练，它会对查询图像产生特定于查询的扰动，以形成对抗性查询。其核心思想是确保附加的扰动是几乎察觉不到的人，但有效地推动查询远离其在深特征空间中的原始位置。UAA-GAN适用于各种基于深度特征的应用场景，包括图像检索，人员Re-ID和人脸搜索。实验结果表明，UAA-GAN削弱检索性能没有显着的视觉变化的查询图像。UAA-GAN生成的对抗性示例不太可区分，因为它们倾向于在图像的纹理或突出区域（诸如人类的关键身体部位、主要结构模式/纹理或边缘）中而不是在视觉上不重要的区域（例如，背景和天空）。这种趋势表明，该模型确实学会了如何玩弄图像检索系统和人眼。
2019-07-12 cs.CV
LiveSeg: Unsupervised Multimodal Temporal Segmentation of Long Livestream Videos
Adobe Research（Adobe研究院）；Carnegie Mellon University（卡内基梅隆大学）
直播视频已成为在线学习的重要组成部分，经验丰富的专家在课程中教授设计，数字营销，创意绘画和其他技能，使其成为宝贵的材料。然而，直播教程视频通常长达几个小时，录制好后直接上传到互联网上，这使得其他人很难快速跟上。大纲将是一个有益的解决方案，它需要根据主题对视频进行时间分割。在这项工作中，我们引入了一个名为MultiLive的大型Livestream视频数据集，并制定了长Livestream视频（TSLLV）任务的时间分割。我们提出了LiveSeg，一个无监督的实时视频时间分割解决方案，它利用了来自不同领域的多模态特征。与最先进的方法相比，我们的方法实现了$16.8\%$ F1评分性能的改善。
2022-10-12 cs.CV
Boosting the Transferability of Video Adversarial Examples via Temporal Translation
Shanghai Key Lab of Intelligent Information Processing, School of Computer Science, Fudan University（复旦大学计算机科学技术学院上海市智能信息处理重点实验室）；Shanghai Collaborative Innovation Center on Intelligent Visual Computing（上海智能视觉计算协同创新中心）
尽管基于深度学习的视频识别模型取得了显著的成功，但它们容易受到对抗性示例的影响，这些示例是通过在干净的视频样本上添加人类无法感知的扰动而生成的。正如最近的研究所表明的那样，对抗性示例是可转移的，这使得黑盒攻击在现实世界中的应用变得可行。然而，现有的大多数对抗攻击方法在攻击其他视频模型时具有较差的可移植性，并且对视频模型的基于移植的攻击仍然是未被探索的。为此，我们建议提高视频对抗示例的可转移性，以用于对视频识别模型的黑盒攻击。通过大量的分析，我们发现，不同的视频识别模型依赖于不同的歧视性时间模式，导致视频对抗性的例子的可移植性差。这促使我们引入一种时间翻译攻击方法，该方法优化了一组时间翻译视频片段上的对抗性扰动。通过在翻译的视频上生成对抗性示例，生成的对抗性示例对被攻击的白盒模型中存在的时间模式不太敏感，因此可以更好地传输。在Kinetics-400数据集和UCF-101数据集上的大量实验表明，我们的方法可以显着提高视频对抗示例的可移植性。针对视频识别模型的基于传输的攻击，它在Kinetics-400上的平均攻击成功率为61.56%，在UCF-101上的平均攻击成功率为48.60%。代码可在https://github.com/zhipeng-wei/TT上获得。
2021-12-28 cs.CV
Unsupervised Image Segmentation by Mutual Information Maximization and Adversarial Regularization
AmirKabir University of Technology（阿米尔卡比尔理工大学）；Sharif University of Technology（谢里夫理工大学）；Monash University（莫纳什大学）
语义分割是自主智能体场景理解的基本任务之一。监督机器学习和神经网络的最新发展在增强用于该任务的最先进技术的性能方面取得了巨大成功。然而，它们的卓越性能高度依赖于大规模注释数据集的可用性。在本文中，我们提出了一种新的完全无监督的语义分割方法，所谓的信息最大化和对抗正则化分割（InMARS）。受人类感知的启发，将场景解析为感知组，而不是单独分析每个像素，我们提出的方法首先将输入图像划分为有意义的区域（也称为超像素）。接下来，它利用互信息最大化，然后采用对抗训练策略将这些区域聚类为语义上有意义的类。为了针对该问题定制对抗性训练方案，我们将对抗性像素噪声与空间扰动结合起来，以在深度神经网络上施加光度和几何不变性。我们的实验表明，我们的方法达到了最先进的性能上两个常用的无监督语义分割数据集，COCO-Stuff，波茨坦。
2021-07-01 cs.CV
Unsupervised Methods for Video Quality Improvement: A Survey of Restoration and Enhancement Techniques
本文综述了视频恢复与增强的无监督方法，涵盖退化原因、传统与深度学习方法、域转换等核心技术分类、损失函数及合成数据集评估，并提出了未来研究方向。
2026-09-28 cs.CV
Semantic-Aware Generative Adversarial Nets for Unsupervised Domain Adaptation in Chest X-ray Segmentation
The Chinese University of Hong Kong（香港中文大学）；Imsight Medical Technology Inc.（艾迈医疗科技有限公司）
尽管深度神经网络（DNN）在医学图像计算方面取得了令人瞩目的成就，但这些深度模型在应用于具有域偏移的新测试数据集时往往会出现性能下降。在本文中，我们提出了一种新的无监督领域自适应适应分割任务的方法，通过设计语义感知生成对抗网络（GANs）。具体来说，我们将测试图像转换为源域的外观，语义结构信息得到很好的保留，这是通过在语义标签空间中实施嵌套对抗学习来实现的。通过这种方式，从源域学习的分割DNN能够直接推广到变换后的测试图像，无需为每个新的目标数据集训练新模型。我们的领域自适应过程是无监督的，不使用任何目标域标签。我们网络的对抗学习由映射数据分布的GAN损失、保留像素级内容的循环一致性损失和增强结构信息的语义感知损失指导。我们在两个不同的胸部X射线公共数据集上验证了我们的方法，用于左/右肺分割。实验结果表明，我们的无监督方法的分割性能是非常有竞争力的上界监督迁移学习。
2018-06-05 cs.CV
Adversarial Deepfakes: Evaluating Vulnerability of Deepfake Detectors to Adversarial Examples
University of California San Diego（加州大学圣迭戈分校）
视频处理技术的最新进展使得生成假视频比以往任何时候都更容易。被操纵的视频会助长虚假信息，降低对媒体的信任。因此，虚假视频的检测在学术界和工业界引起了极大的兴趣。最近开发的Deepfake检测方法依赖于深度神经网络（DNN）来区分AI生成的假视频和真实视频。在这项工作中，我们证明了可以通过对使用现有Deepfake生成方法合成的假视频进行逆向修改来绕过此类检测器。我们进一步证明了我们的对抗扰动对图像和视频压缩编解码器是鲁棒的，使它们成为现实世界的威胁。我们在白盒和黑盒攻击场景中提供了流水线，可以欺骗基于DNN的Deepfake检测器将假视频分类为真实视频。
2020-11-07 cs.CV
Domain-Invariant Adversarial Learning for Unsupervised Domain Adaption
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
无监督域自适应的目的是在给定标记的源数据集和未标记的目标数据集的情况下，为目标域学习一个功能强大的分类器。为了减轻“域移位”的影响，这是领域自适应中的主要挑战，研究已经尝试对齐两个域的分布。最近的研究表明，生成对抗网络（GAN）具有隐式捕获数据分布的能力。因此，在本文中，我们提出了一个简单但有效的模型，用于利用对抗学习的无监督域自适应。在源域和目标域之间共享相同的编码器，期望在对抗性编码器的帮助下提取域不变表示。对于标记的源数据，我们引入中心损失来增加学习的特征的区分能力。我们进一步对齐两个域的条件分布，以加强对目标域中特征的区分。与以前的研究不同，其中源特征是用固定的预训练编码器提取的，我们的方法联合学习两个域的特征表示。此外，通过共享编码器，该模型在测试过程中不需要知道图像的来源，因此具有更广泛的适用性。我们评估所提出的方法在几个无监督域自适应基准，并实现卓越的或可比的性能，以国家的最先进的结果。
2018-11-30 cs.CV
Unsupervised Domain Adaptation for Video Semantic Segmentation
KAIST（韩国科学技术院）
用于语义分割的无监督领域自适应已经获得了极大的普及，因为它可以通过在很大程度上减少真实的每像素标记工作来将知识从模拟转移到真实（Sim2Real）。在这项工作中，我们提出了一个新的视频扩展这项任务，即无监督领域自适应视频语义分割。由于通过模拟获得大规模视频标签变得很容易，我们相信尝试最大限度地提高Sim2Real知识的可转移性是解决视频中基本数据饥饿问题的有希望的方向之一。为了解决这个新问题，我们提出了一种新的两阶段适应计划。在第一步中，我们使用监督损失函数详尽地提取源域知识。同时，视频对抗训练（VAT）是用来对齐的功能，从源到目标，利用视频上下文。在第二步中，我们应用视频自训练（VST），只关注目标数据。为了构造鲁棒的伪标签，我们利用视频中的时间信息，这在以前的基于图像的自训练方法中很少被探索。我们在“VIPER to CityscapeVPS”适应场景上设置了强基线分数。我们表明，我们的建议显着优于以前的基于图像的UDA方法的图像级（mIoU）和视频级（VPQ）的评估指标。
2021-09-13 cs.CV
Towards Unsupervised Familiar Scene Recognition in Egocentric Videos
University of Groningen（格罗宁根大学）；University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
如今，人们对使用生活记录设备的兴趣高涨。这些设备会产生大量的图像数据;因此，对分析和汇总这些数据的自动方法的需求急剧增加。我们提出了一种新的方法，熟悉的场景识别自我中心的视频，通过自动配置COSFIRE过滤器的背景模式检测的基础上。我们提出了一些实验与叙事剪辑获得的自我中心的数据。
2019-05-10 cs.CV
PAT: Pseudo-Adversarial Training For Detecting Adversarial Videos
Arizona State University（亚利桑那州立大学）
广泛的研究表明，深度神经网络（DNN）容易受到对抗攻击。虽然已经提出了各种防御机制的图像分类网络，存在较少的方法用于基于视频的模型，用于安全敏感的应用程序，如监视。在本文中，我们提出了一种新颖而简单的算法，称为伪对抗训练（PAT），在不需要攻击知识的情况下检测视频中的对抗帧。我们的方法产生的“过渡帧”，捕捉关键偏离原始帧，并消除组件无关紧要的检测任务。为了避免知道攻击模型的必要性，我们产生“伪扰动”来训练我们的检测网络。然后通过使用检测到的帧来实现对抗检测。在UCF-101和20 BN-Jester数据集上的实验结果表明，PAT能够以较高的检测率检测到恶意视频帧和视频。通过大量的实验，我们还揭示了过渡框架和伪扰动有效性的潜在原因。
2021-09-13 cs.CV
