Learning Task-Oriented Grasping from Human Activity Datasets
Stanford University（斯坦福大学）
我们建议利用真实世界的人类活动RGB数据集来教授机器人任务导向抓取（TOG）。我们开发了一个模型，作为输入的RGB图像和输出的手的姿势和配置，以及对象的姿势和形状。我们遵循的见解，联合估计手和对象的姿态增加准确性相比，估计这些量彼此独立。给定训练好的模型，我们处理RGB数据集以自动获得数据来训练TOG模型。该模型以物体点云作为输入，并输出适合特定任务抓取的区域。我们的消融研究表明，用手部姿势信息训练物体姿势预测器（反之亦然）比没有这些信息的训练更好。此外，我们在真实世界的数据集上的结果表明，我们的方法的适用性和竞争力的国家的最先进的。与机器人的实验表明，我们的方法可以允许机器人上的新对象进行TOG。
2020-05-21 cs.CV cs.RO
Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection
Google（谷歌）
我们描述了一种基于学习的方法，从单目图像的机器人抓取手眼协调。为了学习手眼协调抓取，我们训练了一个大型卷积神经网络来预测抓取器的任务空间运动将导致成功抓取的概率，仅使用单目相机图像，并且独立于相机校准或当前机器人姿势。这需要网络观察场景中抓手和物体之间的空间关系，从而学习手眼协调。然后，我们使用这个网络伺服夹持器在实时的，以实现成功的把握。为了训练我们的网络，我们在两个月的时间里收集了超过80万次抓取尝试，在任何给定的时间使用6到14个机器人操纵器，在摄像机位置和硬件上有所不同。我们的实验评估表明，我们的方法实现了有效的实时控制，可以成功地抓住新的对象，并通过连续伺服纠正错误。
2016-08-28 cs.AI cs.CV cs.LG
Object-Independent Human-to-Robot Handovers using Real Time Robotic Vision
TU Wien（维也纳工业大学）；Australian Center of Robotic Vision（澳大利亚机器人视觉中心）；Monash University（蒙纳士大学）；University of Birmingham（伯明翰大学）；Queensland University of Technology（昆士兰科技大学）
我们提出了一种方法，安全和对象无关的人对机器人的实时的机器人视觉和操纵。我们的目标是通用对象检测器的普遍适用性，快速抓取选择算法，并通过使用单个夹具安装的RGB-D相机，因此不依赖于外部传感器。机器人通过视觉伺服被控制朝向感兴趣的对象。高度重视安全性，我们使用两个感知模块：人体部位分割和手/手指分割。被认为属于人类的像素从候选抓取姿势中过滤掉，从而确保机器人安全地拾取物体而不会与人类伙伴发生碰撞。抓取选择和感知模块实时并行运行，这允许监控进度。在13个物体的实验中，机器人能够在81.9%的试验中成功地从人类手中拿走物体。
2020-09-21 cs.CV cs.LG cs.RO
Independent Encoder for Deep Hierarchical Unsupervised Image-to-Image Translation
Lanzhou University（兰州大学）
图像到图像（I2I）翻译的主要挑战是使翻译后的图像逼真并尽可能多地保留源域的信息。为了解决这个问题，我们提出了一种新型架构，称为IEGAN，它删除了每个网络的编码器，并引入了独立于其他网络的编码器。与以往的模型相比，该模型体现了三个方面的优点：第一，编码器不再受到生成器和解码器的损失，对图像信息的把握更加直接和全面。其次，独立的编码器允许每个网络更专注于自己的目标，这使得翻译后的图像更真实。第三，编码器数量的减少执行更统一的图像表示。然而，当独立编码器应用两个下采样块时，难以提取语义信息。为了解决这个问题，我们提出了包含特征和语义信息的深信息空间和浅信息空间，这可以指导模型在具有显著形状或纹理变化的任务下翻译高质量的图像。本文将IEGAN模型与其他已有模型进行了比较，同时对语义信息一致性和构件消融进行了研究。这些实验表明了我们的架构的优越性和有效性。我们的代码发布在：https://github.com/Elvinky/IEGAN。
2021-07-06 cs.CV eess.IV
EfficientPPS: Part-aware Panoptic Segmentation of Transparent Objects for Robotic Manipulation
ArtiMinds Robotics（ArtiMinds机器人公司）；Forschungszentrum Informatik（信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
EfficientPPS提出一种部件级全景分割神经架构，结合无监督数据收集方法，使协作机器人能鲁棒高效地抓取医院环境中的透明输血袋。
2023-12-21 cs.AI cs.CV cs.LG
"Teaching Independent Parts Separately" (TIPSy-GAN) : Improving Accuracy and Stability in Unsupervised Adversarial 2D to 3D Pose Estimation
我们提出了TIPSy-GAN，这是一种新的方法，可以提高无监督对抗2D到3D人体姿态估计的准确性和稳定性。在我们的工作中，我们证明了人类运动骨架不应该被假设为一个单一的空间相关结构;事实上，我们认为当在训练过程中提供完整的2D姿势时，会有一个固有的偏差，其中关键点的3D坐标在空间上依赖于所有其他关键点的2D坐标。为了研究我们的假设，我们遵循以前的对抗方法，但训练两个发电机上的空间独立的部分的运动骨架，躯干和腿。我们发现，提高自我一致性周期是降低评估误差的关键，因此在训练过程中引入了新的一致性约束。通过从这些生成器中进行知识蒸馏来生成TIPSy模型，该TIPSy模型可以预测整个2D姿态的3D坐标，并具有改进的结果。此外，我们解决了一个悬而未决的问题，在以前的工作多久训练在一个真正的无人监督的情况下。我们发现，两个独立的发电机训练adversarially有改善的稳定性比一个单独的发电机崩溃。与基线单独发生器在Human3.6M数据集上的平均误差相比，TIPSy将平均误差降低了17%。TIPSy改进了其他无监督方法，同时在评估Human3.6M和MPI-INF-3DHP数据集时，对监督和弱监督方法也表现出色。
2022-09-01 cs.CV
Un-EVIMO: Unsupervised Event-Based Independent Motion Segmentation
University of Pennsylvania（宾夕法尼亚大学）；Archimedes, Athena RC（阿基米德、阿泰纳RC）
本研究提出首个利用几何约束生成IMO伪标签的无监督事件框架，在EVIMO数据集上评估显示其IMO分割性能与监督方法相当，可处理任意非预定物体且易扩展至无昂贵标注的数据集。
2026-08-13 cs.CV
ILSGAN: Independent Layer Synthesis for Unsupervised Foreground-Background Segmentation
Tsinghua University（清华大学）；BNRist（北京信息科学与技术国家研究中心）
针对无监督前景-背景分割中分层GAN存在的信息泄漏问题，提出ILSGAN方法，通过最小化层间互信息增强层独立性，在真实数据上实现了顶尖的生成质量与分割性能。
2023-10-07 cs.CV
CLIPoint3D: Language-Grounded Few-Shot Unsupervised 3D Point Cloud Domain Adaptation
University of Trento（特伦托大学）；MDSR Labs Adobe（Adobe MDSR实验室）；IIT Bombay（印度理工学院班加罗尔分校）；Fondazione Bruno Kessler（布鲁诺·科斯勒基金会）
本文提出CLIPoint3D，首个基于CLIP的3D点云无监督领域适应框架，通过知识驱动的提示调优和熵引导视图采样策略，实现跨领域3D点云适应，实验表明在PointDA-10和GraspNetPC-10基准上性能提升3-16%。
2026-04-21 cs.CV cs.LG
CANU-ReID: A Conditional Adversarial Network for Unsupervised person Re-IDentification
Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Télécom Paris（巴黎高等电信学院）；IP Paris（巴黎理工学院）
无监督人员重新识别是在目标数据集上识别在训练期间ID标签不可用的人员的任务。在本文中，我们提出统一无监督人员重新识别的两个趋势：聚类和微调以及对抗性学习。一方面，聚类将训练图像分组为伪ID标签，并使用它们来微调特征提取器。另一方面，受领域自适应的启发，使用对抗学习来匹配来自不同领域的分布。由于目标数据分布在不同的相机视点，我们建议将每个相机建模为一个独立的域，并旨在学习域独立的功能。简单的对抗性学习会产生负迁移，因此我们引入了一个条件向量来减轻这种不良影响。在我们的框架中，视觉样本所属的聚类的质心被用作我们的条件对抗网络的条件向量，其中向量是置换不变的（聚类排序无关紧要），其大小与聚类的数量无关。据我们所知，我们是第一个提出使用条件对抗网络进行无监督人员重新识别的人。我们在两种最先进的基于集群的无监督人员重新识别（re-ID）方法的基础上评估了所提出的架构。在四个不同的实验环境中使用三个不同的数据集，并在所有四个数据集上设置了新的最先进性能。我们的代码和模型将在https://team.inria.fr/perception/canu-reid/上公开。
2020-04-28 cs.CV
Dynamo-Depth: Fixing Unsupervised Depth Estimation for Dynamical Scenes
Cornell University（康奈尔大学）
Dynamo-Depth通过联合学习单目深度、三维独立流场和运动分割，利用运动分割初始估计消除动态场景中的深度歧义，在Waymo Open和nuScenes上显著提升运动物体深度估计性能。
2023-10-29 cs.CV
Leveraging Text-to-Image Diffusion Models for Unsupervised Visual Object Tracking
Information Systems Technology and Design Pillar, Singapore University of Technology and Design（新加坡科技设计大学信息系统技术与设计学院）；State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室）；Department of Computer Science and Engineering, University at Buffalo, State University of New York（纽约州立大学布法罗分校计算机科学与工程系）；School of Computer Science, Wuhan University（武汉大学计算机学院）
提出Diff-Tracking方法，利用预训练文本到图像扩散模型的跨注意力机制，通过初始提示学习器和在线提示更新器实现无监督目标跟踪。
2026-05-26 cs.CV
Towards a Modular Bin-picking Framework for Handling Object Pose Uncertainties
本文针对精确抓取应用中物体姿态估计和抓取过程的误差问题，提出模块化框架。通过物体姿态分布估计和第二视角模块降低姿态不确定性，用独立模块补偿抓取误差，经真实场景测试，该框架能提高效率，是解决相关不确定性的首个可互换模块框架。
2026-07-16 cs.CV cs.RO
Vendor-independent soft tissue lesion detection using weakly supervised and unsupervised adversarial domain adaptation
Radboud University Medical Center（拉德堡德大学医学中心）；Radboud University（拉德堡德大学）；Screenpoint Medical；Delft University of Technology（代尔夫特理工大学）
计算机辅助检测旨在通过帮助放射科医生评估数字乳腺X射线摄影（DM）检查来改善乳腺癌筛查计划。DM检查由来自不同供应商的设备生成，在供应商之间甚至在供应商内部具有不同的特征。这些设备的物理特性和图像的后处理可以极大地影响所得到的乳房X线照片。这导致了这样一个事实，即在来自一个供应商的数据上训练的深度学习模型不能容易地应用于来自另一个供应商的数据。本文研究了使用基于对抗学习的定制迁移学习方法来解决这个问题。我们考虑由Hologic和Siemens供应商生成的DM检查数据库（主要是双侧和双视图）。我们分析了两种迁移学习设置：1）无监督迁移，其中具有像素级软病变注释的Hologic数据和Siemens未标记数据用于注释后者数据中的图像; 2）弱监督迁移，其中来自Siemens乳房X线摄影机的图像的检查级标签可用。我们提出了针对迁移学习的最新方法的量身定制的变体，这些方法考虑到了类不平衡并结合了考试级别的注释所提供的知识。实验结果表明迁移学习在两种迁移环境下都有良好的效果。值得注意的是，在每幅图像0.02个假阳性时，我们实现了0.37的灵敏度，而没有转移的基线为0.30。结果表明，使用检查级注释可以额外提高灵敏度。
2018-08-14 cs.CV
Labels4Free: Unsupervised Segmentation using StyleGAN
KAUST（沙特国王科技大学）；UCL（伦敦大学学院）；Adobe Research（Adobe研究）
我们为StyleGAN生成的对象提出了一个无监督分割框架。我们基于两个主要观察结果。首先，StyleGAN生成的特征包含有价值的信息，可用于训练分割网络。第二，前景和背景通常可以被视为在很大程度上独立的，并以不同的方式合成。对于我们的解决方案，我们建议使用分段分支来增强StyleGAN2生成器架构，并将生成器分为前台和后台网络。这使我们能够以无监督的方式为前景对象生成软分割掩模。在多个对象类别上，我们报告了与最先进的监督分割网络的可比结果，而与最好的无监督分割方法相比，我们在定性和定量指标上都有明显的改进。
2021-03-27 cs.CV
Harmonizing Flows: Unsupervised MR harmonization based on normalizing flows
ÉTS Montreal（蒙特利尔高等技术学院）；CHU Sainte-Justine（圣朱斯坦大学医院中心）；University of Montreal（蒙特利尔大学）
在本文中，我们提出了一个无监督框架的基础上归一化流，协调MR图像模仿源域的分布。拟议的框架包括三个步骤。首先，训练一个浅层协调器网络来从它们的增强版本中恢复源域的图像。然后训练归一化流网络以学习源域的分布。最后，在测试时，修改协调器网络，使得输出图像匹配由归一化流模型学习的源域分布。我们的无监督，无源和任务独立的方法进行评估，跨域脑MRI分割使用来自四个不同的网站的数据。结果表明，其优越的性能相比，现有的方法。
2023-01-27 cs.CV
A Nonparametric Bayesian Approach Toward Stacked Convolutional Independent Component Analysis
Cyprus University of Technology（塞浦路斯理工大学）；University of Patras（帕特雷大学）
基于独立分量分析（ICA）卷积公式的无监督特征学习算法已被证明在几个动作识别基准中产生最先进的结果。然而，现有的方法不允许以无监督的方式从数据中自动推断出潜在成分（特征）的数量。这是现有技术的一个显著缺点，因为它导致对研究人员和从业者施加相当大的负担，他们必须求助于繁琐的交叉验证程序来获得潜在特征的最佳数量。为了解决这些问题，在本文中，我们引入了一个卷积非参数贝叶斯稀疏ICA架构，用于从高维数据中学习过完备特征。我们的方法利用印度自助餐过程之前，以促进推理的适当数量的潜在功能下的混合变分推理算法，可扩展到大规模的数据集。正如我们所展示的，我们的模型可以自然地用于获得深度无监督的分层特征提取器，通过对连续的模型层进行greenstack，类似于现有的方法。此外，该模型的推理完全不受任何限制;因此，它消除了繁琐的参数调整的需要，这是大多数深度学习方法面临的主要挑战。我们评估我们的方法在几个动作识别基准，并表现出其优势的国家的最先进的。
2015-09-23 cs.CV
Learning Conditionally Independent Transformations using Normal Subgroups in Group Theory
School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术学院）；Next Generation Artificial Intelligence Research Center (AI Center), The University of Tokyo（东京大学下一代人工智能研究中心（AI中心））
本文借鉴伽罗瓦理论中正规子群分解群的思想，提出一种无监督表示学习方法，在变换不可交换的条件下仍能分离旋转与平移等条件独立变换，并通过图像几何变换实验验证了群分解与变换分类之间的关联。
2025-04-06 cs.CV
Learning Unsupervised Cross-domain Image-to-Image Translation Using a Shared Discriminator
Indian Institute of Technology Bombay（印度理工学院孟买分校）
无监督图像到图像转换用于将来自源域的图像变换为在目标域中生成图像，而不使用源-目标图像对。在对抗环境中使用两个独立的GANs和注意力机制已经为这个问题获得了有希望的结果。我们提出了一种新的方法，该方法在两个GANs之间使用单个共享节点，从而提高了整体效率。我们评估定性和定量的结果图像变形，跨域翻译任务，在目标域共享相似的语义源域的设置。我们的结果表明，即使没有添加注意力机制，我们的方法的性能也与基于注意力的方法相当，并生成质量相当的图像。
2021-02-09 cs.CV
Disentangling Video with Independent Prediction
New York University（纽约大学）
我们提出了一种无监督的变分模型，用于将视频分解为独立的因素，即每个因素的未来可以从其过去预测，而无需考虑其他因素。我们表明，我们的方法经常学习的因素，可解释为对象在场景中。
2019-01-17 cs.CV cs.LG stat.ML
Unsupervised Robust Disentangling of Latent Characteristics for Image Synthesis
Heidelberg Collaboratory for Image Processing（海德堡图像处理合作实验室）；Heidelberg University（海德堡大学）
深度生成模型有希望学习视觉对象的可解释表示，允许图像采样，合成和选择性修改。主要的挑战是学习正确建模对象的独立潜在特征，特别是其外观和姿态。我们提出了一种新的方法，学习这些特征的解开表示，并单独解释它们。训练只需要描绘相同对象外观的图像对，但不需要姿势注释。我们提出了一个额外的分类器，估计强制解除纠缠所需的最小正则化量。因此，这两种表征结合在一起可以完全解释一个图像，同时彼此独立。以前的方法的基础上对抗的方法无法强制执行这种独立性，而基于变分方法的方法导致无信息的表示。在对不同对象类别的实验中，该方法成功地重组了姿态和外观，以重建和重定位新的合成图像。我们实现了显着的改进，国家的最先进的方法，利用相同的监督水平，并达到性能相媲美的姿势监督的方法。然而，我们可以处理大量没有姿势模型/注释可用的铰接对象类。
2019-10-22 cs.CV
CellSegmenter: unsupervised representation learning and instance segmentation of modular images
Broad Institute（博德研究所）
我们介绍了CellSegmenter，一个结构化的深度生成模型和一个用于无监督表示学习和实例分割任务的摊销推理框架。所提出的推理算法是卷积和并行化的，没有任何循环机制，并且能够解决对象-对象遮挡，同时独立地处理远处的非遮挡对象。这导致了极快的训练时间，同时允许外推到任意数量的实例。我们还引入了一个透明的后验正则化策略，鼓励场景重建与最少的本地化对象和低复杂度的背景。我们在具有结构化背景的具有挑战性的合成多MNIST数据集上评估了我们的方法，并且仅用几百个训练时期就达到了近乎完美的准确度。最后，我们展示了细胞核成像数据集的分割结果，证明了我们的方法能够提供高质量的分割，同时还能处理涉及大量实例的实际用例。
2020-11-25 cs.CV cs.LG
Self-similarity Grouping: A Simple Unsupervised Cross Domain Adaptation Approach for Person Re-identification
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Technology Sydney（悉尼科技大学）；Shanghai Jiao Tong University（上海交通大学）；IBM Research（IBM研究院）；University of Oregon（俄勒冈大学）
领域自适应在人的再识别（re-ID）一直是一个具有挑战性的任务。在这项工作中，我们将探索如何利用目标域样本中存在的自然相似特征，以无监督的方式进行人员重新识别。具体地说，我们提出了一个自相似性聚类（SSG）的方法，它利用潜在的相似性（从全球机构的局部部分）的未标记的样本，自动建立多个集群从不同的观点。然后，这些独立的聚类被分配标签，这些标签作为伪身份来监督训练过程。我们反复交替地进行这样的分组和训练过程，直到模型稳定。尽管明显简化，但我们的SSG在mAP方面分别优于最先进的4.6%（DukeMTMC对Market 1501）和4.4%（Market 1501对DukeMTMC）。在我们的SSG上，我们进一步引入了一种名为SSG ++的聚类引导半监督方法，以在开集设置（即来自目标域的独立身份的数量未知）中进行一次性域自适应。在不花费太多精力标记的情况下，我们的SSG ++可以在SSG上分别进一步促进mAP 10.7%和6.9%。我们的代码可在：https://github.com/OasisYang/SSG.
2019-09-24 cs.AI cs.CV stat.ML
