Spatially Invariant Unsupervised 3D Object-Centric Learning and Scene Decomposition
Australian National University（澳大利亚国立大学）
我们解决了点云上以对象为中心的学习问题，这对于高级关系推理和可扩展的机器智能至关重要。特别是，我们引入了一个框架，SPAIR3D，分解成一个空间混合模型，其中每个组件对应于一个对象的三维点云。为了对点云上的空间混合模型进行建模，我们推导出了倒角混合损失，它自然适合我们的变分训练管道。此外，我们采用了一个对象规范计划，描述每个对象的位置相对于其本地体素网格单元。这样的方案允许SPAIR3D对具有任意数量的对象的场景进行建模。我们评估我们的方法在无监督场景分解的任务。实验结果表明，SPAIR3D具有很强的可扩展性，能够以无监督的方式从点云中检测和分割未知数量的对象。
2022-07-17 cs.CV
Unsupervised Monocular Depth Learning in Dynamic Scenes
Google Research（谷歌研究院）；Robotics at Google（谷歌机器人）；Waymo LLC（Waymo有限责任公司）
我们提出了一种方法，用于联合训练的深度，自我运动，和密集的3D翻译领域的对象相对于场景的估计，与单目光度一致性的唯一来源的监督。我们表明，这显然是严重欠定的问题，可以通过施加以下先验知识的3D翻译领域：他们是稀疏的，因为大部分的场景是静态的，他们往往是恒定的刚性移动对象。我们表明，这种正则化本身就足以训练单眼深度预测模型，超过了在以前的工作中实现的动态场景的准确性，包括需要语义输入的方法。代码位于https://github.com/google-research/google-research/tree/master/depth_and_motion_learning。
2020-11-07 cs.CV cs.GR cs.LG
U3DS$^3$: Unsupervised 3D Semantic Scene Segmentation
Durham University（杜伦大学）
本文提出U3DS$^3$，一种无需预训练和标注的完全无监督3D点云场景分割方法，通过超点生成、空间聚类和伪标签迭代训练，利用体积表示的不变性实现室内外场景分割，在ScanNet和SemanticKITTI上达到最先进性能。
2023-11-10 cs.CV
PlaNeRF: SVD Unsupervised 3D Plane Regularization for NeRF Large-Scale Scene Reconstruction
Shanghai Jiao Tong University（上海交通大学）
针对NeRF因过拟合导致低纹理区域几何重建差的问题，提出基于SVD的无监督平面正则化方法，结合SSIM损失初始化体表示，在大规模户外场景几何重建和KITTI-360 NVS基准上取得更优效果。
2023-11-05 cs.CV cs.LG
RM-Depth: Unsupervised Learning of Recurrent Monocular Depth in Dynamic Scenes
H-1 Research（H-1研究院）
无监督的方法在单目深度估计上显示出有希望的结果。然而，训练数据必须在没有移动对象的场景中捕获。为了提高精度，最近的方法倾向于增加它们的模型参数。本文提出了一种无监督学习框架，用于联合预测单目深度和完整的3D运动，包括运动物体和摄像机的运动。(1)递归调制单元用于自适应地和迭代地融合编码器和解码器特征。这不仅改善了单图像深度推断，而且不会过度消耗模型参数。(2)代替使用单个滤波器集合用于上采样，多个滤波器集合被设计用于残差上采样。这有助于边缘保留滤波器的学习并提高性能。(3)一个基于变形的网络被用来估计运动对象的运动场，而不使用语义先验。这打破了场景刚性的要求，并允许使用一般的视频进行无监督学习。运动场进一步通过异常感知训练损失来正则化。尽管深度模型在测试时间内只使用了一张图像和2.97M参数，但它在KITTI和Cityscapes基准测试中获得了最先进的结果。
2023-03-08 cs.CV
RainyScape: Unsupervised Rainy Scene Reconstruction using Decoupled Neural Rendering
City University of Hong Kong（香港城市大学）；Saint Francis University（圣弗朗西斯大学）
本研究提出无监督框架RainyScape，通过解耦神经渲染与降雨预测模块，结合自适应方向敏感梯度损失，从多视角雨图中重建干净场景，在两类基准上实现最优性能。
2024-04-17 cs.CV
Unsupervised Multi-View Object Segmentation Using Radiance Field Propagation
HKUST（香港科技大学）；UC San Diego（加州大学圣地亚哥分校）；Wuhan University（武汉大学）；Kuaishou Technology（快手科技）
我们提出了辐射场传播（RFP），一种新的方法来分割物体在三维重建过程中只给出未标记的多视图图像的场景。RFP源自新兴的基于神经辐射场的技术，其将语义与外观和几何形状联合编码。我们的方法的核心是一种新的传播策略，用于具有双向光度损失的单个对象的辐射场，从而能够将场景无监督地划分为对应于不同对象实例的突出或有意义的区域。为了更好地处理复杂的场景，多个对象和闭塞，我们进一步提出了一个迭代的期望最大化算法来细化对象掩模。RFP是第一个无监督的方法之一，用于处理神经辐射场（NeRF）的3D真实场景对象分割，而无需任何监督，注释或其他线索，如3D边界框和对象类的先验知识。实验表明，RFP实现了可行的分割结果，比以前的无监督图像/场景分割方法更准确，并与现有的监督NeRF为基础的方法。分割的对象表示使能单独的3D对象编辑操作。
2022-10-19 cs.CV
RoDUS: Robust Decomposition of Static and Dynamic Elements in Urban Scenes
Huawei Paris Research Center（华为巴黎研究中心）
针对大规模城市场景中静态与动态元素分解的挑战，RoDUS采用分离的NeRF模型、基于核的鲁棒初始化及4D语义信息，通过自监督实现精确分解，并在KITTI-360和Pandaset数据集上验证了有效性。
2024-07-17 cs.CV
Gaussian-Constrained LeJEPA Representations for Unsupervised Scene Discovery and Pose Consistency
Computer Vision Researcher（计算机视觉研究员）
本文提出基于高斯约束的LeJEPA表示方法，通过改进的管道提升无监督场景重建中场景分离和姿态估计的鲁棒性。
2026-01-31 cs.CV
UnIRe: Unsupervised Instance Decomposition for Dynamic Urban Scene Reconstruction
Zhejiang University（浙江大学）
提出基于3DGS的无监督方法UnIRe，通过4D superpoints实现动态城市场景的实例分解与重建，支持灵活的实例级编辑。
2025-09-15 cs.CV cs.RO
Dynamo-Depth: Fixing Unsupervised Depth Estimation for Dynamical Scenes
Cornell University（康奈尔大学）
Dynamo-Depth通过联合学习单目深度、三维独立流场和运动分割，利用运动分割初始估计消除动态场景中的深度歧义，在Waymo Open和nuScenes上显著提升运动物体深度估计性能。
2023-10-29 cs.CV
Deformation and Correspondence Aware Unsupervised Synthetic-to-Real Scene Flow Estimation for Point Clouds
Sichuan University（四川大学）；The University of Western Australia（西澳大学）；Central South University（中南大学）；Monash University（莫纳什大学）
点云场景流估计对于自动驾驶中的动态场景导航具有重要的实际意义。由于场景流标签难以获取，现有方法都是在合成数据上训练模型，然后再将其转换到真实场景中。然而，现有的合成数据集和真实场景之间的巨大差异导致模型传输不佳。我们为解决这一问题作出了两项重大贡献。首先，我们为GTA-V引擎开发了一个点云收集器和场景流注释器，以自动获得各种真实感训练样本，而无需人工干预。在此基础上，我们开发了一个大规模的合成场景流数据集GTA-SF。其次，我们提出了一个基于平均教师的领域自适应框架，利用自我生成的伪标签的目标域。它还明确地结合了形状变形正则化和表面对应细化，以解决域转移中的失真和错位。通过大量的实验，我们表明，我们的GTA-SF数据集导致模型泛化到三个真实数据集（即，Waymo，Lyft和KITTI）与最广泛使用的FT 3D数据集相比。此外，我们的框架在六个源-目标数据集对上实现了卓越的自适应性能，显著缩小了60%的平均域差距。有关数据和代码，请访问https://github.com/leolyj/DCA-SRSFE
2022-03-31 cs.CV
HUNTER: Unsupervised Human-centric 3D Detection via Transferring Knowledge from Synthetic Instances to Real Scenes
ShanghaiTech University（上海科技大学）；University of Chinese Academy of Sciences（中国科学院大学）；Innovation Academy for Microsatellites, Chinese Academy of Sciences（中国科学院微小卫星创新研究院）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）
提出无监督3D检测方法HUNTER，通过从合成人体实例向真实场景迁移知识，解决以人为中心场景标注数据不足的问题，在HuCenLife数据集上mAP提升87.8%，接近监督方法性能。
2024-03-15 cs.CV
Unsupervised Depth Completion from Visual Inertial Odometry
University of California, Los Angeles（加州大学洛杉矶分校）
我们描述了一种方法来推断密集的深度从相机运动和稀疏的深度估计使用视觉惯性里程计系统。与使用激光雷达或结构光传感器的点云的其他场景不同，我们只有几百到几千个点，不足以告知场景的拓扑结构。我们的方法首先构建一个分段平面脚手架的场景，然后使用它来推断密集的深度使用的图像以及稀疏点。我们使用一个预测性的跨模态标准，类似于“自我监督”，测量跨时间的光度一致性，前后姿势一致性，以及与稀疏点云的几何兼容性。我们还推出了第一个视觉惯性+深度数据集，我们希望这将促进更多的探索，以结合视觉和惯性传感器的互补优势。为了将我们的方法与以前的工作进行比较，我们采用了无监督的KITTI深度完成基准，并在其上显示了最先进的性能。代码可在：https://github.com/alexklwong/unsupervised-depth-completion-visual-inertial-odometry上获得。
2021-07-21 cs.AI cs.CV cs.LG
Panoramic Depth Estimation via Supervised and Unsupervised Learning in Indoor Scenes
Zhejiang University（浙江大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；National Engineering Research Center of Optical Instrumentation, Zhejiang University（浙江大学国家光学仪器工程技术研究中心）
深度估计作为将二维图像转换到三维空间的必要线索，在机器视觉领域得到了广泛的应用。然而，传统的立体匹配深度估计算法由于噪声大、精度低、多摄像机标定要求严格等原因，在实现全方位360度几何感知方面受到限制。在这项工作中，对于一个统一的周围感知，我们引入全景图像，以获得更大的视野。我们扩展PADENet首次出现在我们以前的会议工作室外场景的理解，执行全景单眼深度估计与室内场景的重点。同时，我们改进了适应全景图像特点的神经网络的训练过程。此外，本文将传统的立体匹配算法与深度学习方法相融合，进一步提高了深度预测的准确性。通过大量的实验，验证了本文提出的室内场景感知方案的有效性。
2021-08-18 cs.CV cs.RO
Flux4D: Flow-based Unsupervised 4D Reconstruction
Waabi；University of Toronto（多伦多大学）；UIUC（伊利诺伊大学香槟分校）
Flux4D通过无监督学习直接从原始数据中重建大规模动态场景，无需预训练模型或先验知识，实现高效且可扩展的4D重建。
2025-12-02 cs.CV cs.LG cs.RO
Self-Supervised Monocular Scene Decomposition and Depth Estimation
KUIS AI Center（KUIS AI中心）；Koç University（科奇大学）
自监督单目深度估计方法要么忽略场景中独立移动的对象，要么需要单独的分割步骤来识别它们。我们提出MonoDepthSeg来联合估计深度并从单目视频中分割移动对象，而不使用任何地面真实标签。我们将场景分解为固定数量的组件，每个组件对应于图像上的一个区域，其自身的变换矩阵表示其运动。我们估计的掩模和运动的每个组件有效地与共享的编码器。我们在三个驱动数据集上评估了我们的方法，并表明我们的模型在将场景分解为单独移动组件的同时明显提高了深度估计。
2021-10-21 cs.CV
UnsupervisedR&R: Unsupervised Point Cloud Registration via Differentiable Rendering
University of Michigan（密歇根大学）
将场景的部分视图对齐为单个整体对于理解环境至关重要，并且是许多机器人任务（如SLAM和SfM）的关键组成部分。最近的方法提出了端到端系统，可以通过利用姿势监督来超越传统方法。然而，随着带有深度传感器的相机的日益普及，我们可以期待新的原始RGB-D数据流，而无需监督所需的注释。我们提出了UnsupervisedR&R：一种端到端的无监督方法，用于从原始RGB-D视频中学习点云注册。关键思想是利用可区分的对齐和渲染来加强帧之间的光度和几何一致性。我们在室内场景数据集上评估了我们的方法，发现我们使用经典和学习的描述符优于现有的传统方法，同时与监督几何点云配准方法竞争。
2021-02-23 cs.CV
ViewNeRF: Unsupervised Viewpoint Estimation Using Category-Level Neural Radiance Fields
University of Edinburgh（爱丁堡大学）
我们介绍了ViewNeRF，这是一种基于神经辐射场的视点估计方法，可以在训练过程中直接从图像中学习预测类别级视点。虽然NeRF通常使用地面实况相机姿势进行训练，但已经提出了多种扩展来减少这种昂贵的监督需求。尽管如此，这些方法中的大多数仍然在具有大的相机移动的复杂设置中挣扎，并且限于单个场景，即它们不能在描绘相同对象类别的场景集合上训练。为了解决这些问题，我们的方法使用的分析合成方法，结合条件NeRF与视点预测器和场景编码器，以产生整个对象类别的自监督重建。我们的目标不是高保真重建，而是在复杂场景中进行高效准确的视点预测，例如在真实数据上进行360°旋转。我们的模型在合成数据集和真实数据集上显示了竞争结果，无论是单个场景还是多实例集合。
2022-12-01 cs.CV
Camera Height Doesn't Change: Unsupervised Training for Metric Monocular Road-Scene Depth Estimation
Graduate School of Informatics, Kyoto University（京都大学情报学研究科）
本文提出FUMET无监督训练框架，利用道路车辆尺寸聚合尺度信息并约束相机高度一致性，使单目深度网络无需额外监督即可实现度量级深度估计，在KITTI和Cityscapes上达到最先进精度。
2024-10-01 cs.CV cs.RO
Bilateral Cyclic Constraint and Adaptive Regularization for Unsupervised Monocular Depth Prediction
University of California, Los Angeles（加州大学洛杉矶分校）；Chung-Ang University（中央大学）
从单个图像推断（假设）场景深度的监督学习方法需要昂贵的每像素地面实况。我们遵循几何方法，利用丰富的立体图像学习模型来假设场景结构，而无需直接监督。虽然我们用立体对训练网络，但我们在测试时只需要一张图像来假设视差或深度。我们提出了一个新的目标函数，利用左右视差之间的双边循环关系，我们引入了一个自适应正则化方案，允许网络处理立体对中的共同可见和遮挡区域。这个过程最终产生一个模型，以生成在单个图像中看到的场景的三维结构的假设。当用于生成一个单一的（最可能的）深度估计时，我们的方法在KITTI基准测试中的表现优于最先进的无监督单目深度预测方法。我们通过将我们在KITTI上训练的模型应用于Make3d数据集，证明了我们的方法可以很好地推广。
2019-06-19 cs.CV
Shakes on a Plane: Unsupervised Depth Estimation from Unstabilized Photography
Princeton University（普林斯顿大学）
现代移动连拍摄影流水线捕获并合并短帧序列以恢复增强的图像，但通常忽略它们捕获的场景的3D性质，将图像之间的像素运动视为2D聚合问题。我们表明，在一个“长脉冲”，四十二个12万像素的RAW帧捕获在一个两秒的序列，有足够的视差信息从自然的手震颤单独恢复高质量的场景深度。为此，我们设计了一种测试时间优化方法，该方法将神经RGB-D表示与长突发数据相匹配，并同时估计场景深度和相机运动。我们的平面加深度模型是端到端训练的，并通过控制网络在训练期间的什么时间可以访问哪些多分辨率体积特征来执行从粗到细的细化。我们通过实验验证了该方法，并展示了几何精度的深度重建，无需额外的硬件或单独的数据预处理和姿态估计步骤。
2023-03-27 cs.CV
ONeRF: Unsupervised 3D Object Segmentation from Multiple Views
The Hong Kong University of Science and Technology（香港科技大学）；Kuaishou Technology（快手科技）；University of Oxford（牛津大学）
我们提出了ONeRF，一种方法，自动分割和重建对象实例在3D从多视图RGB图像，而无需任何额外的手动注释。分割的3D对象使用单独的神经辐射场（NeRF）来表示，其允许各种3D场景编辑和新颖的视图渲染。我们的方法的核心是一种使用迭代期望最大化算法的无监督方法，该算法有效地聚合了来自多视图的2D视觉特征和相应的3D线索，用于联合3D对象分割和重建。与只能处理简单对象的现有方法不同，我们的方法产生具有复杂形状，拓扑结构和外观的单个对象的分段全3D NeRF。分割的ONeRfs支持一系列3D场景编辑，例如对象变换、插入和删除。
2022-11-22 cs.CV
PartSLAM: Unsupervised Part-based Scene Modeling for Fast Succinct Map Matching
Graduate School of Engineering, University of Fukui（福井大学研究生院工学院）
本文提出PartSLAM，一种无监督的基于部件的场景建模方法，利用常见模式发现实现快速简洁的1对N地图匹配，显著加速并大幅压缩地图数据。
2023-06-19 cs.CV cs.RO
U2NeRF: Unsupervised Underwater Image Restoration and Neural Radiance Fields
Indian Institute of Technology Madras（印度马德拉斯理工学院）
本文提出无监督水下神经辐射场U2NeRF，通过Transformer架构将恢复能力融入NeRF并解耦颜色分量，同时发布UVS数据集，在渲染与恢复指标上优于多个基线。
2024-11-25 cs.CV
SIR: Multi-view Inverse Rendering with Decomposable Shadow Under Indoor Intense Lighting
The Hong Kong Polytechnic University（香港理工大学）；Laboratory for Artificial Intelligence in Design（人工智能设计实验室）
提出SIR方法，利用多视图带位姿HDR图像和基于SDF的神经辐射场，通过学习可微阴影与三阶段材质估计，有效分解室内强光下的材质与光照，实现高质量逆向渲染及多种场景编辑功能。
2025-04-26 cs.CV
Back2Color: Domain-Adaptive Synthetic-to-Real Monocular Depth Estimation for Dynamic Traffic Scenes
Back2Color通过域自适应和不确定性融合，提升动态交通场景下单目深度估计的鲁棒性和精度。
2026-01-20 cs.CV
PLNet: Plane and Line Priors for Unsupervised Indoor Depth Estimation
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）理工学院）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院（社会））
室内单目视频深度的无监督学习具有挑战性，因为人工环境包含许多无纹理区域。幸运的是，室内场景充满了特定的结构，如平面和线条，这应该有助于指导无监督的深度学习。本文提出了利用平面和线先验来增强深度估计的PLNet。我们首先表示场景的几何形状使用局部平面系数和施加的表示上的平滑约束。此外，我们通过随机选择一些可能共面或共线的点集来构造简单有效的一致性损失，从而增强平面和线性一致性。为了验证所提出的方法的有效性，我们进一步提出了评估的平面和线性区域上的可靠的预测点云的平面度和直线度。这些区域的规律性指示高质量的室内重建。在NYU Depth V2和ScanNet上的实验表明，PLNet优于现有方法。代码可在\url{https://github.com/HalleyJiang/PLNet}上获得。
2021-10-12 cs.CV
P$^{2}$Net: Patch-match and Plane-regularization for Unsupervised Indoor Depth Estimation
DGene Inc（DGene公司）
本文研究了室内环境中的无监督深度估计问题。这项任务是极具挑战性的，因为在这些场景中的非纹理区域的广大地区。这些区域可能会压倒为户外环境提出的常用无监督深度估计框架中的优化过程。然而，即使当这些区域被掩蔽时，性能仍然不令人满意。在本文中，我们认为，性能不佳遭受的非歧视性的基于点的匹配。为此，我们提出了P $^2$网。我们首先提取具有大的局部梯度的点，并采用以每个点为中心的补丁作为其表示。然后在补丁上定义多视图一致性丢失。该操作显著提高了网络训练的鲁棒性。此外，由于室内场景中的那些无纹理区域（例如，墙壁、地板、屋顶、\etc）通常对应于平面区域，因此我们提出利用超像素作为平面先验。我们强制预测的深度由每个超像素内的平面很好地拟合。在NYUv2和ScanNet上的大量实验表明，我们的P $^2$ Net的性能大大优于现有的方法。代码可在\url{https://github.com/svip-lab/Indoor-SfMLearner}获得。
2020-07-15 cs.CV
Unsupervised Simultaneous Learning for Camera Re-Localization and Depth Estimation from Video
Toyota Central R&D Labs., Inc.（丰田中央研发实验室株式会社）
我们提出了一个无监督的同时学习框架的任务，单目摄像机重新定位和深度估计从未标记的视频序列。单目摄像机重定位是指在已知环境中从实例图像估计摄像机绝对姿态的任务，这已经被深入研究用于GPS拒绝环境中的替代定位。在最近的工作中，摄像机重新定位方法通过监督学习从摄像机图像和摄像机姿态对进行训练。与以前的作品相比，我们提出了一个完全无监督学习框架，用于相机重新定位和深度估计，只需要单目视频序列进行训练。在我们的框架中，我们训练两个网络，它们使用方向和来自每个图像的深度图来估计场景坐标，然后将它们组合起来估计相机姿态。该网络可以通过基于我们的闭环视图合成的损失函数的最小化来训练。在7场景数据集的实验中，所提出的方法优于最先进的视觉SLAM，ORB-SLAM 3的重新定位。我们的方法在训练环境中的表现也优于最先进的单眼深度估计。
2022-03-24 cs.CV cs.RO
MOSO: Decomposing MOtion, Scene and Object for Video Prediction
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院）
运动、场景和对象是视频的三个主要视觉组成部分。具体而言，对象表示前景，场景表示背景，并且运动跟踪它们的动态。基于这一认识，我们提出了一个两阶段的运动，场景和对象分解框架（MOSO）的视频预测，包括MOSO-VQVAE和MOSO-Transformer。在第一阶段中，MOSO-VQVAE将先前的视频片段分解为运动、场景和对象分量，并将它们表示为不同的离散令牌组。然后，在第二阶段，MOSO-Transformer基于先前的令牌预测后续视频剪辑的对象和场景令牌，并在令牌级别将动态运动添加到生成的对象和场景令牌。我们的框架可以很容易地扩展到无条件的视频生成和视频帧插值任务。实验结果表明，我们的方法在视频预测和无条件视频生成的五个具有挑战性的基准测试中实现了新的最先进性能：BAIR、RoboNet、KTH、KITTI和UCF 101。此外，MOSO可以通过组合来自不同视频的对象和场景来制作逼真的视频。
2023-03-16 cs.CV
MONet: Unsupervised Scene Decomposition and Representation
DeepMind（深度思维）
将场景分解为抽象的积木的能力对于一般智能来说至关重要。当这些基本构建块在场景中共享有意义的属性、交互和其他特性时，这种分解可以简化推理并促进对新场景的想象。特别是，以实体表示感知观察应该提高数据效率和广泛任务的传输性能。因此，我们需要的模型能够发现有用的分解场景识别单位与这样的矩阵，并表示它们在一个共同的格式。为了解决这个问题，我们开发了多对象网络（MONet）。在这个模型中，VAE与循环注意力网络一起进行端到端的训练-以完全无监督的方式-提供图像区域周围的注意力掩码和图像区域的重建。我们表明，该模型能够学习分解和表示具有挑战性的3D场景到语义有意义的组件，如对象和背景元素。
2019-01-22 cs.CV cs.LG stat.ML
Unsupervised and interpretable scene discovery with Discrete-Attend-Infer-Repeat
University of Cambridge（剑桥大学）
在这项工作中，我们提出了离散注意推断重复（离散空气），一个经常性的自动编码器与结构化的潜在分布包含离散分类分布，连续属性分布，和分解空间注意。离散空气模型的灵感来自于原始空气模型和保留空气模型的能力，在识别图像中的对象，离散空气提供了直接解释的潜在代码。我们表明，对于多MNIST和多对象版本的dSprites数据集，离散空气模型只需要一个分类的潜在变量，一个属性变量（仅适用于多MNIST），以及空间注意力变量，有效的推理。我们进行分析表明，学习的分类分布有效地捕捉多MNIST和多精灵的场景中的对象的类别。
2019-03-14 cs.CV cs.LG stat.ML
Unsupervised Traffic Scene Generation with Synthetic 3D Scene Graphs
TUM（慕尼黑工业大学）；BMW AG（宝马股份公司）；JHU（约翰斯·霍普金斯大学）；Google（谷歌）
由计算机图形学驱动的图像合成最近取得了显着的现实主义，但这种方式产生的合成图像数据显示了一个显着的领域差距，相对于真实世界的数据。在自动驾驶场景中尤其如此，这代表了克服利用合成数据训练神经网络的关键方面。提出了一种基于区域不变场景表示的交通场景图像合成方法。具体来说，我们依赖于合成场景图作为我们的内部表示，并引入了一个无监督的神经网络架构的现实交通场景合成。我们增强合成场景图的空间信息的场景，并证明我们的方法通过场景操作的有效性。
2023-03-15 cs.CV cs.LG cs.RO
SPACE: Unsupervised Object-Oriented Scene Representation via Spatial Attention and Decomposition
Rutgers University（罗格斯大学）；Zhejiang University（浙江大学）
将复杂的多对象场景分解为像对象这样有意义的抽象的能力是实现更高层次认知的基础。以往的无监督面向对象场景表示学习方法要么基于空间注意力，要么基于场景混合，可扩展性有限，这是对真实世界场景建模的主要障碍。在本文中，我们提出了一个生成的潜变量模型，称为空间，它提供了一个统一的概率建模框架，结合了最好的空间注意力和场景混合的方法。空间可以显式地为前景对象提供因子分解的对象表示，同时也分解复杂形态的背景段。以前的模型在这两方面都很好，但不是两者都好。空间还解决了以前的方法，通过将并行空间注意力的可扩展性问题，因此适用于场景中有大量的对象，而不会降低性能。我们通过在Atari和3D-Rooms上的实验表明，与SPAIR、IODINE和GENESIS相比，SPACE始终实现了上述属性。我们的实验结果可以在我们的项目网站上找到：https://sites.google.com/view/space-project-page
2020-03-15 cs.CV cs.LG eess.IV
Unsupervised Object Learning via Common Fate
Tübingen AI Center（图宾根人工智能中心）；University of Tübingen（图宾根大学）；EPFL（洛桑联邦理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Amazon（亚马逊）
本文提出一种无监督对象学习方法，通过运动分割、生成建模和条件化死叶场景模型，从无标签视频中学习可泛化的生成式对象模型，并在Fishbowl数据集上验证了其超越训练分布采样的能力。
2023-05-15 cs.CV cs.LG stat.ML
Feed-Forward SceneDINO for Unsupervised Semantic Scene Completion
TU Munich（慕尼黑工业大学）；TU Darmstadt（达姆施塔特工业大学）；University of Oxford（牛津大学）；MCML（慕尼黑机器学习中心）；ELIZA
本文提出前馈 SceneDINO，仅利用多视图一致性自监督从单图推断三维几何与 DINO 特征，并通过三维特征蒸馏实现无监督语义场景补全，取得当前最优分割精度。
2025-07-25 cs.CV
Scene-Centric Unsupervised Panoptic Segmentation
TU Darmstadt（图宾根大学）；TU Munich（慕尼黑工业大学）；University of Oxford（牛津大学）；MCML；ELIZA
该研究针对无监督全景分割问题，提出首个直接基于以场景为中心图像训练的方法，结合视觉表示、深度和运动线索生成伪标签并采用自训练策略，在Cityscapes数据集上PQ指标较现有技术提升9.4个百分点。
2025-04-02 cs.CV
Pix2Shape: Towards Unsupervised Learning of 3D Scenes from Images using a View-based Representation
Université de Montreal（蒙特利尔大学）；Element AI；Algolux；McGill University（麦吉尔大学）
我们推断和生成三维（3D）场景信息，从一个单一的输入图像，没有监督。这个问题还没有得到充分的探讨，大多数先前的工作都依赖于监督，例如，3D地面实况，场景的多个图像，图像轮廓或关键点。我们提出了Pix 2Shape，一种通过四个组件解决这个问题的方法：（i）编码器，其从图像推断潜在3D表示，（ii）解码器，其从潜在代码生成场景的显式2.5D基于面元的重构，（iii）可微分渲染器，其从面元表示合成2D图像，以及（iv）评价器网络，其被训练以区分由解码器-渲染器生成的图像和来自训练分布的图像。Pix 2Shape可以生成复杂的3D场景，这些场景可以根据视图相关的屏幕分辨率进行缩放，这与捕获世界空间分辨率的表示不同，即，体素或网格。我们表明，Pix 2Shape在其编码的潜在空间中学习一致的场景表示，然后可以将解码器应用于该潜在表示，以便从一个新的角度合成场景。我们评估Pix 2Shape与ShapeNet数据集上的实验，以及我们开发的一个新的基准，称为3D-IQTT，评估模型的基础上，使3D空间推理的能力。定性和定量评估表明Pix 2Shape解决场景重建，生成和理解任务的能力。
2020-04-17 cs.CV cs.LG stat.ML
Few-Shot Unsupervised Image-to-Image Translation on complex scenes
无监督图像到图像翻译方法在过去几年中受到了广泛的关注。出现了多种技术，从不同的角度应对最初的挑战。一些专注于尽可能多地从多个目标样式图像中学习以进行翻译，而另一些则利用目标检测来在内容丰富的场景中产生更逼真的结果。在这项工作中，我们评估了一种最初为单个对象翻译开发的方法如何在更多样化和内容丰富的图像上执行。我们的工作基于FUNIT[1]框架，我们用更多样化的数据集对其进行训练。这有助于理解这种方法在其初始应用框架之外的行为。提出了一种基于目标检测的数据集扩展方法。此外，我们提出了一种方法来适应FUNIT框架，以利用目标检测的力量，可以看到在其他方法。
2021-06-07 cs.CV cs.LG
U4D: Unsupervised 4D Dynamic Scene Understanding
University of Surrey（萨里大学）
我们介绍了第一种方法来解决具有挑战性的问题，无监督的4D视觉场景理解的复杂动态场景与多个交互的人从多视角视频。我们的方法同时估计一个详细的模型，其中包括每像素的语义和时间相干重建，以及利用照片的一致性，语义和运动信息的实例级分割。我们进一步利用最近的进展，在三维姿态估计约束联合语义实例分割和四维时间相干重建。这使得在复杂的动态场景中的多个交互的人的每个人的语义实例分割成为可能。对具有挑战性的室内和室外序列的最先进的方法的联合视觉场景理解框架的广泛评估表明，在语义分割，重建和场景流的准确性显着（约40%）的改善。
2019-07-23 cs.CV
Towards Unsupervised Familiar Scene Recognition in Egocentric Videos
University of Groningen（格罗宁根大学）；University of Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）
如今，人们对使用生活记录设备的兴趣高涨。这些设备会产生大量的图像数据;因此，对分析和汇总这些数据的自动方法的需求急剧增加。我们提出了一种新的方法，熟悉的场景识别自我中心的视频，通过自动配置COSFIRE过滤器的背景模式检测的基础上。我们提出了一些实验与叙事剪辑获得的自我中心的数据。
2019-05-10 cs.CV
Unsupervised Video Prediction from a Single Frame by Estimating 3D Dynamic Scene Structure
Institute of Science Technology (IST) Austria（奥地利科学技术研究所）
我们在这项工作中的目标是生成逼真的视频，只需一个初始帧作为输入。针对此任务的现有无监督方法没有考虑视频通常显示3D环境的事实，并且即使在相机和对象移动时，这也应该从帧到帧保持一致。我们通过开发一个模型来解决这个问题，该模型首先估计场景的潜在3D结构，包括任何移动对象的分割。然后，它通过模拟对象和相机动态来预测未来的帧，并渲染生成的视图。重要的是，它是端到端训练的，只使用预测未来帧的无监督目标，没有任何3D信息或分割注释。在两个具有挑战性的自然视频数据集上的实验表明，我们的模型可以从单个帧中估计3D结构和运动分割，从而生成合理和多样的预测。
2021-06-16 cs.AI cs.CV cs.LG
Unsupervised object-centric video generation and decomposition in 3D
IST Austria（IST奥地利）
视频生成建模的一种自然方法是将它们表示为移动对象的组合。最近的作品在缓慢变化的背景上模拟了一组2D精灵，但没有考虑产生它们的底层3D场景。相反，我们建议将视频建模为在具有多个3D对象和3D背景的场景中移动时看到的视图。我们的模型是在没有任何监督的情况下从单眼视频中训练出来的，但它学会了生成包含多个移动物体的连贯3D场景。我们在两个数据集上进行了详细的实验，超越了最先进的生成方法所支持的视觉复杂性。我们评估我们的方法的深度预测和3D目标检测-任务，不能解决这些早期的作品-并显示它甚至在2D实例分割和跟踪。
2021-03-24 cs.CV cs.LG stat.ML
MPASNET: Motion Prior-Aware Siamese Network for Unsupervised Deep Crowd Segmentation in Video Scenes
Shanghai Jiao Tong University（上海交通大学）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
人群分割是拥挤景物分析的基础，获得精细的像素级分割图是非常必要的。然而，它仍然是一个具有挑战性的问题，因为现有的方法要么需要密集的像素级注释来训练深度学习模型，要么仅仅从具有物理模型的光学或粒子流中产生粗略的分割图。在本文中，我们提出了运动先验感知暹罗网络（MPASNET）的无监督人群语义分割。该模型不仅消除了对注释的需要，而且还产生高质量的分割图。特别地，我们首先分析跨帧的相干运动模式，然后在集体粒子上应用圆形区域合并策略来生成伪标签。此外，我们为MPASNET配备了用于增强不变正则化和连体特征聚合的连体分支。在基准数据集上的实验表明，我们的模型在mIoU方面比最先进的模型高出12%以上。
2021-06-02 cs.CV cs.LG
Unsupervised Learning of Compositional Scene Representations from Multiple Unspecified Viewpoints
Shanghai Key Laboratory of Intelligent Information Processing, School of Computer Science, Fudan University（复旦大学计算机科学技术学院上海市智能信息处理重点实验室）
视觉场景具有极其丰富的多样性，这不仅是因为存在着物体和背景的无限组合，而且还因为同一场景的观察结果可能会随着视点的变化而发生很大的变化。当从多个视点观察包含多个对象的视觉场景时，人类能够从每个视点以合成的方式感知场景，同时在不同的视点之间实现所谓的“对象恒定性”，即使确切的视点是未知的。这种能力对于人类在移动时识别同一物体并有效地从视觉中学习至关重要。设计具有类似能力的模型是有趣的。在本文中，我们考虑了一个新的问题，学习组成场景表示从多个未指定的观点，而不使用任何监督，并提出了一个深度生成模型，分离潜在的表示为一个视点无关的部分和视点相关的部分来解决这个问题。为了推断潜在表征，包含在不同视点中的信息由神经网络迭代地整合。在几个专门设计的合成数据集上的实验表明，该方法能够有效地从多个未指定的视点进行学习。
2021-12-12 cs.CV cs.LG
SCENIR: Visual Semantic Clarity through Unsupervised Scene Graph Retrieval
提出SCENIR，一种基于图自编码器的无监督场景图检索框架，通过图编辑距离替代不一致的文本描述监督，提升图像检索的语义理解，并在反事实检索中取得领先性能。
2025-05-21 cs.CV cs.LG
Shoot-Bounce-3D: Single-Shot Occlusion-Aware 3D from Lidar by Decomposing Two-Bounce Light
Massachusetts Institute of Technology（麻省理工学院）；Meta
通过分解双次反射光，单次测量实现遮挡和镜面场景的3D重建
2025-12-05 cs.CV
Scene-Centric Unsupervised Video Panoptic Segmentation
TU Munich（慕尼黑技术大学）；TU Darmstadt（达姆施塔特技术大学）；NVIDIA（英伟达）；University of Oxford（牛津大学）；MCML；ELIZA
提出无监督视频全景分割任务及首个方法VideoCUPS，利用深度、运动和视觉线索生成伪标签，并通过Video DropLoss训练，在无监督条件下实现准确分割。
2026-06-03 cs.CV
Learning to navigate image manifolds induced by generative adversarial networks for unsupervised video generation
Institut national de la recherche scientifique (INRS-EMT)（国家科学研究院（INRS-EMT））
在这项工作中，我们介绍了一个两步的框架生成建模的时态数据。具体而言，生成对抗网络（GANs）设置用于生成移动对象的合成场景。为此，我们提出了一个两步训练方案，其中：首先训练静态帧的生成器。然后，训练一个递归模型，目标是为先前训练的帧生成器提供一系列输入，从而产生看起来自然的场景。在这两个训练步骤中都采用了对抗性设置。然而，为了避免GANs中已知的训练不稳定性，使用多重训练方法来训练这两个模型。在研究的视频数据集的结果表明，通过采用这种方法，经常性的部分是能够学习如何连贯地导航由帧生成器引起的图像流形，从而产生更自然的场景。
2019-01-23 cs.CV cs.LG stat.ML
Multi-Object Classification and Unsupervised Scene Understanding Using Deep Learning Features and Latent Tree Probabilistic Models
University of California, Irvine（加州大学欧文分校）
深度学习已经在ImageNet等数据集上显示出最先进的分类性能，这些数据集在每个图像中包含一个对象。然而，多目标分类更具挑战性。我们提出了一个统一的框架，利用多种机器学习方法的优势，即深度学习，概率模型和内核方法，以获得最先进的性能在Microsoft COCO上，由非图标图像。我们通过条件潜在树概率模型（CLTM）将上下文信息纳入自然图像中，其中对象同现以从预训练的Imagenet CNN中提取的fc 7特征为条件作为输入。我们学习的CLTM树结构使用条件成对概率的对象同现，通过内核方法估计，我们学习它的节点和边缘的潜力，通过训练一个新的3层神经网络，它需要FC 7功能作为输入。对象分类是通过对学习条件树模型的推理进行的，我们在MS-COCO上获得了显着的精度-召回率和F-措施，特别是对于困难的对象类别。此外，CLTM中的潜变量捕获场景信息：具有潜在节点的顶部激活的图像具有共同的主题，例如草原或食物场景等。此外，我们表明，仅对推断的潜在节点进行简单的k均值聚类显着提高了MIT-Indoor数据集上的场景分类性能，而无需任何重新训练，并且在训练期间不使用场景标签。因此，我们提出了一个统一的框架，多目标分类和无监督场景理解。
2015-05-02 cs.CV cs.LG
Unsupervised Anomalous Trajectory Detection for Crowded Scenes
Indian Institute of Engineering Science and Technology, Shibpur（印度希布尔工程科学技术学院）；Indian Institute of Space Science and Technology（印度空间科学技术学院）
提出了一种改进的基于聚类的无监督异常轨迹检测算法。所提出的工作是基于四个主要步骤，即，从拥挤的场景视频中提取的轨迹，从这些轨迹中提取的几个功能，独立的均值漂移聚类和异常检测。首先，使用多特征视频对象跟踪器提取人群中所有运动对象的轨迹。然后将这些轨迹转换为一组特征空间。均值漂移聚类应用于这些特征矩阵，以获得不同的集群，而基于香农熵的异常检测器识别相应的异常。在最后一步中，投票机制识别出表现出异常特征的轨迹。该算法是测试人群场景视频数据集。视频代表了各种可能的人群场景，具有不同的运动模式，该方法可以很好地从场景中检测出预期的异常轨迹。
2019-07-03 cs.CV eess.IV
Unsupervised Learning of 3D Scene Flow with 3D Odometry Assistance
Shanghai Jiao Tong University（上海交通大学）；China University of Mining and Technology（中国矿业大学）
场景流表示场景中每个点的3D运动，它明确地描述了每个点移动的距离和方向。场景流估计用于各种应用，诸如自动驾驶领域、活动识别和虚拟现实领域。由于用真实数据来注释场景流是具有挑战性的，因此这使得没有真实数据集可用于为场景流估计提供具有真实数据的大量数据。因此，许多作品使用合成数据来预训练网络，并使用真实世界的LiDAR数据进行微调。与以前的点云中场景流的无监督学习不同，我们建议使用里程信息来辅助场景流的无监督学习，并使用真实世界的LiDAR数据来训练我们的网络。监督里程为场景流提供更准确的分担成本量。此外，该网络具有掩码加权的翘曲层，以获得更准确的预测点云。扭曲操作是指将估计的姿态变换或场景流应用于源点云以获得预测点云，并且是从粗到细细化场景流的关键。当执行扭曲操作时，处于不同状态的点使用不同的权重进行姿势变换和场景流变换。我们将点的状态分为静态、动态和被遮挡三种，其中静态掩码用于划分静态点和动态点，遮挡掩码用于划分被遮挡点。遮罩加权扭曲层指示在执行扭曲操作时使用静态遮罩和遮挡遮罩作为权重。在烧蚀实验中，我们的设计是有效的。实验结果表明，里程计辅助的无监督学习方法在真实世界数据的三维场景流有很好的应用前景。
2022-09-11 cs.CV
Unsupervised Deep Epipolar Flow for Stationary or Dynamic Scenes
Australian National University（澳大利亚国立大学）；ACRV（澳大利亚机器人视觉中心）；Data61 CSIRO（联邦科学与工业研究组织数据61研究所）；NEC Labs America（NEC美国实验室）；Northwestern Polytechnical University（西北工业大学）
用于光流计算的无监督深度学习已经取得了有希望的结果。大多数现有的基于深度网络的方法依赖于图像亮度一致性和局部平滑约束来训练网络。在出现重复纹理或遮挡的区域，它们的性能会降低。在本文中，我们提出了深极流，一种无监督的光流方法，将全局几何约束纳入网络学习。特别是，我们研究了多种方式来执行极线约束的流量估计。为了缓解“鸡和蛋”类型的问题，在动态场景中，可能存在多个运动，我们提出了一个低秩约束，以及一个union-of-subspaces约束训练。在各种基准数据集上的实验结果表明，与监督方法相比，我们的方法具有竞争力的性能，并且优于最先进的无监督深度学习方法。
2022-07-14 cs.CV
