Unsupervised Depth Completion from Visual Inertial Odometry
University of California, Los Angeles（加州大学洛杉矶分校）
我们描述了一种方法来推断密集的深度从相机运动和稀疏的深度估计使用视觉惯性里程计系统。与使用激光雷达或结构光传感器的点云的其他场景不同，我们只有几百到几千个点，不足以告知场景的拓扑结构。我们的方法首先构建一个分段平面脚手架的场景，然后使用它来推断密集的深度使用的图像以及稀疏点。我们使用一个预测性的跨模态标准，类似于“自我监督”，测量跨时间的光度一致性，前后姿势一致性，以及与稀疏点云的几何兼容性。我们还推出了第一个视觉惯性+深度数据集，我们希望这将促进更多的探索，以结合视觉和惯性传感器的互补优势。为了将我们的方法与以前的工作进行比较，我们采用了无监督的KITTI深度完成基准，并在其上显示了最先进的性能。代码可在：https://github.com/alexklwong/unsupervised-depth-completion-visual-inertial-odometry上获得。
2021-07-21 cs.AI cs.CV cs.LG
Multiresolution Deep Implicit Functions for 3D Shape Representation
Google（谷歌）；ShanghaiTech University（上海科技大学）
我们介绍了多分辨率深度隐式函数（MDIF），一个分层表示，可以恢复精细的几何细节，同时能够执行全局操作，如形状完成。我们的模型代表了一个复杂的3D形状，具有层次结构的潜在网格，可以解码为不同的细节级别，并实现更好的准确性。对于形状完成，我们提出了潜在的网格丢弃来模拟潜在空间中的部分数据，因此将完成功能推迟到解码器端。这与我们的多分辨率设计一起显着提高了仅解码器潜在优化下的形状完成质量。据我们所知，MDIF是第一个深度隐式函数模型，可以同时（1）表示不同级别的细节并允许渐进解码;（2）支持编码器-解码器推理和仅解码器潜在优化，并实现多个应用;（3）执行详细的仅解码器形状完成。实验证明了其在各种3D重建任务中相对于现有技术的优越性能。
2021-09-16 cs.CV
Unsupervised 3D Point Cloud Completion via Multi-view Adversarial Learning
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；City University of Hong Kong（香港城市大学）；Huaqiao University（华侨大学）
提出无监督3D点云补全框架MAL-UPC，利用区域级和类别特定几何相似性及多视角对抗学习，仅需单视角部分观测即可重建缺失结构，性能超越现有自监督方法。
2025-04-07 cs.CV
Self-Supervised Depth Completion Guided by 3D Perception and Geometry Consistency
Beijing Normal University（北京师范大学）
针对无监督深度补全忽视3D结构导致精度低的问题，提出利用3D感知特征与多视图几何一致性，构建自监督深度补全方法，在NYU-Depthv2和VOID上达到最优无监督性能。
2023-12-23 cs.CV
Unsupervised Point Cloud Pre-Training via Occlusion Completion
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；UC Berkeley（加州大学伯克利分校）；University College London（伦敦大学学院）
我们描述了一个简单的点云预训练方法。它分为三个步骤：1.屏蔽在相机视图中被遮挡的所有点; 2.学习编码器-解码器模型以重建被遮挡点; 3.使用编码器权重作为下游点云任务的初始化。我们发现，即使我们构建了一个单一的预训练数据集（来自ModelNet 40），这种预训练方法也可以提高不同数据集和编码器在广泛的下游任务中的准确性。具体来说，我们证明了我们的方法在对象分类以及基于部分和语义分割任务方面优于以前的预训练方法。我们研究了预训练的特征，发现它们会导致宽的下游最小值，具有高变换不变性，并且具有与部件标签高度相关的激活。代码和数据可在https://github.com/hansen7/OcCo上获得
2021-10-13 cs.CV cs.LG
Deep-3DAligner: Unsupervised 3D Point Set Registration Network With Optimizable Latent Vector
New York University Abu Dhabi（纽约大学阿布扎比分校）；NYU Tandon School of Engineering（纽约大学坦登工程学院）
点云配准是通过搜索几何变换来对齐一对点集的过程。与经典的基于优化的方法不同，最近的基于学习的方法利用深度学习的力量来配准一对点集。在本文中，我们提出开发一种新的模型，将优化与学习有机地结合起来，旨在解决3D配准中的技术挑战。更具体地说，除了深度转换解码网络之外，我们的框架还引入了可优化的深度\underline{S}空间\underline{C}或关系\underline{R}表示（SCR）功能。变换解码器网络的SCR特征和权重被联合更新，以最小化无监督对准损失。我们进一步提出了一个自适应倒角损失对齐部分形状。为了验证我们提出的方法的性能，我们在ModelNet 40数据集上进行了大量的实验。结果表明，我们的方法实现了显着更好的性能比以前的国家的最先进的方法在完整/部分点集配准任务。
2020-09-29 cs.CV
DEUX: Active Exploration for Learning Unsupervised Depth Perception
Yale University（耶鲁大学）
提出DEUX主动探索方法，利用深度不确定性引导运动规划收集数据，提升无监督深度补全性能，在MP3D上平均改善超18%，并增强零样本泛化。
2023-09-16 cs.CV cs.LG cs.RO
Learning Topology from Synthetic Data for Unsupervised Depth Completion
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一种从图像和稀疏深度测量推断密集深度图的方法，该方法利用合成数据来学习稀疏点云与密集自然形状的关联，并使用图像作为证据来验证预测的深度图。我们针对自然形状的学习先验仅使用稀疏深度作为输入，而不是图像，因此当尝试将学习模型从合成数据转换为真实数据时，该方法不受协变量偏移的影响。这使我们能够使用大量的合成数据与地面真理学习重建过程中最困难的组成部分，这是拓扑估计，并使用图像来完善基于光度证据的预测。我们的方法比以前的方法使用更少的参数，但在室内和室外基准数据集上都达到了最先进的水平。代码可在：https://github.com/alexklwong/learning-topology-synthetic-data获得。
2021-08-24 cs.CV cs.LG cs.RO
Discontinuous and Smooth Depth Completion with Binary Anisotropic Diffusion Tensor
University of Tokyo（东京大学）；Nippon Telegraph and Telephone Corporation（日本电报电话公司）
我们提出了一个无监督的实时密集深度完成稀疏深度图指导下的一个单一的图像。我们的方法生成平滑的深度图，同时保留不同对象之间的不连续性。我们的核心思想是一个二元各向异性扩散张量（B-ADT），它可以完全消除光滑约束在预期的位置和方向，通过将其应用到变分正则化。我们还提出了一个图像引导的最近邻搜索（IGNNS），以获得一个分段恒定的深度图，用于B-ADT推导和变分能量的数据项。我们的实验表明，我们的方法可以优于以前的无监督和半监督深度完成方法的准确性。此外，由于我们得到的深度图保留了对象之间的不连续性，因此可以将结果转换为视觉上合理的点云。这是值得注意的，因为以前的方法产生不自然的表面不连续的对象之间的文物。
2020-06-25 cs.CV cs.RO
Unsupervised Depth Completion with Calibrated Backprojection Layers
UCLA Vision Lab（加州大学洛杉矶分校视觉实验室）
我们提出了一个深度神经网络架构，从图像和稀疏点云推断密集深度。它是使用视频流和相应的同步稀疏点云（如从LIDAR或其他范围传感器获得的）以及相机的固有校准参数来训练的。在推理时，摄像机的校准（可能与用于训练的摄像机不同）作为输入与稀疏点云和单个图像一起馈送到网络。校准后的反投影层使用校准矩阵和深度特征描述符将图像中的每个像素反投影到三维空间。产生的3D位置编码与图像描述符和前一层输出级联，以产生编码器下一层的输入。解码器，利用跳跃连接，产生密集的深度图。由此产生的校准反投影网络（KBNet）在没有监督的情况下通过最小化光度重投影误差进行训练。KBNet基于训练集而不是通用正则化来估算缺失的深度值。我们在公共深度完成基准上测试KBNet，当使用相同的相机进行训练和测试时，它在室内和室外的表现分别比最先进的水平高出30.5%和8.8%。当测试相机不同时，改进达到62%。代码可在：https://github.com/alexklwong/calibrated-backprojection-network获得。
2021-10-10 cs.AI cs.CV cs.LG
Neural Marionette: Unsupervised Learning of Motion Skeleton and Latent Dynamics from Volumetric Video
Seoul National University（首尔大学）
我们提出了神经木偶，一种无监督的方法，从动态序列中发现骨骼结构，并学习生成与观察到的运动动态一致的各种运动。给定任意运动下关节体的点云观察的视频流，我们的方法发现未知的低维骨架关系，可以有效地表示运动。然后利用所发现的结构将动态序列的运动先验编码到潜在结构中，该潜在结构可以被解码为相对关节旋转以表示完整的骨架运动。我们的方法在没有任何关于潜在运动或骨架结构的先验知识的情况下工作，并且我们证明了所发现的结构在表示4D运动序列时甚至可以与手工标记的地面真实骨架相媲美。骨架结构嵌入了可能的运动空间的一般语义，可以为不同的场景生成运动。我们验证了所学习的运动先验可推广到多模态序列生成、两个姿势的插值和运动重定向到不同的骨架结构。
2022-02-17 cs.AI cs.CV
DesNet: Decomposed Scale-Consistent Network for Unsupervised Depth Completion
Nanjing University of Science and Technology（南京理工大学）
无监督深度补全旨在从稀疏深度恢复密集深度，而不使用地面实况注释。虽然从LiDAR获得的深度测量通常是稀疏的，但它包含有效和真实的距离信息，即，比例一致的绝对深度值。与此同时，尺度不可知的同行寻求估计相对深度，并取得了令人印象深刻的性能。为了利用这两个固有特性，我们建议在无监督的规模不可知框架上对规模一致的深度进行建模。具体来说，我们提出了分解尺度一致性学习（DSCL）策略，该策略将绝对深度分解为相对深度预测和全局尺度估计，有助于个体学习的益处。但不幸的是，大多数现有的无监督尺度无关框架严重遭受深度洞，由于非常稀疏的深度输入和弱监督信号。为了解决这个问题，我们引入了全局深度指导（GDG）模块，它通过新的密集到稀疏的注意力，将密集的深度参考传播到稀疏的目标。大量的实验表明，我们的方法在室外KITTI基准测试中的优越性，排名第一，在RMSE方面优于最好的KBNet超过12%。此外，我们的方法在室内NYUv2数据集上实现了最先进的性能。
2022-11-20 cs.CV
POC-SLT: Partial Object Completion with SDF Latent Transformers
University of Tübingen（蒂宾根大学）
提出POC-SLT，利用SDF潜空间变换器对部分观测的三维形状进行补全，通过VAE编码和掩码自编码器在潜空间完成序列，在ShapeNet和ABC数据集上显著优于基线方法。
2024-11-08 cs.CV
UnCLe: Benchmarking Unsupervised Continual Learning for Depth Completion
本文提出首个深度补全无监督持续学习基准 UnCLe，通过跨领域、多传感器的连续数据流评估代表性方法，揭示灾难性遗忘仍待解决。
2025-06-09 cs.CV cs.LG
Feed-Forward SceneDINO for Unsupervised Semantic Scene Completion
TU Munich（慕尼黑工业大学）；TU Darmstadt（达姆施塔特工业大学）；University of Oxford（牛津大学）；MCML（慕尼黑机器学习中心）；ELIZA
本文提出前馈 SceneDINO，仅利用多视图一致性自监督从单图推断三维几何与 DINO 特征，并通过三维特征蒸馏实现无监督语义场景补全，取得当前最优分割精度。
2025-07-25 cs.CV
BridgeShape: Latent Diffusion Schrödinger Bridge for 3D Shape Completion
BridgeShape通过将形状补全建模为最优传输问题，并引入深度增强的向量量化变分自编码器，实现高效且高保真的3D形状补全。
2026-03-17 cs.CV
An Efficient Tensor Completion Method via New Latent Nuclear Norm
Guangdong University of Technology（广东工业大学）
在张量完备化中，通常使用潜在核范数来诱导低秩结构，但由于使用了不平衡的展开方案，基本上无法捕获全局信息。为了克服这个缺点，一个新的潜在的核范数配备了一个更平衡的展开计划，低秩正则化。利用观测张量的稀疏性结构，将新的隐核范数与Frank-Wolfe（FW）算法相结合，提出了一种有效的完备化方法.具体来说，FW线性子问题和线搜索都只需要访问观察到的条目，通过它，我们可以在迭代过程中保持稀疏张量和一组小基矩阵。大多数运算都是基于稀疏张量的，FW线性子问题的封闭解可以通过秩一SVD得到。我们从理论上分析了所提出的方法的空间复杂度和时间复杂度，并表明它是更有效的比其他基于范数的高阶张量的完成方法。大量的视觉数据修复实验结果表明，该方法能够以较小的时间和空间代价达到最佳的修复效果，对于内存受限的设备在实际应用中具有重要意义。
2019-10-14 cs.CV
Unsupervised Partial Point Set Registration via Joint Shape Completion and Registration
NYU Multimedia and Visual Computing Lab, NYU Tandon（纽约大学坦登工程学院多媒体与视觉计算实验室）；NYU Abu Dhabi（纽约大学阿布扎比分校）；Department of Electrical and Computer Engineering, NYU Tandon（纽约大学坦登工程学院电气与计算机工程系）；Department of Electrical and Computer Engineering, NYU Abu Dhabi（纽约大学阿布扎比分校电气与计算机工程系）
提出了一种自监督的局部点集配准方法。虽然最近提出的基于学习的方法已经取得了令人印象深刻的注册性能的完整形状的意见，这些方法大多遭受性能下降时，处理部分形状。为了弥补部分点集配准与全点集配准之间的性能差距，我们提出了一个形状完成网络，以利于配准过程。为了实现这一点，我们为每对形状设计了一个潜在的代码，它可以被视为目标形状的几何编码。通过这样做，我们的模型确实需要一个显式的特征嵌入网络来学习特征编码。更重要的是，我们的形状完成网络和点集配准网络都将共享的潜在代码作为输入，这些代码在训练过程中与两个解码器网络的参数一起优化。因此，点集配准过程因此可以受益于潜码的联合优化过程，潜码被强制表示完整形状的信息而不是部分形状的信息。在推理阶段，我们固定网络参数，优化潜在代码，以获得最佳的形状完成和配准结果。我们提出的方法是纯无监督的，不需要任何地面实况监督。在ModelNet40数据集上的实验证明了该模型对部分点集配准的有效性。
2020-09-11 cs.CV
Viewer-Centred Surface Completion for Unsupervised Domain Adaptation in 3D Object Detection
Australian Centre for Field Robotics（澳大利亚现场机器人中心）；University of Sydney（悉尼大学）；Baraja Pty Ltd（巴拉哈私人有限公司）
每个自动驾驶数据集都有不同的传感器配置，来自不同的地理区域，覆盖各种场景。因此，3D检测器往往会过拟合它们所训练的数据集。当检测器在一个数据集上训练并在另一个数据集上测试时，这会导致准确性急剧下降。我们观察到，激光雷达扫描模式的差异形成了很大的组成部分，这种性能降低。我们解决这个问题，在我们的方法，SEE-VCN，通过设计一种新的以观众为中心的表面完成网络（VCN），完成感兴趣的对象的表面在一个无监督的领域自适应框架，SEE。通过SEE-VCN，我们可以获得跨数据集的对象的统一表示，使网络能够专注于学习几何形状，而不是过度拟合扫描模式。通过采用域不变表示，SEE-VCN可以被归类为多目标领域自适应方法，其中不需要注释或重新训练来获得新扫描模式的3D检测。通过大量的实验，我们表明我们的方法在多个领域自适应设置中优于以前的领域自适应方法。我们的代码和数据可在https://github.com/darrenjkt/SEE-VCN上获得。
2022-09-14 cs.CV
SC-Diff: 3D Shape Completion with Latent Diffusion Models
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；ETH Zurich（苏黎世联邦理工学院）；MBZUAI（穆桑比克大学人工智能研究所）
本研究提出基于潜在扩散模型的3D形状补全框架SC-Diff，统一多模态条件，通过联合监督的离散潜在空间实现高效高分辨率处理，跨类别泛化性和补全质量显著优于现有方法。
2025-09-01 cs.CV
Unsupervised 3D Shape Completion through GAN Inversion
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）
大多数3D形状完成方法严重依赖于部分完整形状对，并以完全监督的方式学习。尽管它们在域内数据上的表现令人印象深刻，但当推广到其他形式的局部形状或真实世界的局部扫描时，由于域间隙，它们通常会获得不满意的结果。与以前的完全监督方法相比，在本文中，我们提出了形状反演，它首次将生成对抗网络（GAN）反演引入形状完成。ShapeInversion使用GAN通过搜索潜在代码来对完整形状进行预训练，该潜在代码给出了最佳重建给定部分输入的完整形状。通过这种方式，ShapeInversion不再需要成对的训练数据，并且能够将在经过良好训练的生成模型中捕获的丰富先验结合起来。在ShapeNet基准测试中，所提出的ShapeInversion优于SOTA无监督方法，并且与使用配对数据学习的监督方法相当。它还表现出显着的泛化能力，为真实世界的扫描和各种形式和不完整程度的部分输入提供了强大的结果。重要的是，由于预先训练的GAN的参与，ShapeInversion自然能够实现一系列额外的功能，例如为模糊的部分输入生成多个有效的完整形状，以及形状操作和插值。
2021-04-29 cs.CV
Unsupervised Discriminative Embedding for Sub-Action Learning in Complex Activities
MIT-IBM Watson Lab（MIT-IBM沃森实验室）
长视频序列中的动作识别和检测越来越受到研究界的关注。然而，复杂活动的标注在实践中通常是耗时且具有挑战性的。因此，最近的工作开始解决复杂活动中的子动作的无监督学习问题。提出了一种新的无监督子动作学习方法。所提出的方法将视觉和时间表示映射到一个潜在的空间，在这个空间中，子动作以端到端的方式有区别地学习。为此，我们建议学习子动作作为潜在的概念和一个新的歧视性的潜在概念学习（DLCL）模块辅助学习子动作。所提出的DLCL模块借鉴了潜在概念的思想，以无监督的方式学习潜在嵌入空间中的紧凑表示。结果是一组潜在向量，可以被解释为嵌入空间中的聚类中心。潜在空间本身由联合视觉和时间嵌入形成，捕获数据的视觉相似性和时间顺序。我们的联合学习与歧视性的潜在概念模块是新颖的，它消除了显式聚类的需要。我们在三个基准数据集上验证了我们的方法，并表明所提出的视觉-时间嵌入和歧视性潜在概念的组合允许在无监督环境中学习鲁棒的动作表示。
2021-04-30 cs.CV
Separate In Latent Space: Unsupervised Single Image Layer Separation
State Key Laboratory of Virtual Reality Technology and Systems（虚拟现实技术与系统全国重点实验室）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机学院）
许多真实世界的视觉任务，如从透明表面去除反射和固有图像分解，可以建模为单个图像层分离。然而，这个问题是高度不适定的，需要精确对齐并且难以收集三元组数据来训练CNN模型。为了解决这个问题，本文提出了一种无监督的方法，在训练中不需要地面真实数据三元组。该方法的核心是关于不同层的潜在空间中的数据分布的两个假设，基于这两个假设，可以导出一种新的无监督层分离流水线。然后，该方法可以构建基于自监督和周期一致性约束等GANs框架。实验结果表明，在合成和现实世界的任务中，它的成功优于现有的无监督方法。该方法还显示了其解决更具挑战性的多层分离任务的能力。
2019-09-07 cs.CV
Learning the Latent "Look": Unsupervised Discovery of a Style-Coherent Embedding from Fashion Images
UT-Austin（德克萨斯大学奥斯汀分校）
什么定义了视觉风格？时尚风格是从人们如何组合服装中有机地产生的，这使得它们很难用计算模型来确定。低层次的视觉相似性可能过于具体，无法检测到风格相似的图像，而手工制作的风格类别可能过于抽象，无法捕捉细微的风格差异。我们提出了一种无监督的方法来学习风格一致的表示。我们的方法利用基于视觉属性的概率多语言主题模型来发现一组潜在的风格因素。给定一组未标记的时尚图像，我们的方法挖掘潜在的风格，然后通过他们如何混合这些风格来总结服装。我们的方法可以按风格组织服装画廊，而不需要任何风格标签。在超过10万张图像上的实验证明了它在检索、混合和总结时尚图像方面的潜力。
2017-08-03 cs.CV
Towards Disentangling Latent Space for Unsupervised Semantic Face Editing
Pengcheng Laboratory（鹏城实验室）；Shenzhen University（深圳大学）；University of Nottingham（诺丁汉大学）
StyleGAN生成的图像中的面部属性在潜在空间中纠缠在一起，这使得在不影响其他属性的情况下独立控制特定属性变得非常困难。受监督的属性编辑需要带注释的训练数据，这很难获得，并且将可编辑属性限制为具有标签的属性。因此，在一个分离的潜在空间中进行无监督的属性编辑是执行整洁和通用的语义人脸编辑的关键。在本文中，我们提出了一种新的技术，称为结构-纹理独立架构与权重分解和正交正则化（STIA-WO）解开潜在的空间无监督语义人脸编辑。将STIA-WO应用到GAN中，提出了一种StyleGAN STGAN-WO。STGAN-WO利用风格向量进行权值分解，构造完全可控的权值矩阵来调节图像合成，并采用正交正则化方法保证风格向量的每一项只控制一个独立的特征矩阵。为了进一步理清面部属性，STGAN-WO引入了结构-纹理独立架构，其利用两个独立且同分布（i.i.d.）潜在的矢量控制的纹理和结构成分的合成在一个解开的方式。无监督语义编辑是通过沿其正交方向移动粗层中的潜在代码来改变纹理相关属性或改变细层中的潜在代码来操纵结构相关属性。我们目前的实验结果表明，我们的新STGAN-WO可以实现更好的属性编辑比最先进的方法。
2021-07-19 cs.CV
Unsupervised Discovery of Semantic Latent Directions in Diffusion Models
Seoul National University（首尔国立大学）；Yonsei University（延世大学）
尽管扩散模型（DM）取得了成功，但我们仍然缺乏对其潜在空间的透彻理解。虽然使用GANs的图像编辑建立在潜在空间上，但DM依赖于编辑文本提示等条件。我们提出了一个无监督的方法来发现可解释的编辑方向的潜变量$\mathbf{x}_t \in \mathcal{X}$的DM。我们的方法采用黎曼几何之间的$\mathcal{X}$和中间特征映射$\mathcal{H}$的U-网提供了一个深刻的理解的几何结构的$\mathcal{X}$。所发现的语义潜在方向大多产生分离的属性变化，并且它们在不同样本之间是全局一致的。此外，在较早的时间步中进行编辑会编辑粗略的属性，而在较晚的时间步中进行编辑则会关注高频细节。我们定义了样本之间线段的曲率，以表明$\mathcal{X}$是一个弯曲的流形。在不同基线和数据集上的实验证明了该方法在稳定扩散上的有效性。我们的源代码将公开提供给未来的研究人员。
2023-02-24 cs.CV
Evaluating Latent Generative Paradigms for High-Fidelity 3D Shape Completion from a Single Depth Image
German Aerospace Center（德国航空航天中心）；TU Munich（慕尼黑技术大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文比较了扩散模型和自回归模型在单个深度图像生成高保真3D形状补全任务中的性能，发现扩散模型在连续潜在空间中表现更优，而自回归模型在离散潜在空间中可匹敌或超越扩散模型。
2026-01-19 cs.CV
Observation-Conditioned Latent Energy Priors for Sparse Implicit Neural Shape Completion
University of Zurich（苏黎世大学）；University Hospital Zurich（苏黎世大学医院）；ETH Zurich（苏黎世联邦理工学院）；Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
该研究针对稀疏隐式神经形状补全中潜在代码漂移问题，提出观测条件潜在能量先验，在两个SDF数据集上验证其可提升预训练INR解码器的观测感知能力与补全性能。
2026-09-04 cs.CV
Discriminative Feature Alignment: Improving Transferability of Unsupervised Domain Adaptation by Gaussian-guided Latent Alignment
University of British Columbia（不列颠哥伦比亚大学）
在这项研究中，我们专注于无监督的领域自适应问题，近似推理模型是从标记的数据域学习，并期望推广到未标记的数据域。无监督领域自适应的成功很大程度上依赖于跨领域特征对齐。以前的工作试图直接对齐潜在的功能分类器引起的差异。然而，一个共同的特征空间并不总是通过这种直接的特征对齐学习，特别是当一个大的域间隙存在。为了解决这个问题，我们引入了高斯引导的潜在对齐方法，在先验分布的指导下对齐两个域的潜在特征分布。以这种间接的方式，来自两个域的样本上的分布将在公共特征空间上构建，即，先验空间，这促进了更好的特征对齐。为了有效地将目标潜在分布与此先验分布对齐，我们还提出了一种新的不成对L1距离，利用编码器-解码器的公式。对九个基准数据集的广泛评估通过优于最先进的方法和所提出的方法的通用性，通过显着改善现有的工作，验证了优越的知识可转移性。
2020-08-09 cs.CV
Leveraging Shape Completion for 3D Siamese Tracking
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
由于点云的稀疏性，处理点云具有挑战性，因此自动驾驶汽车更多地依赖于外观属性，而不是纯粹的几何特征。然而，3D LIDAR感知可以在具有挑战性的光线或天气条件下为城市导航提供关键信息。在本文中，我们调查的通用性形状完成三维物体跟踪激光雷达点云。我们设计了一个连体跟踪器，编码模型和候选形状到一个紧凑的潜在表示。我们通过强制潜在表示解码成对象模型形状来正则化编码。我们观察到，3D对象跟踪和3D形状完成是相辅相成的。学习一个更有意义的潜在表示显示出更好的区分能力，从而提高跟踪性能。我们使用汽车3D边界框在KITTI跟踪集上测试我们的方法。我们的模型在3D对象跟踪方面达到了76.94%的成功率和81.38%的精度，形状完成正则化使这两个指标都提高了3%。
2019-03-28 cs.CV
Adjusting for Confounding in Unsupervised Latent Representations of Images
BenevolentAI（BenevolentAI公司）；Big Data Institute, University of Oxford（牛津大学大数据研究所）
生物成像数据通常部分混淆或包含不需要的可变性。这种现象的例子包括显微镜图像捕获中的可变照明、组织学载玻片中的染色强度变化以及高通量药物筛选测定的批次效应。因此，为了开发能够很好地推广到看不见的例子的“公平”模型，学习对变化的讨厌因素不敏感的数据表示是至关重要的。在本文中，我们提出了一种基于对抗训练的策略，能够学习对混淆不变性的无监督表示。作为我们方法的经验验证，我们使用深度卷积自动编码器从显微镜成像中学习无偏的细胞表示。
2018-11-26 cs.CV
Human Motion Prediction via Pattern Completion in Latent Representation Space
McGill University（麦吉尔大学）
受认知科学思想的启发，我们提出了一种新的和通用的方法来解决人类运动的理解，通过模式完成学习的潜在表示空间。我们的模型在许多任务中的人体运动预测方面优于当前最先进的方法，无需定制。为了构建一个潜在的表示为各种长度的时间序列，我们提出了一个新的和通用的自动编码器的基础上序列到序列的学习。虽然传统的推理策略发现输入和输出之间的相关性，我们使用模式完成，它将输入视为部分模式，并预测最佳对应的完整模式。我们的研究结果表明，这种方法具有优势，结合我们的自动编码器在解决人体运动预测，运动生成和动作分类。
2019-04-18 cs.AI cs.CV
Octree Diffusion for Semantic Scene Generation and Completion
University of Colorado Boulder（科罗拉多大学博尔德分校）；Autonomous Robotics and Perception Group（自主机器人与感知实验室）
本文提出Octree Latent Semantic Diffusion框架，通过八叉树隐式表示实现跨域的3D语义场景补全、扩展和生成，结合结构扩散与语义扩散生成语义标签，无需重训练即可完成单扫描的补全与零样本泛化。
2026-03-31 cs.CV
Latent Filter Scaling for Multimodal Unsupervised Image-to-Image Translation
King Abdullah University for Science and Technology (KAUST)（阿卜杜拉国王科技大学）
在多模态无监督图像到图像翻译任务中，目标是将图像从源域翻译为目标域中的许多图像。我们提出了一种简单的方法，产生更高质量的图像比当前国家的最先进的，同时保持相同数量的多模态多样性。以前的方法遵循尝试将潜在代码直接映射到全尺寸图像的无条件方法。这导致了复杂的网络架构，其中引入了几个超参数进行调整。通过将潜在代码视为卷积滤波器的修改器，我们产生多模态输出，同时保持传统的生成对抗网络（GAN）损失，并且没有额外的超参数。我们的方法所需的唯一调整控制生成的图像的可变性和质量之间的权衡。此外，我们实现了源域内容和目标域风格之间的免费解纠缠作为我们制定的副产品。我们进行了定性和定量实验，显示了我们的方法与多个基准图像到图像翻译数据集上的最新技术相比的优势。
2019-04-07 cs.CV
Latent Gene Diffusion for Spatial Transcriptomics Completion
Center for Research and Formation in Artificial Intelligence（人工智能研究与培训中心）；Universidad de los Andes（andes大学）
针对空间转录组数据缺失导致的基因表达预测受限问题，提出无参考的潜在基因扩散模型LGDiST，利用上下文基因构建潜在空间，在26个数据集上补全效果优于现有最优方法，还能提升后续预测性能。
2025-09-02 cs.CV
An Adaptive Framework for Learning Unsupervised Depth Completion
University of California, Los Angeles（加州大学洛杉矶分校）；Amazon Web Services（亚马逊云服务）；Chung-Ang University（中央大学）
我们提出了一种方法来推断一个密集的深度图从彩色图像和相关的稀疏深度测量。我们的主要贡献在于设计了一个退火过程，用于确定共同可见性（遮挡，非遮挡）和施加在模型上的正则化程度。我们证明了正则化和协同可见性是通过模型对数据的适应度（残差）联系起来的，两者可以统一到一个框架中来改善学习过程。我们的方法是一种自适应加权方案，通过测量每个训练步骤中每个像素位置处的残差来指导优化，用于（i）估计软可见性掩模和（ii）确定正则化量。我们通过将其应用于最近的几种无监督深度补全方法并提高其在公共基准数据集上的性能来证明我们的方法的有效性，而不会产生额外的可训练参数或增加推理时间。代码可在：https://github.com/alexklwong/adaframe-depth-completion获得。
2021-08-24 cs.CV cs.LG cs.RO
Unsupervised Spatio-temporal Latent Feature Clustering for Multiple-object Tracking and Segmentation
Marquette University（马凯特大学）
视频序列中多个运动对象的时间标识符的一致性是一个具有挑战性的问题。这个问题的解决方案将直接影响多个对象跟踪和分割问题。我们提出了一种策略，将时间识别任务作为一个时空聚类问题。我们提出了一种无监督学习方法，使用卷积和完全连接的自动编码器，我们称之为深度异构自动编码器，从分割掩码和检测边界框中学习判别特征。我们从预训练的实例分割网络中提取掩码及其相应的边界框，并使用任务相关的不确定性权重联合训练自编码器以生成共同的潜在特征。然后，我们构建约束图，鼓励满足一组已知的时间条件的对象之间的关联。然后将特征向量和约束图提供给kmeans聚类算法以分离潜在空间中的相应数据点。我们使用具有挑战性的合成和真实世界的多对象视频数据集来评估我们的方法的性能。我们的研究结果表明，我们的技术优于几个国家的最先进的方法。
2021-11-05 cs.CV
Inferring Latent Domains for Unsupervised Deep Domain Adaptation
无监督领域自适应（UDA）是指通过利用来自源域中的注释数据的信息来学习目标域中的模型的问题，其中标记数据不可用。大多数深度UDA方法在单源、单目标场景中操作，即它们假设源和目标样本来自单个分布。然而，在实践中，大多数数据集可以被视为多个域的混合物。在这些情况下，利用传统的单源、单目标方法来学习分类模型可能会导致效果不佳。此外，通常很难为所有数据点提供域标签，即应该自动发现潜在域。本文介绍了一种新的深度架构，它通过自动发现视觉数据集中的潜在域并利用这些信息来学习鲁棒的目标分类器来解决UDA问题。具体来说，我们的架构基于两个主要组件，即自动计算每个样本到其潜在域的分配的侧分支和利用域成员信息将CNN内部特征表示的分布与参考分布适当对齐的新层。我们评估我们的方法公开可用的基准，表明它优于国家的最先进的领域自适应方法。
2021-03-25 cs.CV
Unsupervised Deformable Registration for Multi-Modal Images via Disentangled Representations
Imperial College London（帝国理工学院）；Siemens Healthineers（西门子医疗）
我们提出了一种完全无监督的多模态可变形图像配准方法（UMMs），该方法在训练过程中不需要任何地面真实变形场或任何对齐的多模态图像对。多模态配准是医学图像分析中的一个关键问题。由于不同模态之间的关系复杂且未知，因此非常具有挑战性。在本文中，我们提出了一个无监督学习的方法来减少多模式的注册问题，通过图像去纠缠的一个单一的模式。特别是，我们将这两种模式的图像分解为一个共同的潜在形状空间和单独的潜在外观空间，通过无监督的多模态图像到图像的翻译方法。该方法建立在原图像域中存在的固有形状变形保持在该隐空间中的基础上。具体来说，已经提出了两个指标来训练所提出的网络：在公共形状空间中定义的潜在相似性指标和基于对抗性损失的基于学习的图像相似性指标。我们研究了我们提出的方法的不同变化，并将其与传统的最先进的多模态配准方法进行了比较。结果表明，我们提出的方法实现了竞争力的性能对其他方法在大幅减少计算时间。
2019-03-22 cs.CV
Sparse Unsupervised Capsules Generalize Better
Incubator 491（491孵化中心）
我们发现，仅使用重建损失对潜在胶囊层进行无监督训练，而不进行掩蔽以选择正确的输出类，会导致方差和其他理想的胶囊质量损失。这意味着有监督的胶囊网络不能很深。潜在胶囊层活动的无监督稀疏既恢复了这些质量，又比监督掩蔽更好地泛化，同时可能实现更深的胶囊网络。我们在MNIST上训练了一个与Sabour et al（2017）几何结构相似的稀疏无监督胶囊网络，然后使用SVM层在affNIST上测试分类准确性。精度从基准的79%提高到90%。
2018-04-17 cs.CV
Unsupervised Shape Completion via Deep Prior in the Neural Tangent Kernel Perspective
University of Hong Kong（香港大学）；Microsoft Research Asia（微软亚洲研究院）；Texas A&M University（德克萨斯A&M大学）
我们提出了一种新的方法来完成和重建三维形状从不完整的扫描数据，通过使用深度神经网络。网络不是在监督完成任务上进行训练并应用于测试形状，而是在单个测试形状上从头开始优化，以完全适应形状并使用已知区域的上下文指导来完成缺失的数据。由未经训练的神经网络完成缺失数据的能力通常被称为深度先验。在本文中，我们从神经切线核（NTK）的角度解释了深度先验，并表明经过训练的CNN的完整形状补丁与现有补丁自然相似，因为它们在NTK诱导的核特征空间中很接近。解释使我们能够设计更有效的网络结构和学习机制的形状完成和重建任务。与传统的和其他基于无监督学习的重建方法相比，我们的方法更能意识到结构的不稳定性，因此可以用合理的形状来完成大的缺失区域，并补充基于监督学习的方法，这些方法使用数据库先验知识，不需要额外的训练数据集，并显示出对特定形状实例的灵活适应。
2021-04-19 cs.AI cs.CV
DiffPCN: Latent Diffusion Model Based on Multi-view Depth Images for Point Cloud Completion
提出 DiffPCN 由粗到细框架，将局部点云投影为多视图深度图并由 DepthLDM 生成完整粗点云，再经点去噪与关联感知上采样实现 SOTA 点云补全。
2025-09-28 cs.CV
LightenDiffusion: Unsupervised Low-Light Image Enhancement with Latent-Retinex Diffusion Models
Shanghai Jiao Tong University（上海交通大学）；Megvii Technology（旷视科技）；Sichuan University（四川大学）；Southwest Jiaotong University（西南交通大学）；University of Electronic Science and Technology of China（电子科技大学）
本研究提出无监督低光照图像增强框架LightenDiffusion，通过潜空间Retinex分解与自约束一致性损失实现图像恢复，性能优于现有无监督方法且泛化性更强。
2024-07-12 cs.CV
Householder Projector for Unsupervised Latent Semantics Discovery
University of Trento（特伦托大学）；Beijing Jiaotong University（北京交通大学）
本文提出基于 Householder 变换的低秩正交 Householder Projector，用以参数化潜在代码到特征的投影矩阵，使预训练 StyleGAN2/StyleGAN3 能以极少微调发现更解耦、精确且不损失保真度的语义方向。
2023-07-16 cs.CV
LafitE: Latent Diffusion Model with Feature Editing for Unsupervised Multi-class Anomaly Detection
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
针对仅用正常数据的无监督多类别异常检测，本文提出 LafitE，通过潜在扩散重建与特征编辑缓解恒等捷径，并用合成异常的伪验证集选择超参数，在 MVTec-AD 和 MPDD 上取得领先平均 AUROC。
2023-07-16 cs.CV
MLE-UVAD: Minimal Latent Entropy Autoencoder for Fully Unsupervised Video Anomaly Detection
University of Florida（佛罗里达大学）；Auburn University（阿伯伯大学）
本文提出MLE-UVAD方法，通过结合重建损失和最小潜在熵损失，有效区分正常与异常视频帧，实验表明其在两个基准和自采集驾驶数据集上表现优异。
2026-04-20 cs.CV
Unsupervised 3D out-of-distribution detection with latent diffusion models
King’s College London（伦敦国王学院）；King’s College Hospital NHS Foundation Trust（国王学院医院NHS基金会信托）；University College London（伦敦大学学院）
本文提出使用潜在扩散模型将基于重建的OOD检测扩展到高分辨率三维医学数据，实验表明该方法相比潜在Transformer模型性能更优、内存扩展更好且对潜在表示更不敏感。
2023-07-07 cs.CV
Latent Space Regularization for Unsupervised Domain Adaptation in Semantic Segmentation
University of Padova（帕多瓦大学）
用于语义分割的深度卷积神经网络实现了出色的准确性，但它们也有几个主要缺点：首先，它们不能很好地推广到与训练数据略有不同的分布;其次，它们需要大量的标记数据进行优化。在本文中，我们引入了特征级的空间整形正则化策略，以减少语义分割领域的差异。特别是，为了这个目的，我们共同执行的聚类目标，一个标准的约束和规范对齐目标对应的源和目标样本的特征向量。此外，我们提出了一种新的措施，能够捕获的相对效力的自适应策略相比，监督训练。我们验证了这些方法在自动驾驶环境中的有效性，在多个合成到真实的道路场景基准中实现了最先进的结果。
2021-07-07 cs.CV
Disentangled Human Body Representation Based on Unsupervised Semantic-Aware Learning
X-ray Product, Siemens Shanghai Medical Equipment Ltd.（西门子上海医疗设备有限公司X射线产品部）；University of Science and Technology of China, School of Biomedical Engineering & Suzhou Institute for Advanced Research（中国科学技术大学生物医学工程学院及苏州先进研究院）
提出一种无监督语义感知的解缠人体表示方法，通过骨架分组解缠策略和部分感知解码器实现可控细粒度语义与高精度重建。
2025-05-25 cs.CV
SAILOR: Scaling Anchors via Insights into Latent Object Representation
Graz University of Technology（格拉茨工业大学）；Christian Doppler Laboratory for Embedded Machine Learning（克里斯蒂安·多普勒嵌入式机器学习实验室）
LiDAR 3D目标检测模型不可避免地偏向于其训练数据集。当用于目标数据集时，检测器清楚地表现出这种偏差，特别是针对对象大小。然而，由于例如不同的标签策略或地理位置，对象大小在域之间变化很大。最先进的无监督领域自适应方法外包的方法来克服对象的大小偏差。主流的大小自适应方法利用目标域统计，与原始的无监督假设相矛盾。我们新的无监督锚校准方法解决了这一限制。给定在源数据上训练的模型，我们以完全无监督的方式估计最佳目标锚点。其主要思想源于一个直观的观察：通过改变目标域的锚点大小，我们不可避免地引入了噪声，甚至删除了有价值的对象线索。受锚点大小影响的潜在对象表示只有在最佳目标锚点下才最接近所学习的源特征。我们利用这一观察结果进行锚定尺寸优化。我们的实验结果表明，在没有任何再训练的情况下，即使与最先进的弱监督大小自适应方法相比，我们也取得了有竞争力的结果。此外，我们的锚点校准可以与现有的方法相结合，使其完全不受监督。
2022-10-17 cs.CV
Deep Unsupervised Hashing with Latent Semantic Components
Tencent（腾讯）
深度无监督散列在图像检索领域受到赞赏。然而，大多数现有技术未能检测图像背后的语义成分及其关系，这使得它们缺乏区分能力。为了弥补这一缺陷，我们提出了一种新的深层语义组件哈希（DSCH），它涉及到一个常识，即图像通常包含一堆具有同源性和共现关系的语义组件。基于此先验，DSCH在期望最大化框架下将语义成分作为潜在变量，设计了一种以训练数据的最大似然为目标的两步迭代算法。首先，DSCH利用高斯混合模型GMM（Gaussian Mixture Modal）揭示图像的细粒度语义成分，构造语义成分结构，将图像表示为多个成分的混合，并利用语义共现。此外，通过考虑细粒度构件之间的同源关系，发现粗粒度语义构件，并构造层次组织。其次，DSCH使图像在细粒度和粗粒度两个层次上都更接近其语义成分中心，并且使图像之间具有相似的语义成分。在三个基准数据集上的大量实验表明，所提出的层次语义组件确实有助于哈希模型实现卓越的性能。
2022-04-17 cs.CV
Unsupervised feature learning with discriminative encoder
Indian Institute of Science（印度科学理工学院）
近年来，深度判别模型在监督学习任务上取得了非凡的性能，显著优于生成模型。然而，它们的成功依赖于大量标记数据的存在。在没有标签的情况下，如何使用相同的判别模型来学习有用的特征？我们在本文中解决这个问题，通过联合建模的数据和潜在特征的分布的方式，明确分配零概率未观察到的数据。而不是最大限度地提高边际概率的观测数据，我们最大限度地提高联合概率的数据和潜在的功能，使用两个步骤EM样的过程。为了防止模型过度拟合我们最初选择的潜在特征，我们使用对抗正则化。根据任务的不同，我们允许潜在特征是独热或实值向量，并在特征上定义合适的先验。例如，独热特征对应于类别标签，并直接用于无监督和半监督分类任务，而实值特征向量作为输入馈送到简单分类器，用于辅助监督判别任务。该模型，我们称之为判别编码器（或DisCoder），是灵活的，它可以捕获的潜在特征的类型。该模型在几个具有挑战性的任务上实现了最先进的性能。
2017-09-03 cs.CV
Unsupervised Deep Representations for Learning Audience Facial Behaviors
Oxford Brookes University（牛津布鲁克斯大学）；Disney Research（迪士尼研究中心）
在本文中，我们提出了一种基于深度生成模型与卷积神经网络（CNN）相结合的无监督学习方法来分析面部行为。我们联合训练一个变分自动编码器（VAE）和一个生成对抗网络（GAN），从观众观看长篇电影的镜头中学习一个强大的潜在表示。我们发现，学习的潜在表征成功地编码了与观众参与（微笑和大笑）和脱离（打哈欠）相关的行为的有意义的签名。我们的研究结果提供了一个更一般的方法来注释难以标记的多媒体数据具有稀疏的例子感兴趣的信号的概念证明。
2018-05-10 cs.CV
Struct-MDC: Mesh-Refined Unsupervised Depth Completion Leveraging Structural Regularities from Visual SLAM
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
基于图像的视觉同时定位与地图构建（SLAM）方法仅估计所提取特征的深度，从而生成稀疏深度图。为了解决这个稀疏性问题，从稀疏深度估计密集深度的深度完成任务在机器人应用（如勘探）中变得非常重要。使用来自视觉SLAM的稀疏深度的现有方法主要采用点特征。然而，由于缺乏纹理的环境和稀疏性问题，点特征在保持结构一致性方面存在局限性。为了处理这些问题，我们使用线特征与视觉SLAM一起执行深度完成，线特征可以比点特征更好地包含结构化的特征。所提出的方法创建一个凸包区域，通过执行约束德洛内三角剖分与深度插值使用线功能。然而，生成的深度包括低频信息并且在凸包边界处是不连续的。因此，我们提出了一个网格深度细化（MDR）模块来解决这个问题。MDR模块有效地将输入图像的高频细节转移到插值深度，并且在桥接传统方法和基于深度学习的方法方面发挥着至关重要的作用。Struct-MDC在公共数据集和我们的自定义数据集上的性能优于其他最先进的算法，甚至在某些指标上优于监督方法。此外，通过严格的消融研究验证了所提出的MDR模块的有效性。
2022-04-29 cs.CV cs.RO
