Unsupervised Depth Estimation, 3D Face Rotation and Replacement
Carnegie Mellon University（卡内基梅隆大学）；Mila-University of Montreal（蒙特利尔大学米拉研究院）；Polytechnique Montreal（蒙特利尔综合理工大学）；Element AI（元素人工智能公司）
我们提出了一种无监督的方法，用于学习从单个图像估计三维（3D）面部结构，同时预测与所需姿势和面部几何形状相匹配的3D视点变换。我们通过以无监督的方式推断输入图像的面部关键点的深度来实现这一点，而不使用任何形式的地面真实深度信息。我们展示了如何使用这些深度作为新的可反向传播损失内的中间计算来预测3D仿射变换矩阵的参数，该变换矩阵将输入面部的推断3D关键点映射到所需目标面部几何形状或姿势上的对应2D关键点。因此，我们得到的方法称为DepthNets，可以用来推断从一个面部姿势到另一个面部姿势的合理3D转换，允许面部被正面化，转换为3D模型，甚至扭曲到另一个姿势和面部几何形状。最后，我们确定了我们的公式的某些缺点，并探索对抗图像翻译技术作为后处理步骤，重新合成完整的头部镜头，以重新定位到不同的姿势或身份。
2018-12-24 cs.CV stat.ML
Curvature-Regularized Variational Autoencoder for 3D Scene Reconstruction from Sparse Depth
Department of Computer Engineering（计算机工程系）；Islamic Azad University of Tehran, East Branch（泰姬大学塔里克分校）
本文提出基于曲率正则化的变分自编码器，通过离散拉普拉斯算子提升3D场景重建精度，仅需15%训练开销，有效解决稀疏深度数据下的几何误差问题。
2025-12-05 cs.CV cs.LG
Unsupervised Style-based Explicit 3D Face Reconstruction from Single Image
Carnegie Mellon University（卡内基梅隆大学）
本文提出融合无监督显式3D重建网络与StarGAN-v2的对抗框架UE3DST，从单图实现无监督2D到显式3D风格迁移，并在多个人脸数据集上优于DepthNet和Pix2NeRF。
2023-04-24 cs.CV
Inferring Super-Resolution Depth from a Moving Light-Source Enhanced RGB-D Sensor: A Variational Approach
Technical University of Munich（慕尼黑工业大学）
提出了一种基于多视点未标定光度立体的深度图超分辨率实现方法。实际上，LED光源连接到商品RGB-D传感器上，用于从多个视点捕获具有未知运动的对象。这种非静态的摄像机到对象的设置描述与非凸变分方法，使照明或摄像机运动的校准是必需的，由于制定的端到端的联合优化问题。解决所提出的变分模型的结果在高分辨率的深度，反射率和相机姿态估计，因为我们在具有挑战性的合成和现实世界的数据集。
2019-12-13 cs.CV
Variational Monocular Depth Estimation for Reliability Prediction
TOYOTA Central R&D Labs., INC.（丰田中央研发实验室）
单目深度估计的自监督学习作为监督学习方法的替代方案被广泛研究，其需要大量的地面真值。以前的工作通过修改模型结构、添加目标、掩蔽动态对象和遮挡区域，成功提高了深度估计的准确性。然而，当在诸如自主车辆和机器人的应用中使用这样的估计深度图像时，我们必须一致地相信每个像素位置处的估计深度。这可能会导致执行任务时出现致命错误，因为某些像素处的估计深度可能会犯更大的错误。在本文中，我们从理论上制定了一个变分模型的单目深度估计预测的可靠性估计的深度图像。根据计算结果，我们可以排除可靠性较低的估计深度，或对它们进行改进以供实际使用。使用KITTI基准测试和Make 3D数据集定量和定性地证明了所提出方法的有效性。
2020-11-24 cs.CV
DualFocus: Depth from Focus with Spatio-Focal Dual Variational Constraints
Yonsei University（延世大学）
DualFocus提出一种聚焦法深度估计框架，通过空间与焦距双重变分约束联合建模焦点变化，有效区分真实深度边缘与纹理伪影，在四个公开数据集上均优于现有方法。
2025-09-26 cs.CV
Variational Depth from Focus Reconstruction
Technische Universität München（慕尼黑工业大学）；Universität zu Lübeck（吕贝克大学）
本文讨论了从一系列不同聚焦的图像重建深度图的问题，也称为焦点深度或焦点形状。我们建议将焦点深度问题描述为一个变分问题，包括一个光滑但非凸的数据保真度项和一个凸的非光滑正则化，这使得该方法对噪声具有鲁棒性，并导致更真实的深度图。此外，我们提出了解决非凸最小化问题的线性交替方向的乘法器（ADMM），允许非常有效地最小化能量。模拟以及真实数据的经典方法的数值比较。
2014-11-05 cs.CV math.OC
Direct Variational Perspective Shape from Shading with Cartesian Depth Parametrisation
University of Stuttgart（斯图加特大学）；Brandenburg University of Technology Cottbus-Senftenberg（勃兰登堡工业大学科特布斯-森夫滕贝格分校）
大多数当今的国家的最先进的方法，从阴影的透视形状建模的偏微分方程（PDE）的哈密尔顿-雅可比型。为了提高这种方法的鲁棒性w.r.t.噪声和丢失数据，最近已经提出了第一种方法，其试图将潜在的PDE嵌入到具有数据和平滑项的变分框架中。然而，到目前为止，这种方法要么利用径向深度参数化，使得正则化难以从几何角度解释，要么考虑需要额外的一致性约束来提供有效解决方案的间接平滑项。此外，这种框架的最小化是一项复杂的任务，因为潜在的能量通常是非凸的。在我们的文件中，我们解决了上述所有三个问题。首先，我们提出了一种新的变分模型，直接对笛卡尔深度。在这方面，我们还指出了一个常见的错误，在推导的表面法线。此外，我们采用了一个直接的二阶正则化与边缘保持性。这种直接正则化产生的建设有效的解决方案，而不需要额外的一致性约束。最后，我们还提出了一种新的粗到细的最小化框架的基础上交替显式计划。这个框架使我们能够避免局部极小值在最小化，从而提高重建的准确性。实验结果表明，我们的模型的良好品质以及所提出的数值方案的实用性。
2015-07-13 cs.CV
Depth-Aware Super-Resolution via Distance-Adaptive Variational Formulation
School of Design, Jiangnan University（江南大学设计学院）；School of Civil Engineering, Central South University（中南大学土木工程学院）
针对现实成像中距离相关退化问题，提出首个有理论支撑的距离自适应变分超分辨率框架，通过深度条件网络实现空间自适应重建，在深度变化场景下性能显著优于现有方法。
2025-10-29 cs.CV
ATGV-Net: Accurate Depth Super-Resolution
Institute for Computer Graphics and Vision, Graz University of Technology（格拉茨技术大学计算机图形与视觉研究所）
在这项工作中，我们提出了一种新的方法，单深度图超分辨率。现代消费级深度传感器，特别是飞行时间传感器，产生密集的深度测量，但受噪声影响，横向分辨率较低。我们提出了一种方法，该方法将基于机器学习的单图像超分辨率（即深度卷积网络）的最新进展与变分方法相结合，以恢复准确的高分辨率深度图。特别是，我们集成了一种变分方法，该方法通过深度网络顶部的各向异性总广义变分正则化项对深度数据中明显的分段仿射结构进行建模。我们称我们的方法ATGV网络和训练它端到端的展开变分法的优化过程。为了训练深度网络，需要具有准确地面实况的大量训练数据。我们证明，这是可行的训练我们的方法只对合成数据，我们在这个任务中产生的大量。我们的评估表明，我们在三个不同的基准测试以及具有挑战性的飞行时间数据集上获得了最先进的结果，所有这些都没有使用额外的强度图像作为指导。
2016-07-27 cs.CV
WorDepth: Variational Language Prior for Monocular Depth Estimation
Yale University（耶鲁大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Chung-Ang University（中央大学）
本文提出WorDepth方法，通过变分框架将文本描述编码为先验，结合单目图像条件采样，实现单目深度估计，并在室内外数据集上证明语言能持续提升性能。
2024-06-02 cs.AI cs.CL cs.CV
DiffEnc: Variational Diffusion with a Learned Encoder
Copenhagen University Hospital（哥本哈根大学医院）
DiffEnc 通过引入数据与深度相关的均值函数及可调噪声方差比，改进扩散模型，在 CIFAR-10 上显著提升似然，并提供了有限与无限深度层级下的理论分析。
2024-02-08 cs.CV cs.LG stat.ML
A Deep Primal-Dual Network for Guided Depth Super-Resolution
Graz University of Technology（格拉茨技术大学）
在本文中，我们提出了一种新的方法来提高深度图像的空间分辨率。我们将深度全卷积网络与深度原始-对偶网络中的非局部变分方法相结合。联合网络从有噪声的低分辨率输入深度图计算无噪声的高分辨率估计。此外，使用高分辨率强度图像来指导网络中的重建。通过展开一阶原对偶算法的优化步骤并将其公式化为网络，我们可以端到端地训练我们的联合方法。这不仅使我们能够学习全卷积网络的权重，而且还可以优化变分方法及其优化过程的所有参数。这种深度网络的训练需要一个大型数据集进行监督。因此，我们使用基于物理的渲染器生成高质量的深度图和相应的彩色图像。在一个详尽的评估，我们表明，我们的方法优于国家的最先进的多个基准。
2016-07-28 cs.CV
Variational Uncalibrated Photometric Stereo under General Lighting
Artisense；Technical University of Munich（慕尼黑工业大学）；GREYC, UMR CNRS 6072（法国国家科学研究中心联合实验室GREYC）
光度立体（PS）技术现在仍然局限于一个理想的实验室设置，其中建模和校准的照明是顺从的。为了消除这些限制，我们提出了一个有效的原则变分方法，一般照明下的未校准PS。为此，朗伯反射率模型近似通过球谐展开，这保留了照明的空间不变性。联合恢复的形状，反射率和照明，然后制定为一个单一的变分问题。在那里，直接根据底层透视深度图进行形状估计，从而隐含地确保可积分性并绕过对随后的正常积分的需要。为了解决由此产生的非凸问题的数值，我们进行了两个阶段的过程来初始化一个气球样的透视深度图，然后由一个“滞后”块坐标下降计划。实验验证了该方法的有效性和鲁棒性。在各种评估中，与最先进的技术相比，我们能够将平均角度误差持续降低2-3倍。
2019-08-27 cs.CV
Discontinuous and Smooth Depth Completion with Binary Anisotropic Diffusion Tensor
University of Tokyo（东京大学）；Nippon Telegraph and Telephone Corporation（日本电报电话公司）
我们提出了一个无监督的实时密集深度完成稀疏深度图指导下的一个单一的图像。我们的方法生成平滑的深度图，同时保留不同对象之间的不连续性。我们的核心思想是一个二元各向异性扩散张量（B-ADT），它可以完全消除光滑约束在预期的位置和方向，通过将其应用到变分正则化。我们还提出了一个图像引导的最近邻搜索（IGNNS），以获得一个分段恒定的深度图，用于B-ADT推导和变分能量的数据项。我们的实验表明，我们的方法可以优于以前的无监督和半监督深度完成方法的准确性。此外，由于我们得到的深度图保留了对象之间的不连续性，因此可以将结果转换为视觉上合理的点云。这是值得注意的，因为以前的方法产生不自然的表面不连续的对象之间的文物。
2020-06-25 cs.CV cs.RO
Cross-modal Deep Variational Hand Pose Estimation
ETH Zurich（苏黎世联邦理工学院(ETH Zurich)）
人手以复杂且高维的方式移动，使得仅从图像估计3D手部姿势配置成为一项具有挑战性的任务。在这项工作中，我们提出了一种方法来学习统计手模型表示的跨模态训练的潜在空间通过生成深度神经网络。我们从VAE框架的变分下界中推导出目标函数，并联合优化所产生的跨模态KL发散和后验重建目标，自然地允许训练机制，该训练机制导致跨多个模态（例如RGB图像、2D关键点检测或3D手部配置）的相干潜在空间。此外，它还提供了一种使用半监督的简单方法。这个潜在空间可以直接用于从RGB图像估计3D手部姿势，在不同的设置中优于现有技术。此外，我们表明，我们提出的方法可以在深度图像上不做任何改变的情况下使用，并对专门的方法进行了验证。最后，该模型是完全生成的，可以合成一致的双手配置跨模态。我们在RGB和深度数据集上评估了我们的方法，并定性分析了潜在空间。
2018-03-30 cs.CV
Optimisation of photometric stereo methods by non-convex variational minimisation
BTU Cottbus-Senftenberg（科特布斯-森夫滕贝格勃兰登堡工业大学）；Technical University Munich（慕尼黑工业大学）
从给定的图像集合估计三维对象的形状和外观是仍然积极追求的经典研究课题。在各种可用的技术中，PS的区别在于假设基础输入图像是从相同的视点但在不同的照明条件下拍摄的。最常见的技术提供的形状信息的表面法线。在这项工作中，我们建议最小化一个更自然的目标函数，即深度方面的重投影误差。最小化所得到的PS的非平凡变分模型允许直接恢复所拍摄场景的深度。作为一种解决策略，我们遵循的方法，最近发表的优化计划的基础上，非凸和非光滑的成本函数。本文的主要贡献是理论性的。在我们的框架中的一个技术新颖性是使用矩阵微分。我们补充我们的方法得到的优化算法的详细收敛分析，并讨论了可能性，以减轻计算复杂性。在手的实验评价，我们讨论的方法的重要属性。总的来说，我们的策略比竞争方法获得了更准确的结果。实验还突出了一些实际方面的基本优化算法，可能是在更一般的情况下感兴趣。
2017-09-29 cs.CV
