Cinematic Behavior Transfer via NeRF-based Differentiable Filming
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Stanford University(斯坦福大学);The Chinese University of Hong Kong(香港中文大学)
本文提出逆向拍摄行为估计技术,利用NeRF可微分渲染优化摄像机轨迹与SMPL轨迹,并构建电影级迁移流程,将多种镜头类型迁移至2D视频或3D虚拟环境,在用户研究中取得更高评分。
2023-11-29 cs.CV cs.GR cs.HC
FusionForce: End-to-end Differentiable Neural-Symbolic Layer for Trajectory Prediction
Faculty of Electrical Engineering, Czech Technical University in Prague(捷克技术大学布拉格电子工程学院)
提出端到端可微模型FusionForce,通过结合预测机器人地形交互力的可学习组件与强制执行经典力学定律的神经符号层,提升机器人在崎岖地形的轨迹预测泛化能力并缩小sim-to-real差距。
2025-06-24 cs.CV cs.RO
Video Depth Estimation by Fusing Flow-to-Depth Proposals
HKUST(香港科技大学);Nuro Inc.(努罗公司);Scale AI(Scale人工智能公司)
单目视频的深度可以让数十亿台设备和机器人通过一个摄像头看到3D世界。在本文中,我们提出了一种方法与可微的流到深度层的视频深度估计。该模型包括一个流到深度层,一个相机姿态细化模块,和一个深度融合网络。给定光流和相机姿态,我们的流到深度层通过显式地解决对极几何优化问题来生成深度建议和相应的置信度图。我们的流到深度层是可区分的,因此我们可以通过最大化相机姿势细化模块中的聚合置信度来细化相机姿势。我们的深度融合网络可以利用从不同相邻帧推断的深度建议及其置信度图来产生最终的深度图。此外,深度融合网络还可以采用其他方法生成的深度建议来进一步改进结果。在三个公共数据集上的实验表明,我们的方法优于最先进的深度估计方法,并且具有合理的跨数据集泛化能力:我们在KITTI上训练的模型在看不见的Waymo数据集上仍然表现良好。
2020-03-03 cs.CV
PersistGS: Differentiable Physics for Object Permanence in 4D Gaussian Splatting
University of Waterloo(滑铁卢大学)
提出PersistGS方法,通过将可微刚体模拟与3D高斯溅射耦合,在物体被遮挡期间利用物理规律预测其SE(3)轨迹,从而恢复物体持久性,并引入质心轮廓损失降低轨迹误差。
2026-06-02 cs.CV cs.GR
UniGaussian: Driving Scene Reconstruction from Multiple Camera Models via Unified Gaussian Representations
Huawei Noah’s Ark Lab(华为诺亚实验室);University of Toronto(多伦多大学);York University(约克大学)
UniGaussian通过统一的高斯表示从多种相机模型实现驾驶场景重建,解决鱼眼相机的兼容性问题并提升渲染质量和速度。
2025-12-19 cs.AI cs.CV
Learning Correspondence Uncertainty via Differentiable Nonlinear Least Squares
TU Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);MIT(麻省理工学院);University of Oxford(牛津大学)
提出可微非线性最小二乘框架,通过引入对称概率法向极线约束并对位姿估计过程求导来估计特征位置协方差,在合成及KITTI、EuRoC数据集上准确近似噪声分布并持续优于现有方法。
2023-05-18 cs.CV
UnsupervisedR&R: Unsupervised Point Cloud Registration via Differentiable Rendering
University of Michigan(密歇根大学)
将场景的部分视图对齐为单个整体对于理解环境至关重要,并且是许多机器人任务(如SLAM和SfM)的关键组成部分。最近的方法提出了端到端系统,可以通过利用姿势监督来超越传统方法。然而,随着带有深度传感器的相机的日益普及,我们可以期待新的原始RGB-D数据流,而无需监督所需的注释。我们提出了UnsupervisedR&R:一种端到端的无监督方法,用于从原始RGB-D视频中学习点云注册。关键思想是利用可区分的对齐和渲染来加强帧之间的光度和几何一致性。我们在室内场景数据集上评估了我们的方法,发现我们使用经典和学习的描述符优于现有的传统方法,同时与监督几何点云配准方法竞争。
2021-02-23 cs.CV
PLG-IN: Pluggable Geometric Consistency Loss with Wasserstein Distance in Monocular Depth Estimation
TOYOTA Central R&D Labs., INC.(丰田中央研发实验室)
我们提出了一个新的目标惩罚几何不一致,以提高单目相机图像的深度和姿态估计性能。我们的目标是使用两个点云之间的Wasserstein距离,估计从图像与不同的相机姿势。Wasserstein距离可以在两个点云之间施加软且对称的耦合,这适当地保持几何约束并导致可微目标。通过将我们的目标添加到其他最先进的方法中,我们可以有效地惩罚几何不一致性,并获得高度准确的深度和姿态估计。我们提出的方法使用KITTI数据集进行评估。
2020-08-06 cs.CV cs.RO
GSplatLoc: Ultra-Precise Camera Localization via 3D Gaussian Splatting
Southeast University Chengxian College(东南大学晨曦学院)
本研究提出GSplatLoc相机定位方法,通过3D高斯溅射可微渲染将位姿估计转化为梯度优化问题,在Replica等数据集上实现远超现有方法的精度,为稠密建图定位设立新基准,可应用于机器人与AR领域。
2025-05-17 cs.CV
TVCalib: Camera Calibration for Sports Field Registration in Soccer
L3S Research Center(L3S研究中心);Leibniz University Hannover(汉诺威莱布尼茨大学);TIB – Leibniz Information Centre for Science and Technology(莱布尼茨科学技术信息中心)
广播视频中的运动场配准通常被解释为单应性估计的任务,其提供平面场与图像的对应可见区域之间的映射。与以前的方法相比,我们认为任务作为一个摄像机校准问题。首先,我们引入了一个可微目标函数,该函数能够从片段对应中学习相机姿态和焦距(例如,线、点云),基于已知校准对象的片段的像素级注释。校准模块迭代地最小化由估计的相机参数引起的片段重投影误差。其次,我们提出了一种新的方法,从广播足球图像的三维运动场注册。与典型的解决方案相比,它随后细化了初始估计,我们的解决方案在一个步骤中完成。所提出的方法进行了评估运动场注册两个数据集,并取得了优异的结果相比,两个国家的最先进的方法。
2022-10-01 cs.CV
TMO: Textured Mesh Acquisition of Objects with a Mobile Device by using Differentiable Rendering
NAVER LABS(NAVER实验室);University of Maryland(马里兰大学)
我们提出了一种新的管道,用于在野外使用单个智能手机获取纹理网格,该智能手机可以访问图像,深度图和有效姿势。我们的方法首先引入了一个RGBD辅助的运动恢复结构,它可以产生过滤后的深度图,并根据相应的深度来细化相机姿态。然后,我们采用神经隐式曲面重建方法,它允许高质量的网格,并开发了一个新的训练过程,用于应用经典的多视图立体视觉方法提供的正则化。此外,我们应用微分渲染微调不完整的纹理地图,并生成纹理的感知更接近原始场景。我们的流水线可以应用于现实世界中的任何常见对象,而无需实验室环境或精确的掩模图像。我们展示了捕获的对象与复杂形状的结果,并验证我们的方法对现有的三维重建和纹理映射方法的数值。
2023-03-27 cs.CV
Neural Ray Surfaces for Self-Supervised Learning of Depth and Ego-motion
Toyota Research Institute(丰田研究院);Toyota Technological Institute at Chicago(芝加哥丰田技术学院)
自监督学习已经成为深度和自我运动估计的强大工具,在基准数据集上产生了最先进的结果。然而,当前方法共有的一个显著限制是已知参数相机模型(通常是标准针孔几何形状)的假设,这导致当应用于显著偏离该假设的成像系统时失败(例如,折反射照相机或水下成像)。在这项工作中,我们表明,自我监督可以用来学习准确的深度和自我运动估计,而无需事先了解相机模型。受Grossberg和Nayar几何模型的启发,我们引入了神经射线表面(NRS),这是一种代表像素投影射线的卷积网络,可以近似各种相机。NRS是完全可区分的,可以从未标记的原始视频中端到端学习。我们演示了使用NRS的视觉里程计和深度估计从原始视频获得的各种各样的相机系统,包括针孔,鱼眼,和折反射的自监督学习。
2020-08-15 cs.CV cs.LG cs.RO
Gaussian Splatting on the Move: Blur and Rolling Shutter Compensation for Natural Camera Motion
Spectacular AI;ETH Zurich(苏黎世联邦理工学院);Aalto University(阿尔托大学);University of Oulu(奥卢大学);Tampere University(坦佩雷大学)
针对手持相机拍摄中的运动模糊和卷帘快门问题,提出基于VIO速度估计和屏幕空间近似的可微分渲染方法,将模糊效果集成到3DGS框架中,实现高质量场景重建,优于现有方法。
2024-07-17 cs.CV
End2End Multi-View Feature Matching with Differentiable Pose Optimization
Technical University of Munich(慕尼黑工业大学)
提出联合处理特征匹配与位姿优化的图注意力网络,利用可微位姿估计的梯度训练特征匹配以降低离群点权重,在多个数据集上显著提升位姿估计精度并大幅减少耗时。
2023-09-11 cs.CV
Self-Calibrating Neural Radiance Fields
POSTECH(浦项科技大学);NVIDIA(英伟达);Caltech(加州理工学院)
在这项工作中,我们提出了一个摄像机自标定算法的通用摄像机与任意非线性失真。我们共同学习场景的几何形状和准确的相机参数,而无需任何校准对象。我们的相机模型由针孔模型,四阶径向失真,和一个通用的噪声模型,可以学习任意的非线性相机失真。虽然传统的自校准算法主要依赖于几何约束,我们还将光度一致性。这需要学习场景的几何形状,我们使用神经辐射场(NeRF)。我们还提出了一个新的几何损失函数,即,投影光线距离损失,以结合复杂的非线性相机模型的几何一致性。我们在标准真实图像数据集上验证了我们的方法,并证明了我们的模型可以在没有COLMAP初始化的情况下从头开始学习相机的内在和外在(姿态)。此外,我们还表明,以可区分的方式学习准确的相机模型可以使我们在基线上提高PSNR。我们的模块是一个易于使用的插件,可以应用于NeRF变体以提高性能。代码和数据目前可在https://github.com/POSTECH-CVLab/SCNeRF上获得。
2021-09-02 cs.CV
CapFrame: Text-Instructed Viewpoint Grounding in 3D Gaussian Scenes via Geometric Pseudo Labels
Institute of Science Tokyo(东京科学大学);Denso IT Laboratory, Inc.(电装IT实验室);National Institute of Informatics(信息学研究所)
本文针对3D高斯场景中虚拟相机位姿需人工设置的问题,提出CapFrame框架,通过检索-转换-优化流程实现文本引导的视角定位,实验表明其对齐度优于基线方法。
2026-09-01 cs.CV
Depth from Videos in the Wild: Unsupervised Monocular Depth Learning from Unknown Cameras
Google AI(谷歌人工智能);Robotics at Google(谷歌机器人部门)
我们提出了一种新的方法,同时学习的深度,自我运动,对象运动,和相机的本质从单目视频,仅使用相邻视频帧的一致性作为监督信号。与之前的工作类似,我们的方法通过对帧应用可微扭曲并将结果与相邻帧进行比较来学习,但它提供了几项改进:我们直接使用训练期间预测的深度图,以几何和可微的方式解决遮挡问题。我们引入随机层归一化,一种新的强大的正则化,我们占对象运动相对于场景。据我们所知,我们的工作是第一个以无监督的方式从视频中学习相机内部参数,包括镜头失真,从而使我们能够从任意未知来源的视频中提取准确的深度和运动。我们评估了我们在Cityscapes,KITTI和EuRoC数据集上的结果,建立了深度预测和里程计的新技术水平,并定性地证明了可以从YouTube视频集合中学习深度预测。
2019-04-10 cs.CV cs.GR cs.LG
Image as an IMU: Estimating Camera Motion from a Single Motion-Blurred Image
University of Oxford(牛津大学);Department of Computer Science(计算机科学系)
本文提出了一种利用运动模糊估计相机运动的方法,通过预测运动流场和深度图,结合线性最小二乘问题恢复相机速度,实现高精度姿态估计。
2025-11-26 cs.CV
iComMa: Inverting 3D Gaussian Splatting for Camera Pose Estimation via Comparing and Matching
Xi’an Jiaotong University(西安交通大学);Ant Group(蚂蚁集团)
提出 iComMa 方法,通过反演 3D Gaussian Splatting 构建无需训练的可微框架,结合端到端匹配模块与像素级比较损失,有效解决了无 CAD 模型场景下大旋转和平移等不良初始化的 6D 相机位姿估计难题。
2024-03-20 cs.CV
NaCR: Visual Localization via NeRF-aided Camera Ray Regression
Shanghai Jiao Tong University(上海交通大学)
NaCR利用NeRF与相机射线回归的互补对偶性,通过三种增强、新视角数据增强和闭环可微监督,提升视觉定位精度,在室内外基准上达到有竞争力性能。
2026-09-23 cs.CV
GI-SLAM: Gaussian-Inertial SLAM
Sun Yat-sen University(中山大学)
针对现有3DGS SLAM方法忽略惯性数据的问题,提出GI-SLAM系统,通过引入IMU损失集成到3DGS SLAM深度学习框架,提升跟踪性能,支持多传感器配置,在主流数据集上取得有竞争力的实时SLAM效果。
2025-03-24 cs.CV cs.RO
Aperture Supervision for Monocular Depth Estimation
UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院)
我们提出了一种新的方法来训练机器学习算法估计场景深度从一个单一的图像,通过使用由相机的光圈作为监督提供的信息。以前的作品使用深度传感器的输出或来自不同视点的相同场景的图像作为监督,而我们的方法则使用来自不同相机光圈拍摄的相同视点的图像。为了使学习算法能够使用光圈效应作为监督,我们引入了两个可微分光圈渲染函数,其使用输入图像和预测深度来模拟由真实相机光圈引起的景深效应。我们训练单目深度估计网络端到端预测场景深度,最好地解释这些有限孔径图像作为输入全聚焦图像的散焦模糊渲染。
2018-03-29 cs.CV
Targetless LiDAR-Camera Calibration with Neural Gaussian Splatting
Department of Interdisciplinary Program in Artificial Intelligence, Seoul National University(人工智能交叉学科项目系,首尔国立大学);Department of Artificial Intelligence, Yonsei University(人工智能系,延世大学)
本文提出无目标激光雷达-摄像头校准方法,通过神经高斯点分布优化传感器姿态,实现鲁棒且可推广的校准,优于现有方法并在多数据集上表现优异。
2026-02-07 cs.CV
Gaussian Alignment for Relative Camera Pose Estimation via Single-View Reconstruction
Australian National University(澳大利亚国立大学)
本文提出无需训练的GARPS框架,通过直接对齐两张图像独立重建的度量3D高斯混合模型来优化初始双视图位姿,在RealEstate10K数据集上超越了包括MASt3R在内的现有方法,实现了鲁棒的度量级相对相机位姿估计。
2025-09-17 cs.CV
FF-ProCams: Feed-Forward Gaussian Splatting for Projector-Camera System
针对投影仪-相机系统,提出FF-ProCams前馈3D高斯逆渲染框架,用混合编码器聚合线索,轻量级头预测高斯表示,设计可微渲染器,构建数据集实验,实现高保真渲染且速度大幅提升。
2026-07-21 cs.CV
nvTorchCam: An Open-source Library for Camera-Agnostic Differentiable Geometric Vision
University of Maryland(马里兰大学);NVIDIA(英伟达公司)
本文提出开源库nvTorchCam,通过抽象投影等相机操作实现算法与相机模型无关,支持跨针孔、鱼眼等模型的直接迁移与高效可微计算。
2024-10-15 cs.CV
DSAC - Differentiable RANSAC for Camera Localization
TU Dresden(德累斯顿工业大学);Microsoft(微软)
RANSAC是鲁棒优化中的一种重要算法,也是许多计算机视觉应用的核心组成部分。近年来,传统的手工制作管道已经被深度学习管道所取代,后者可以端到端的方式进行训练。然而,RANSAC到目前为止还没有被用作这种深度学习管道的一部分,因为其假设选择过程是不可微的。在这项工作中,我们提出了两种不同的方法来克服这一限制。最有前途的方法受到强化学习的启发,即用概率选择代替确定性假设选择,我们可以推导出预期损失w.r.t.所有可学习的参数。我们称这种方法为DSAC,RANSAC的可微对应物。我们将DSAC应用于相机定位问题,深度学习迄今未能改善传统方法。我们证明,通过直接最大限度地减少输出相机姿态的预期损失,鲁棒性估计的RANSAC,我们实现了精度的提高。未来,任何深度学习管道都可以使用DSAC作为强大的优化组件。
2018-03-21 cs.CV
HandDGP: Camera-Space Hand Mesh Prediction with Differentiable Global Positioning
Niantic(Niantic公司)
针对单目RGB图像相机空间手部网格预测中两阶段方法丢失上下文和尺度信息的问题,提出端到端框架HandDGP,通过可微分全局定位模块和图像校正步骤,在三个公开基准上验证了有效性。
2024-07-22 cs.AI cs.CV cs.LG
E3D: Event-Based 3D Shape Reconstruction
Northwestern University(西北大学)
三维形状重建是增强/虚拟现实的主要组成部分。尽管非常先进,但基于RGB、RGB-D和激光雷达传感器的现有解决方案是功率和数据密集型的,这给边缘设备的部署带来了挑战。我们使用事件相机进行3D重建,这是一种具有显著降低的功耗、延迟和数据开销的传感器,同时能够实现高动态范围。虽然以前的基于事件的3D重建方法主要是基于立体视觉,我们投的问题,从剪影使用单目事件相机的多视图形状。运动事件相机的输出是时空梯度的稀疏点集,主要是描绘场景/物体的边缘和轮廓。我们首先引入一个事件到轮廓(E2 S)神经网络模块,将一堆事件帧转换为相应的轮廓,并使用额外的神经分支进行相机姿态回归。其次,我们介绍了E3 D,它采用了3D微分渲染器(PyTorch 3D)来加强跨视图3D网格的一致性,并微调E2 S和姿态网络。最后,我们引入了一个3D到事件的模拟管道,并将其应用于公开的对象数据集,并生成合成的事件/轮廓训练对监督学习。
2020-12-10 cs.CV
3DGEER: 3D Gaussian Rendering Made Exact and Efficient for Generic Cameras
Bosch Research North America(博世北美研究部);Bosch Center for AI(博世人工智能中心)
3DGEER提出了一种几何精确且高效的3D高斯渲染框架,通过闭合表达式实现精确渲染和优化,并在通用相机上实现了实时高效和高精度的光场渲染。
2026-03-12 cs.CV cs.GR
FlowCam: Training Generalizable 3D Radiance Fields without Camera Poses via Pixel-Aligned Scene Flow
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
提出FlowCam,利用可微渲染将光流提升为像素对齐3D场景流并加权拟合SE(3)位姿,实现无需SfM位姿、端到端自监督训练可泛化3D辐射场。
2023-05-31 cs.AI cs.CV cs.GR
DiffPhysCam: Differentiable Physics-Based Camera Simulation for Inverse Rendering and Embodied AI
Simulation-Based Engineering Lab, University of Wisconsin-Madison(模拟基于工程实验室,威斯康星大学麦迪逊分校)
本文提出DiffPhysCam,一款可微分基于物理的相机模拟器,解决现有虚拟相机局限,支持正向与逆渲染,经实验验证可提升机器人感知性能,还用于自主地面车辆导航的虚拟实验。
2026-08-04 cs.CV cs.GR cs.RO
VGGT-GS SLAM: Uncalibrated Monocular Gaussian Splatting SLAM with Feed-Forward Priors
National University of Singapore(新加坡国立大学)
提出VGGT-GS SLAM,利用前馈先验和子图可微BA实现无标定单目高斯泼溅SLAM,通过GNA提升全局一致性,在室内基准上显著提升定位精度与渲染质量。
2026-09-18 cs.CV
A Construct-Optimize Approach to Sparse View Synthesis without Camera Pose
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文提出一种无相机位姿的稀疏视图合成构造-优化方法,利用单目深度反投影与二维对应优化联合调整位姿和深度,并结合高斯泼溅中的期望表面概念,在仅三个视图下显著超越现有方法。
2024-06-10 cs.CV cs.GR
TrackGS: Optimizing COLMAP-Free 3D Gaussian Splatting with Global Track Constraints
TrackGS通过引入全局轨迹约束优化3D高斯点分布,实现无COLMAP的视点合成,提升渲染质量和降低姿态误差。
2025-11-21 cs.CV
ALIKE: Accurate and Lightweight Keypoint Detection and Descriptor Extraction
Beihang University(北京航空航天大学);National University of Singapore(新加坡国立大学);Institute for Infocomm Research(信息通信研究院)
现有的方法都是以不可微的方式检测关键点,因此不能直接通过反向传播来优化关键点的位置。为了解决这个问题,我们提出了一个部分可微的关键点检测模块,它输出准确的亚像素关键点。然后提出重投影损失来直接优化这些亚像素关键点,并提出分散性峰值损失来精确的关键点正则化。我们还以亚像素的方式提取描述符,并使用稳定的神经重投影误差损失对它们进行训练。此外,我们还设计了一个轻量级网络来进行关键点检测和描述符提取,在商用GPU上可以以每秒95帧的速度处理640x480的图像。在单应性估计、摄像机姿态估计和视觉(重)定位任务上,所提出的方法与最先进的方法实现了等效的性能,同时大大减少了推理时间。
2022-02-05 cs.CV
EGG-Fusion: Efficient 3D Reconstruction with Geometry-aware Gaussian Surfel on the Fly
State Key Lab of CAD\&CG, Zhejiang University(浙江大学CAD与CG国家重点实验室);SenseTime Research(商汤科技研究院)
EGG-Fusion提出一种基于几何感知高斯surfel的实时3D重建系统,通过信息滤波融合方法提升精度和实时性,实现20%以上的精度提升。
2025-12-01 cs.CV
To The Point: Correspondence-driven monocular 3D category reconstruction
University College London(伦敦大学学院);Snap Inc.(色拉布公司)
我们提出了到点(TTP),从一个单一的图像重建3D对象的方法,使用从弱监督学习的2D到3D对应。我们从2D图像中恢复3D形状,首先回归对应于3D模板顶点的2D位置,然后联合估计刚性相机变换和非刚性模板变形,通过3D形状投影最佳地解释2D位置。通过依赖3D-2D对应关系,我们使用简单的按样本优化问题来取代基于CNN的相机姿态和非刚性变形回归,从而获得更准确的3D重建。我们把这种优化作为一个微分层和训练整个系统在一个端到端的方式。我们报告了多个类别的系统定量改进,并提供了定性结果,包括不同的形状,姿势和纹理预测的例子。项目网址:https://fkokkinos.github.io/to_the_point/。
2021-06-10 cs.CV
SC-OmniGS: Self-Calibrating Omnidirectional Gaussian Splatting
The Hong Kong University of Science and Technology(香港科技大学);Sun Yat-sen University(中山大学);University of Southern California(南加州大学)
SC-OmniGS提出一种自校准全向高斯溅射方法,通过将360度图像视为球体并引入可微全向相机模型,联合优化相机内参、位姿与三维高斯,实现无需精确位姿先验的高质量全向辐射场重建。
2025-02-07 cs.CV cs.GR
CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations
Ford Motor Company(福特汽车公司);University of Michigan(密歇根大学);Carnegie Mellon University(卡内基梅隆大学)
提出CLONeR方法,通过解耦占用与颜色学习为独立MLP并构建可微3D占用网格图,改进了NeRF在稀疏视角大型室外驾驶场景下的新视角合成与稠密深度预测性能。
2023-04-04 cs.CV
Local-to-Global Registration for Bundle-Adjusting Neural Radiance Fields
Xi’an Jiaotong University(西安交通大学);Ant Group(蚂蚁集团);Tencent AI Lab(腾讯人工智能实验室)
神经辐射场(NeRF)实现了具有真实感的新颖视图合成,但对摄像机姿态的精确要求限制了其应用。尽管存在用于联合学习神经3D表示和配准相机帧的合成分析扩展,但如果初始化不佳,它们很容易出现次优解决方案。我们提出了L2 G-NeRF,一种局部到全局的配准方法,用于调整神经辐射场:首先,逐像素的灵活对齐,然后是逐帧的约束参数对齐。像素局部对齐是通过深度网络以无监督的方式学习的,该深度网络优化了光度重建误差。逐帧全局对齐是使用可微参数估计求解器对逐像素对应关系进行的,以找到全局变换。对合成和真实数据的实验表明,我们的方法在高保真重建和解决大的相机位姿失调方面优于当前最先进的方法。我们的模块是一个易于使用的插件,可应用于NeRF变体和其他神经领域应用。守则和补充材料可在https://rover-xingyu.github.io/L2G-NeRF/上查阅。
2023-03-03 cs.CV
JOGS: Joint Optimization of Pose Estimation and 3D Gaussian Splatting
Key Laboratory of Big Data & Artificial Intelligence in Transportation (Beijing Jiaotong University), Ministry of Education, China(大数据与人工智能在交通中的关键实验室(北京交通大学),教育部,中国);School of Computer Science and Technology, Beijing Jiaotong University(计算机科学与技术学院,北京交通大学);Department of Artificial Intelligence, Westlake University(人工智能系,西湖大学)
本文提出了一种联合优化姿态估计与3D高斯点的方法,通过可微渲染和定制光流算法提升重建质量和姿态准确性。
2026-01-15 cs.CV
Differentiable Stereopsis: Meshes from multiple views using differentiable rendering
UC Berkeley(加州大学伯克利分校);Meta AI
我们提出了微分立体,多视图立体视觉的方法,重建形状和纹理从几个输入视图和嘈杂的相机。我们配对传统的立体视觉和现代微分渲染,建立一个端到端的模型,预测纹理的3D网格的对象具有不同的拓扑结构和形状。我们将立体视觉视为一个优化问题,并通过简单的梯度下降同时更新形状和相机。我们进行了广泛的定量分析,并与传统的多视图立体视觉技术和最先进的基于学习的方法进行了比较。我们展示了具有挑战性的现实世界场景的令人信服的重建,以及具有复杂形状,拓扑结构和纹理的丰富对象类型。项目网页:https://shubham-goel.github.io/ds/
2022-09-23 cs.CV
SpectralSplats: Robust Differentiable Tracking via Spectral Moment Supervision
Technion - Israel Institute of Technology(以色列理工学院);NVIDIA(英伟达)
提出SpectralSplats框架,通过将优化目标从空间域转移到频率域,利用全局复正弦特征(谱矩)构建全局吸引域,解决3D高斯泼溅跟踪中因严重错位导致的梯度消失问题,并设计频率退火策略实现从全局凸性到精确空间对齐的平滑过渡。
2026-07-01 cs.CV
Differentiable Registration of Images and LiDAR Point Clouds with VoxelPoint-to-Pixel Matching
Tsinghua University(清华大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);New York University Abu Dhabi(纽约大学阿布扎比分校);Wayne State University(韦恩州立大学)
针对图像与LiDAR点云跨模态配准中特征空间不一致及PnP不可微问题,提出VoxelPoint-to-Pixel三元组匹配与概率PnP端到端训练框架,在KITTI和nuScenes上显著优于现有方法。
2023-12-07 cs.CV
Differentiable Product Quantization for Memory Efficient Camera Relocalization
Czech Technical University in Prague(布拉格捷克技术大学);Aalto University(阿尔托大学);University of Oulu(奥卢大学);CIIRC Czech Technical University in Prague(布拉格捷克技术大学CIIRC)
针对相机重定位中3D场景模型内存占用过大的问题,提出一种端到端可微的轻量级自编码器网络,结合地图压缩与乘积量化,在仅1MB内存下实现最优性能。
2024-07-23 cs.CV
iGaussian: Real-Time Camera Pose Estimation via Feed-Forward 3D Gaussian Splatting Inversion
School of Intelligent Engineering and Automation, Beijing University of Posts and Telecommunications(智能工程与自动化学院,北京邮电大学);Department of Automation, Tsinghua University(自动化系,清华大学)
针对现有基于3D高斯的相机位姿估计方法迭代优化开销大、难以实时运行的问题,提出两阶段前馈框架iGaussian,通过直接高斯反演实现位姿估计,在多数据集上精度更高,移动机器人上速度较优化类方法提升10倍。
2025-11-18 cs.CV
AcED: Accurate and Edge-consistent Monocular Depth Estimation
Samsung Research India Bangalore(三星印度班加罗尔研究院)
单幅图像的深度估计是一个具有挑战性的问题。目前的最先进的方法制定的顺序回归的问题。然而,该公式不是完全可微的,并且深度图不是以端到端的方式生成的。该方法使用朴素的阈值策略来确定每个像素的深度标签,这会导致显着的离散化错误。第一次,我们制定了一个完全可微的顺序回归和训练网络端到端的方式。这使我们能够在优化函数中包含边界和平滑度约束,从而获得平滑和边缘一致的深度图。还提出了一种新的用于深度细化的每像素置信图计算。广泛的评估所提出的模型具有挑战性的基准显示其优越性,最近的国家的最先进的方法,定量和定性。此外,我们还展示了所提出的方法在使用具有挑战性的真实图像的内部数据集的单相机散景解决方案中的实用性。
2020-06-16 cs.CV cs.MM
3D Human Pose Estimation in Multi-View Operating Room Videos Using Differentiable Camera Projections
Centre for Artificial Intelligence, Meander Medisch Centrum(米德尔医疗中心人工智能中心);University of Twente(特文特大学)
本文提出利用可微摄像机投影,通过3D损失端到端训练2D CNN,直接优化多视角手术室视频中的3D人体姿态估计,在MVOR数据集上优于2D空间优化方法。
2022-10-21 cs.CV
Multi-Session SLAM with Differentiable Wide-Baseline Pose Optimization
Princeton University(普林斯顿大学)
本文提出一种多会话SLAM系统,通过将光流预测与可微宽基线两视图位姿求解器层耦合进行端到端训练,实现跨不连贯视频的相机位姿追踪、视觉里程计和全局优化,相比现有方法更准确且对灾难性失效更具鲁棒性。
2024-04-23 cs.CV
GS-ProCams: Gaussian Splatting-based Projector-Camera Systems
Southwest University(西南大学);Westlake University(西湖大学)
GS-ProCams通过高斯点表示实现视图无关的投影-相机系统,提升效率并减少资源消耗。
2026-02-17 cs.CV cs.GR cs.MM
Z-Splat: Z-Axis Gaussian Splatting for Camera-Sonar Fusion
Dartmouth College(达特茅斯学院);Arizona State University(亚利桑那州立大学);Carnegie Mellon University(卡内基梅隆大学);University of Maryland(马里兰大学)
本文提出Z-Splat方法,通过融合RGB相机与声纳瞬态数据解决高斯溅射在受限基线场景下的缺失锥问题,显著提升新视图合成与3D几何重建质量。
2024-07-05 cs.CV cs.GR cs.LG
calibfusion: Transformer-Based Differentiable Calibration for Radar-Camera Fusion Detection in Water-Surface Environments
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
CalibFusion通过端到端学习隐式外校准,提升水表面环境下雷达-摄像头融合检测的鲁棒性和精度。
2026-03-03 cs.AI cs.CV
Mesh deformation-based single-view 3D reconstruction of thin eyeglasses frames with differentiable rendering
School of Automation, Nanjing University of Science and Technology(南京理工大学自动化学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
针对细薄、少纹理且自遮挡严重的眼镜框,本文提出基于模板网格 FFD 与可微渲染优化的单视图三维重建框架,并通过合成数据与真实图像验证其有效性。
2024-08-10 cs.CV cs.GR