Matching-based Depth Camera and Mirrors for 3D Reconstruction
University of Montreal(蒙特利尔大学);University of Science and Technology(科技大学)
三维物体模型的重建在计算机视觉的许多应用中起着重要的作用。本文提出了一种简单的方法来构建一个更便宜的系统,只使用一个深度相机和2个或更多的镜子进行3D重建,而不是像许多研究中那样使用一组相机和/或传感器。每个反射镜被等效地视为另一视点处的深度相机。由于所有场景数据仅由一个深度传感器提供,因此我们的方法可以应用于移动对象,并且不需要任何同步协议。一些实验进行了易于评估的对象,以确认我们所提出的系统的重建精度。
2019-08-17 cs.CV
R3D3: Dense 3D Reconstruction of Dynamic Scenes from Multiple Cameras
ETH Zürich(苏黎世联邦理工学院);Microsoft(微软)
针对多相机动态场景稠密3D重建结果不完整不一致的问题,提出R3D3系统,通过几何估计与单目深度优化迭代结合可学习场景先验,在DDAD和NuScenes基准上实现SOTA稠密深度预测。
2023-08-28 cs.CV
Cameras as Relative Positional Encoding
UC Berkeley(伯克利大学);NVIDIA(NVIDIA公司);HKU(香港大学)
本文针对多视图Transformer的3D空间锚定问题,提出投影位置编码PRoPE,通过实验证明其在多类视觉任务、不同设置及大模型下均能有效提升性能。
2025-11-13 cs.AI cs.CV
Dense Dynamic Scene Reconstruction and Camera Pose Estimation from Multi-View Videos
本文提出双阶段优化框架,解决多视角视频中动态场景重建与相机姿态估计问题,通过时空连接图实现鲁棒跟踪与密集深度优化,引入宽基线初始化策略和多相机数据集,提升性能与效率。
2026-10-06 cs.CV
Rig3R: Rig-Aware Conditioning for Learned 3D Reconstruction
Wayve Technologies(Wayve技术公司);Carnegie Mellon University(卡内基梅隆大学)
Rig3R通过装备感知条件化和装备射线图,在单次前向传播中同时实现三维重建、相机姿态估计与装备结构发现,性能超越现有方法17-45% mAA。
2025-06-02 cs.CV
GeoCond: A Conditioning-Aware Reliability Adapter for Feed-Forward 3D Reconstruction
CSIRO(澳大利亚联邦科学与工业研究组织);Monash University(莫纳什大学)
针对前馈三维重建在困难条件下静默失败的问题,提出轻量级可靠性适配器GeoCond,利用几何条件预测不确定性并门控细化,显著提升OOD可靠性且支持零样本迁移。
2026-10-30 cs.CV
SC-NeRF: NeRF-based Point Cloud Reconstruction using a Stationary Camera for Agricultural Applications
Iowa State University(爱荷华州立大学)
针对室内高通量植物表型设施中传统NeRF方法需移动相机的局限,提出SC-NeRF框架,通过固定相机结合物体旋转捕获图像,经姿态变换模拟相机移动实现点云重建,在植物表型应用中重建保真度高且无需复杂相机运动。
2025-04-15 cs.CV
AC3D: Analyzing and Improving 3D Camera Control in Video Diffusion Transformers
University of Toronto(多伦多大学);Vector Institute(向量研究所);Snap Inc.(Snap公司)
AC3D通过低频姿态调度、选择性注入相机条件和静态相机动态数据集,在减少参数的同时实现了更精确的三维相机控制和更高的视频生成质量。
2025-05-06 cs.CV
Real-time Indoor Scene Reconstruction with RGBD and Inertia Input
Hangzhou Dianzi University(杭州电子科技大学);Tsinghua University(清华大学)
摄像机运动估计是三维场景重建和同时定位与地图构建(SLAM)的关键技术。为了使其可行地实现,以前的作品通常假设缓慢的相机运动,这限制了它在许多实际情况下的使用。我们提出了一个端到端的三维重建系统,它结合了颜色,深度和惯性测量,以实现快速传感器运动的鲁棒重建。我们的框架扩展卡尔曼滤波器融合的三种信息,并涉及一个迭代法,以联合优化特征对应,相机姿态和场景几何。我们还提出了一种新型的几何感知补丁变形技术来适应图像域中的特征外观,从而在快速相机运动下实现更准确的特征匹配。实验表明,我们的补丁变形方法提高了特征跟踪的准确性,我们的三维重建优于国家的最先进的解决方案下快速相机运动。
2018-12-07 cs.CV
Video-Based Camera Localization Using Anchor View Detection and Recursive 3D Reconstruction
Tokyo Institute of Technology(东京工业大学);Olympus Corporation(奥林巴斯公司)
在本文中,我们介绍了一种新的摄像机定位策略,设计用于在具有挑战性的工业情况下,如工业零件检测捕获的图像序列。为了处理损害标准3D重建管道的特殊外观,我们通过选择序列中的关键帧(称为锚点)来利用场景的先验知识,这些关键帧粗略地连接到某个位置。然后,我们的方法按时间顺序寻找每个帧的位置,同时递归地更新可以提供当前相机位置和周围3D结构的增强3D模型。在一个实际的工业情况的实验中,我们的方法可以定位超过99%的帧在输入序列,而标准的定位方法无法重建一个完整的摄像机轨迹。
2021-07-07 cs.CV
A Solution for Crime Scene Reconstruction using Time-of-Flight Cameras
Politecnico di Milano(米兰理工大学)
在这项工作中,我们提出了一种三维(3D)重建的方法,广泛的犯罪现场的基础上,同时定位与地图构建(SLAM)的方法。我们使用Kinect V2飞行时间(TOF)RGB-D摄像头以30 Hz的频率提供彩色密集点云。该设备在场景探索期间自由移动(6个自由度)。所实现的SLAM解决方案使用3D关键点描述和匹配方法对齐连续的点云。这种类型的方法利用色度和几何信息,并允许在较差的照明条件下重建。我们的解决方案已经过室内犯罪现场和室外考古遗址重建的测试,返回的平均误差约为1厘米。它不如环境激光扫描仪解决方案精确,但更实用,更便携,也更不笨重。此外,硬件肯定更便宜。
2017-08-07 cs.CV
Many Eyes, One World: Feed-Forward 3D Reconstruction from Mixed Cameras
China Mobile Communications Company Limited Research Institute(中国移动通信有限公司研究院);The University of Tokyo(东京大学)
MEOW提出一种前馈方法,仅凭图像单次重建混合透视、鱼眼和全景相机的三维场景,无需标定或相机类型,通过数据引擎自适应,零样本迁移至真实数据并取得领先精度。
2026-09-29 cs.CV
Few-View Object Reconstruction with Unknown Categories and Camera Poses
Department of Computer Science, The University of Texas at Austin(德克萨斯大学奥斯汀分校计算机科学系)
针对少视角物体重建中位姿未知、类别泛化差的问题,提出统一方法FORGE,通过3D特征与图像建立跨视角对应估计位姿,融合为神经辐射场实现重建,在位姿估计和新类别泛化上均取得优异表现。
2024-01-25 cs.CV
FullCircle: Effortless 3D Reconstruction from Casual 360$^\circ$ Captures
Simon Fraser University(西蒙弗雷泽大学);Bilkent University(比尔肯特大学);University of British Columbia(不列颠哥伦比亚大学);University of Toronto(多伦多大学)
本文提出了一种直接从原始360度摄像机捕获数据进行3D重建的实用流程,无需特殊拍摄协议或预处理,且对人类操作员的干扰具有鲁棒性,展示了360度拍摄在随意重建中的优势。
2026-03-23 cs.CV
EventNeuS: 3D Mesh Reconstruction from a Single Event Camera
Saarland University(萨尔兰大学);MPI for Informatics(信息研究所)
EventNeuS通过结合3D符号距离函数和密度场学习,利用事件相机数据实现更精确的3D网格重建。
2026-02-03 cs.CV
MRASfM: Multi-Camera Reconstruction and Aggregation through Structure-from-Motion in Driving Scenes
Department of Automation, Key Laboratory of System Control and Information Processing of Ministry of Education, Key Laboratory of Marine Intelligent Equipment and System of Ministry of Education, Shanghai Engineering Research Center of Intelligent Control and Management, Shanghai Jiao Tong University(自动化系、教育部系统控制与信息处理重点实验室、教育部海洋智能装备与系统重点实验室、上海智能控制与管理工程研究中心、上海交通大学);The Advanced Robotics Research Center, Artificial Intelligence Research Institute and School of Information and Control Engineering, China University of Mining and Technology(先进机器人研究中心、人工智能研究院和信息与控制工程学院、中国矿业大学)
针对驾驶场景多相机SfM中姿态估计不可靠、道路重建离群点多及效率低的问题,提出MRASfM框架,利用固定空间关系、平面模型和BA单元化提升性能,在nuScenes上取得0.124绝对姿态误差。
2025-10-17 cs.CV
RA-NeRF: Robust Neural Radiance Field Reconstruction with Accurate Camera Pose Estimation under Complex Trajectories
School of Geodesy and Geomatics, Wuhan University(武汉大学测绘学院);Department of Computer Science and Technology, HIT (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术系);XGRIDS;Department of Computer Science, HKBU(香港大学计算机科学系);Department of Computer Science and Engineering, HKUST(香港理工大学计算机科学与工程系);Data Science and Analytics Thrust, HKUST (Guangzhou)(香港理工大学数据科学与分析方向)
RA-NeRF提出一种结合光度一致性和流驱动位姿调节的NeRF重建方法,并引入隐式位姿滤波器,在复杂轨迹下实现高精度相机位姿估计与高质量场景重建。
2025-06-24 cs.CV
Accurate 3-D Reconstruction with RGB-D Cameras using Depth Map Fusion and Pose Refinement
University of Oulu(奥卢大学);Aalto University(阿尔托大学)
深度图融合是基于立体和RGB-D的3D重建流水线中的重要部分。无论是使用被动立体重建还是使用主动深度传感器(如Microsoft Kinect)生成,深度图都有噪声,并且可能具有较差的初始配准。在本文中,我们介绍了一种方法,这是能够处理离群值,特别是,甚至显着的配准误差。所提出的方法首先将一系列深度图融合到单个非冗余点云中,以便通过为更确定的测量赋予更多权重来将冗余点合并在一起。然后,将原始深度图重新配准到融合点云以细化原始相机外部参数。然后,再次使用细化的外部参数执行融合。重复此过程,直到结果令人满意或迭代之间没有发生重大变化。该方法对于异常值和错误的深度测量以及甚至由于不准确的初始相机姿态而导致的显著深度图配准误差是鲁棒的。
2018-04-24 cs.CV
CAM3R: Camera-Agnostic Model for 3D Reconstruction
Johns Hopkins University(约翰霍普金斯大学);University of Virginia(弗吉尼亚大学)
CAM3R通过双视网络和Ray-Aware Global Alignment框架,实现对宽角度相机模型的3D重建,解决了传统方法在非矩形光学图像中的几何退化问题。
2026-03-23 cs.CV
Event-Based Dense Reconstruction Pipeline
Beijing Institute of Aerospace Systems Engineering(北京宇航系统工程研究所);China Academy of Launch Vehicle Technology(中国运载火箭技术研究院)
事件摄像机是一种不同于传统摄像机的新型传感器。每个像素由事件异步触发。触发事件是照射在像素上的亮度的变化。如果亮度的增量或减量高于某个阈值,则输出事件。与传统相机相比,事件相机具有高动态范围和无运动模糊的优点。由于事件是由强度边缘的表观运动引起的,因此大多数3D重建图仅由场景边缘组成,即,半稠密映射,这对于某些应用是不够的。在本文中,我们提出了一个流水线实现基于事件的密集重建。首先,使用深度学习从事件重建强度图像。然后,运动恢复结构(SfM)被用来估计相机的内在,外在和稀疏点云。最后,利用多视图立体视觉(MVS)完成稠密重建。
2022-03-23 cs.CV
3DFS: Deformable Dense Depth Fusion and Segmentation for Object Reconstruction from a Handheld Camera
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-尚佩恩分校)
我们提出了一种方法,用于从输入视频中对放置在平面上的单个对象进行3D重建和分割。我们的方法是执行密集的深度图估计多个视图使用建议的目标函数,保留细节。然后,使用对估计误差具有鲁棒性的建议的隐式表面函数来融合所得到的深度图,从而产生整个场景的平滑表面重建。最后,使用建议的2D-3D分割,将图像和深度线索与先验和正则化的3D体积和2D分割从剩余的场景中分割出对象。我们在我们的Object-Videos数据集上定性评估3D重建,与融合,多视图立体和分割基线进行比较。我们还使用RGBD场景V2数据集[Henry et al. 2013]定量评估了密集深度估计,并使用Object-Videos数据集的关键帧注释进行了分割。
2016-07-27 cs.CV
Boost 3D Reconstruction using Diffusion-based Monocular Camera Calibration
The Hong Kong University of Science and Technology(香港科学与技术大学);Horizon Robotics;Nanjing University(南京大学)
本文提出DM-Calib,一种基于扩散模型的单目针孔相机标定方法,通过引入Camera Image无损编码内参并微调稳定扩散模型生成该表示,显著提升了多种3D视觉任务的性能。
2025-09-18 cs.CV
ExploreGS: Explorable 3D Scene Reconstruction with Virtual Camera Samplings and Diffusion Priors
Yonsei University(延世大学)
针对3DGS在偏离训练视角渲染时出现伪影和缺失区域的问题,提出ExploreGS流程。该方法通过信息增益驱动的虚拟相机放置策略生成新视图,并利用视频扩散先验细化渲染,微调3D高斯以提升重建质量。同时提出Wild-Explore基准,实现任意视角高质量无伪影渲染。
2025-08-08 cs.CV
MSECNet: Accurate and Robust Normal Estimation for 3D Point Clouds by Multi-Scale Edge Conditioning
National Institute of Advanced Industrial Science and Technology (AIST)(国立研究开发法人产业技术综合研究所(产综研));Dalian University of Technology(大连理工大学);Tokyo Institute of Technology(东京工业大学)
针对3D点云法线估计在法线快速变化区域失效的问题,提出MSECNet,通过多尺度边缘条件流结合骨干网络生成边缘感知表征,在合成与真实数据集上精度和速度均优于现有方法,可用于表面重建。
2023-08-23 cs.CV
BARD-GS: Blur-Aware Reconstruction of Dynamic Scenes via Gaussian Splatting
Case Western Reserve University(凯斯西储大学)
针对动态场景拍摄中相机与物体同时运动导致的模糊及位姿不准问题,提出BARD-GS方法,显式分解并分别建模两类运动模糊,还构建真实模糊数据集,实验证明其重建效果显著优于现有方法。
2025-03-20 cs.CV
PIV-Based 3D Fluid Flow Reconstruction Using Light Field Camera
粒子成像测速技术(PIV)通过分析注入粒子的运动来估计流体的流动。这个问题是具有挑战性的,因为粒子位于不同的深度,但具有相似的外观,并且跟踪大量粒子特别困难。在本文中,我们提出了一种PIV解决方案,使用密集采样的光场重建和跟踪三维粒子。我们利用光场的重聚焦能力和焦点对称性约束进行可靠的粒子深度估计。我们进一步提出了一种新的运动约束光流估计方案,通过加强局部运动刚性和Navier-Stoke约束。合成和真实实验的综合实验表明,使用单个光场相机,我们的技术可以恢复小到中等体积的密集和准确的3D流体流动。
2020-03-23 cs.CV
A Comparative Neural Radiance Field (NeRF) 3D Analysis of Camera Poses from HoloLens Trajectories and Structure from Motion
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文比较 HoloLens 轨迹与 SfM 相机位姿对 NeRF 三维重建的影响,提出近乎直接使用 HoloLens 数据的流程,并证明位姿优化可将 PSNR 提升至 27 dB。
2023-04-20 cs.CV
Event Camera Guided Visual Media Restoration & 3D Reconstruction: A Survey
Dolby Laboratories, Inc.(杜比实验室)
本综述系统回顾了事件相机与传统帧捕获融合在视觉媒体恢复与3D重建中的应用,涵盖时间与空间增强任务,并汇总了公开数据集,旨在推动结合深度学习的事件相机视觉增强研究。
2025-09-12 cs.CV
Splat-based 3D Scene Reconstruction with Extreme Motion-blur
KAIST(韩国科学技术院);HYPERGRAM(超图)
研究针对低光照下RGB-D输入的极端运动模糊问题,提出结合高斯体素框架的相机姿态估计与图像去模糊方法,通过对齐帧、调整高斯位置等步骤,提升3D重建质量,优于现有方法,有广泛应用意义。
2026-07-21 cs.CV
Event3R: Asynchronous-to-Global 3D Reconstruction from Event Camera via Spatial-Temporal Feature Aggregation
Zhejiang University(浙江大学);Westlake University(西湖大学)
研究针对事件相机异步、稀疏和高动态特性及缺乏标注数据集的问题,提出Event3R框架,通过时空体素表示、时间注意力模块、掩码箱建模策略及对比对齐和一致性正则化损失,实现鲁棒的3D重建,性能显著优于现有方法。
2026-07-20 cs.CV
Indoor 3D Reconstruction with an Unknown Camera-Projector Pair
National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology(空天地海一体化大数据应用技术国家工程实验室);College of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院)
针对未知相机-投影仪对仅两视图且无已知物体时的标定难题,提出利用未知长方体角点约束并将内参估计化为单变量优化,实现可靠标定与直接室内3D重建。
2024-07-02 cs.CV
Beyond Reprojection Error: Camera Calibration with 3D Targets
Fraunhofer Institute for Computer Graphics Research(弗劳恩霍夫计算机图形研究所);Technical University of Applied Sciences Würzburg-Schweinfurt(维尔茨堡-施韦因富特应用技术大学);Technical University Darmstadt(达姆施塔特工业大学)
本研究针对三维重建提出基于场景射线预测的相机标定框架,采用重建与相交误差等指标,设计二十面体标定靶标,提升了标定精度,发现重投影误差可能误导三维精度评估。
2026-08-06 cs.CV
GeoT2V-Bench: Benchmarking 3D Consistency in Text-to-Video Models via 3D Reconstruction
提出GeoT2V-Bench,通过3D重建评估相机提示的文本到视频模型能否支持刚性3D场景重建,揭示不同指标下的互补失效模式。
2026-06-24 cs.CV
LivePose: Online 3D Reconstruction from Monocular Video with Dynamic Camera Poses
Apple(苹果公司);University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对仅RGB场景下动态相机位姿的稠密三维重建难题,提出基于取消积分的适配框架与新型非线性取消积分模块,构建LivePose数据集,验证了位姿响应对重建质量的关键作用。
2023-08-18 cs.CV
PMNI: Pose-free Multi-view Normal Integration for Reflective and Textureless Surface Reconstruction
Beijing University of Posts and Telecommunications(北京邮电大学)
针对反射和无纹理表面多视图三维重建中因视觉特征不足导致的相机姿态校准与形状重建失败问题,提出PMNI方法,利用表面法线图整合几何信息,在神经SDF框架内同步恢复准确姿态与高保真表面,性能达最优。
2025-04-14 cs.CV
Free-DyGS: Camera-Pose-Free Scene Reconstruction for Dynamic Surgical Videos with Gaussian Splatting
Department of Biomedical Engineering, National University of Singapore (NUS)(生物医学工程系,新加坡国立大学);National University of Singapore(新加坡国立大学);Yong Loo Lin School of Medicine, NUS(Yong Loo Lin医学院,新加坡国立大学);Department of Surgery, National University Hospital(国立大学医院外科部);Centre for Smart Health, The Hong Kong Polytechnic University(智能健康中心,香港理工大学)
本文提出Free-DyGS框架,首次将Gaussian Splatting技术引入动态手术视频的无相机位姿场景重建,通过逐帧联合优化形变模型与6D位姿,结合场景扩展与回溯形变策略,在渲染精度和效率上超越现有方法。
2025-04-28 cs.CV
MAGiSt3R: Multi-Agent Feed-forward 3D Reconstruction from Monocular RGB Videos
University of Bologna(博洛尼亚大学);The University of Hong Kong(香港大学);Southeast University(东南大学);Monash University(莫纳什大学)
研究基于单目RGB视频的多智能体3D重建问题,核心方法是用3R家族前馈模型和MAGMA合并模型,并进行姿态图优化,主要贡献是在合成和真实数据集上验证该框架相比现有方法有更高重建和相机跟踪精度。
2026-07-17 cs.CV
Empowering Feed-Forward Reconstruction Models with Metric Scale via Satellite Images
Nanjing University of Science and Technology(南京理工大学);ShanghaiTech University(上海科技大学)
提出卫星引导框架,通过双向交叉视图交互利用卫星图像作为全局度量参考,解决前馈3D重建中的尺度模糊问题,实现度量深度估计、点云重建和相机定位。
2026-06-06 cs.CV
Dense Voxel 3D Reconstruction Using a Monocular Event Camera
The University of Sydney(悉尼大学);Beijing Technology and Business University(北京工商大学)
本文提出一种仅用单目事件相机进行稠密体素三维重建的新方法,为首次尝试,无需复杂流水线,并创建了含39,739个扫描的合成数据集。
2023-09-01 cs.AI cs.CV
Collaborative Dense SLAM
Maynooth University(梅努斯大学)
在本文中,我们提出了一个新的系统,现场协作稠密表面重建。协作机器人、多参与者增强现实和人机交互都是协作映射可以用于更大的代理自主性的情况的示例。我们的系统建立在ElasticFusion的基础上,允许许多相机从未知的初始相对位置开始,利用原始算法维护本地地图。通过在这些本地地图上执行视觉地点识别,系统可以识别两个地图何时在空间中重叠,从而提供地图间约束,系统可以从该地图间约束导出两个地图的相对姿态。使用这些产生的姿势约束,我们的系统执行地图合并,允许多个相机融合到一个共享的重建他们的测量。这种方法的优点是,它避免了重复的结构后,循环关闭,其中多个摄像机遍历相同的区域的环境。此外,它允许相机直接利用和更新系统内其他相机先前映射的环境区域。我们使用合成ICL-NUIM数据集和真实世界的Freiburg数据集提供定量和定性分析,包括多相机映射对表面重建精度,相机姿态估计精度和整体处理时间的影响。我们还包括定性结果的形式,样本重建的房间大小的环境,多达3个摄像机进行交叉和循环轨迹。
2018-11-21 cs.CV
RePose-NeRF: Robust Radiance Fields for Mesh Reconstruction under Noisy Camera Poses
Bellatrix Aerospace(贝尔拉克斯航空航天)
针对现实场景中相机位姿嘈杂导致现有NeRF方法实用性受限的问题,提出RePose-NeRF鲁棒框架,联合优化位姿与隐式场景表示,直接重建高质量可编辑3D网格,在标准基准上实现准确鲁棒重建,弥合神经隐式表示与机器人应用的差距。
2025-11-11 cs.CV
WinT3R: Window-Based Streaming Reconstruction with Camera Token Pool
University of Science and Technology of China(中国科学技术大学);Shanghai AI Lab(上海人工智能实验室);SII;Zhejiang University(浙江大学)
针对重建质量与实时性能难以兼顾的问题,提出带滑动窗口机制和全局相机令牌池的前馈重建模型WinT3R,在多数据集上实现在线重建质量、位姿估计和速度的SOTA性能。
2025-09-05 cs.AI cs.CV
Gaussian Alignment for Relative Camera Pose Estimation via Single-View Reconstruction
Australian National University(澳大利亚国立大学)
本文提出无需训练的GARPS框架,通过直接对齐两张图像独立重建的度量3D高斯混合模型来优化初始双视图位姿,在RealEstate10K数据集上超越了包括MASt3R在内的现有方法,实现了鲁棒的度量级相对相机位姿估计。
2025-09-17 cs.CV
Graph-Guided Scene Reconstruction from Images with 3D Gaussian Splatting
HKUST(GZ)(香港科技大学(广州));HKU(香港大学);SCUT(华南理工大学);UC Berkeley(加州大学伯克利分校)
本文提出图引导的三维场景重建框架GraphGS,利用空间先验构建相机图,结合多视图一致性约束与自适应采样,优化三维高斯泼溅,实现高质量、高效的大规模场景重建,性能达到最先进水平。
2025-02-24 cs.CV
E3D: Event-Based 3D Shape Reconstruction
Northwestern University(西北大学)
三维形状重建是增强/虚拟现实的主要组成部分。尽管非常先进,但基于RGB、RGB-D和激光雷达传感器的现有解决方案是功率和数据密集型的,这给边缘设备的部署带来了挑战。我们使用事件相机进行3D重建,这是一种具有显著降低的功耗、延迟和数据开销的传感器,同时能够实现高动态范围。虽然以前的基于事件的3D重建方法主要是基于立体视觉,我们投的问题,从剪影使用单目事件相机的多视图形状。运动事件相机的输出是时空梯度的稀疏点集,主要是描绘场景/物体的边缘和轮廓。我们首先引入一个事件到轮廓(E2 S)神经网络模块,将一堆事件帧转换为相应的轮廓,并使用额外的神经分支进行相机姿态回归。其次,我们介绍了E3 D,它采用了3D微分渲染器(PyTorch 3D)来加强跨视图3D网格的一致性,并微调E2 S和姿态网络。最后,我们引入了一个3D到事件的模拟管道,并将其应用于公开的对象数据集,并生成合成的事件/轮廓训练对监督学习。
2020-12-10 cs.CV
3D Reconstruction Using a Linear Laser Scanner and a Camera
Zhejiang University(浙江大学)
随着计算机图形学和视觉技术的快速发展,人们提出了多种三维重建技术,并将其用于获取点云模型、网格模型和几何模型等形式的物体三维表示。由于这项技术的成熟,3D重建的成本正在下降,然而,市场上廉价的3D重建扫描仪可能无法像预期的那样生成清晰的点云模型。本研究系统地回顾了一些基本类型的三维重建技术,并介绍了一个简单的实现使用线性激光扫描仪,相机和转台。该实现是基于激光的monovision,并测试了几个对象,如wiki和马克杯。点云结果的精度和分辨率都比较令人满意。事实证明,每个人都可以通过适当的程序构建这样的3D重建系统。
2021-12-01 cs.CV cs.LG
Synergistic Global-space Camera and Human Reconstruction from Videos
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究中心)
提出SynCHMR方法,融合人体感知公制SLAM与场景感知SMPL去噪器,从单目视频中协同重建相机轨迹、人体网格和稠密场景点云,实现统一世界坐标系下的一致重建。
2024-05-23 cs.AI cs.CV
Effective Multi-sensor Conditioning for Street-view Novel-view Synthesis
Stanford Univerity(斯坦福大学);NVIDIA
提出StreetNVS视频扩散框架,通过参考增强相机注意力模块和相对射线级位置编码联合利用LiDAR、环视图像和相机位姿,实现稀疏LiDAR条件下的高质量街景新视角合成。
2026-08-20 cs.CV cs.GR
Can Single-View Mesh Reconstruction Generalize to Robot Camera Rotation?
Shenzhen Key Laboratory of Robotics and Computer Vision, Southern University of Science and Technology (SUSTech)(南方科技大学深圳市机器人视觉与感知重点实验室);Pengcheng Laboratory(鹏城实验室)
研究单视图网格重建在机器人相机旋转下的泛化能力,提出评估协议并发现现有方法泛化差,重力感知精炼减少布局方向误差47.1%。
2026-06-23 cs.CV cs.RO
Marker-Based Extrinsic Calibration Method for Accurate Multi-Camera 3D Reconstruction
Department of Computer Science and Technology (DTIC)(计算机科学与技术系)
本文提出一种基于三维标记物几何约束的迭代外参标定方法,通过聚类、回归与迭代重分配细化标记平面,显著降低多相机RGB-D系统的对齐误差,并在Tech4Diet项目中验证了其三维重建效果。
2025-05-08 cs.CV cs.MM
UniGaussian: Driving Scene Reconstruction from Multiple Camera Models via Unified Gaussian Representations
Huawei Noah’s Ark Lab(华为诺亚实验室);University of Toronto(多伦多大学);York University(约克大学)
UniGaussian通过统一的高斯表示从多种相机模型实现驾驶场景重建,解决鱼眼相机的兼容性问题并提升渲染质量和速度。
2025-12-19 cs.AI cs.CV
Mono-STAR: Mono-camera Scene-level Tracking and Reconstruction
Rutgers University(罗格斯大学)
我们提出了Mono-STAR,第一个实时三维重建系统,同时支持语义融合,快速运动跟踪,非刚性物体变形和拓扑变化下的统一框架。该系统解决了一个新的优化问题,结合光流为基础的二维约束处理快速运动和一个新的语义感知变形图(SAD图)处理拓扑结构的变化。我们在各种具有挑战性的场景下测试了所提出的系统,并证明它显着优于现有的最先进的方法。
2023-01-30 cs.CV cs.RO
G-CUT3R: Guided 3D Reconstruction with Camera and Depth Prior Integration
Applied AI Institute(应用人工智能研究所);T-Tech(T-Tech公司);KAUST(卡塔尔科技大学)
本文提出 G-CUT3R,通过专用模态编码器和零卷积将深度、相机标定或位置等先验融入 CUT3R,从而在多类三维重建与多视图基准上显著提升性能。
2025-09-29 cs.AI cs.CV
Pipeline for 3D reconstruction of the human body from AR/VR headset mounted egocentric cameras
Bharati Vidyapeeth’s College of Engineering(巴拉蒂维迪亚佩斯工程学院)
在本文中,我们提出了一种新的管道的三维重建的全身自我中心的观点。从以自我为中心的观点进行人体的3-D重建是一项具有挑战性的任务,因为视图是倾斜的,并且离相机较远的身体部位被遮挡。一个这样的例子是安装在VR头显下方的摄像头的视图。为了实现这一任务,我们首先使用条件GANs将自我中心的视图转换为完整的第三人称视图。这增加了图像的可理解性并迎合了遮挡。所生成的第三人称视图还通过生成身体的3D网格的3D重建模块发送。我们还训练了一个网络,可以采取第三人称全身的主题,并产生纹理映射应用于网格。生成的网格具有相当逼真的身体比例,并完全操纵允许进一步的应用程序,如实时动画和姿势转移游戏。这种方法可能是关键的一个新领域的移动人类远程呈现。
2021-11-09 cs.AI cs.CV