Dense Dynamic Scene Reconstruction and Camera Pose Estimation from Multi-View Videos
本文提出双阶段优化框架,解决多视角视频中动态场景重建与相机姿态估计问题,通过时空连接图实现鲁棒跟踪与密集深度优化,引入宽基线初始化策略和多相机数据集,提升性能与效率。
2026-10-06 cs.CV
Wid3R: Wide Field-of-View 3D Reconstruction via Camera Model Conditioning
University of Maryland, College Park(马里兰大学帕克分校);NAVER LABS
Wid3R是一种多视角视觉几何重建的前馈神经网络,支持宽视角相机模型。该方法通过球谐函数的射线表示和新型相机模型标记实现抗畸变重建,首次支持360影像的多帧前馈3D重建,提升性能达33.67%。
2026-03-26 cs.CV
SC-NeRF: NeRF-based Point Cloud Reconstruction using a Stationary Camera for Agricultural Applications
Iowa State University(爱荷华州立大学)
针对室内高通量植物表型设施中传统NeRF方法需移动相机的局限,提出SC-NeRF框架,通过固定相机结合物体旋转捕获图像,经姿态变换模拟相机移动实现点云重建,在植物表型应用中重建保真度高且无需复杂相机运动。
2025-04-15 cs.CV
Real-time Indoor Scene Reconstruction with RGBD and Inertia Input
Hangzhou Dianzi University(杭州电子科技大学);Tsinghua University(清华大学)
摄像机运动估计是三维场景重建和同时定位与地图构建(SLAM)的关键技术。为了使其可行地实现,以前的作品通常假设缓慢的相机运动,这限制了它在许多实际情况下的使用。我们提出了一个端到端的三维重建系统,它结合了颜色,深度和惯性测量,以实现快速传感器运动的鲁棒重建。我们的框架扩展卡尔曼滤波器融合的三种信息,并涉及一个迭代法,以联合优化特征对应,相机姿态和场景几何。我们还提出了一种新型的几何感知补丁变形技术来适应图像域中的特征外观,从而在快速相机运动下实现更准确的特征匹配。实验表明,我们的补丁变形方法提高了特征跟踪的准确性,我们的三维重建优于国家的最先进的解决方案下快速相机运动。
2018-12-07 cs.CV
Video-Based Camera Localization Using Anchor View Detection and Recursive 3D Reconstruction
Tokyo Institute of Technology(东京工业大学);Olympus Corporation(奥林巴斯公司)
在本文中,我们介绍了一种新的摄像机定位策略,设计用于在具有挑战性的工业情况下,如工业零件检测捕获的图像序列。为了处理损害标准3D重建管道的特殊外观,我们通过选择序列中的关键帧(称为锚点)来利用场景的先验知识,这些关键帧粗略地连接到某个位置。然后,我们的方法按时间顺序寻找每个帧的位置,同时递归地更新可以提供当前相机位置和周围3D结构的增强3D模型。在一个实际的工业情况的实验中,我们的方法可以定位超过99%的帧在输入序列,而标准的定位方法无法重建一个完整的摄像机轨迹。
2021-07-07 cs.CV
A Solution for Crime Scene Reconstruction using Time-of-Flight Cameras
Politecnico di Milano(米兰理工大学)
在这项工作中,我们提出了一种三维(3D)重建的方法,广泛的犯罪现场的基础上,同时定位与地图构建(SLAM)的方法。我们使用Kinect V2飞行时间(TOF)RGB-D摄像头以30 Hz的频率提供彩色密集点云。该设备在场景探索期间自由移动(6个自由度)。所实现的SLAM解决方案使用3D关键点描述和匹配方法对齐连续的点云。这种类型的方法利用色度和几何信息,并允许在较差的照明条件下重建。我们的解决方案已经过室内犯罪现场和室外考古遗址重建的测试,返回的平均误差约为1厘米。它不如环境激光扫描仪解决方案精确,但更实用,更便携,也更不笨重。此外,硬件肯定更便宜。
2017-08-07 cs.CV
Many Eyes, One World: Feed-Forward 3D Reconstruction from Mixed Cameras
China Mobile Communications Company Limited Research Institute(中国移动通信有限公司研究院);The University of Tokyo(东京大学)
MEOW提出一种前馈方法,仅凭图像单次重建混合透视、鱼眼和全景相机的三维场景,无需标定或相机类型,通过数据引擎自适应,零样本迁移至真实数据并取得领先精度。
2026-09-29 cs.CV
Few-View Object Reconstruction with Unknown Categories and Camera Poses
Department of Computer Science, The University of Texas at Austin(德克萨斯大学奥斯汀分校计算机科学系)
针对少视角物体重建中位姿未知、类别泛化差的问题,提出统一方法FORGE,通过3D特征与图像建立跨视角对应估计位姿,融合为神经辐射场实现重建,在位姿估计和新类别泛化上均取得优异表现。
2024-01-25 cs.CV
FullCircle: Effortless 3D Reconstruction from Casual 360$^\circ$ Captures
Simon Fraser University(西蒙弗雷泽大学);Bilkent University(比尔肯特大学);University of British Columbia(不列颠哥伦比亚大学);University of Toronto(多伦多大学)
本文提出了一种直接从原始360度摄像机捕获数据进行3D重建的实用流程,无需特殊拍摄协议或预处理,且对人类操作员的干扰具有鲁棒性,展示了360度拍摄在随意重建中的优势。
2026-03-23 cs.CV
EventNeuS: 3D Mesh Reconstruction from a Single Event Camera
Saarland University(萨尔兰大学);MPI for Informatics(信息研究所)
EventNeuS通过结合3D符号距离函数和密度场学习,利用事件相机数据实现更精确的3D网格重建。
2026-02-03 cs.CV
MRASfM: Multi-Camera Reconstruction and Aggregation through Structure-from-Motion in Driving Scenes
Department of Automation, Key Laboratory of System Control and Information Processing of Ministry of Education, Key Laboratory of Marine Intelligent Equipment and System of Ministry of Education, Shanghai Engineering Research Center of Intelligent Control and Management, Shanghai Jiao Tong University(自动化系、教育部系统控制与信息处理重点实验室、教育部海洋智能装备与系统重点实验室、上海智能控制与管理工程研究中心、上海交通大学);The Advanced Robotics Research Center, Artificial Intelligence Research Institute and School of Information and Control Engineering, China University of Mining and Technology(先进机器人研究中心、人工智能研究院和信息与控制工程学院、中国矿业大学)
针对驾驶场景多相机SfM中姿态估计不可靠、道路重建离群点多及效率低的问题,提出MRASfM框架,利用固定空间关系、平面模型和BA单元化提升性能,在nuScenes上取得0.124绝对姿态误差。
2025-10-17 cs.CV
RA-NeRF: Robust Neural Radiance Field Reconstruction with Accurate Camera Pose Estimation under Complex Trajectories
School of Geodesy and Geomatics, Wuhan University(武汉大学测绘学院);Department of Computer Science and Technology, HIT (Shenzhen)(哈尔滨工业大学(深圳)计算机科学与技术系);XGRIDS;Department of Computer Science, HKBU(香港大学计算机科学系);Department of Computer Science and Engineering, HKUST(香港理工大学计算机科学与工程系);Data Science and Analytics Thrust, HKUST (Guangzhou)(香港理工大学数据科学与分析方向)
RA-NeRF提出一种结合光度一致性和流驱动位姿调节的NeRF重建方法,并引入隐式位姿滤波器,在复杂轨迹下实现高精度相机位姿估计与高质量场景重建。
2025-06-24 cs.CV
Accurate 3-D Reconstruction with RGB-D Cameras using Depth Map Fusion and Pose Refinement
University of Oulu(奥卢大学);Aalto University(阿尔托大学)
深度图融合是基于立体和RGB-D的3D重建流水线中的重要部分。无论是使用被动立体重建还是使用主动深度传感器(如Microsoft Kinect)生成,深度图都有噪声,并且可能具有较差的初始配准。在本文中,我们介绍了一种方法,这是能够处理离群值,特别是,甚至显着的配准误差。所提出的方法首先将一系列深度图融合到单个非冗余点云中,以便通过为更确定的测量赋予更多权重来将冗余点合并在一起。然后,将原始深度图重新配准到融合点云以细化原始相机外部参数。然后,再次使用细化的外部参数执行融合。重复此过程,直到结果令人满意或迭代之间没有发生重大变化。该方法对于异常值和错误的深度测量以及甚至由于不准确的初始相机姿态而导致的显著深度图配准误差是鲁棒的。
2018-04-24 cs.CV
CAM3R: Camera-Agnostic Model for 3D Reconstruction
Johns Hopkins University(约翰霍普金斯大学);University of Virginia(弗吉尼亚大学)
CAM3R通过双视网络和Ray-Aware Global Alignment框架,实现对宽角度相机模型的3D重建,解决了传统方法在非矩形光学图像中的几何退化问题。
2026-03-23 cs.CV
Event-Based Dense Reconstruction Pipeline
Beijing Institute of Aerospace Systems Engineering(北京宇航系统工程研究所);China Academy of Launch Vehicle Technology(中国运载火箭技术研究院)
事件摄像机是一种不同于传统摄像机的新型传感器。每个像素由事件异步触发。触发事件是照射在像素上的亮度的变化。如果亮度的增量或减量高于某个阈值,则输出事件。与传统相机相比,事件相机具有高动态范围和无运动模糊的优点。由于事件是由强度边缘的表观运动引起的,因此大多数3D重建图仅由场景边缘组成,即,半稠密映射,这对于某些应用是不够的。在本文中,我们提出了一个流水线实现基于事件的密集重建。首先,使用深度学习从事件重建强度图像。然后,运动恢复结构(SfM)被用来估计相机的内在,外在和稀疏点云。最后,利用多视图立体视觉(MVS)完成稠密重建。
2022-03-23 cs.CV
3DFS: Deformable Dense Depth Fusion and Segmentation for Object Reconstruction from a Handheld Camera
University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-尚佩恩分校)
我们提出了一种方法,用于从输入视频中对放置在平面上的单个对象进行3D重建和分割。我们的方法是执行密集的深度图估计多个视图使用建议的目标函数,保留细节。然后,使用对估计误差具有鲁棒性的建议的隐式表面函数来融合所得到的深度图,从而产生整个场景的平滑表面重建。最后,使用建议的2D-3D分割,将图像和深度线索与先验和正则化的3D体积和2D分割从剩余的场景中分割出对象。我们在我们的Object-Videos数据集上定性评估3D重建,与融合,多视图立体和分割基线进行比较。我们还使用RGBD场景V2数据集[Henry et al. 2013]定量评估了密集深度估计,并使用Object-Videos数据集的关键帧注释进行了分割。
2016-07-27 cs.CV
Boost 3D Reconstruction using Diffusion-based Monocular Camera Calibration
The Hong Kong University of Science and Technology(香港科学与技术大学);Horizon Robotics;Nanjing University(南京大学)
本文提出DM-Calib,一种基于扩散模型的单目针孔相机标定方法,通过引入Camera Image无损编码内参并微调稳定扩散模型生成该表示,显著提升了多种3D视觉任务的性能。
2025-09-18 cs.CV
ExploreGS: Explorable 3D Scene Reconstruction with Virtual Camera Samplings and Diffusion Priors
Yonsei University(延世大学)
针对3DGS在偏离训练视角渲染时出现伪影和缺失区域的问题,提出ExploreGS流程。该方法通过信息增益驱动的虚拟相机放置策略生成新视图,并利用视频扩散先验细化渲染,微调3D高斯以提升重建质量。同时提出Wild-Explore基准,实现任意视角高质量无伪影渲染。
2025-08-08 cs.CV
BARD-GS: Blur-Aware Reconstruction of Dynamic Scenes via Gaussian Splatting
Case Western Reserve University(凯斯西储大学)
针对动态场景拍摄中相机与物体同时运动导致的模糊及位姿不准问题,提出BARD-GS方法,显式分解并分别建模两类运动模糊,还构建真实模糊数据集,实验证明其重建效果显著优于现有方法。
2025-03-20 cs.CV
PIV-Based 3D Fluid Flow Reconstruction Using Light Field Camera
粒子成像测速技术(PIV)通过分析注入粒子的运动来估计流体的流动。这个问题是具有挑战性的,因为粒子位于不同的深度,但具有相似的外观,并且跟踪大量粒子特别困难。在本文中,我们提出了一种PIV解决方案,使用密集采样的光场重建和跟踪三维粒子。我们利用光场的重聚焦能力和焦点对称性约束进行可靠的粒子深度估计。我们进一步提出了一种新的运动约束光流估计方案,通过加强局部运动刚性和Navier-Stoke约束。合成和真实实验的综合实验表明,使用单个光场相机,我们的技术可以恢复小到中等体积的密集和准确的3D流体流动。
2020-03-23 cs.CV
A Comparative Neural Radiance Field (NeRF) 3D Analysis of Camera Poses from HoloLens Trajectories and Structure from Motion
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文比较 HoloLens 轨迹与 SfM 相机位姿对 NeRF 三维重建的影响,提出近乎直接使用 HoloLens 数据的流程,并证明位姿优化可将 PSNR 提升至 27 dB。
2023-04-20 cs.CV
Dense Voxel 3D Reconstruction Using a Monocular Event Camera
The University of Sydney(悉尼大学);Beijing Technology and Business University(北京工商大学)
本文提出一种仅用单目事件相机进行稠密体素三维重建的新方法,为首次尝试,无需复杂流水线,并创建了含39,739个扫描的合成数据集。
2023-09-01 cs.AI cs.CV
WinT3R: Window-Based Streaming Reconstruction with Camera Token Pool
University of Science and Technology of China(中国科学技术大学);Shanghai AI Lab(上海人工智能实验室);SII;Zhejiang University(浙江大学)
针对重建质量与实时性能难以兼顾的问题,提出带滑动窗口机制和全局相机令牌池的前馈重建模型WinT3R,在多数据集上实现在线重建质量、位姿估计和速度的SOTA性能。
2025-09-05 cs.AI cs.CV
Event Camera Guided Visual Media Restoration & 3D Reconstruction: A Survey
Dolby Laboratories, Inc.(杜比实验室)
本综述系统回顾了事件相机与传统帧捕获融合在视觉媒体恢复与3D重建中的应用,涵盖时间与空间增强任务,并汇总了公开数据集,旨在推动结合深度学习的事件相机视觉增强研究。
2025-09-12 cs.CV
Splat-based 3D Scene Reconstruction with Extreme Motion-blur
KAIST(韩国科学技术院);HYPERGRAM(超图)
研究针对低光照下RGB-D输入的极端运动模糊问题,提出结合高斯体素框架的相机姿态估计与图像去模糊方法,通过对齐帧、调整高斯位置等步骤,提升3D重建质量,优于现有方法,有广泛应用意义。
2026-07-21 cs.CV
Event3R: Asynchronous-to-Global 3D Reconstruction from Event Camera via Spatial-Temporal Feature Aggregation
Zhejiang University(浙江大学);Westlake University(西湖大学)
研究针对事件相机异步、稀疏和高动态特性及缺乏标注数据集的问题,提出Event3R框架,通过时空体素表示、时间注意力模块、掩码箱建模策略及对比对齐和一致性正则化损失,实现鲁棒的3D重建,性能显著优于现有方法。
2026-07-20 cs.CV
Indoor 3D Reconstruction with an Unknown Camera-Projector Pair
National Engineering Laboratory for Integrated Aero-Space-Ground-Ocean Big Data Application Technology(空天地海一体化大数据应用技术国家工程实验室);College of Computer Science, Northwestern Polytechnical University(西北工业大学计算机学院)
针对未知相机-投影仪对仅两视图且无已知物体时的标定难题,提出利用未知长方体角点约束并将内参估计化为单变量优化,实现可靠标定与直接室内3D重建。
2024-07-02 cs.CV
Beyond Reprojection Error: Camera Calibration with 3D Targets
Fraunhofer Institute for Computer Graphics Research(弗劳恩霍夫计算机图形研究所);Technical University of Applied Sciences Würzburg-Schweinfurt(维尔茨堡-施韦因富特应用技术大学);Technical University Darmstadt(达姆施塔特工业大学)
本研究针对三维重建提出基于场景射线预测的相机标定框架,采用重建与相交误差等指标,设计二十面体标定靶标,提升了标定精度,发现重投影误差可能误导三维精度评估。
2026-08-06 cs.CV
GeoT2V-Bench: Benchmarking 3D Consistency in Text-to-Video Models via 3D Reconstruction
提出GeoT2V-Bench,通过3D重建评估相机提示的文本到视频模型能否支持刚性3D场景重建,揭示不同指标下的互补失效模式。
2026-06-24 cs.CV
LivePose: Online 3D Reconstruction from Monocular Video with Dynamic Camera Poses
Apple(苹果公司);University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对仅RGB场景下动态相机位姿的稠密三维重建难题,提出基于取消积分的适配框架与新型非线性取消积分模块,构建LivePose数据集,验证了位姿响应对重建质量的关键作用。
2023-08-18 cs.CV
PMNI: Pose-free Multi-view Normal Integration for Reflective and Textureless Surface Reconstruction
Beijing University of Posts and Telecommunications(北京邮电大学)
针对反射和无纹理表面多视图三维重建中因视觉特征不足导致的相机姿态校准与形状重建失败问题,提出PMNI方法,利用表面法线图整合几何信息,在神经SDF框架内同步恢复准确姿态与高保真表面,性能达最优。
2025-04-14 cs.CV
Free-DyGS: Camera-Pose-Free Scene Reconstruction for Dynamic Surgical Videos with Gaussian Splatting
Department of Biomedical Engineering, National University of Singapore (NUS)(生物医学工程系,新加坡国立大学);National University of Singapore(新加坡国立大学);Yong Loo Lin School of Medicine, NUS(Yong Loo Lin医学院,新加坡国立大学);Department of Surgery, National University Hospital(国立大学医院外科部);Centre for Smart Health, The Hong Kong Polytechnic University(智能健康中心,香港理工大学)
本文提出Free-DyGS框架,首次将Gaussian Splatting技术引入动态手术视频的无相机位姿场景重建,通过逐帧联合优化形变模型与6D位姿,结合场景扩展与回溯形变策略,在渲染精度和效率上超越现有方法。
2025-04-28 cs.CV
MAGiSt3R: Multi-Agent Feed-forward 3D Reconstruction from Monocular RGB Videos
University of Bologna(博洛尼亚大学);The University of Hong Kong(香港大学);Southeast University(东南大学);Monash University(莫纳什大学)
研究基于单目RGB视频的多智能体3D重建问题,核心方法是用3R家族前馈模型和MAGMA合并模型,并进行姿态图优化,主要贡献是在合成和真实数据集上验证该框架相比现有方法有更高重建和相机跟踪精度。
2026-07-17 cs.CV
Empowering Feed-Forward Reconstruction Models with Metric Scale via Satellite Images
Nanjing University of Science and Technology(南京理工大学);ShanghaiTech University(上海科技大学)
提出卫星引导框架,通过双向交叉视图交互利用卫星图像作为全局度量参考,解决前馈3D重建中的尺度模糊问题,实现度量深度估计、点云重建和相机定位。
2026-06-06 cs.CV
Collaborative Dense SLAM
Maynooth University(梅努斯大学)
在本文中,我们提出了一个新的系统,现场协作稠密表面重建。协作机器人、多参与者增强现实和人机交互都是协作映射可以用于更大的代理自主性的情况的示例。我们的系统建立在ElasticFusion的基础上,允许许多相机从未知的初始相对位置开始,利用原始算法维护本地地图。通过在这些本地地图上执行视觉地点识别,系统可以识别两个地图何时在空间中重叠,从而提供地图间约束,系统可以从该地图间约束导出两个地图的相对姿态。使用这些产生的姿势约束,我们的系统执行地图合并,允许多个相机融合到一个共享的重建他们的测量。这种方法的优点是,它避免了重复的结构后,循环关闭,其中多个摄像机遍历相同的区域的环境。此外,它允许相机直接利用和更新系统内其他相机先前映射的环境区域。我们使用合成ICL-NUIM数据集和真实世界的Freiburg数据集提供定量和定性分析,包括多相机映射对表面重建精度,相机姿态估计精度和整体处理时间的影响。我们还包括定性结果的形式,样本重建的房间大小的环境,多达3个摄像机进行交叉和循环轨迹。
2018-11-21 cs.CV
RePose-NeRF: Robust Radiance Fields for Mesh Reconstruction under Noisy Camera Poses
Bellatrix Aerospace(贝尔拉克斯航空航天)
针对现实场景中相机位姿嘈杂导致现有NeRF方法实用性受限的问题,提出RePose-NeRF鲁棒框架,联合优化位姿与隐式场景表示,直接重建高质量可编辑3D网格,在标准基准上实现准确鲁棒重建,弥合神经隐式表示与机器人应用的差距。
2025-11-11 cs.CV
Gaussian Alignment for Relative Camera Pose Estimation via Single-View Reconstruction
Australian National University(澳大利亚国立大学)
本文提出无需训练的GARPS框架,通过直接对齐两张图像独立重建的度量3D高斯混合模型来优化初始双视图位姿,在RealEstate10K数据集上超越了包括MASt3R在内的现有方法,实现了鲁棒的度量级相对相机位姿估计。
2025-09-17 cs.CV
Graph-Guided Scene Reconstruction from Images with 3D Gaussian Splatting
HKUST(GZ)(香港科技大学(广州));HKU(香港大学);SCUT(华南理工大学);UC Berkeley(加州大学伯克利分校)
本文提出图引导的三维场景重建框架GraphGS,利用空间先验构建相机图,结合多视图一致性约束与自适应采样,优化三维高斯泼溅,实现高质量、高效的大规模场景重建,性能达到最先进水平。
2025-02-24 cs.CV
E3D: Event-Based 3D Shape Reconstruction
Northwestern University(西北大学)
三维形状重建是增强/虚拟现实的主要组成部分。尽管非常先进,但基于RGB、RGB-D和激光雷达传感器的现有解决方案是功率和数据密集型的,这给边缘设备的部署带来了挑战。我们使用事件相机进行3D重建,这是一种具有显著降低的功耗、延迟和数据开销的传感器,同时能够实现高动态范围。虽然以前的基于事件的3D重建方法主要是基于立体视觉,我们投的问题,从剪影使用单目事件相机的多视图形状。运动事件相机的输出是时空梯度的稀疏点集,主要是描绘场景/物体的边缘和轮廓。我们首先引入一个事件到轮廓(E2 S)神经网络模块,将一堆事件帧转换为相应的轮廓,并使用额外的神经分支进行相机姿态回归。其次,我们介绍了E3 D,它采用了3D微分渲染器(PyTorch 3D)来加强跨视图3D网格的一致性,并微调E2 S和姿态网络。最后,我们引入了一个3D到事件的模拟管道,并将其应用于公开的对象数据集,并生成合成的事件/轮廓训练对监督学习。
2020-12-10 cs.CV
3D Reconstruction Using a Linear Laser Scanner and a Camera
Zhejiang University(浙江大学)
随着计算机图形学和视觉技术的快速发展,人们提出了多种三维重建技术,并将其用于获取点云模型、网格模型和几何模型等形式的物体三维表示。由于这项技术的成熟,3D重建的成本正在下降,然而,市场上廉价的3D重建扫描仪可能无法像预期的那样生成清晰的点云模型。本研究系统地回顾了一些基本类型的三维重建技术,并介绍了一个简单的实现使用线性激光扫描仪,相机和转台。该实现是基于激光的monovision,并测试了几个对象,如wiki和马克杯。点云结果的精度和分辨率都比较令人满意。事实证明,每个人都可以通过适当的程序构建这样的3D重建系统。
2021-12-01 cs.CV cs.LG
Synergistic Global-space Camera and Human Reconstruction from Videos
Carnegie Mellon University(卡内基梅隆大学);Adobe Research(奥多比研究中心)
提出SynCHMR方法,融合人体感知公制SLAM与场景感知SMPL去噪器,从单目视频中协同重建相机轨迹、人体网格和稠密场景点云,实现统一世界坐标系下的一致重建。
2024-05-23 cs.AI cs.CV
Can Single-View Mesh Reconstruction Generalize to Robot Camera Rotation?
Shenzhen Key Laboratory of Robotics and Computer Vision, Southern University of Science and Technology (SUSTech)(南方科技大学深圳市机器人视觉与感知重点实验室);Pengcheng Laboratory(鹏城实验室)
研究单视图网格重建在机器人相机旋转下的泛化能力,提出评估协议并发现现有方法泛化差,重力感知精炼减少布局方向误差47.1%。
2026-06-23 cs.CV cs.RO
Marker-Based Extrinsic Calibration Method for Accurate Multi-Camera 3D Reconstruction
Department of Computer Science and Technology (DTIC)(计算机科学与技术系)
本文提出一种基于三维标记物几何约束的迭代外参标定方法,通过聚类、回归与迭代重分配细化标记平面,显著降低多相机RGB-D系统的对齐误差,并在Tech4Diet项目中验证了其三维重建效果。
2025-05-08 cs.CV cs.MM
UniGaussian: Driving Scene Reconstruction from Multiple Camera Models via Unified Gaussian Representations
Huawei Noah’s Ark Lab(华为诺亚实验室);University of Toronto(多伦多大学);York University(约克大学)
UniGaussian通过统一的高斯表示从多种相机模型实现驾驶场景重建,解决鱼眼相机的兼容性问题并提升渲染质量和速度。
2025-12-19 cs.AI cs.CV
Mono-STAR: Mono-camera Scene-level Tracking and Reconstruction
Rutgers University(罗格斯大学)
我们提出了Mono-STAR,第一个实时三维重建系统,同时支持语义融合,快速运动跟踪,非刚性物体变形和拓扑变化下的统一框架。该系统解决了一个新的优化问题,结合光流为基础的二维约束处理快速运动和一个新的语义感知变形图(SAD图)处理拓扑结构的变化。我们在各种具有挑战性的场景下测试了所提出的系统,并证明它显着优于现有的最先进的方法。
2023-01-30 cs.CV cs.RO
G-CUT3R: Guided 3D Reconstruction with Camera and Depth Prior Integration
Applied AI Institute(应用人工智能研究所);T-Tech(T-Tech公司);KAUST(卡塔尔科技大学)
本文提出 G-CUT3R,通过专用模态编码器和零卷积将深度、相机标定或位置等先验融入 CUT3R,从而在多类三维重建与多视图基准上显著提升性能。
2025-09-29 cs.AI cs.CV
Pipeline for 3D reconstruction of the human body from AR/VR headset mounted egocentric cameras
Bharati Vidyapeeth’s College of Engineering(巴拉蒂维迪亚佩斯工程学院)
在本文中,我们提出了一种新的管道的三维重建的全身自我中心的观点。从以自我为中心的观点进行人体的3-D重建是一项具有挑战性的任务,因为视图是倾斜的,并且离相机较远的身体部位被遮挡。一个这样的例子是安装在VR头显下方的摄像头的视图。为了实现这一任务,我们首先使用条件GANs将自我中心的视图转换为完整的第三人称视图。这增加了图像的可理解性并迎合了遮挡。所生成的第三人称视图还通过生成身体的3D网格的3D重建模块发送。我们还训练了一个网络,可以采取第三人称全身的主题,并产生纹理映射应用于网格。生成的网格具有相当逼真的身体比例,并完全操纵允许进一步的应用程序,如实时动画和姿势转移游戏。这种方法可能是关键的一个新领域的移动人类远程呈现。
2021-11-09 cs.AI cs.CV
Semi-Dense 3D Reconstruction with a Stereo Event Camera
Australian National University(澳大利亚国立大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);ShanghaiTech University(上海科技大学)
事件摄像机是生物启发传感器,具有低延迟、高速和高动态范围等多项优势,可应对计算机视觉中的挑战性场景。本文提出了一种解决方案的三维重建的问题,从一个立体的事件摄像机钻机在静态场景中移动,如在立体同时定位与地图构建的上下文中捕获的数据。所提出的方法包括一个能量函数的优化,旨在利用小基线的时空一致性的事件触发两个立体图像平面。为了提高重建的密度和减少估计的不确定性,还开发了概率深度融合策略。所得到的方法没有特殊的要求,无论是运动的立体事件相机钻机或先验知识的场景。实验表明,我们的方法可以处理纹理丰富的场景,以及稀疏的场景,优于最先进的基于事件数据图像表示的立体方法。
2018-07-19 cs.CV cs.RO
A Survey of 3D Reconstruction with Event Cameras
University of Science and Technology of China(中国科学技术大学)
本文首次全面综述了基于事件相机的三维重建方法,按输入模态(立体、单目、多模态)和重建技术(几何、深度学习、神经渲染如NeRF和3DGS)分类,并讨论了数据集、评估、表示和动态场景重建等挑战。
2026-06-01 cs.AI cs.CV
Vid2Curve: Simultaneous Camera Motion Estimation and Thin Structure Reconstruction from an RGB Video
The University of Hong Kong(香港大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);National Tsing Hua University(国立清华大学)
薄的结构,如线框雕塑,围栏,电缆,电线和树枝,在现实世界中很常见。使用传统的基于图像或基于深度的重建方法获取其3D数字模型极具挑战性,因为薄结构通常缺乏明显的点特征并且具有严重的自遮挡。我们提出了第一种方法,同时估计摄像机运动和重建复杂的三维薄结构的几何形状在高品质的彩色视频由手持摄像机捕获。具体来说,我们提出了一种新的基于曲线的方法来估计准确的相机姿态,通过建立连续视频帧中前景中无特征薄物体之间的对应关系,而不需要背景场景中的视觉纹理来锁定。通过这种有效的基于曲线的相机姿态估计策略,我们开发了一种迭代优化方法,拓扑以及自遮挡处理,用于重建3D薄结构。对各种薄结构的广泛验证表明,我们的方法实现了准确的相机姿态估计和忠实的重建具有复杂形状和拓扑结构的三维薄结构的水平,还没有达到其他现有的重建方法。
2020-05-20 cs.CV cs.GR eess.IV
ACT-R: Adaptive Camera Trajectories for Single View 3D Reconstruction
Simon Fraser University(西蒙弗雷泽大学)
ACT-R提出通过自适应规划相机轨道轨迹来最大化遮挡区域可见性,并将该轨迹输入视频扩散模型生成一致的新视图,从而在无需运行时训练的情况下显著提升单视图三维重建性能。
2025-11-08 cs.CV cs.GR
Self-Supervised Surgical Instrument 3D Reconstruction from a Single Camera Image
Vanderbilt University(范德堡大学)
手术器械跟踪是一个活跃的研究领域,可以为外科医生提供关于其工具相对于解剖结构的位置的反馈。目前的跟踪方法主要分为两个部分:分割和目标检测。然而,两者都只能预测2D信息,这限制了应用于现实世界的手术。精确的3D手术器械模型是精确预测器械姿态和深度的先决条件。现有的单视图三维重建方法仅适用于自然物体的重建,在没有三维属性级监控的情况下,重建精度不高。此外,这些方法不适合于手术器械,因为它们的细长形状。本文首先提出了一个端到端的手术器械重建系统--自监督手术器械重建系统(SSIR)。与SSIR,我们提出了一个多周期的一致性策略,以帮助捕获的纹理信息,从一个超薄仪器,而只需要一个二进制仪器标签地图。实验表明,与其他自监督方法相比,我们的方法提高了手术器械的重建质量,并取得了可喜的成果。
2022-11-26 cs.CV eess.IV
fNeRF: High Quality Radiance Fields from Practical Cameras
Epic Games
针对针孔模型把散焦模糊固化进神经辐射场的问题,本文提出fNeRF,通过结合镜头光学修改光线投射,在合成与真实数据上实现更清晰重建,PSNR最高提升3 dB。
2024-06-15 cs.CV cs.GR
Think Locally, Refine Globally for Memory-Efficient 3D Reconstruction
提出LoG-VGGT框架,通过跨窗口注意力与全局相机一致性精炼模块,在内存受限下实现长序列三维重建,提升深度精度与位姿稳定性。
2026-09-21 cs.AI cs.CV