Adversarial Scene Reconstruction and Object Detection System for Assisting Autonomous Vehicle
Dong-A University(东亚大学)
在当前的计算机视觉时代,通过视频监控系统对场景进行分类是一项至关重要的任务。随着人工智能和深度学习的兴起,人工智能视频监控技术得到了长足的发展。采用深度学习视觉分类方法的优越组合,在视觉场景分类方面实现了巨大的准确性。然而,视觉分类器面临的困难,检查在黑暗的可见区域的场景,特别是在夜间。此外,分类器在识别场景的上下文方面面临困难。本文提出了一种深度学习模型,将黑暗的视觉场景重构为类似日光的清晰场景,并为自动驾驶汽车识别视觉动作。该模型在场景重建和场景理解与检测任务中分别达到了87.3%和89.2%的准确率。
2021-10-13 cs.CV eess.IV
LEXI-SG: Monocular 3D Scene Graph Mapping with Room-Guided Feed-Forward Reconstruction
University of Oxford(牛津大学);Seoul National University(首尔国立大学)
LEXI-SG是首个仅使用RGB相机输入的开放词汇3D场景图密集映射系统,通过语义先验分割场景为房间,实现可扩展的密集映射。
2026-05-13 cs.CV cs.RO
FurnSet: Exploiting Repeats for 3D Scene Reconstruction
University of Calgary(卡尔加里大学)
FurnSet通过显式识别和利用重复物体实例提升3D场景重建质量,结合场景级和物体级条件引导重建,并利用点云优化布局。
2026-04-22 cs.CV
General Dynamic Scene Reconstruction from Multiple View Video
University of Surrey(萨里大学)
本文介绍了一种通用的方法,从多个运动的摄像机动态场景重建没有先验知识或限制约束的场景结构,外观,或照明。用于从多个宽基线相机视图进行动态场景重建的现有技术主要集中在受控环境中的精确重建,其中相机是固定的和校准的,并且背景是已知的。这些方法对于用稀疏移动相机捕获的一般动态场景是不鲁棒的。以前的室外动态场景重建方法假设静态背景外观和结构的先验知识。本文的主要贡献有两个方面:一个自动的方法,初始粗糙的动态场景分割和重建背景外观或结构的先验知识;和一个通用的强大的方法,从多个宽基线静态或移动相机的联合分割细化和密集的动态场景重建。评估是在各种室内和室外场景与杂乱的背景和多个动态的非刚性对象,如人。与国家的最先进的方法相比,表明在多视图分割和密集重建的准确性提高。该方法还消除了对场景结构和外观的先验知识的要求。
2015-09-30 cs.CV
Temporally coherent 4D reconstruction of complex dynamic scenes
University of Surrey(萨里大学)
提出了一种复杂动态场景的四维时间相干模型重建方法。不需要先验知识的场景结构或摄像机校准,允许从多个移动的摄像机重建。将稀疏到稠密的时间对应与联合多视图分割和重建相结合,以获得静态和动态对象的完整4D表示。利用时间相干性来克服视觉模糊性,从而改善复杂场景的重建。通过引入测地线星形凸性约束,实现了动态目标的鲁棒联合分割和重建。对比评价是在各种非结构化的室内和室外动态场景与手持摄像机和多人。这展示了具有改进的非刚性对象分割和形状重建的完整时间相干4D场景模型的重建。
2016-03-28 cs.CV
SceneReGen: Generative Reconstruction of 3D Scenes from a Single Image
Huawei(华为);Northwestern Polytechnical University(西北工业大学)
SceneReGen是基于DiT的生成式重建框架,通过选择性姿态分解解决物体与场景的坐标系鸿沟,在3D-FUTURE数据集上的场景级指标表现最优,可应用于自动驾驶等场景。
2026-08-26 cs.CV
Temporally Coherent General Dynamic Scene Reconstruction
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey(萨里大学视觉、语音与信号处理中心(CVSSP))
用于从多个宽基线相机进行动态场景重建的现有技术主要集中在受控环境中的重建,具有固定校准的相机和强先验约束。本文介绍了一种通用的方法来获得复杂的动态场景的4D表示从多视图宽基线静态或移动相机没有先验知识的场景结构,外观,或照明。贡献的工作是:提出了一种自动初始粗重建方法,用于初始化联合估计;提出了一种基于稀疏到稠密时间对应的多视点联合分割与重建方法,用于引入时间相干性;提出了一种基于形状约束的动态场景联合分割细化与稠密重建方法。与各种复杂的室内和室外场景的最先进的方法进行比较,证明了在多视图分割和密集重建的准确性提高。本文提出了一种基于改进的非刚性物体分割和形状重建的时间相干的4D场景模型的无监督重建方法,并将其应用于自由视点绘制和虚拟现实中。
2020-08-03 cs.CV
Crowd4D: Scene-Aware Monocular 4D Crowd Reconstruction
针对单目视频恢复大规模场景下4D人群运动的难题,提出Crowd4D框架,通过多阶段优化联合优化人群与场景,引入HSIP解决对齐问题、CSCR提升时间稳定性,实验证明其性能优于现有方法,可实现复杂场景下单目4D人群稳健重建。
2026-07-23 cs.CV
RetrievalFuse: Neural 3D Scene Reconstruction with a Database
Technical University of Munich(慕尼黑工业大学);Max Planck Institute for Intelligent Systems, Tübingen(马克斯·普朗克智能系统研究所(蒂宾根));Apple(苹果公司)
由于解空间的高复杂性,大场景的3D重建是一个具有挑战性的问题,特别是对于生成神经网络。传统的生成学习模型将整个生成过程编码到神经网络中,并且可能难以在场景级别保持局部细节,与此相反,我们引入了一种直接利用训练数据库中场景几何形状的新方法。首先,我们学习合成一个3D场景的初始估计,通过从场景数据库中检索前k组体积块来构建。然后,这些候选者被细化为具有基于注意力的细化的最终场景生成,该基于注意力的细化可以有效地从候选者中选择最一致的几何集合,并将它们组合在一起以创建输出场景,从而促进来自训练场景几何的相干结构和局部细节的转移。我们展示了我们的神经场景重建与3D超分辨率和表面重建任务的数据库从稀疏点云,表明我们的方法可以生成更连贯,更准确的3D场景,提高平均超过8%的IoU比最先进的场景重建。
2021-08-10 cs.CV
Uncertainty-Driven Active Vision for Implicit Scene Reconstruction
Facebook AI Research(脸书人工智能研究院);McGill University(麦吉尔大学)
多视点隐式场景重建方法因其能够表现复杂场景细节而受到越来越多的关注。最近的努力已经致力于改善输入信息的表示,并减少获得高质量的重建所需的视图的数量。然而,也许令人惊讶的是,选择哪些视图以最大限度地提高场景理解的研究在很大程度上仍然没有探索。我们提出了一个不确定性驱动的主动视觉方法隐式场景重建,它利用占用的不确定性积累在整个场景中使用体渲染选择下一个视图采集。为此,我们开发了一种基于占用率的重建方法,该方法准确地表示使用2D或3D监督的场景。我们在ABC数据集和野生CO 3D数据集上评估了我们提出的方法,并表明:(1)我们能够获得高质量的最先进的占用重建;(2)我们的视角条件不确定性定义有效地推动了下一个最佳视图选择的改进,并优于强基线方法;以及(3)我们可以通过对视图选择候选执行基于梯度的搜索来进一步改进形状理解。总的来说,我们的研究结果突出了隐式场景重建的视图选择的重要性,使其成为一个有前途的途径,进一步探索。
2022-10-03 cs.CV
MultiEgo: A Multi-View Egocentric Video Dataset for 4D Scene Reconstruction
Shanghai Jiao Tong University(上海交通大学);VisionStar Information Technology (Shanghai) Co., Ltd.(VisionStar信息科技(上海)有限公司)
MultiEgo是首个多视角第一人称视频数据集,用于4D动态场景重建,包含五个社交互动场景,提供高精度姿态标注和亚毫秒级时间同步,适用于自由视角视频应用。
2025-12-12 cs.CV
Scene and Human in One World: Reconstruction in a Feedforward Pass
University of Pennsylvania(宾夕法尼亚大学)
提出SHOW框架,通过统一度量空间中的前馈3D场景重建与人体网格恢复,利用人体语义和尺度先验实现尺度感知的场景重建,并利用场景几何约束优化人体定位,解决动态单目视频中的人-场景对齐和遮挡问题。
2026-06-29 cs.CV
Generalized Scene Reconstruction
Quidient, LLC(Quidient有限责任公司)
一种新的被动方法,称为广义场景重建(GSR),使“广义场景”,以有效地重建。广义场景被定义为包括非朗伯、部分透射、无纹理和精细结构物质的“无限”空间。引入了一种称为全光八叉树的新数据结构,以实现移动电话,增强现实(AR)眼镜和无人机等设备中的高效(类似数据库)光场和物质场重建。为了满足GSR精度的阈值要求,场景被表示为部分偏振光的系统,与物质辐射相互作用。为了演示GSR,使用原型成像偏振计来重建(在广义光场中)高反射、冰雹损坏的汽车车身面板。后续的GSR实验进行了说明。
2018-05-24 cs.CV
WideRange4D: Enabling High-Quality 4D Reconstruction with Wide-Range Movements and Scenes
Peking University(北京大学);Skywork AI;University of the Chinese Academy of Sciences(中国科学院大学);National University of Singapore(新加坡国立大学)
针对现有4D重建数据集和变形场方法难以处理大范围空间运动的局限,本文提出了包含大空间变化的新基准WideRange4D及新重建方法Progress4D,实现了稳定高质量的4D场景重建并超越了现有技术。
2025-04-29 cs.CV
3DFIRES: Few Image 3D REconstruction for Scenes with Hidden Surface
University of Michigan(密歇根大学);New York University(纽约大学)
3DFIRES提出一种仅需一张或少量图像即可重建场景完整几何(含隐藏表面)的系统,通过特征级多视图融合,在稀疏视图下超越现有方法。
2024-03-13 cs.CV
FreeSplat++: Generalizable 3D Gaussian Splatting for Efficient Indoor Scene Reconstruction
School of Computing, National University of Singapore(新加坡国立大学计算机学院)
提出FreeSplat++,通过低成本跨视图聚合、像素级三元组融合和加权漂浮物去除,实现高效的大规模室内全场景3D高斯重建,并利用深度正则化微调提升精度与速度。
2025-03-29 cs.CV
GenRecon: Bridging Generative Priors for Multi-View 3D Scene Reconstruction
Technical University of Munich(慕尼黑技术大学);Computing Systems Lab, Huawei Technologies(华为技术有限公司计算系统实验室)
提出一种将多视图RGB图像重建与强生成3D先验紧密结合的方法,通过条件3D生成和投影条件机制实现高保真、多视图一致的场景级重建,性能优于现有方法16%。
2026-05-22 cs.CV
Topology-Change-Aware Volumetric Fusion for Dynamic Scene Reconstruction
拓扑变化是动态场景4D重建的一个挑战性问题。在经典的基于体融合的框架中,通常从TSDF体中提取一个网格作为正则表面表示来帮助估计变形场。然而,表面和嵌入变形图(EDG)表示带来的冲突,在拓扑变化,因为表面网格具有固定的连接,但变形场可以是不连续的。在本文中,经典的框架进行了重新设计,使4D重建的动态场景下的拓扑变化,通过引入一种新的结构的非流形体网格TSDF和EDG的重新设计,它允许通过单元分裂和复制的连接更新。实验结果表明,令人信服的重建结果的拓扑结构变化的动态场景,相比,国家的最先进的方法。
2020-07-14 cs.CV
Joint Optimization for 4D Human-Scene Reconstruction in the Wild
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
提出JOSH方法,通过联合优化场景、相机姿态和人体运动,从单目视频中实现野外4D人体-场景重建,优于现有方法。
2026-07-01 cs.CV
RIC: Rotate-Inpaint-Complete for Generalizable Scene Reconstruction
Samsung AI Center(三星人工智能中心)
针对单视图下含未知物体的通用场景重建难题,提出RIC两阶段方法,借助Dalle-2修复多视角缺失区域再通过法向量预测提升至3D,对深度分布与尺度变化鲁棒,性能优于多个基线且泛化性好。
2023-10-04 cs.CV
ClaraVid: A Holistic Scene Reconstruction Benchmark From Aerial Perspective With Delentropy-Based Complexity Profiling
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
本研究推出合成航空数据集ClaraVid以填补现有数据集的不足,并提出基于微分熵的去熵场景剖面指标量化场景复杂度,验证了其与重建精度的强相关性,为神经重建研究提供基准与复杂度先验。
2025-07-31 cs.CV
A Solution for Crime Scene Reconstruction using Time-of-Flight Cameras
Politecnico di Milano(米兰理工大学)
在这项工作中,我们提出了一种三维(3D)重建的方法,广泛的犯罪现场的基础上,同时定位与地图构建(SLAM)的方法。我们使用Kinect V2飞行时间(TOF)RGB-D摄像头以30 Hz的频率提供彩色密集点云。该设备在场景探索期间自由移动(6个自由度)。所实现的SLAM解决方案使用3D关键点描述和匹配方法对齐连续的点云。这种类型的方法利用色度和几何信息,并允许在较差的照明条件下重建。我们的解决方案已经过室内犯罪现场和室外考古遗址重建的测试,返回的平均误差约为1厘米。它不如环境激光扫描仪解决方案精确,但更实用,更便携,也更不笨重。此外,硬件肯定更便宜。
2017-08-07 cs.CV
FIORD: A Fisheye Indoor-Outdoor Dataset with LIDAR Ground Truth for 3D Scene Reconstruction and Benchmarking
Tampere University(坦佩雷大学);Aalto University(阿尔托大学);University of Oulu(奥卢大学)
本文提出FIORD数据集,利用双200度鱼眼镜头采集5个室内和5个室外场景的360度覆盖图像,并提供激光雷达稠密点云作为几何真值,以支持在遮挡和反射等挑战性条件下的三维场景重建与新视角合成基准测试。
2025-04-09 cs.CV
$ϕ$-Scene: Physically Grounded Image-to-3D Scene Reconstruction
University of California San Diego(加州大学圣地亚哥分校)
提出$\phi$-Scene方法,将单图像3D场景重建视为拓扑驱动的物理组装过程,通过SDF优化和刚体仿真解决穿透与不稳定接触问题,在3D-Front数据集上取得最优性能。
2026-08-25 cs.CV
Collision-Aware and Observation-Aligned Object-Centric Scene Reconstruction from Point Cloud
Zhejiang University(浙江大学)
提出COOL框架,利用实例与背景点云条件化生成,结合碰撞损失与联合优化,实现碰撞感知、观测对齐的面向对象场景重建。
2026-09-30 cs.CV
Pursuing 3D Scene Structures with Optical Satellite Images from Affine Reconstruction to Euclidean Reconstruction
University of Northeastern(东北大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
如何利用多幅光学卫星图像恢复场景的三维结构是遥感领域一个具有挑战性的重要问题。现有的大多数方法都是基于经典的RPC(rational polynomial camera)模型,该模型需要至少39个地面控制点,然而,在许多真实场景中要获得如此多的地面控制点并不容易。针对这一问题,我们提出了一个分层重建框架的基础上,多个光学卫星图像,它只需要4个控制点。该框架由仿射稠密重建阶段和仿射到欧氏升级阶段组成:在仿射稠密重建阶段,探索了一种仿射稠密重建方法,用于在没有任何GCP的情况下从输入卫星图像中追求3D仿射场景结构。然后在仿射到欧几里德升级阶段,将获得的3D仿射结构升级为具有4个GCP的欧几里德结构。在两个公开数据集上的实验结果表明,该方法在大多数情况下明显优于三种最先进的方法。
2022-01-16 cs.CV
Complete Scene Reconstruction by Merging Images and Laser Scans
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Ocean University of China(中国海洋大学);University of Chinese Academy of Sciences(中国科学院大学);Henan Polytechnic University(河南理工大学)
基于图像的建模和激光扫描是目前大规模建筑场景重建中常用的两种方法。为了生成完整的场景重建,一种有效的方法是利用地面和航空影像对场景进行完全覆盖,并辅之以激光对某些纹理较低、结构复杂的区域进行扫描。因此,关键问题是在一个统一的框架中准确校准相机和记录激光扫描。为此,我们提出了一个三步流水线,通过合并图像和激光扫描完成场景重建。首先,以多视图和多尺度的方式在架构周围捕获图像,并将其馈送到运动恢复结构(SfM)流水线中以生成SfM点。然后,基于SfM结果,通过考虑纹理丰富性、场景结构复杂性和激光扫描的空间布局来自动规划激光扫描位置。最后,图像和激光扫描以由粗到精的方式精确合并。在两个中国古代建筑数据集上的实验验证了本文提出的完整场景重建流水线的有效性。
2019-09-18 cs.CV
Feasibility of Neural Radiance Fields for Crime Scene Video Reconstruction
School of IT Monash University Malaysia(马来西亚莫纳什大学信息技术学院)
该研究围绕基于视频的犯罪现场重建需求,聚焦NeRF的多目标合成、可变形合成、光照三大创新方向,分析神经辐射场模型变体用于该场景的可行性。
2024-07-11 cs.CV
Exploring Stereovision-Based 3-D Scene Reconstruction for Augmented Reality
Beijing Institute of Technology(北京理工大学);Nankai University(南开大学);China Electronics Standardization Institute(中国电子技术标准化研究院);AICFVE of Beijing Film Academy(北京电影学院数字影视动画创作与理论研究北京市重点实验室)
三维场景重建是增强现实(AR)的关键技术之一,它涉及到复杂信息的图像处理和显示系统的集成。立体匹配是一种基于计算机视觉的三维场景重建方法。在本文中,我们探索了一种改进的立体匹配网络,SLED-Net,其中提出了一个单一的长编码器-解码器来取代PSM-Net中的堆叠沙漏网络,以更好地学习上下文信息。我们将SLED-Net与最近发表的最先进的方法进行了比较,并在Scene Flow和KITTI 2015测试集上展示了其卓越的性能。
2019-02-17 cs.CV
4D Primitive-Mâché: Glueing Primitives for Persistent 4D Scene Reconstruction
Dyson Robotics Lab, Imperial College London(戴森机器人实验室,帝国理工学院伦敦)
本文提出一种4D场景重建方法,通过分解场景为刚体3D原始并推断其运动,实现持久的4D重建,优于现有方法。
2025-12-18 cs.CV
BézierGS: Dynamic Urban Scene Reconstruction with Bézier Curve Gaussian Splatting
School of Data Science, Fudan University(复旦大学数据科学学院)
针对自动驾驶城市场景重建依赖物体姿态标注的问题,提出贝塞尔曲线高斯泼溅方法,用可学习曲线建模动态物体轨迹并自动纠正姿态误差,在Waymo和nuPlan数据集上优于现有方法。
2025-07-08 cs.CV
UniCon3R: Unified Contact-aware 4D Human-Scene Reconstruction from Monocular Video
National University of Singapore(国立新加坡大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
UniCon3R通过建模人体与环境的接触关系,提升4D人体-场景重建的物理合理性与全局运动估计,同时保持高效的前馈推理速度。
2026-05-11 cs.CV
Sparis: Neural Implicit Surface Reconstruction of Indoor Scenes from Sparse Views
Beijing National Research Center for Information Science and Technology (BNRist), Tsinghua University(北京信息科学与技术国家研究中心(BNRist),清华大学);School of Software, Tsinghua University(清华大学软件学院)
本文提出Sparis方法,通过引入基于图像间匹配一致性的新型先验、角度滤波与极线匹配权重函数,解决稀疏视角下室内场景神经隐式表面重建中的尺度模糊与几何坍塌问题。
2025-01-02 cs.CV
ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes
Stanford University(斯坦福大学);Princeton University(普林斯顿大学);Technical University of Munich(慕尼黑工业大学)
利用监督式深度学习方法的一个关键要求是大型标记数据集的可用性。不幸的是,在RGB-D场景理解的上下文中,可用的数据非常少-当前数据集覆盖小范围的场景视图并且具有有限的语义注释。为了解决这个问题,我们引入了ScanNet,一个RGB-D视频数据集,包含1513个场景中的250万个视图,其中注释了3D相机姿势,表面重建和语义分割。为了收集这些数据,我们设计了一个易于使用和可扩展的RGB-D捕获系统,包括自动表面重建和众包语义注释。我们表明,使用这些数据有助于实现最先进的性能在几个3D场景理解任务,包括3D对象分类,语义体素标记,和CAD模型检索。该数据集可在http://www.scan-net.org上免费获得。
2017-04-11 cs.CV
Real-time Indoor Scene Reconstruction with RGBD and Inertia Input
Hangzhou Dianzi University(杭州电子科技大学);Tsinghua University(清华大学)
摄像机运动估计是三维场景重建和同时定位与地图构建(SLAM)的关键技术。为了使其可行地实现,以前的作品通常假设缓慢的相机运动,这限制了它在许多实际情况下的使用。我们提出了一个端到端的三维重建系统,它结合了颜色,深度和惯性测量,以实现快速传感器运动的鲁棒重建。我们的框架扩展卡尔曼滤波器融合的三种信息,并涉及一个迭代法,以联合优化特征对应,相机姿态和场景几何。我们还提出了一种新型的几何感知补丁变形技术来适应图像域中的特征外观,从而在快速相机运动下实现更准确的特征匹配。实验表明,我们的补丁变形方法提高了特征跟踪的准确性,我们的三维重建优于国家的最先进的解决方案下快速相机运动。
2018-12-07 cs.CV
CoSurfGS:Collaborative 3D Surface Gaussian Splatting with Distributed Learning for Large Scene Reconstruction
Northwestern Polytechnical University(西北工业大学);Nanyang Technological University(南洋理工大学);Zhejiang University(浙江大学);Shanghai AI Lab(上海人工智能实验室)
提出基于分布式学习的多智能体协作3DGS表面重建框架CoSurfGS,通过局部模型压缩和模型聚合方案解决大规模场景重建的内存与时间瓶颈,实现高保真表面重建与照片级渲染。
2024-12-23 cs.CV
Rethinking Rainy 3D Scene Reconstruction via Perspective Transforming and Brightness Tuning
针对雨天多视角图像导致三维重建不准的问题,本文构建了考虑视角差异与亮度变化的 OmniRain3D 数据集,并提出 REVR-GSNet 框架,通过亮度增强、高斯优化与去雨联合交替优化实现高保真重建。
2025-11-10 cs.CV
Enhanced 3D Urban Scene Reconstruction and Point Cloud Densification using Gaussian Splatting and Google Earth Imagery
University of Waterloo(滑铁卢大学)
本研究利用Google Earth影像构建3D Gaussian Splatting模型,实现了远超神经辐射场的照片级城市场景视图合成,并通过提取点云与多视图立体重建对比,完成了大规模场景的3D几何与光照重建。
2024-06-01 cs.CV
Nighttime Autonomous Driving Scene Reconstruction with Physically-Based Gaussian Splatting
Huawei Noah’s Ark Lab(华为诺亚实验室);University of Toronto(多伦多大学)
本文提出基于物理的高斯点云方法,提升自动驾驶夜间场景重建质量,实现实时渲染并优于现有方法。
2026-02-14 cs.CV
City-Level 3D Surface Reconstruction with Viewpoint Orientation Partitioning and Scene Completion
School of Software, Tsinghua University(清华大学软件学院);Department of Computer Science, Wayne State University(韦恩州立大学计算机科学系)
针对多视图三维表面重建难题,提出基于视点方向的场景划分方法,确保相似方向视图共同参与以精确估计深度,并行计算更均衡,还提出检测修复点云缺失区域策略,提升大规模场景重建质量。
2026-07-07 cs.CV
Neural 3D Scene Reconstruction from Multiple 2D Images without 3D Supervision
Beijing Institute of Technology(北京理工大学);Shenzhen MSU-BIT University(深圳北理莫斯科大学)
本文提出一种无需3D监督的神经场景重建方法,利用稀疏深度、平面约束和几何约束从多张2D图像重建室内场景,在ScanNet上达到与有3D监督方法相当的性能。
2023-07-04 cs.CV
MonoNeuralFusion: Online Monocular Neural 3D Reconstruction with Geometric Priors
BNRist(北京信息科学与技术国家研究中心);Tsinghua University(清华大学);Beijing Normal University(北京师范大学);City University of Hong Kong(香港城市大学);Tencent PCG(腾讯平台与内容事业群)
从单目视频中进行高保真3D场景重建仍然具有挑战性,特别是对于完整和细粒度的几何重建。以往的三维重建方法与神经隐式表示已显示出良好的能力,完整的场景重建,但他们的结果往往是过于光滑,缺乏足够的几何细节。本文介绍了一种新的神经隐式场景表示与体渲染高保真在线三维场景重建从单目视频。对于细粒度重建,我们的关键洞察力是将几何先验知识纳入神经隐式场景表示和神经体渲染,从而导致一个有效的几何学习机制的基础上体渲染优化。受益于此,我们提出了MonoNeuralFusion来执行单目视频的在线神经3D重建,通过该方法,在实时3D单目扫描过程中有效地生成和优化3D场景几何形状。与最先进的方法进行的广泛比较表明,我们的MonoNeuralFusion在定量和定性方面始终生成更好的完整和细粒度重建结果。
2022-09-30 cs.CV
Graph-Guided Scene Reconstruction from Images with 3D Gaussian Splatting
HKUST(GZ)(香港科技大学(广州));HKU(香港大学);SCUT(华南理工大学);UC Berkeley(加州大学伯克利分校)
本文提出图引导的三维场景重建框架GraphGS,利用空间先验构建相机图,结合多视图一致性约束与自适应采样,优化三维高斯泼溅,实现高质量、高效的大规模场景重建,性能达到最先进水平。
2025-02-24 cs.CV
Holistic Large-Scale Scene Reconstruction via Mixed Gaussian Splatting
School of Computer Science, Wuhan University(武汉大学计算机学院);School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院);School of Electronic Information, Wuhan University(武汉大学电子信息学院);State Key Lab. of LIESMARS, Wuhan University(武汉大学LIESMARS国家重点实验室);Institute for Math & AI, Wuhan University(武汉大学数学与人工智能研究院)
针对现有大规模场景重建分治范式丢失全局信息且参数调优复杂的问题,提出整体优化框架MixGS,通过视角感知表示和混合操作结合解码与原始高斯,在单张24GB GPU上实现了最先进的渲染质量与竞争力速度。
2025-05-29 cs.CV
GVKF: Gaussian Voxel Kernel Functions for Highly Efficient Surface Reconstruction in Open Scenes
AI Thrust, HKUST(GZ)(香港科技大学(广州)AI推进部)
针对NeRF训练渲染耗时及3DGS表面重建内存高、细节粗糙的问题,提出GVKF,用核回归将离散3DGS转为连续表示,实现高质量、实时且省内存的开放场景重建。
2024-12-04 cs.CV
DistGrid: Scalable Scene Reconstruction with Distributed Multi-resolution Hash Grid
National University of Defence Technology(国防科技大学)
本文提出 DistGrid,通过分布式联合多分辨率哈希网格、非重叠轴对齐包围盒划分与分段体绘制消除背景 NeRF,实现高质量、可扩展的大规模场景重建。
2024-05-08 cs.CV
Dynamic Multi-View Scene Reconstruction Using Neural Implicit Surface
Fraunhofer HHI(弗劳恩霍夫海因里希·赫兹研究所);TU Berlin(柏林工业大学);HU Berlin(柏林洪堡大学)
重建一般动态场景对于许多计算机视觉和图形学应用是重要的。最近的工作表示动态场景与神经辐射场的真实感视图合成,而他们的表面几何是欠约束和噪声。其他作品引入表面约束的隐式神经表示解开静态场景重建的几何和外观场的模糊性。为了弥合渲染动态场景和恢复静态表面几何形状之间的差距,我们提出了一种无模板的方法来重建表面几何形状和外观,使用神经隐式表示从多视图视频。我们利用拓扑感知的变形和有符号的距离场,学习复杂的动态表面通过可微体渲染没有场景特定的先验知识,如模板模型。此外,我们提出了一种新的基于掩模的光线选择策略,以显着提高具有挑战性的时变区域的优化。在不同的多视点视频数据集上的实验表明,该方法实现了高逼真度的表面重建以及照片级真实感的新视图合成。
2023-02-28 cs.CV
\textit{4DSurf}: High-Fidelity Dynamic Scene Surface Reconstruction
Australian National University(澳大利亚国立大学);NVIDIA(英伟达);Amazon(亚马逊)
本文提出4DSurf框架,解决动态场景表面重建问题,通过高斯变形和重叠分段策略实现大变形和时间一致性,实验显示在Chamfer距离上优于现有方法。
2026-10-27 cs.CV
Learning Dynamic Scene Reconstruction with Sinusoidal Geometric Priors
DMU(德蒙福特大学)
SirenPose通过结合正弦激活特性与几何先验,提升动态3D场景重建的时空一致性与运动建模准确性。
2025-12-25 cs.CV
SHARE: Scene-Human Aligned Reconstruction
National Research Council Canada(加拿大国家研究理事会);University of Waterloo(滑铁卢大学);Simon Fraser University(西蒙 Fraser大学)
SHARE利用场景几何的空间线索,通过单目视频迭代优化人体网格与场景点图的对齐,实现更精确的三维人体放置,并在实验中优于现有方法。
2025-10-17 cs.CV
Gen3R: 3D Scene Generation Meets Feed-Forward Reconstruction
Zhejiang University(浙江大学);ByteDance Project(字节跳动项目)
Gen3R通过结合基础重建模型的强先验与视频扩散模型,实现3D场景生成,生成RGB视频及3D几何数据,实验显示其在单图和多图条件下达到SOTA结果。
2026-03-23 cs.CV
DAS3R: Dynamics-Aware Gaussian Splatting for Static Scene Reconstruction
National University of Singapore(新加坡国立大学);dConstruct Robotics(dConstruct机器人公司)
DAS3R通过动态感知高斯泼溅和运动掩码实现日常视频的静态背景重建,无需相机位姿或SLAM点云,在DAVIS和Sintel上PSNR领先超过2 dB。
2024-12-27 cs.CV
Prior-Enhanced Gaussian Splatting for Dynamic Scene Reconstruction from Casual Video
University of Washington(华盛顿大学);National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出一种基于先验增强的动态场景重建方法,通过改进高斯点云法和引入虚拟视图深度损失,提升单目视频重建的精度和渲染质量。
2025-12-12 cs.CV
3D-RE-GEN: 3D Reconstruction of Indoor Scenes with a Generative Framework
3D-RE-GEN通过生成框架实现单图像室内场景的高质量三维重建,结合多领域模型提升重建精度与实用性。
2025-12-19 cs.CV