LEXI-SG: Monocular 3D Scene Graph Mapping with Room-Guided Feed-Forward Reconstruction
University of Oxford(牛津大学);Seoul National University(首尔国立大学)
LEXI-SG是首个仅使用RGB相机输入的开放词汇3D场景图密集映射系统,通过语义先验分割场景为房间,实现可扩展的密集映射。
2026-05-13 cs.CV cs.RO
Learning monocular visual odometry with dense 3D mapping from dense 3D flow
University of Birmingham(伯明翰大学);University of Lincoln(林肯大学);Toshiba Research Europe(东芝欧洲研究院)
本文介绍了一种用于单目SLAM的完全深度学习方法,该方法可以使用神经网络来学习视觉里程计(L-VO)和密集3D映射来执行同时定位。通过子网络从单眼图像生成密集2D流和深度图像,然后由L-VO网络中的3D流关联层使用以生成密集3D流。给定该3D流,双流L-VO网络然后可以预测6DOF相对位姿并且进一步重建车辆轨迹。为了学习运动方向之间的相关性,在损失函数中采用双变量高斯建模。在KITTI里程计基准测试中,L-VO网络的平均平移误差和平均旋转误差的总体性能分别为2.68%和0.0143 deg/m。此外,学习的深度被充分利用来生成密集的3D地图。因此,一个完整的视觉SLAM系统,即学习单目测距结合密集的3D映射,实现。
2018-07-25 cs.CV cs.RO
Direct Visual-Inertial Odometry with Semi-Dense Mapping
University of Kansas(堪萨斯大学)
本文介绍了一种直接视觉-惯性测距系统。特别是,紧耦合的非线性优化的方法,提出了通过集成在直接密集跟踪和惯性测量单元(IMU)的预集成的最新进展,和因子图优化是适应于估计相机的位姿和重建半密集地图。两个滑动窗口保持在所提出的方法。第一种是基于直接稀疏测距法(DSO)的深度估计,用于映射和密集视觉跟踪。在第二个,测量从IMU预集成和密集的视觉跟踪融合概率使用紧耦合,基于优化的传感器融合框架。因此,IMU预积分提供了额外的约束以抑制由视觉里程计引起的标度漂移。在真实世界基准数据集上的评估表明,该方法在室内场景中取得了有竞争力的结果。
2019-10-04 cs.CV cs.RO
CodeMapping: Real-Time Dense Mapping for Sparse SLAM using Compact Scene Representations
Dyson Technology Ltd.(戴森技术有限公司);Imperial College London(帝国理工学院)
我们提出了一种新的密集映射框架稀疏视觉SLAM系统,利用紧凑的场景表示。最先进的稀疏视觉SLAM系统提供对相机轨迹和地标位置的准确且可靠的估计。虽然这些稀疏地图对于定位是有用的,但它们不能用于其他任务,例如避障或场景理解。在本文中,我们提出了一个密集的映射框架,以补充稀疏的视觉SLAM系统,作为输入的相机姿势,关键帧和稀疏点产生的SLAM系统,并预测密集的深度图像的每个关键帧。我们建立在CodeSLAM上,并使用变分自编码器(VAE),其条件是来自稀疏SLAM的强度、稀疏深度和重投影误差图像,以预测不确定性感知的密集深度图。VAE的使用使我们能够通过多视图优化来细化密集的深度图像,这提高了重叠帧的一致性。我们的映射器运行在一个单独的线程并行的SLAM系统在一个松散耦合的方式。这种灵活的设计允许与任意度量的稀疏SLAM系统集成,而不会延迟主SLAM过程。我们的稠密映射器不仅可以用于局部映射,而且可以通过TSDF融合进行全局一致的稠密3D重建。我们展示了我们的系统与ORB-SLAM 3运行,并显示准确的密集深度估计,可以使应用程序,如机器人和增强现实。
2021-07-19 cs.CV cs.RO
SimpleMapping: Real-Time Visual-Inertial Dense Mapping with Deep Multi-View Stereo
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
该研究提出SimpleMapping实时视觉惯性稠密建图方法,通过稀疏点辅助MVS网络结合VIO与TSDF融合,实现高质量在线三维网格重建,在EuRoC高难场景F-score较现有方法提升39.7%。
2023-08-27 cs.CV cs.RO
TANDEM: Tracking and Dense Mapping in Real-time using Deep Multi-view Stereo
Technical University of Munich(慕尼黑工业大学);Artisense;Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用科学大学)
在本文中,我们提出了TANDEM的实时的【形】单目跟踪和密集映射框架。对于姿态估计,TANDEM基于关键帧的滑动窗口执行光度光束法平差。为了提高鲁棒性,我们提出了一种新的跟踪前端,使用从密集深度预测增量构建的全局模型渲染的深度图执行密集的直接图像对齐。为了预测密集的深度图,我们提出了级联视图聚合MVSNet(CVA-MVSNet),它利用整个活动关键帧窗口,通过分层构建具有自适应视图聚合的3D成本卷来平衡关键帧之间的不同立体基线。最后,将预测的深度图融合成一致的全局图,该全局图表示为截断的带符号距离函数(TSDF)体素网格。我们的实验结果表明,TANDEM优于其他国家的最先进的传统和学习为基础的单目视觉里程计(VO)方法在相机跟踪。此外,TANDEM显示了最先进的实时的【形】3D重建性能。
2021-11-14 cs.CV cs.RO
EVI-SAM: Robust, Real-time, Tightly-coupled Event-Visual-Inertial State Estimation and 3D Dense Mapping
The University of Hong Kong(香港大学);HKU-TCL Joint Research Center for Artificial Intelligence(香港大学-TCL人工智能联合研究中心)
提出EVI-SAM,一种基于事件相机的紧耦合视觉-惯性状态估计与稠密建图方法,通过混合跟踪框架和图像引导的建图实现鲁棒、实时的六自由度位姿跟踪与三维重建。
2024-05-23 cs.CV cs.RO
Keyframe-based Dense Mapping with the Graph of View-Dependent Local Maps
Institute of Control, Robotics and Information Engineering(控制、机器人与信息工程研究所);Poznan University of Technology(波兹南技术大学)
本文提出了一种基于关键帧的密集映射方法,利用视点依赖结构和位姿图实现高精度环境建模与全局地图生成。
2026-01-13 cs.CV cs.RO
Standard and Event Cameras Fusion for Dense Mapping
Tsinghua University(清华大学)
事件相机是一种生物启发的传感器,当亮度变化时生成数据,具有低延迟和高动态范围(HDR)。然而,由于稀疏事件流的性质,基于事件的映射只能获得稀疏或半密集的边缘3D地图。相比之下,标准相机提供完整的帧。为了充分利用基于事件和基于标准帧的相机的互补性,本文提出了一种密集映射的融合策略。我们首先从事件生成边缘图,然后使用帧填充该图以获得密集深度图。我们提出了“填充分数”来评估填充结果的质量,并表明我们的策略可以增加现有的半密集3D地图的数量。
2021-06-03 cs.RO
RenderMap: Exploiting the Link Between Perception and Rendering for Dense Mapping
United Technologies Research Center (UTRC)(联合技术研究中心 (UTRC));Exyn Technologies Inc.(Exyn Technologies公司)
我们介绍了一种方法,用于实时(2Hz)创建一个密集的地图和对齐的移动机器人代理在该地图内通过使用图形处理单元(GPU)渲染。这是通过将密集映射过程的扫描对齐部分重新转换为渲染任务来完成的。通过渲染场景,与来自传感器的范围数据进行比较,计算对齐误差,并通过优化器将其最小化。所提出的方法利用计算机图形和GPU硬件渲染技术的进步,以加速算法。此外,它允许人们利用经典的密集映射算法,如迭代最近点(ICP)不使用的信息,通过渲染自由空间,占用空间和未知之间的接口。所提出的方法直接利用GPU的渲染能力,与其他基于GPU的方法,部署GPU作为通用并行计算平台。我们认为,所提出的概念是一个普遍的后果,处理感知问题的逆问题的渲染。许多感知问题可以被重新转换为一种形式,其中大部分计算被渲染操作取代。这不仅是高效的,因为渲染速度很快,而且实现起来也更简单,并且自然会受益于GPU速度和渲染技术的未来进步。此外,这个一般概念可以超越解决感知问题,并可用于其他问题域,如路径规划。
2017-02-21 cs.CV cs.RO
Real-time Scalable Dense Surfel Mapping
The Hong Kong University of Science and Technology(香港科技大学)
在本文中,我们提出了一种新的密集冲浪映射系统,以及在不同的环境中,只有CPU计算的规模。使用稀疏SLAM系统来估计相机姿态,所提出的映射系统可以将强度图像和深度图像融合到全局一致的模型中。该系统经过精心设计,可以使用RGB-D相机、立体相机甚至单目相机的深度图像,从房间规模的环境构建到城市规模的环境。首先,从强度和深度图像中提取的超像素用于在系统中对表面元进行建模。基于超像素的面元使我们的方法在运行时间上高效并且在存储器上高效。其次,根据SLAM系统的姿态图进一步组织表面元,以实现$O(1)$融合时间,而不管重建模型的规模。第三,使用优化的姿态图的快速地图变形使得地图能够实时的【形】实现全局一致性。建议surfel映射系统与其他国家的最先进的方法合成数据集进行比较。使用KITTI数据集和自主攻击性飞行,分别演示了城市规模和房间规模重建的性能。该代码可用于社区的利益。
2019-09-10 cs.CV cs.RO
DAVIO: Dense Monocular-Inertial SLAM with Feed-Forward Initialization and Pose-Conditioned Mapping
ITMO University(ITMO大学)
DAVIO利用单一多视图深度模型实现稠密单目惯性SLAM,通过无特征线性系统快速启动VIO滤波器,并用度量姿态条件化深度模型建图,在EuRoC和ORI序列上显著优于现有方法。
2026-09-24 cs.CV cs.RO
DBA-Fusion: Tightly Integrating Deep Dense Visual Bundle Adjustment with Multiple Sensors for Large-Scale Localization and Mapping
School of Geodesy and Geomatics, Wuhan University(武汉大学测绘学院)
本文提出DBA-Fusion框架,通过因子图将深度稠密Bundle Adjustment与多传感器信息紧耦合,支持视觉-惯性融合及其他传感器集成,实现大规模环境下高精度实时稠密建图与定位。
2024-03-20 cs.CV cs.RO
Real-time Semantic 3D Dense Occupancy Mapping with Efficient Free Space Representations
University of Michigan(密歇根大学)
提出了一种实时的【形】语义三维占位映射框架。映射框架是基于贝叶斯核推理策略从文献中。提出了两种新的自由空间表示方法,以有效地构建训练数据并提高映射速度,这是现实世界部署的主要瓶颈。我们的方法甚至在消费级CPU上实现实时的【形】映射。另一个重要的好处是,我们的方法可以处理动态场景,由于所提出的算法的覆盖完整性。在真实点云扫描数据集上进行了实验。
2021-07-07 cs.RO
Sparse Bayesian Inference for Dense Semantic Mapping
University of Michigan(密歇根大学)
尽管在同时定位与地图构建方面取得了令人印象深刻的进展,但由于其作为高维推理问题的固有性质,密集机器人地图构建仍然具有挑战性。在本文中,我们提出了一个密集的语义机器人映射技术,利用稀疏贝叶斯模型,特别是相关向量机,高维顺序推理。该技术是基于自动相关性确定的原则,并产生稀疏模型,使用原始密集训练集的一个小子集作为主导基础。所得到的地图后验是连续的,并且可以在任何分辨率下有效地进行查询。此外,该技术通过贝叶斯推理具有每个语义类的概率输出。我们使用公开可用的基准数据集,纽约大学深度V2和KITTI评估了所提出的相关向量语义图;结果显示,与最先进的技术相比,有希望的改进。
2017-09-22 cs.RO
Neural Graph Map: Dense Mapping with Efficient Loop Closure Integration
KTH Royal Institute of Technology(瑞典皇家理工学院);TU Graz(格拉茨工业大学)
提出Neural Graph Map框架,将场景表示为动态锚定于稀疏视觉SLAM位姿图的轻量级神经场集合,实现高效回环约束整合,在建筑规模大场景的建图质量与运行时间上优于现有方法。
2025-06-25 cs.CV cs.RO
Real-Time Dense 3D Mapping of Underwater Environments
Stevens Institute of Technology(史蒂文斯理工学院);University of South Carolina(南卡罗来纳大学);latitude AI;Dartmouth College(达特茅斯学院)
本文针对资源受限的自主水下航行器(AUV)实时稠密3D重建问题,提出结合SVIn2 VIO方法与实时3D重建流水线,在四个水下数据集上实现高帧率单CPU运行,重建效果媲美离线方法COLMAP。
2023-04-05 cs.CV cs.RO
MoD-SLAM: Monocular Dense Mapping for Unbounded 3D Scene Reconstruction
Columbia University(哥伦比亚大学);Cloudspace Technology(云空间科技);The University of Tokyo(东京大学);Dianjing Ciyuan Culture(电境慈源文化);Dalian University of Technology(大连理工大学)
针对现有单目SLAM仅适用于有界场景的局限,提出基于高斯无界表示与前端深度监督的MoD-SLAM方法,实现无界场景实时稠密重建,在标准数据集上重建与定位精度最高提升30%和15%。
2024-03-08 cs.CV cs.RO
HI-SLAM: Monocular Real-time Dense Mapping with Hybrid Implicit Fields
University of Stuttgart(斯图加特大学);Huawei Munich Research Center(华为慕尼黑研究中心);Central Media Technology Institute, Huawei 2012 Laboratories(华为2012实验室中央媒体技术研究院);Technical University of Munich(慕尼黑工业大学)
针对现有神经建图框架依赖特殊输入或无法实时运行的问题,提出融合稠密SLAM与神经隐式场的HI-SLAM框架,通过多分辨率编码、Sim(3)位姿图优化及联合深度尺度调整模块,在保证实时性的同时提升建图精度与完整性。
2023-12-15 cs.CV cs.RO
OmniSLAM: Omnidirectional Localization and Dense Mapping for Wide-baseline Multi-camera Systems
ETH Zurich(苏黎世联邦理工学院);Hanyang University(汉阳大学)
在本文中,我们提出了一个全方位的定位和密集的映射系统的宽基线多视图立体设置与超宽视场(FOV)鱼眼相机,它有一个360度的立体观测的环境覆盖。为了更实用和准确的重建,我们首先引入了改进的轻量级深度神经网络用于全向深度估计,它比现有的网络更快,更准确。其次,我们将我们的全方位深度估计到视觉里程计(VO),并添加一个闭环模块的全局一致性。使用估计的深度图,我们将关键点重新投影到每个其他视图上,这会导致更好,更高效的特征匹配过程。最后,我们融合的全向深度图和估计钻机构成截断符号距离函数(TSDF)的体积,以获得一个3D地图。我们评估我们的方法在具有挑战性环境的地面真实和真实世界序列的合成数据集上,广泛的实验表明,所提出的系统在合成和真实世界环境中都能产生出色的重建结果。
2020-03-18 cs.CV cs.RO
Polarimetric Monocular Dense Mapping Using Relative Deep Depth Prior
University of Alberta(阿尔伯塔大学)
本文研究了基于偏振相机的偏振稠密地图重建,以相对深度信息作为先验信息。通常,偏振成像能够揭示关于表面法线的信息,例如方位角和天顶角,这可以支持密集重建问题的解决方案的发展,特别是在纹理贫乏的区域中。然而,由于两种类型的偏振反射(镜面反射/漫反射),偏振形状线索是模糊的。尽管已经提出了解决这个问题的方法,但它们要么是离线的,因此在机器人应用中不实用,要么使用不完整的极化线索,导致性能不佳。在本文中,我们提出了一种在线重建方法,使用完整的偏振摄像机提供的偏振线索。通过我们的在线方法,我们可以沿着和垂直于等深度轮廓传播稀疏深度值。通过对具有挑战性的图像序列进行全面的实验,我们证明了我们的方法能够显着提高深度图的准确性,并增加其密度,特别是在纹理较差的区域。
2021-02-10 cs.CV cs.RO
DISC: Dense Integrated Semantic Context for Large-Scale Open-Set Semantic Mapping
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
DISC通过密集集成语义上下文方法,提升大规模开放集语义映射的语义准确性和实时性,适用于复杂场景的机器人部署。
2026-03-04 cs.CV cs.RO
NEDS-SLAM: A Neural Explicit Dense Semantic SLAM Framework using 3D Gaussian Splatting
Harbin Institute of Technology(哈尔滨工业大学)
本文提出NEDS-SLAM,一种基于3D高斯表示的稠密语义SLAM系统,通过空间一致特征融合、紧凑语义特征编码和虚拟视角剪枝,在Replica和ScanNet数据集上实现了具有竞争力的建图与跟踪精度及高质量语义建图。
2024-09-01 cs.CV cs.RO
Towards Large-Scale Incremental Dense Mapping using Robot-centric Implicit Neural Representation
School of Mechanical Engineering and Automation, Harbin Institute of Technology Shenzhen(哈尔滨工业大学(深圳)机械工程与自动化学院)
针对隐式神经表示在大规模增量稠密建图中的效率、显存和灾难性遗忘问题,提出RIM混合表示与机器人中心局部地图及可扩展全局地图,实现高质量、高效率和恒定显存建图。
2024-04-09 cs.RO
Probabilistic Surfel Fusion for Dense LiDAR Mapping
Autonomous Systems Laboratory, CSIRO Data61(CSIRO Data61 自主系统实验室);Queensland University of Technology(昆士兰科技大学)
随着高端激光雷达的发展,越来越多的系统能够在移动和产生空间冗余信息的同时持续绘制环境地图。然而,没有一个以前的方法能够有效地利用这种冗余在一个密集的激光雷达映射问题。在本文中,我们提出了一种新的方法,密集的激光雷达映射使用概率surfel融合。该系统能够从空间冗余的多个视图重建高质量的密集表面元素(面元)地图。这是通过一个建议的概率surfel融合与几何考虑的数据关联。所提出的surfel数据关联方法考虑了表面分辨率以及沿其波束方向的高测量不确定性,这使得测绘系统能够在不引入空间数字化的情况下控制表面分辨率。该融合方法通过在贝叶斯滤波框架中考虑激光束入射角和深度距离引起的测量噪声,成功地抑制了地图噪声水平。实验结果与模拟和真实数据的密集surfel映射证明所提出的方法能够准确地找到环境的规范形式,而无需进一步的后处理。
2017-09-17 cs.RO
H3-Mapping: Quasi-Heterogeneous Feature Grids for Real-time Dense Mapping Using Hierarchical Hybrid Representation
The Hong Kong University of Science and Technology(香港科技大学);Sun Yat-Sen University(中山大学)
提出H3-Mapping,利用准异构特征网格和梯度辅助关键帧选择,实现更快更高质量的NeRF稠密建图。
2024-07-16 cs.RO
Flying Co-Stereo: Enabling Long-Range Aerial Dense Mapping via Collaborative Stereo Vision of Dynamic-Baseline
Shanghai Jiao Tong University(上海交通大学);Mohamed Bin Zayed University of Artificial Intelligence(Mohamed Bin Zayed大学人工智能学院)
本文提出Flying Co-Stereo系统,利用两架无人机的宽基线协同立体视觉实现长距离空中稠密建图,通过双光谱视觉-惯性-测距估计、混合特征关联和稀疏到稠密深度恢复,将建图范围提升至70米,深度范围和覆盖面积分别比传统系统提高350%和450%。
2025-05-31 cs.RO
ShapeMap 3-D: Efficient shape mapping through dense touch and vision
Carnegie Mellon University(卡内基梅隆大学);Brigham Young University(杨百翰大学)
3-D物体形状的知识是非常重要的机器人操作任务,但可能不容易在非结构化环境中。虽然在机器人与物体的交互过程中视觉经常被遮挡,但高分辨率触觉传感器可以提供物体的密集局部视角。然而,触觉传感器具有有限的感测区域,并且形状表示必须忠实地近似非接触区域。此外,一个关键的挑战是有效地将这些密集的触觉测量到一个3-D映射框架。在这项工作中,我们提出了一种增量形状映射方法,使用GelSight触觉传感器和深度相机。局部形状通过在模拟中训练的学习模型从触觉图像中恢复。通过对高斯过程所告知的空间因子图的有效推理,我们构建了对象的隐式表面表示。我们在模拟和真实世界的实验中展示了视觉-触觉映射,以逐步建立家庭物体的3-D重建。
2022-03-10 cs.RO
H2-Mapping: Real-time Dense Mapping Using Hierarchical Hybrid Representation
The Hong Kong University of Science and Technology(香港科技大学);Sun Yat-Sen University(中山大学)
本文提出H2-Mapping,通过分层混合表示结合多分辨率哈希编码与八叉树SDF先验,并采用覆盖最大化关键帧选择策略,首次在手持设备和四旋翼飞行器的边缘计算机上实现实时高质量NeRF建图。
2023-09-11 cs.RO
SemGauss-SLAM: Dense Semantic Gaussian Splatting SLAM
School of Automation and Intelligent Sensing, Key Laboratory of System Control and Information Processing, Ministry of Education of China, Shanghai Jiao Tong University, Shanghai(自动化与智能感知学院、系统控制与信息处理重点实验室、中华人民共和国教育部、上海交通大学、上海);University of Cambridge, United Kingdom(剑桥大学、英国)
提出SemGauss-SLAM,将语义特征嵌入3D高斯表示,结合特征级损失与语义束调整,实现高精度稠密语义建图、稳健跟踪与高质量渲染,在Replica和ScanNet上优于现有辐射场SLAM方法。
2025-06-24 cs.CV cs.RO
Vox-Fusion: Dense Tracking and Mapping with Voxel-based Neural Implicit Representation
Zhejiang University(浙江大学);University of Bristol(布里斯托大学);SenseTime(商汤科技)
在这项工作中,我们提出了一个密集的跟踪和映射系统Vox-Fusion,它无缝地融合了神经隐式表示与传统的体积融合方法。我们的方法受到最近开发的隐式映射和定位系统的启发,并进一步扩展了这一想法,使其可以自由地应用于实际场景。具体来说,我们利用基于体素的神经隐式表面表示来编码和优化每个体素内的场景。此外,我们采用基于八叉树的结构来划分场景并支持动态扩展,使我们的系统能够跟踪和映射任意场景,而无需像以前的作品那样知道环境。此外,我们提出了一个高性能的多进程框架,以加快该方法,从而支持一些应用程序,需要实时性能。评估结果表明,我们的方法可以实现更好的准确性和完整性比以前的方法。我们还表明,我们的Vox-Fusion可以用于增强现实和虚拟现实应用。我们的源代码可在https://github.com/zju3dv/Vox-Fusion上公开获取。
2023-03-06 cs.CV cs.GR cs.RO
TURTLMap: Real-time Localization and Dense Mapping of Low-texture Underwater Environments with a Low-cost Unmanned Underwater Vehicle
University of Michigan(密歇根大学)
针对低纹理水下环境现有定位建图方法适用性差的问题,提出低成本的TURTLMap实时定位与稠密建图方案,经真实水箱实验验证,其在波浪条件下仍能实现精准鲁棒定位与高精度建图。
2024-10-09 cs.RO
BDIS-SLAM: A lightweight CPU-based dense stereo SLAM for surgery
United Imaging Research Institute of Intelligent Imaging(联影智能影像研究院);University of Michigan(密歇根大学);University of Technology Sydney(悉尼科技大学);Imperial College London(伦敦帝国理工学院)
针对微创手术中计算资源受限的问题,提出基于单核CPU的轻量级稠密立体SLAM系统BDIS-SLAM,集成BDIS匹配算法,在典型场景下实现30 Hz以上实时稠密建图。
2023-12-25 cs.CV cs.RO
Real-time Mapping of Physical Scene Properties with an Autonomous Robot Experimenter
Dyson Technology Ltd.(戴森科技有限公司);Imperial College(帝国理工学院)
神经场可以从头开始训练,以有效地表示3D场景的形状和外观。它还表明,他们可以密集映射相关的属性,如语义,通过稀疏的相互作用,从人类标签。在这项工作中,我们证明了机器人可以通过自己的完全自主的实验交互,用任意离散或连续的物理特性密集地注释场景,因为它同时用RGB-D相机扫描和映射场景。各种场景交互都是可能的,包括用力感测戳以确定刚度,用单像素光谱测量局部材料类型或通过推来预测力分布。稀疏的实验交互由熵引导以实现高效率,桌面场景属性在几分钟内从几十个交互中从头开始密集映射。
2022-10-31 cs.CV cs.RO
Advancing Dense Endoscopic Reconstruction with Gaussian Splatting-driven Surface Normal-aware Tracking and Mapping
The Chinese University of Hong Kong (CUHK)(香港中文大学);CUHK Shenzhen Research Institute(香港中文大学深圳研究院);Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences(中国科学院香港创新研究院);Qilu Hospital of Shandong University(山东大学齐鲁医院)
提出Endo-2DTAM,一个基于2D高斯泼溅的实时内窥镜SLAM系统,通过表面法向感知的跟踪、建图与集束调整模块及位姿一致关键帧采样策略,解决了深度与表面重建不精确的问题,实现了1.87毫米的深度重建RMSE。
2025-01-31 cs.CV cs.RO
DHP-Mapping: A Dense Panoptic Mapping System with Hierarchical World Representation and Label Optimization Techniques
The Hong Kong University of Science and Technology(香港科技大学);University College London(伦敦大学学院);University of Edinburgh(爱丁堡大学)
提出DHP-Mapping稠密全景映射系统,利用多TSDF子图和全景标签分层建模环境,通过子图间标签融合与CRF方法提升映射效率与标签一致性,在公开数据集上几何与标签精度达SOTA水平。
2024-03-25 cs.RO
C-blox: A Scalable and Consistent TSDF-based Dense Mapping Approach
ETH Zürich(苏黎世联邦理工学院)
在许多应用中,保持环境的一致密集地图是使机器人平台能够执行更高级别决策的关键。一些工作已经解决了从提供深度信息的视觉传感器创建精确密集3D地图的挑战。然而,在较长任务的操作期间,由于累积的相机跟踪误差和延迟的环路闭合,重建很容易变得不一致。如果不明确解决地图一致性的问题,从这种扭曲中恢复往往是困难的。我们提出了一种新的系统,密集的3D映射,解决了建设一致的地图,同时处理可扩展性的挑战。我们的方法的核心是作为一个重叠的TSDF子卷的集合的环境表示。这些子体积通过基于特征的相机跟踪和光束法平差进行定位。我们的主要贡献是一个管道,用于识别地图中的稳定区域,并融合贡献的子体积。这种方法使我们能够减少地图的增长,同时仍然保持一致性。我们在公开的数据集和模拟引擎上演示了所提出的系统,并证明了所提出的方法在构建一致和可扩展的地图方面的有效性。最后,我们展示了我们的方法实时运行在一个轻量级的微型飞行器上。
2018-09-25 cs.RO
STAMICS: Splat, Track And Map with Integrated Consistency and Semantics for Dense RGB-D SLAM
University of Science and Technology of China(中国科学技术大学);University of Science and Technology Liaoning(辽宁科技大学);Beijing Institute of Technology(北京理工大学);Beihang University(北京航空航天大学)
提出STAMICS方法,将语义信息与3D高斯表示集成,通过三个关键组件提升稠密RGB-D SLAM的定位与建图精度,实验证明其优于现有方法并降低重建误差。
2025-03-27 cs.CV cs.RO
Large-Scale Dense 3D Mapping Using Submaps Derived From Orthogonal Imaging Sonars
U.S. Naval Academy(美国海军学院);Stevens Institute of Technology(史蒂文斯理工学院)
针对水下声学传感器噪声高、3D信息缺失问题,提出与SLAM集成的子图建图系统,可对含不同密度简单重复目标的复杂未知环境生成密集3D地图,通过与先前工作对比验证其在水下态势感知中的进展。
2024-12-04 cs.RO
Dense Object Reconstruction from RGBD Images with Embedded Deep Shape Representations
Shanghaitech University(上海科技大学)
大多数涉及同时定位与地图构建的问题现在可以使用两种根本不同的方法之一来解决。传统的方法是由一个最小二乘目标,最大限度地减少了显式参数化的结构和相机参数的许多局部光度或几何残差。通过统计平均或增加鲁棒核和平滑项,遇到违反朗伯曲面假设或单个残差几何不变性的未建模效应。为了更精确的测量模型和包含高阶形状先验,社区最近将注意力转移到深度端到端模型,以解决几何定位和映射问题。然而,在测试时,这些前馈模型忽略了更传统的几何或光度一致性条款,从而导致恢复精细细节的能力较低,并可能在极端情况下完全失败。随着RGBD图像的密集对象建模的应用,我们的工作旨在通过将现代高阶对象形状先验嵌入到经典的迭代残差最小化目标中来两全其美。我们证明了一个一般的能力,以提高映射精度与每一个模态单独,并提出了一个成功的应用程序,以真实的数据。
2018-10-11 cs.CV cs.RO
Semantic Segmentation and Depth Estimation for Real-Time Lunar Surface Mapping Using 3D Gaussian Splatting
Department of Aeronautics and Astronautics(航空航天系)
本文提出一种实时制图框架,结合密集感知模型与3D高斯溅射表示,在挑战性环境下实现高精度月球表面制图。
2026-03-18 cs.CV cs.RO
$ν$-DBA: Neural Implicit Dense Bundle Adjustment Enables Image-Only Driving Scene Reconstruction
Zhejiang University(浙江大学);Huawei Incorporated Company(华为公司);Application Innovate Lab(应用创新实验室)
本文提出ν-DBA框架,利用神经隐式表面和光流引导的几何误差实现稠密光束法平差,并通过逐场景自监督微调光流模型,在驾驶场景中同时提升轨迹优化与稠密重建精度。
2024-04-29 cs.CV cs.RO
Simultaneous Localization and 3D-Semi Dense Mapping for Micro Drones Using Monocular Camera and Inertial Sensors
The Hatter Department of Marine Technologies, University of Haifa, 3498838, Israel(海洋技术系,海法大学);Computer Science, University of Haifa, 3498838, Israel(计算机科学,海法大学)
本文提出一种轻量单目SLAM系统,结合稀疏关键点估计与密集边缘重建,通过扩展卡尔曼滤波解决尺度模糊问题,实现低功耗实时制图与导航。
2025-11-23 cs.RO
LiDAR-VGGT: Cross-Modal Coarse-to-Fine Fusion for Globally Consistent and Metric-Scale Dense Mapping
State Key Laboratory of Industrial Control Technology, Institute of Cyber-Systems and Control, Zhejiang University(工业控制技术国家重点实验室,系统与控制研究院,浙江大学);Differential Robot Technology Co., Ltd.(差分机器人技术有限公司);College of Intelligence Science and Technology, National University of Defense Technology(智能科学与技术学院,国防科技大学)
提出LiDAR-VGGT框架,通过两阶段由粗到细融合流程将LiDAR惯性里程计与VGGT模型结合,解决了3D视觉基础模型缺乏度量尺度等问题,实现了全局一致的稠密彩色点云重建。
2025-11-03 cs.CV cs.RO
Semantic Exploration and Dense Mapping of Complex Environments using Ground Robot with Panoramic LiDAR-Camera Fusion
Department of Mechanical Engineering, Carnegie Mellon University(机械工程系,卡内基梅隆大学)
本文提出一种结合建图与规划的地面机器人自主语义探索系统,通过优先级驱动解耦局部采样器与分层规划器实现多视角语义观测与几何覆盖,并利用安全激进探索状态机和即插即用建图模块,在仿真和真实环境中实现了更快探索与准确密集语义目标建图。
2025-09-17 cs.AI cs.RO
Crowd-Driven Mapping, Localization and Planning
the University of Hong Kong(香港大学)
密集人群中的导航是机器人领域一个众所周知的开放性问题,在地图绘制、定位和规划方面存在许多挑战。传统的解决方案将密集的行人视为被动/主动移动障碍物,这些障碍物是所有麻烦的原因:它们会对静态场景地标的感知产生负面影响,必须主动避免以确保安全。在本文中,我们提供了一个新的视角:当地观察到的人群流量可以被视为周围场景的感官测量,编码不仅是场景的可通行性,而且其社会导航偏好。我们证明,即使单独使用人群流量测量,而不对静态障碍物进行任何感测,我们的方法仍然可以在密集人群中实现良好的映射,定位和社会意识规划。实验视频可在https://sites.google.com/view/crowdmapping上获得。
2021-01-03 cs.RO
Bayesian Spatial Kernel Smoothing for Scalable Dense Semantic Mapping
University of Michigan(密歇根大学)
本文开发了一个贝叶斯连续的3D语义占用地图从嘈杂的点云通过推广贝叶斯核推理模型的建设占用地图,一个二进制的问题,语义地图,一个多类的问题。所提出的方法提供了一个统一的概率模型的占用和语义概率,并很好地恢复到原来的占用映射框架时,只有一个被占用的类存在于所获得的测量。贝叶斯空间核推理放松了独立网格假设,并为地图推理带来了平滑性和连续性,从而能够利用环境中存在的局部相关性并提高性能。附带的软件使用多线程和矢量化,在笔记本电脑CPU上以约2 Hz的频率运行。使用立体相机和LiDAR数据集的多个序列的评估表明,所提出的方法始终优于当前的基线。我们还提出了一个定性的评估,使用密歇根大学北校区的双足机器人平台收集的数据。
2020-01-26 cs.RO
OpenSplatGraph: From Dense Semantic Maps to Structured Scene Graphs for Open-Vocabulary Robot Perception
Queensland University of Technology (QUT)(昆士兰科技大学);CSIRO(澳大利亚联邦科学与工业研究组织)
提出OpenSplatGraph框架,从在线高斯语义地图构建持久3D场景图,实现开放词汇物体提取与关系推理,兼顾几何保真与结构化语义。
2026-10-07 cs.AI cs.CV cs.RO
CG-SLAM: Efficient Dense RGB-D SLAM in a Consistent Uncertainty-aware 3D Gaussian Field
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);ZJU-UIUC Institute, International Campus, Zhejiang University(浙江大学国际校区ZJU-UIUC学院)
本文提出CG-SLAM,一种基于一致性不确定性感知3D高斯场的高效稠密RGB-D SLAM系统,通过深度不确定性模型优化Gaussian基元选择,实现高达15 Hz的追踪速度及卓越的追踪与建图性能。
2024-03-24 cs.CV cs.RO
Simultaneous Localisation and Mapping with Quadric Surfaces
Imperial College London(伦敦帝国理工学院);Dyson Technology Ltd.(戴森科技有限公司)
如何在同步定位和地图绘制(SLAM)中表示地图有许多可能性。虽然稀疏的、基于关键点的SLAM系统已经实现了令人印象深刻的准确性和鲁棒性,但它们的地图可能不适合许多机器人任务。密集SLAM系统能够产生密集重建,但是可能在计算上是昂贵的,并且像稀疏系统一样,缺乏关于场景结构的更高级别的信息。人造环境中包含了很多的结构,我们试图利用这一点,使二次曲面作为功能的SLAM系统中使用。我们介绍了一个最小的表示二次曲面,并显示如何将其包含在最小二乘制定。我们还展示了我们的表示可以很容易地扩展到包括额外的约束,如在二次曲面的革命。最后,我们介绍了一个使用我们的表示的概念验证SLAM系统,并提供了一些使用RGB-D数据集的实验结果。
2022-03-15 cs.CV cs.RO
Real-Time Dense Mapping for Self-driving Vehicles using Fisheye Cameras
ETH Zürich(苏黎世联邦理工学院);DSO National Laboratories(DSO国家实验室);MPI-IS(马克斯·普朗克智能系统研究所);University of Tübingen(图宾根大学);Microsoft(微软);Chalmers University of Technology(查尔姆斯理工大学)
提出了一种适用于大规模环境的实时的【形】稠密几何映射算法。与现有的使用针孔摄像机的方法不同,我们的实现是基于鱼眼摄像机,具有更大的视野,并有利于其他一些任务,包括视觉惯性里程计,定位和车辆周围的目标检测。我们的算法在车载PC上以大约15 Hz的频率运行,为自动驾驶车辆提供仅视觉的3D场景感知。对于由多个相机捕获的每个同步图像集,我们首先使用平面扫描立体来计算参考相机的深度图。为了保持准确性和效率,同时考虑到鱼眼图像具有相当低的分辨率的事实,我们使用多个图像分辨率来恢复深度。我们采用快速目标检测框架YOLOv3来去除潜在的动态对象。在流水线的最后,我们将鱼眼深度图像融合到截断符号距离函数(TSDF)体积中以获得3D地图。我们在大规模城市数据集上对我们的方法进行了评估,结果表明,我们的方法即使在复杂的环境中也能很好地工作。
2019-04-18 cs.RO
Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting
University of Amsterdam(阿姆斯特丹大学)
提出基于3D Gaussians的稠密SLAM方法,通过子地图独立优化与帧到模型相机追踪,实现可扩展的交互式重建与逼真渲染,性能优于现有神经稠密SLAM方法。
2024-03-22 cs.CV cs.RO
Flexible Trinocular: Non-rigid Multi-Camera-IMU Dense Reconstruction for UAV Navigation and Mapping
在本文中,我们提出了一个视觉惯性框架,能够有效地估计相机的非刚性三目基线的远程深度估计板上的快速移动的空中平台。时变基线的估计是基于相对惯性测量,光度相对姿态优化,和概率机翼模型融合在一个有效的扩展卡尔曼滤波器(EKF)制定。所估计的深度测量可以被集成到地理参考的全局地图中,以呈现对局部重新规划算法有用的环境的重建。基于广泛的真实世界的实验,我们描述了获得概率机翼模型,可靠的相对惯性测量,和基于视觉的相对姿态更新的挑战和解决方案,并证明了整个系统在具有挑战性的条件下的计算效率和鲁棒性。
2019-08-23 cs.RO
Open-Vocabulary Object-Goal Navigation by Generalizing Semantic Mapping with Dense CLIP
Shanghai AI Lab(上海人工智能实验室);The University of Hong Kong(香港大学);Zhejiang University(浙江大学)
研究面向对象的实体导航任务,提出OVExp框架,利用密集CLIP模型展示基于语义地图的目标预测网络泛化能力,设计跨模态转移策略解决训练成本高问题,在ObjectNav基准上对未知目标有强大泛化能力。
2026-07-10 cs.RO