Depth Reconstruction with Neural Signed Distance Fields in Structured Light Systems
Peking University(北京大学);Kyushu University(九州大学)
针对多帧结构光深度估计,本文利用已知投影辐射场单独优化神经SDF几何场,并加入表面颜色损失,在少样本真实场景中取得更优几何重建效果。
2024-05-20 cs.CV
Structured Semantic 3D Reconstruction (S23DR) Challenge 2025 -- Winning solution
Dept. of Cybernetics FEE, Czech Technical University(控制系,捷克技术大学)
本文提出一种两阶段三维深度学习方法,直接从稀疏点云和语义分割预测房屋屋顶线框,在S23DR挑战赛2025中以0.43的HSS获胜。
2025-06-19 cs.CV
NSL-SLAM: High-Fidelity Neural Structured-Light Depth for Practical SLAM and Reconstruction
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);School of Computer Science and Technology, Beihang University(北京航空航天大学计算机科学与技术学院);Yuanpei College, Peking University(北京大学元培学院)
研究针对高保真结构光深度定制实用SLAM系统,核心方法是强化深度感知并构建以深度为中心的管道,主要贡献是提升跟踪精度、降低轨迹偏差,实现实用稳健的SLAM且运行速度达20.9 FPS。
2026-09-14 cs.CV
Normal-guided Detail-Preserving Neural Implicit Function for High-Fidelity 3D Surface Reconstruction
Graphics Research Group, IIIT Delhi(IIIT德里图形研究组);Murdoch University(默doch大学);IIIT Delhi(IIIT德里)
本文提出利用表面法向监督SDF网络,仅需两张RGB图像即可实现高精度三维重建,捕捉精细几何细节与薄结构。
2025-04-22 cs.CV cs.GR
3D Object Reconstruction from Hand-Object Interactions
University of Bonn(波恩大学);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
最近的进展已经实现了使用单个现成的RGB-D相机的3D对象重建方法。虽然这些方法对于广泛的对象类是成功的,但它们依赖于稳定且独特的几何或纹理特征。然而,许多物体,如机械零件、玩具、家用或装饰品,是无纹理的,其特征是简单和对称的极简主义形状。现有的手持扫描系统和3d重建技术在缺乏高度独特特征的情况下无法用于这种对称对象。在这项工作中,我们表明,提取三维手部运动的手内扫描有效地促进了重建,即使是无特征和高度对称的对象,我们提出了一种方法,融合了丰富的额外信息的手到一个三维重建管道,显着促进了国家的最先进的手内扫描。
2017-04-03 cs.CV
SM4RT: Learning Structured Motion Geometry for 4D Reconstruction
Intelligent Vision Group, Tsinghua University(清华大学智能视觉组)
针对将单目3D重建能力扩展到4D动态理解的挑战,提出SM4RT,通过引入运动结构表示场景动态,利用并行运动几何编码器和解码器,从单目RGB视频中联合推断相关信息,实现强大运动重建性能并保留场景运动几何结构。
2026-07-27 cs.AI cs.CV cs.RO
Regularising disparity estimation via multi task learning with structured light reconstruction
The Hamlyn Centre, Imperial College London(哈姆林中心,帝国理工学院)
针对医疗数据缺乏导致视差估计受限的问题,提出结合结构光重建的多任务学习框架,隐式学习视差并提升网络性能,在无额外参数下优于单任务学习。
2023-01-19 cs.CV
System for 3D Acquisition and 3D Reconstruction using Structured Light for Sewer Line Inspection
Fraunhofer Institute for Telecommunications, Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹通信研究所);Zentrum für Bild- und Signalverarbeitung(图像与信号处理中心);Humboldt University Berlin(柏林洪堡大学)
污水管道系统的评估是一个非常重要的,但同时繁琐和容易出错的任务。我们介绍了一种基于单次结构光模块的创新系统,该系统有助于检测和分类空间缺陷,如突出入侵,剥落或错位接头。该系统可创建具有亚毫米分辨率的管道表面高度精确的3D测量结果,并将其融合到整体3D模型中。这种整体3D模型的好处是双重的:一方面,它有助于准确的手动污水管道评估,另一方面,它简化了下游自动系统中缺陷的检测,因为它赋予输入高度准确的深度信息。在这项工作中,我们提供了系统的广泛概述,并为我们的设计选择提供了有价值的见解。
2023-03-06 cs.CV
Revisiting PatchMatch Multi-View Stereo for Urban 3D Reconstruction
University of Parma(帕尔马大学);VisLab Srl(VisLab有限责任公司);Ambarella Inc(安霸公司)
提出了一种基于PatchMatch多视图立体视觉(MVS)的城市场景图像三维重建的完整流程。首先将输入图像输入到现成的视觉SLAM系统中以提取相机姿态和稀疏关键点,其用于初始化PatchMatch优化。然后,逐像素的深度和法线迭代计算在一个多尺度的框架与一个新的深度正常的一致性损失项和全局细化算法,以平衡固有的局部性质的PatchMatch。最后,在3D中通过反投影多视图一致性估计生成大规模点云。所提出的方法进行了仔细评估,对经典的MVS算法和单目深度网络的KITTI数据集,显示最先进的性能。
2022-07-18 cs.CV
GSPlane: Concise and Accurate Planar Reconstruction via Structured Representation
The Hong Kong Polytechnic University(香港理工大学);University of Science and Technology Beijing(北京科技大学);NLPR, MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Shandong University(山东大学)
本文提出 GSPlane,利用分割、法向预测和动态高斯重分类构建平面先验与结构化高斯表示,在保持渲染质量的同时提升网格几何精度并简化拓扑。
2025-10-20 cs.CV
Advancing Structured Priors for Sparse-Voxel Surface Reconstruction
National Taiwan University(台湾国立大学);NVIDIA
本文提出一种结合3D高斯散射和稀疏体素光栅化优点的体素初始化方法,通过深度几何监督提升稀疏体素表面重建的精度和效率。
2026-01-25 cs.CV
ARTDECO: Towards Efficient and High-Fidelity On-the-Fly 3D Reconstruction with Structured Scene Representation
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);Shanghai Jiao Tong University(上海交通大学);The Chinese University of Hong Kong(香港中文大学);Carnegie Mellon University(卡内基梅隆大学);Zhejiang University(浙江大学);The University of Hong Kong(香港大学)
ARTDECO提出统一框架,结合前馈模型效率与SLAM可靠性,利用3D基础模型和层次化高斯表示,在八个基准上实现交互性能、鲁棒性和高保真重建,推动即时三维重建实用化。
2025-10-09 cs.CV
A Point Cloud Generative Model via Tree-Structured Graph Convolutions for 3D Brain Shape Reconstruction
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);Shenzhen University(深圳大学);Renmin University of China(中国人民大学)
融合医学图像和相应的三维形状表示可以提供互补信息和微观结构细节,以提高脑外科手术的操作性能和准确性。然而,与大量的图像数据相比,使用传感器扫描等物理方法几乎不可能获得术中3D形状信息,特别是在微创手术和机器人引导手术中。本文提出了一种基于图卷积网络的通用生成对抗网络(GAN)架构,利用一张二维图像重建大脑的三维点云,从而缓解了手术过程中获取三维形状数据的限制。具体地说,一个树结构的生成机制被构造成有效地使用的潜在向量和隐藏层之间准确地转移功能。该生成模型实现了图像到PC机的自动实时转换。在我们的模型上取得了有竞争力的定性和定量实验结果。在多种评价方法中,该模型优于另一种常见的点云生成模型PointOutNet。
2021-07-21 cs.CV eess.IV
T-3DGS: Removing Transient Objects for 3D Scene Reconstruction
Skoltech(斯科尔特科技学院);T-Tech;KAUST(阿卜杜拉国王科技大学);AIRI(人工智能研究所)
T-3DGS 提出基于高斯泼溅的无监督分类与双向跟踪细化框架,用于在三维重建中稳健移除瞬态物体,并在稀疏与密集视频数据集上显著超越现有方法。
2025-03-08 cs.CV cs.LG
SimpleRecon: 3D Reconstruction Without 3D Convolutions
Niantic(Niantic公司);UCL(伦敦大学学院);University of Oxford(牛津大学);Google(谷歌)
传统的室内场景重建分为两个阶段:逐幅图像的深度估计、深度融合和表面重建。最近,出现了一系列直接在最终3D体积特征空间中执行重建的方法。虽然这些方法已经显示出令人印象深刻的重建结果,但它们依赖于昂贵的3D卷积层,限制了它们在资源受限环境中的应用。在这项工作中,我们反而回到了传统的路线,并展示了如何专注于高质量的多视图深度预测,从而使用简单的现成的深度融合实现高度准确的3D重建。我们提出了一种简单的最先进的多视图深度估计器,具有两个主要贡献:1)精心设计的2D CNN,其利用强图像先验以及平面扫描特征量和几何损失,结合2)将关键帧和几何元数据集成到成本量中,这允许知情的深度平面评分。我们的方法在深度估计和ScanNet和7-Scenes上的3D重建方面接近或优于当前最先进的技术,但仍然允许在线实时低内存重建。代码、模型和结果可在https://nianticlabs.github.io/simplerecon上获得
2022-08-31 cs.CV
Structured-Li-GS: Structured 3D Gaussians Splatting with LiDAR Incorporation and Spatial Constraints
University of Waterloo(滑铁卢大学)
提出Structured-Li-GS框架,利用LiDAR-惯性-视觉SLAM生成密集彩色点云,通过锚定高斯原语并初始化椭球参数,结合光度、扁平化、偏移、深度和法向损失训练,无需高斯密集化即可实现高质量3D重建,模型适中且性能优于现有方法。
2026-06-29 cs.CV
GS-Voxel: Fitting-Free Structured Latents for Large-Scale 3DGS Generation
Zhejiang University(浙江大学);Peking University(北京大学);Amap(高德地图);Alibaba(阿里巴巴)
GS-Voxel是免拟合结构化隐变量框架,可将预优化3DGS重建转为稀疏活跃体素,通过GS专用VAE编码为稀疏3D隐变量,结合图像条件流模型实现大规模航空3DGS场景生成。
2026-08-19 cs.CV
MonoGSDF: Exploring Monocular Geometric Cues for Gaussian Splatting-Guided Implicit Surface Reconstruction
Technical University of Munich(慕尼黑技术大学);Google(谷歌);Tsinghua University(清华大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
MonoGSDF通过结合高斯点与神经SDF,利用单目几何线索实现高效隐式表面重建,提升三维表面恢复的精度与效率。
2025-11-20 cs.CV
FreeSplatter: Pose-free Gaussian Splatting for Sparse-view 3D Reconstruction
ARC Lab, Tencent PCG(腾讯PCG ARC实验室);The University of Hong Kong(香港大学)
针对稀疏视角三维重建需精确相机位姿且获取困难的问题,提出无位姿前馈框架FreeSplatter,通过精简Transformer架构生成三维高斯并同步估计位姿,性能优于位姿依赖型LRMs,位姿精度比肩MASt3R,还可简化3D内容创建流程。
2025-09-01 cs.CV
CD$^2$: Fine-grained 3D Mesh Reconstruction With Twice Chamfer Distance
Northeastern University(东北大学)
单目三维重建是指从一幅RGB图像中重建出物体的形状和其它信息。在三维重建中,多边形网格具有详细的表面信息和低计算成本,是深度学习模型获得的最普遍的表达形式。然而,国家的最先进的计划未能直接生成结构良好的网格,我们发现,大多数网格有严重的顶点聚类(VC)和非法扭曲(IT)的问题。通过分析网格变形过程,我们指出倒角距离(CD)损失的不适当使用是深度学习模型中VC和IT问题的根本原因。本文通过直观的例子和定量的分析,初步论证了CD损耗引起的这两个问题。然后,我们提出了一种细粒度的重建方法CD $^2$,通过使用两次倒角距离来执行合理的和自适应的变形。在两个3D数据集上的大量实验和与五个最新方案的比较表明,我们的CD $^2$直接生成结构良好的网格,并在几个定量指标方面优于其他人。
2023-01-29 cs.CV
SDTalk: Structured Facial Priors and Dual-Branch Motion Fields for Generalizable Gaussian Talking Head Synthesis
Hefei University of Technology(合肥工业大学);University of Science and Technology of China(中国科学技术大学)
SDTalk通过结构化面部先验和双分支运动场,实现无需个性化训练的通用高斯说话头合成,提升视觉质量和推理效率。
2026-05-11 cs.AI cs.CV
Monocular Reconstruction of Neural Tactile Fields
Department of Computer Science, University of Maryland, College Park, USA(计算机科学系,马里兰大学,学院 park,美国)
本文提出了一种基于单目RGB图像的神经触觉场重建方法,通过交互感知的3D表示提升机器人路径规划能力,实验显示其在3D重建任务中表现优于现有方法。
2026-02-13 cs.AI cs.CV cs.RO
Pro-Cam SSfM: Projector-Camera System for Structure and Spectral Reflectance from Motion
Tokyo Institute of Technology(东京工业大学)
在本文中,我们提出了一种新的投影仪相机系统,用于实际和低成本的采集密集的物体的3D模型与光谱反射特性。在我们的系统中,我们使用一个标准的RGB相机和利用现成的投影仪作为主动照明的3D重建和光谱反射率估计。我们首先重建的3D点,同时估计的相机和投影仪,这是交替移动的对象周围的姿态,通过结合多视图结构光和结构从运动(SfM)技术。然后,我们利用投影仪的多光谱成像和估计的光谱反射率的每个3D点的基础上,考虑到重建的3D点和估计的投影仪位置之间的几何关系的一种新的光谱反射率估计模型。几个真实物体上的实验结果表明,我们的系统可以精确地获得一个密集的三维模型与完整的光谱反射特性使用现成的设备。
2019-08-22 cs.CV cs.GR eess.IV
MonoArt: Progressive Structural Reasoning for Monocular Articulated 3D Reconstruction
S-Lab, Nanyang Technological University, 637335 Singapore(南洋理工大学S实验室)
MonoArt通过渐进结构推理实现单目关节3D重建,无需外部运动模板或多阶段流程,提升重建精度和推理速度,并扩展至机器人操作和关节场景重建。
2026-03-19 cs.CV
KODAMA: Multimodal Digital Twin Reconstruction for Urban RF Propagation Modelling
Nokia Bell Labs(诺基亚贝尔实验室);University of York(约克大学)
KODAMA利用现成地理空间数据自动重建城市级射频数字孪生,无需现场勘测或校准,在3.6-28 GHz频段实现个位数RMSE,误差较自动化基线最多降低5.35 dB。
2026-09-10 cs.CV
3D Reconstruction Techniques in the Manufacturing Domain: Applications, Research Opportunities and Use Cases
Advanced Robotics Centre(先进机器人中心);National University of Singapore(新加坡国立大学);Independent Researcher(独立研究员)
本文综述了制造领域3D重建技术的发展现状,分析了传统方法与深度学习方法的差异,指出统一框架的不足,并总结了质量检测等关键应用及未来研究方向。
2026-04-30 cs.CV
Phase-SLAM: Phase Based Simultaneous Localization and Mapping for Mobile Structured Light Illumination Systems
Southern University of Science and Technology(南方科技大学)
结构光照明(SLI)系统已通过相位三角测量用于可靠的室内密集3D扫描。然而,用于360度3D重建的移动SLI系统需要3D点云配准,涉及高计算复杂性。在本文中,我们提出了一个基于相位的同时定位与地图构建(Phase-SLAM)框架,快速和准确的SLI传感器姿态估计和三维物体重建。这项工作的新颖性有三个方面:(1)开发了一种从3D点到2D相位数据的重投影模型,以低计算复杂性实现相位配准;(2)开发了一种局部优化器,以使用导出的6个DoF变量的雅可比矩阵实现SLI传感器姿态估计(里程计);(3)开发了一种压缩相位比较方法,以实现高效的环路闭合检测。然后使用现有的全局姿态图优化技术来利用整个Phase-SLAM流水线。我们建立数据集从虚幻的仿真平台和基于机器人手臂的SLI系统在现实世界中,以验证所提出的方法。实验结果表明,所提出的相位SLAM优于其他国家的最先进的方法在效率和准确性的姿态估计和三维重建。开放源代码可在https://github.com/ZHENGXi-git/Phase-SLAM上获得。
2022-01-22 cs.CV cs.RO
DualPrim: Compact 3D Reconstruction with Positive and Negative Primitives
Independent Researcher(独立研究者);Waymo LLC(Waymo公司);Lucid Motors;Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);School of Advanced Interdisciplinary Science, University of Chinese Academy of Sciences(中国科学院大学先进交叉学科学院)
DualPrim通过正负超球体实现紧凑且结构化的3D重建,提升拓扑感知建模能力,实现端到端学习和无缝导出。
2026-03-17 cs.CV
Monocular Depth Estimation with Self-supervised Instance Adaptation
University of Oxford(牛津大学)
自监督学习的最新进展表明,可以从原始视频数据中学习精确的单目深度重建,而无需使用任何3D地面实况进行监督。然而,在机器人应用中,场景的多个视图可能可用或不可用,这取决于机器人的动作,在单目和多视图重建之间切换。为了解决这种混合设置,我们提出了一种新的方法,扩展了任何现成的自我监督单目深度重建系统,在测试时使用多个图像。我们的方法建立在一个标准的先验学习来执行单目重建,但在测试时使用自我监督,以进一步提高重建精度时,多个图像是可用的。当用于更新模型的正确组件,这种方法是非常有效的。在标准KITTI基准上,我们的自监督方法始终优于所有以前的方法,对于三种常见设置(单眼,立体和单眼+立体),绝对误差平均减少25%,并且与完全监督的最先进方法相比,准确性非常接近。
2020-04-13 cs.CV cs.LG
IM-3D: Iterative Multiview Diffusion and Reconstruction for High-Quality 3D Generation
Meta;University of Oxford(牛津大学)
本文提出IM-3D方法,通过视频生成器改进多视图生成并结合Gaussian splatting重建算法,直接生成高质量3D输出,将2D网络评估次数降低10-100倍,显著提升了效率与质量。
2024-02-13 cs.AI cs.CV cs.LG
Tabletop Transparent Scene Reconstruction via Epipolar-Guided Optical Flow with Monocular Depth Completion Prior
University of Michigan(密歇根大学);Amazon Lab126(亚马逊Lab126)
针对RGB-D相机重建透明物体难题,提出两阶段流程:先利用单目深度补全获取形状先验,再通过极线引导光流融合多视角先验,实现高质量跨视角一致的3D重建。
2023-10-15 cs.CV cs.RO
Active stereo vision three-dimensional reconstruction by RGB dot pattern projection and ray intersection
College of Electrical and Electronic Engineering, Shandong University of Technology(山东理工大学电气与电子工程学院)
主动立体视觉在无明显纹理的物体重建中具有重要意义。然而,它仍然是非常具有挑战性的提取和匹配的投影模式从两个摄像机视图自动和鲁棒。在本文中,我们提出了一种新的模式提取方法和一个新的立体视觉匹配方法的基础上,我们的新结构光模式。我们不使用广泛使用的2D视差来计算物体的深度,而是使用光线相交来直接计算3D形状。实验结果表明,该方法比目前广泛使用的基于视差的主动立体视觉方法、飞行时间法和结构光法具有更强的鲁棒性,能够更好地重建物体的三维形状。此外,实验结果还表明,该方法可以鲁棒地重建动态形状的三维运动。
2020-03-31 cs.CV eess.IV
Improving Continual Learning for Gaussian Splatting based Environments Reconstruction on Commercial Off-the-Shelf Edge Devices
本研究提出了一种精度自适应优化框架,使基于VBGS的持续学习在资源受限的边缘设备上实现高效训练,同时保持重建质量。
2026-03-09 cs.CV
Evaluating Constrained Iterative Refinement for Scalable Vector Graphics Generation with Off-the-Shelf VLMs
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Central Florida(中佛罗里达大学)
本研究评估结合视觉反馈、结构化编辑与约束解码的约束迭代优化方法,探索用现成VLMs生成SVG的能力,发现约束解码提升编译成功率但VLMs存在视觉推理不足的局限。
2026-09-01 cs.CV cs.GR
Structured Outdoor Architecture Reconstruction by Exploration and Classification
Simon Fraser University(西蒙弗雷泽大学)
本文提出了一个探索和分类框架结构化建筑重建从航空影像。从现有算法的潜在不完美建筑重建开始,我们的方法1)通过启发式操作修改重建来探索建筑模型的空间; 2)学习对建筑模型的正确性进行分类,同时基于地面事实生成分类标签,以及3)重复。在测试时,我们重复探索和分类,寻求具有最佳分类得分的结果。我们评估的方法使用两个基线和两个国家的最先进的重建算法的初始重建。定性和定量的评价表明,我们的方法一贯提高重建质量从每一个初始重建。
2021-08-18 cs.CV
Polka Lines: Learning Structured Illumination and Reconstruction for Active Stereo
Princeton University(普林斯顿大学)
从结构光捕获中恢复深度的主动立体相机已成为3D场景重建和跨应用领域理解任务的基石传感器模态。现有的主动式立体相机在物体表面上投射伪随机点图案以独立于物体纹理来提取视差。这种手工制作的图案是在与场景统计、环境照明条件和重建方法隔离的情况下设计的。在这项工作中,我们提出了第一种方法来共同学习结构化照明和重建,参数化的衍射光学元件和神经网络,在一个端到端的方式。为此,我们引入了一种新的微分成像模型的主动立体,依赖于波和几何光学,和一个新的三目重建网络。我们称之为“波尔卡线”的联合优化模式与重建网络一起实现了跨成像条件的最先进的主动立体深度估计。我们验证所提出的方法在模拟和硬件原型,并表明我们的方法优于现有的主动立体声系统。
2021-05-26 cs.CV
HEAT: Holistic Edge Attention Transformer for Structured Reconstruction
Simon Fraser University(西蒙弗雷泽大学);University of Manitoba(曼尼托巴大学)
本文提出了一种新的基于注意力的结构化重建神经网络,它以二维光栅图像作为输入,并重建一个平面图描绘一个潜在的几何结构。该方法检测角点并以端到端的方式对角点之间的边缘候选进行分类。我们的贡献是一个整体的边缘分类架构,其中1)通过其端点的三角位置编码的边缘候选人的特征; 2)融合图像特征到每个边缘候选人的变形注意力; 3)采用两个权重共享的Transformer解码器来学习整体结构模式的图形边缘候选人;和4)与掩蔽学习策略进行训练。角点检测器是边缘分类架构的变体,适于对作为角点候选的像素进行操作。我们进行了两个结构化重建任务:室外建筑结构和室内平面图重建实验。大量的定性和定量评估证明了我们的方法优于最先进的方法。代码和预训练模型可在https://heat-structured-reconstruction.github.io上获得。
2022-06-19 cs.CV
Progressive Tree-like Curvilinear Structure Reconstruction with Structured Ranking Learning and Graph Algorithm
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所)
提出了一种基于监督学习和图论的树状曲线结构重建算法。在这项工作中,我们分析图像补丁,以获得当地的主要方向和排名,对应的曲线结构。为了提取局部曲线特征,我们使用方向可调滤波器计算方向梯度信息。然后,我们采用结构化支持向量机的顺序回归的输入图像补丁,其中的顺序是由形状相似性潜在的曲线结构。最后,我们逐步重建曲线结构,通过寻找连接远程顶点的测地线路径建立在结构化的输出排名图。实验结果表明,该算法能以最小的像素数忠实地反映曲线结构的拓扑特征。
2016-12-08 cs.CV
Multi-View Neural Surface Reconstruction with Structured Light
Preferred Networks, Inc.(Preferred Networks 公司)
基于可微分绘制的三维物体重建是计算机视觉的一个研究热点。基于DR的方法通过优化形状和外观并实现高视觉再现性来最小化渲染图像和目标图像之间的差异。然而,由于几何模糊性,大多数方法对于无纹理对象的表现都很差,这意味着多个形状在这样的对象中可以具有相同的渲染结果。为了克服这个问题,我们引入主动传感与结构光(SL)的多视角三维物体重建的基础上DR学习未知的几何形状和外观的任意场景和相机的姿态。更具体地说,我们的框架利用结构光计算的不同视图中的像素之间的对应关系作为基于DR的隐式表面,颜色表示和相机姿态优化中的附加约束。由于摄像机姿态可以同时优化,我们的方法实现了高的重建精度在无纹理区域,并减少了摄像机姿态校准,这是传统的SL为基础的方法所需的努力。合成和真实数据的实验结果表明,我们的系统优于传统的DR和SL为基础的方法,在高质量的表面重建,特别是具有挑战性的对象与无纹理或有光泽的表面。
2022-11-22 cs.CV
MambaRecon: MRI Reconstruction with Structured State Space Models
Johns Hopkins University(约翰斯·霍普金斯大学)
提出MambaRecon框架,利用结构化状态空间模型(Mamba)进行MRI重建,增强长距离上下文敏感性,在公开脑部数据集上超越现有最先进基线。
2024-09-19 cs.CV eess.IV
Holistic Geometric Feature Learning for Structured Reconstruction
Wuhan University(武汉大学)
本文提出频域特征学习策略F-Learn,通过整体融合几何片段增强拓扑推理能力,以轻量修改提升结构化重建性能。
2023-09-18 cs.CV
Semantic Segmentation from Image Labels by Reconstruction from Structured Decomposition
本文提出将弱监督图像分割重新定义为基于掩码的图像分解重建问题,隐式嵌入正则化,在初步实验中表现出良好效果和对背景歧义的鲁棒性。
2024-09-02 cs.CV
Structured illumination microscopy image reconstruction algorithm
Peking University(北京大学)
结构照明显微术(SIM)是一种非常重要的超分辨显微技术,它可以提供高速的超分辨,空间分辨率可以提高一倍左右。已经报道了旨在改善SIM重建算法的性能的几种尝试。然而,这些中的大多数仅突出SIM重构的一个特定方面--诸如准确地确定照明图案相移--而其他关键要素--诸如确定调制因子、估计对象功率谱、包括对象功率谱信息的维纳滤波频率分量,重叠频率分量的移位和合并通常被表面地掩盖。此外,大多数的工作报告谎言分散在整个文献和全面的理论背景审查发现缺乏。本工作的目的是双重的:1)在一个地方收集SIM算法的基本理论细节,从而使他们容易访问的读者第一次;和2)提供一个开源的SIM重建代码(命名为OpenSIM),它使用户能够交互地改变代码参数,并研究它对重建的SIM图像的影响。
2016-02-19 cs.CV
Conv-MPN: Convolutional Message Passing Neural Network for Structured Outdoor Architecture Reconstruction
Simon Fraser University(西蒙弗雷泽大学)
本文提出了一种新的消息传递神经(MPN)架构Conv-MPN,它从一个单一的RGB图像重建一个室外建筑物作为一个平面图。Conv-MPN是专门为图的节点具有显式空间嵌入的情况而设计的。在我们的问题中,节点对应于图像中的建筑边缘。Conv-MPN与MPN的不同之处在于:1)与节点相关联的特征被表示为特征体积而不是1D向量;以及2)卷积编码消息而不是完全连接的层。Conv-MPN学习选择节点的真实子集(即,建筑物边缘)以重构建筑物平面图。我们对2,000多座建筑物进行的定性和定量评估表明,Conv-MPN比现有的全神经解决方案有了显着的改进。我们相信,该论文有可能为结构化几何重建开辟一条新的图神经网络研究路线。
2021-06-07 cs.CV
Structured 3D-SVD: A Practical Framework for the Compression and Reconstruction of Biological Volumetric Images
Communications Department, Universitat Politècnica de València(瓦伦西亚理工大学通信系)
本文提出结构化3D-SVD框架,用于生物体体积数据的压缩、重建与分析,通过有序近奇异系数实现渐进式重建,实验表明其在压缩速度和精度上优于CPD,且低截断水平即可保留主要结构。
2026-04-18 cs.CV cs.NA eess.IV
Seeing Through Clutter: Structured 3D Scene Reconstruction via Iterative Object Removal
University of California, San Diego(加州大学圣地亚哥分校);Adobe Research(Adobe研究院)
通过迭代移除物体实现结构化3D场景重建,无需特定任务训练,提升复杂场景下的鲁棒性。
2026-02-12 cs.CV
Denoising of Two-Phase Optically Sectioned Structured Illumination Reconstructions Using Encoder-Decoder Networks
Elmore Family School of Electrical and Computer Engineering(电子与计算机工程学院);Purdue University(普渡大学)
针对两相光学切片结构光重建中存在残留伪影且缺乏干净真值数据的问题,研究人员用合成训练对训练非对称DAE和U-Net两种编码器-解码器网络,有效提升了图像清晰度,为该类图像监督去噪提供了可行方案。
2025-10-03 cs.CV
LD-SLRO: Latent Diffusion Structured Light for 3-D Reconstruction of Highly Reflective Objects
Department of Mechanical Engineering, Yonsei University(机械工程系,延世大学)
LD-SLRO通过潜在扩散模型和改进的结构光技术,提升高反射物体的3-D重建精度与光栅质量。
2026-02-05 cs.CV
ML-SIM: A deep neural network for reconstruction of structured illumination microscopy images
University of Cambridge(剑桥大学);Department of Chemical Engineering and Biotechnology(化学工程与生物技术系);Department of Computer Science and Technology(计算机科学与技术系)
结构照明显微镜(SIM)已成为光学超分辨率成像的重要技术,因为它允许在与活细胞成像兼容的速度下将图像分辨率加倍。然而,SIM图像的重建通常是缓慢的并且容易产生伪影。在这里,我们提出了一种通用的重建方法,ML-SIM,它利用机器学习。该模型是一个端到端的深度残差神经网络,它在模拟数据集上进行训练,以消除常见的SIM伪影。因此,ML-SIM对于原始SIM输入帧的照明图案中的噪声和不规则性是鲁棒的。该重建方法具有广泛的适用性,并且不需要采集实验训练数据。由于训练数据是从来自通用库的图像上的SIM过程的模拟生成的,因此该方法可以有效地适应于特定的实验SIM实现。与传统的SIM重建方法相比,我们的方法使重建质量,我们表现出的优势,在噪声,重建保真度和对比度的模拟和实验输入。此外,一个SIM帧的重建通常只需要~ 100毫秒在具有现代Nvidia图形卡的PC上执行,使得该技术与实时成像兼容。完整的实施和经过培训的网络可在http://ML-SIM.com上获得。
2020-03-24 cs.CV cs.LG eess.IV
Multi-Task Spatiotemporal Neural Networks for Structured Surface Reconstruction
Indiana University(印第安纳大学);University of Kansas(堪萨斯大学)
深度学习方法在计算机视觉中的许多问题上的性能已经超过了传统技术,但几乎所有这些工作都是研究消费者的照片,在这些照片中,精确正确的输出通常并不重要。目前尚不清楚这些技术在结构化预测问题上的应用效果如何,这些问题需要高精度的细粒度输出,例如在科学成像领域。在这里,我们考虑的问题,分割回波图雷达数据收集的极地冰盖,这是具有挑战性的,因为分割边界往往是非常弱的,有很高程度的噪声。我们提出了一个多任务时空神经网络,结合3D ConvNets和递归神经网络(RNNs)来估计冰表面边界的断层雷达图像序列。我们表明,我们的模型在这个问题上优于最先进的技术,(1)避免了手动调整参数的需要,(2)同时提取多个表面(冰空气和冰床),(3)需要更少的非视觉元数据,(4)大约快6倍。
2018-07-20 cs.CV
Volumetric Reconstruction Applied to Perceptual Studies of Size and Weight
我们探讨了结构光传感器的体积重建在认知神经科学中的应用,特别是在量化的大小重量错觉,人类往往会系统地感知较小的物体作为较重。我们调查的两个商业结构光扫描系统的性能相比,我们专门为此应用开发的。我们的方法有两个主要的特点:第一,它只采样一系列稀疏的视点,不像其他系统,如Kinect Fusion。其次,而不是建立一个距离场的目的点到表面的转换直接,我们追求一阶的方法:距离函数是从其梯度恢复的筛选泊松重建,这是非常有弹性的噪声,但保留高频信号分量。我们的实验表明,从结构光传感器的度量重建的质量是受系统的偏见,并突出了影响它的因素,我们的主要性能指标率估计的体积(代理的大小),我们审查一个众所周知的公式适用于不完整的网格。我们的代码和数据将在匿名审查过程完成后公开。
2013-11-11 cs.CV
Exploiting Manifold Structured Data Priors for Improved MR Fingerprinting Reconstruction
Harbin Institute of Technology(哈尔滨工业大学)
提出利用低维参数流形揭示指纹流形结构,通过图拉普拉斯和局部低秩先验改进MRF重建,实现更优性能与更低耗时。
2023-10-17 cs.CV eess.IV
Scenes as Objects, Not Primitives: Instance-Structured 3D Tokenization from Unposed Views
Yonsei University(延世大学);Seoul National University(首尔国立大学)
提出一种前馈框架,直接从无位姿多视图图像将场景分解为实例结构化的3D标记组,实现重建、分割和操作,无需3D标注。
2026-06-28 cs.CV cs.GR
S$^2$GS: Structured Sparse Gaussian Streaming for Efficient Free-Viewpoint Video Reconstruction on Edge-IoT Devices
The Hong Kong Polytechnic University(香港理工大学)
S²GS是面向边缘物联网设备的FVV重建框架,通过结构化稀疏高斯流技术,在保持视觉质量的同时,大幅降低每帧优化时间和存储占用,在Jetson AGX Orin等设备上实现高吞吐量与低能耗。
2026-08-21 cs.CV