R2H-Diff: Guided Spectral Diffusion Model for RGB-to-Hyperspectral Reconstruction
本文提出R2H-Diff框架，通过引导频谱细化模块和高光谱适应性转置注意力模块，实现高效RGB到HSI重建，平衡重建质量与计算效率。
2026-05-07 cs.CV
SEAR: Simple and Efficient Adaptation of Visual Geometric Transformers for Unpaired RGB+Thermal 3D Reconstruction
Schindler EPFL Lab（施耐德EPFL实验室）；EPFL（瑞士联邦理工学院）；Örebro University（奥雷布罗大学）
SEAR通过简单高效的微调策略，使预训练的几何变换器适应多模态RGB-热成像输入，显著提升了3D重建和姿态估计性能，尤其在低光照和浓烟等挑战条件下表现优异。
2026-08-06 cs.CV
MAGiSt3R: Multi-Agent Feed-forward 3D Reconstruction from Monocular RGB Videos
University of Bologna（博洛尼亚大学）；The University of Hong Kong（香港大学）；Southeast University（东南大学）；Monash University（莫纳什大学）
研究基于单目RGB视频的多智能体3D重建问题，核心方法是用3R家族前馈模型和MAGMA合并模型，并进行姿态图优化，主要贡献是在合成和真实数据集上验证该框架相比现有方法有更高重建和相机跟踪精度。
2026-07-17 cs.CV
Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB Images in the Wild
City University of Hong Kong（香港城市大学）；Huaqiao University（华侨大学）
本文研究了从商业相机捕获的单个RGB图像重建高光谱（HS）图像的问题，\textbf{without}在训练期间使用配对的HS和RGB图像。为了应对这一挑战，我们提出了一个新的轻量级和基于端到端学习的框架。具体来说，从HS图像的RGB图像的固有成像退化模型的基础上，我们逐步传播输入RGB图像和重新投影的RGB图像从恢复HS图像之间的差异，通过有效的无监督相机光谱响应函数估计。为了使学习没有成对的地面真实HS图像作为监督，我们采用对抗学习的方式，并提高它与一个简单而有效的$\mathcal{L}_1$梯度裁剪计划。此外，我们嵌入输入RGB图像的语义信息，以局部正则化的无监督学习，这是期望促进具有相同语义的像素具有一致的光谱特征。除了对两个广泛使用的数据集进行定量实验，从合成RGB图像的HS图像重建，我们还评估我们的方法，从真正的RGB图像恢复HS图像HS为基础的视觉跟踪。大量的结果表明，我们的方法显着优于最先进的无监督方法，甚至超过了最新的监督方法在某些设置。源代码在https://github.com/zbzhzhy/Unsupervised-Spectral-Reconstruction上公开。
2021-08-17 cs.CV
HRBF-Fusion: Accurate 3D reconstruction from RGB-D data using on-the-fly implicits
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Delft University of Technology（代尔夫特理工大学）；The University of Manchester（曼彻斯特大学）
高保真三维物体或场景的重建是一个基础性的研究课题。RGB-D融合的最新进展已经证明了从消费级RGB-D相机生成3D模型的潜力。然而，由于其表面表示的离散性质和有限分辨率（例如，基于点或基于体素），现有方法遭受相机跟踪中的误差和重建中的失真的累积，这导致不令人满意的3D重建。在本文中，我们提出了一种方法，在现有的RGB-D融合框架中，使用Hermite径向基函数（HRBFs）作为连续的表面表示的摄像机跟踪的飞行implanation。此外，曲率估计和置信度评估相干推导出固有的表面特性的飞行HRBF implantable，致力于数据融合，以更好的质量。我们认为，我们的连续，但在飞行中的表面表示可以有效地减轻噪声的影响，其鲁棒性和约束重建与固有的表面光滑度相比，离散表示。在各种真实世界和合成数据集上的实验结果表明，我们的HRBF融合在跟踪鲁棒性和重建精度方面优于最先进的方法。
2022-02-13 cs.CV
SLAM3R: Real-Time Dense Scene Reconstruction from Monocular RGB Videos
Peking University（北京大学）；The University of Hong Kong（香港大学）；Aalto University（阿尔托大学）；VIVO（维沃（vivo））
针对单目RGB视频实时稠密三维重建需求，提出SLAM3R系统，通过前馈网络整合局部重建与全局配准，无需显式求解相机参数，在多数据集上实现SOTA精度且帧率超20FPS。
2025-03-23 cs.CV
DynamicSurf: Dynamic Neural RGB-D Surface Reconstruction with an Optimizable Feature Grid
University College London（伦敦大学学院）
DynamicSurf提出一种无模型神经隐式表面重建方法，利用可优化特征网格和深度、法线、RGB损失，从单目RGB-D视频重建非刚性表面，实现6倍加速并达到最先进精度。
2023-11-14 cs.CV
3D Colored Shape Reconstruction from a Single RGB Image through Diffusion
Nanchang Hangkong University（南昌航空大学）
提出了一种新的基于扩散模型的RGB图像三维彩色形状重建方法。扩散模型在高质量三维形状生成方面显示出巨大的发展潜力。然而，现有的基于扩散模型的研究大多只关注于几何形状的生成，既不能从单幅图像中实现三维重建，也不能生成具有颜色信息的三维几何形状。在这项工作中，我们提出了一种新的条件扩散模型，从一个单一的RGB图像重建的三维彩色形状。所提出的扩散模型的逆过程由三个模块组成，形状预测模块，颜色预测模块和NeRF类渲染模块。在形状预测模块中，首先将参考RGB图像编码为一个高级形状特征，然后将该形状特征作为条件预测扩散模型中的反向几何噪声。颜色预测模块对形状预测模块中更新的每个三维点进行颜色预测。最后，设计了一个NeRF类渲染模块，将前两个模块预测的彩色点云渲染到二维图像空间，以指导仅以参考图像为条件的训练。据作者所知，该方法是第一个扩散模型的三维彩色形状重建从一个单一的RGB图像。实验结果表明，该方法在彩色三维形状重建方面具有较好的性能，烧蚀实验验证了颜色预测模块在提高三维几何点云重建质量方面的积极作用。
2023-02-11 cs.CV
Object Level Depth Reconstruction for Category Level 6D Object Pose Estimation From Monocular RGB Image
Renmin University of China（中国人民大学）；Nanjing University of Science and Technology（南京理工大学）；Nreal；Tsinghua University（清华大学）
最近，基于RGBD的类别级6D对象姿态估计在性能上取得了有希望的改进，然而，对深度信息的要求阻碍了更广泛的应用。为了解决这个问题，本文提出了一种新的方法命名为对象级深度重建网络（OLD-Net），仅以RGB图像作为输入的类别级6D对象位姿估计。我们建议通过将类别级形状变形为对象级深度和规范的NOCS表示来直接从单目RGB图像预测对象级深度。引入了两个新的模块，即归一化全球位置提示（NGPH）和形状感知解耦深度重建（SDDR）模块，以学习高保真的对象级深度和精细的形状表示。最后，通过将预测的规范表示与反向投影的对象级深度对齐来求解6D对象姿态。在具有挑战性的CAMERA 25和REAL 275数据集上进行的大量实验表明，我们的模型虽然简单，但具有最先进的性能。
2022-08-28 cs.CV
Plane-Based Optimization of Geometry and Texture for RGB-D Reconstruction of Indoor Scenes
University of Texas at Dallas（德克萨斯大学达拉斯分校）
提出了一种基于平面基元的RGB-D室内场景重建方法。该方法以RGB-D序列和基于该序列的3D重建方法重建的密集粗网格作为输入，生成的低多边形网格具有清晰的人脸纹理和尖锐的特征，同时不丢失原始场景的几何细节。为了实现这一点，我们首先划分输入网格与平面图元，简化成一个轻量级的网格下，然后优化平面参数，相机姿势和纹理颜色，以最大限度地提高跨帧的光度一致性，最后优化网格几何形状，以最大限度地提高几何和平面之间的一致性。与现有的平面重建方法只覆盖场景中较大的平面区域相比，该方法通过自适应平面构建整个场景，不丢失几何细节，并保留了最终网格的尖锐特征。我们证明了我们的方法的有效性，将其应用到几个RGB-D扫描，并将其与其他国家的最先进的重建方法进行比较。
2019-05-23 cs.CV
Ov3R: Open-Vocabulary Semantic 3D Reconstruction from RGB Videos
University of Bologna（博洛尼亚大学）；USTC（中科大）；BIT（北京理工）；Monash University（墨尔本大学）
Ov3R通过结合CLIP语义和融合描述符，实现从RGB视频流中进行开放词汇语义3D重建，提升空间人工智能的实时性和语义感知能力。
2026-09-02 cs.CV
Ray-ONet: Efficient 3D Reconstruction From A Single RGB Image
University of Oxford（牛津大学）
我们提出了Ray-ONet来有效地从单目图像重建详细的3D模型。通过预测从相机坐标中的像素反向投影的射线上的一系列占用概率，我们的方法Ray-ONet与Occupational Networks（ONet）相比提高了重建精度，同时将网络推理复杂度降低到O（$N^2$）。因此，Ray-ONet在ShapeNet基准测试中实现了最先进的性能，在$128^3$分辨率下实现了超过20个$\times$的加速，并在推理过程中保持了类似的内存占用。
2021-10-22 cs.CV
Continuous Spectral Reconstruction from RGB Images via Implicit Neural Representation
University of Science and Technology of China（中国科学技术大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Beijing Institute of Technology（北京理工大学）
现有的光谱重建方法通常学习从RGB图像到多个光谱带的离散映射。然而，这种建模策略忽略了光谱特征的连续性。在本文中，我们提出了神经谱重建（NeSR），以解除这一限制，通过引入一种新的连续谱表示。为此，我们拥抱隐函数的概念，并实现一个参数化的实施例与神经网络。具体来说，我们首先采用骨干网络提取RGB输入的空间特征。在此基础上，我们设计了光谱轮廓插值（SPI）模块和神经注意力映射（NAM）模块来丰富深层特征，其中空间-光谱相关性参与了更好的表示。然后，我们把采样的光谱波段数看作连续隐函数的坐标，从而学习从深层特征到光谱强度的投影。大量的实验表明，NeSR在重建精度上优于基线方法。此外，NeSR扩展了频谱重建的灵活性，使任意数量的光谱带作为目标输出。
2022-08-31 cs.CV
SPSG: Self-Supervised Photometric Scene Generation from RGB-D Scans
Technical University of Munich（慕尼黑工业大学）；Google（谷歌）
我们提出了SPSG，一种新的方法来生成高质量的，彩色的3D模型的场景从RGB-D扫描观察学习推断未观察到的场景几何形状和颜色在一个自我监督的方式。我们的自我监督方法通过将不完整的RGB-D扫描与该扫描的更完整版本相关联来学习联合修复几何形状和颜色。值得注意的是，我们不是依靠3D重建损失来告知我们的3D几何和颜色重建，而是提出了在2D渲染上操作的对抗性和感知损失，以实现场景的高分辨率，高质量的彩色重建。这利用了来自单个原始RGB-D帧的高分辨率、自一致信号，而帧的融合3D重建则表现出与视图相关效果的不一致性，例如色彩平衡或姿势不一致。因此，通过直接通过2D信号通知我们的3D场景生成，我们可以生成高质量的3D场景彩色重建，在合成和真实数据上都优于现有技术。
2021-04-28 cs.CV
Non-rigid Reconstruction with a Single Moving RGB-D Camera
CSIRO Data61（联邦科学与工业研究组织数据61所）；Queensland University of Technology（昆士兰科技大学）
我们提出了一种新的非刚性重建方法，使用移动RGB-D相机。目前的方法只使用场景的非刚性部分，完全忽略了刚性背景。非刚性部件通常缺乏足够的几何和光度信息来跟踪大的帧到帧运动。我们的方法使用相机姿态估计从刚性背景的前景跟踪。这使得在发生大的帧到帧运动的情况下能够进行鲁棒的前景跟踪。此外，我们提出了一个多尺度变形图，它提高了非刚性跟踪，而不影响重建的质量。我们还提供了一个合成数据集，这是可用于评估非刚性重建方法。该数据集提供场景的逐帧地面真实几何、相机轨迹和背景前景的遮罩。实验结果表明，我们的方法是更强大的处理更大的帧到帧的运动，并提供更好的重建相比，国家的最先进的方法。
2018-05-30 cs.CV
High-Quality RGB-D Reconstruction via Multi-View Uncalibrated Photometric Stereo and Gradient-SDF
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
精细的重建在许多应用中有很高的需求。然而，大多数现有的RGB-D重建方法依赖于预先计算的准确相机姿态来恢复详细的表面几何形状，其中在优化不同的量时需要调整表面的表示。在本文中，我们提出了一种新的基于多视图RGB-D的重建方法，通过利用梯度符号距离场（gradient-SDF）来处理相机姿态、光照、光照和表面法线估计。所提出的方法制定的图像渲染过程中使用特定的基于物理的模型（S）和优化的表面的数量在实际表面上使用其体积表示，而不是其他作品估计表面数量仅接近实际表面。为了验证我们的方法，我们调查两个基于物理的图像形成模型的自然光和点光源的应用。在合成数据集和真实数据集上的实验结果表明，该方法能够比现有技术更忠实地恢复曲面的高质量几何形状，并进一步提高了估计相机位姿的准确性。
2022-10-21 cs.CV
MorpheuS: Neural Dynamic 360° Surface Reconstruction from Monocular RGB-D Video
University College London（伦敦大学学院）
提出 MorpheuS 框架，结合规范场、形变场与视角相关扩散先验蒸馏，从单目 RGB-D 视频实现动态物体的高保真 360° 表面重建及未观测区域真实补全。
2024-04-04 cs.CV
MOLTR: Multiple Object Localisation, Tracking, and Reconstruction from Monocular RGB Videos
University of Adelaide（阿德莱德大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Monash University（莫纳什大学）
对于未来的机器人和AR/VR应用来说，语义感知重建比仅几何重建更有优势，因为它不仅代表了事物的位置，而且还代表了事物的内容。以对象为中心的映射是构建对象级重建的任务，其中对象是传达几何和语义信息的单独且有意义的实体。在本文中，我们提出了MOLTR，一个解决方案，以对象为中心的映射只使用单目图像序列和相机构成。当RGB摄像头捕获周围环境的视频时，它能够以在线方式定位，跟踪和重建多个对象。给定一个新的RGB帧，MOLTR首先应用单目3D检测器来定位感兴趣的对象，并在学习的嵌入空间中提取表示对象形状的形状代码。在数据关联后，检测结果将合并到地图中的现有对象。通过多模型贝叶斯滤波器跟踪每个目标的运动状态（即运动学和运动状态），并通过融合多个形状代码来逐步细化目标形状。我们在室内和室外场景的基准数据集上评估了定位，跟踪和重建，并显示出优于以前方法的性能。
2021-02-15 cs.CV
Exploiting Spatial-Temporal Context for Interacting Hand Reconstruction on Monocular RGB Video
University of Science and Technology of China（中国科学技术大学）
针对单目 RGB 视频中交互手部重建的遮挡等问题，提出利用时空上下文的框架，结合时间约束与穿透检测模块生成物理合理的平滑手部，在公开基准上达到最优性能。
2024-01-05 cs.CV
InFusionSurf: Refining Neural RGB-D Surface Reconstruction Using Per-Frame Intrinsic Refinement and TSDF Fusion Prior Learning
ROKIT Healthcare, Inc.（ROKIT医疗保健公司）
本研究提出InFusionSurf方法，通过逐帧内参优化解决深度图运动模糊问题，并将TSDF Fusion作为特征网格预训练先验，在NeRF框架下实现高效且高精度的RGB-D 3D表面重建。
2024-10-07 cs.CV
Real-time Indoor Scene Reconstruction with RGBD and Inertia Input
Hangzhou Dianzi University（杭州电子科技大学）；Tsinghua University（清华大学）
摄像机运动估计是三维场景重建和同时定位与地图构建（SLAM）的关键技术。为了使其可行地实现，以前的作品通常假设缓慢的相机运动，这限制了它在许多实际情况下的使用。我们提出了一个端到端的三维重建系统，它结合了颜色，深度和惯性测量，以实现快速传感器运动的鲁棒重建。我们的框架扩展卡尔曼滤波器融合的三种信息，并涉及一个迭代法，以联合优化特征对应，相机姿态和场景几何。我们还提出了一种新型的几何感知补丁变形技术来适应图像域中的特征外观，从而在快速相机运动下实现更准确的特征匹配。实验表明，我们的补丁变形方法提高了特征跟踪的准确性，我们的三维重建优于国家的最先进的解决方案下快速相机运动。
2018-12-07 cs.CV
Adversarial Networks for Spatial Context-Aware Spectral Image Reconstruction from RGB
TECNALIA（特克纳利亚研究与创新中心）；CVC - Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）
高光谱信号重建的目的是恢复原始的光谱输入，产生了一定的三色（RGB）响应从捕获设备或观察者。鉴于该问题的严重约束不足、非线性性质，传统技术利用光谱信号的不同统计属性，根据真实世界物体反射率构建信息先验，以构建此类RGB到光谱信号映射。然而，他们中的大多数独立地对待每个样本，因此没有从空间维度可以提供的上下文信息中受益。我们将高光谱自然图像重建作为图像到图像映射学习问题，并应用条件生成对抗框架来帮助捕获空间语义。这是卷积神经网络--特别是生成对抗网络--首次用于解决这一任务。定量评估显示，ICVL自然高光谱图像数据集的均方根误差（RMSE）下降了33.2%，相对RMSE下降了54.0%。
2018-03-14 cs.CV
GO-Surf: Neural Feature Grid Optimization for Fast, High-Fidelity RGB-D Surface Reconstruction
University College London（伦敦大学学院）
我们提出了GO-Surf，一种直接的特征网格优化方法，用于从RGB-D序列准确快速地重建表面。我们用一个学习过的分层特征体素网格对底层场景进行建模，该网格封装了多层次的几何和外观局部信息。特征向量被直接优化，使得在被三次线性内插、由两个浅MLP解码成带符号的距离和辐射值、并经由表面体渲染渲染之后，合成的和观察到的RGB/深度值之间的差异被最小化。我们的监督信号- RGB，深度和近似SDF -可以直接从输入图像中获得，而无需任何融合或后处理。我们制定了一个新的SDF梯度正则化项，鼓励表面平滑和孔洞填充，同时保持高频细节。GO-Surf可以在$15$-$45$分钟内优化$1$ - $2$ K帧序列，与NeuralRGB-D相比，速度提高了$\times60$，这是基于MLP表示的最相关方法，同时在标准基准测试中保持了同等性能。项目页面：https://jingwenwang95.github.io/go_surf/
2022-09-17 cs.CV
Mesh Strikes Back: Fast and Efficient Human Reconstruction from RGB videos
University of Pennsylvania（宾夕法尼亚大学）；Amazon.com, Inc（亚马逊公司）
由于服装、遮挡、纹理的不连续性和清晰度以及特定于帧的姿态变化，单目RGB视频的人体重建和合成是一个具有挑战性的问题。许多方法采用延迟渲染、NeRF和隐式方法来表示穿着衣服的人，前提是基于网格的表示无法单独从RGB、轮廓和关键点捕获复杂的服装和纹理。我们通过优化SMPL+D网格和仅使用RGB图像，二进制轮廓和稀疏2D关键点的高效，多分辨率纹理表示来提供对这个基本前提的相反观点。实验结果表明，我们的方法是更能够捕捉几何细节相比，视觉外壳，网格为基础的方法。我们展示了竞争力的新视图合成和改进的新姿态合成相比，NeRF为基础的方法，引入明显的，不必要的文物。通过将解决方案空间限制在SMPL+D模型与可微分渲染相结合，我们在计算、训练时间（高达24倍）和推理时间（高达192倍）方面获得了显着的加速。因此，我们的方法可以按原样使用，也可以作为基于NeRF的方法的快速初始化。
2023-03-15 cs.CV
ImmFusion: Robust mmWave-RGB Fusion for 3D Human Body Reconstruction in All Weather Conditions
Zhejiang University（浙江大学）；Tsinghua University（清华大学）；NetEase（网易）；Zhejiang Lab（之江实验室）
本文提出首个毫米波-RGB融合方案ImmFusion，通过图像与点云主干网络提取token特征，并利用融合Transformer动态选择信息token，实现全天气条件下鲁棒的三维人体重建，在mmBody数据集上显著超越现有激光雷达-相机融合方法。
2023-09-20 cs.CV
GradientSurf: Gradient-Domain Neural Surface Reconstruction from RGB Video
Johns Hopkins University（约翰斯·霍普金斯大学）；Apple Inc.（苹果公司）
针对RGB视频表面重建细节缺失的问题，提出GradientSurf算法，将重建转换到梯度域并结合泊松层实现增量式在线重建，提升了弯曲区域细节和小物体重建保真度。
2023-10-09 cs.CV
Registration-Free Hyperspectral Reconstruction from RGB via a Permutation-Invariant Gram-Matrix Principle
该研究提出基于置换不变Gram矩阵原理的方法，无需配准、已知相机响应函数或配对监督，可从RGB直接重建高光谱图像，性能与需严格假设的方法相当且鲁棒性强。
2026-08-18 cs.CV
BS3D: Building-scale 3D Reconstruction from RGB-D Images
University of Oulu（奥卢大学）；Aalto University（阿尔托大学）；Tampere University（坦佩雷大学）
已经提出了用于同时定位与地图构建（SLAM）和相关问题的各种数据集。现有的数据集通常包括小环境，具有不完整的地面实况，或缺乏重要的传感器数据，例如深度和红外图像。我们提出了一个易于使用的框架，用于使用消费者深度相机获取建筑规模的3D重建。与复杂和昂贵的采集设置不同，我们的系统支持众包，这可以极大地有利于数据饥渴的算法。与类似的系统相比，我们利用原始深度图进行里程计算和循环闭合细化，从而获得更好的重建效果。我们获得了一个建筑规模的三维数据集（BS 3D），并证明其价值，通过训练改进的单目深度估计模型。作为一个独特的实验，我们基准的视觉惯性里程计方法使用彩色和主动红外图像。
2023-01-03 cs.CV
PlaneRecNet: Multi-Task Learning with Cross-Task Consistency for Piece-Wise Plane Detection and Reconstruction from a Single RGB Image
分段三维平面重建提供了对人造环境的整体场景理解，特别是对于室内场景。最近的方法主要集中在通过引入先进的网络架构来改善分割和重建结果，但忽略了分段平面作为对象和几何模型的双重特性。与其他现有方法不同，我们从多任务卷积神经网络PlaneRecNet的跨任务一致性开始，PlaneRecNet集成了一个用于分段平面分割的单级实例分割网络和一个深度解码器，用于从单个RGB图像重建场景。为了实现这一目标，我们引入了几个新的损失函数（几何约束），共同提高分段平面分割和深度估计的准确性。同时，提出了一种新的平面先验注意模型，通过对平面实例的感知来指导深度估计。在这项工作中进行了详尽的实验，以验证我们的方法的有效性和效率。
2022-01-30 cs.CV
Complementing Event Streams and RGB Frames for Hand Mesh Reconstruction
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
针对单一传感器手部网格重建的缺陷，提出融合事件相机与RGB相机的EvRGBHand方法及EvRGBDegrader，实现多维度模态融合，提升复杂场景泛化能力。
2024-03-12 cs.CV
3D Fusion of Infrared Images with Dense RGB Reconstruction from Multiple Views -- with Application to Fire-fighting Robots
UCSD（加州大学圣地亚哥分校）
该项目集成了红外和RGB图像，以生成从多个视图重建的密集3D环境模型。生成的3D地图包含热和RGB信息，可用于机器人消防应用，以识别受害者和活跃的火灾区域。
2020-07-29 cs.CV cs.RO
Towards unconstrained joint hand-object reconstruction from RGB videos
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）
我们的工作旨在从单目视频中获得手部和操纵对象的3D重建。重建手物体的操作有很大的潜力，机器人和人类的示范学习。然而，解决这个问题的监督学习方法需要3D监督，并且仍然限于受限的实验室设置和3D地面实况可用的模拟器。在本文中，我们首先提出了一个学习自由拟合方法的手对象重建，可以无缝地处理双手对象的相互作用。我们的方法依赖于与目标检测，手部姿势估计和实例分割的常见方法获得的线索。我们定量地评估我们的方法，并表明它可以应用于不同难度的数据集，其中训练数据是不可用的。
2022-03-12 cs.CV
Deep Textured 3D Reconstruction of Human Bodies
IIIT Hyderabad（海得拉巴国际信息技术学院（IIIT Hyderabad））
恢复非刚性人体形状的纹理3D模型是具有挑战性的，由于自遮挡引起的复杂的身体姿势和形状，服装障碍，缺乏表面纹理，背景杂乱，稀疏的相机与非重叠的视野等，此外，校准自由的环境增加了额外的复杂性重建和纹理恢复。在本文中，我们提出了一种基于深度学习的解决方案，用于从单视图RGB图像进行人体形状的纹理3D重建。这是通过以下方式实现的：首先在给定单个视图RGB图像的情况下恢复非刚性人体的体积网格，然后使用重建的（体积）形状和输入RGB图像的相应深度投影进行正交纹理视图合成。我们建议共同学习与负担得起的RGBD传感器（例如，Kinect），同时在训练阶段显示同一对象的多个视图。我们在定量和定性结果方面表现出卓越的重建性能，在公开的数据集（通过虚拟Kinect模拟深度通道）以及使用我们校准的多Kinect设置收集的真实RGBD数据上。
2018-09-18 cs.CV
Accurate 3-D Reconstruction with RGB-D Cameras using Depth Map Fusion and Pose Refinement
University of Oulu（奥卢大学）；Aalto University（阿尔托大学）
深度图融合是基于立体和RGB-D的3D重建流水线中的重要部分。无论是使用被动立体重建还是使用主动深度传感器（如Microsoft Kinect）生成，深度图都有噪声，并且可能具有较差的初始配准。在本文中，我们介绍了一种方法，这是能够处理离群值，特别是，甚至显着的配准误差。所提出的方法首先将一系列深度图融合到单个非冗余点云中，以便通过为更确定的测量赋予更多权重来将冗余点合并在一起。然后，将原始深度图重新配准到融合点云以细化原始相机外部参数。然后，再次使用细化的外部参数执行融合。重复此过程，直到结果令人满意或迭代之间没有发生重大变化。该方法对于异常值和错误的深度测量以及甚至由于不准确的初始相机姿态而导致的显著深度图配准误差是鲁棒的。
2018-04-24 cs.CV
GARDEN: Gravity-Aligned Reconstruction of Disentangled ENvironments from RGB images
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）
提出GARDEN框架，利用重力先验将多视图RGB图像重建为具有显式刚体和解耦背景的结构化混合场景表示，支持直接物理模拟。
2026-07-08 cs.CV
RGB Pre-Training Enhanced Unobservable Feature Latent Diffusion Model for Spectral Reconstruction
Institute of Artificial Intelligence, College of Computer Science, Zhejiang University（人工智能研究院，计算机科学学院，浙江大学）；Department of Computer Science and Technology, Ocean University of China（计算机科学与技术系，中国海洋大学）
本文提出将RGB预训练潜在扩散模型扩展为不可观测特征潜在扩散模型，通过两阶段流程分别学习光谱结构表示和光谱-空间联合分布，在紧凑潜在空间中建模不可观测特征，在光谱重建和重新照明任务上达到最先进性能。
2025-07-17 cs.CV
Towards Spectral Estimation from a Single RGB Image in the Wild
ETH Zurich（苏黎世联邦理工学院）
在目前的文献相比，我们解决的问题，从一个单一的共同的三色RGB图像下获得的无约束设置（例如，未知的相机参数，未知的场景辐射，未知的场景内容）的光谱估计。为此，我们使用高光谱图像相机提供的参考光谱，并提出有效的深度学习解决方案，用于从单个RGB图像进行灵敏度函数估计和光谱重建。我们进一步扩展了光谱重建的概念，以便适用于野外拍摄的RGB图像，并提出了一种基于卷积网络的解决方案，该网络以估计的灵敏度函数为条件。除了提出的解决方案，我们还研究通用和敏感性专门的模型，并讨论其局限性。我们在标准的基于示例的光谱重建基准测试中取得了最先进的竞争结果：ICVL，CAVE，NUS和NTIRE。此外，我们的实验表明，第一次，准确的光谱估计从一个单一的RGB图像在野外是我们力所能及的。
2018-12-03 cs.CV
High-fidelity 3D Object Generation from Single Image with RGBN-Volume Gaussian Reconstruction Model
State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；AI Centre, University College London（伦敦大学学院人工智能中心）；University of Utah（犹他大学）
本文提出GS-RGBN模型，通过融合RGB和法线特征的混合Voxel-Gaussian表示解决单视图3D生成中的几何歧义和结构缺失问题，实现高保真3D目标生成。
2025-04-02 cs.CV
GHOST: Fast Category-agnostic Hand-Object Interaction Reconstruction from RGB Videos using Gaussian Splatting
RPTU（鲁尔大学图灵学院）；DFKI-AV Kaiserslautern（德累斯顿-费尔德基辛人工智能研究所）；UPM Saudi Arabia（西班牙国际大学沙特分校）；NUST-SEECS Pakistan（奈瓦扎巴德大学信息与电子科学学院）
GHOST通过高斯散射技术实现快速且无类别的手-物体交互重建，解决了现有方法在物理一致性上的不足，实验表明其在3D重建和2D渲染质量上达到领先水平。
2026-03-19 cs.CV
UNeR3D: Versatile and Scalable 3D RGB Point Cloud Generation from 2D Images in Unsupervised Reconstruction
Tsinghua University（清华大学）；HKUST(GZ)（香港科技大学（广州））；Guangzhou University（广州大学）
本文提出无监督3D重建框架UNeR3D，仅利用2D视图并结合反距离加权颜色渲染、多视图几何与颜色损失，实现任意视图数、任意分辨率的3D RGB点云生成。
2023-12-10 cs.CV
UniRED: Unified RGB-D Video Frame Interpolation with Event Guidance
School of Software, Shandong University（山东大学软件学院）
提出统一多模态框架UniRED，融合RGB外观、深度几何和事件时间线索，通过双向流估计与运动基细化实现高质量RGB-D视频帧插值，并构建RGB-D-Event数据集缓解数据稀缺。
2026-06-24 cs.CV
NTIRE 2020 Challenge on Spectral Reconstruction from an RGB Image
本文综述了从RGB图像重建光谱的第二个挑战，即，从3通道RGB图像恢复全场景高光谱（HS）信息。如在先前的挑战中，提供了两个轨道：（i）“干净”轨道，其中HS图像是从无噪声RGB估计的，RGB图像本身是使用地面实况HS图像和所提供的光谱灵敏度函数来数值计算的;（ii）“真实世界”轨道，模拟由未校准和未知相机进行的捕获，其中HS图像是从噪声JPEG压缩的RGB图像恢复的。一个新的，比以往任何时候都大，自然高光谱图像数据集，共包含510 HS图像。清洁和真实世界赛道分别有103和78名注册参赛者，14支队伍参加最后的测试阶段。还提供了对所提出的方法的描述，以及它们的挑战分数和对最佳性能方法的广泛评估。他们从RGB图像中测量光谱重建的最新技术水平。
2020-05-07 cs.CV eess.IV
One4D: Unified 4D Generation and Reconstruction via Decoupled LoRA Control
The Hong Kong University of Science and Technology（香港科技大学）
One4D通过解耦LoRA控制实现4D生成与重建的统一框架，提升视频扩散模型在几何重建中的性能
2025-11-24 cs.CV
3DMatch: Learning Local Geometric Descriptors from RGB-D Reconstructions
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）；AutoX；Adobe Systems（Adobe系统公司）
由于3D扫描数据的噪声、低分辨率和不完整性，在真实世界的深度图像上匹配局部几何特征是一项具有挑战性的任务。这些困难限制了当前最先进的方法的性能，这些方法通常基于几何特性上的直方图。在本文中，我们提出了3DMatch，一个数据驱动的模型，学习一个局部体积补丁描述符建立部分3D数据之间的对应关系。为了为我们的模型积累训练数据，我们提出了一种自监督特征学习方法，该方法利用了现有RGB-D重建中发现的数百万个对应标签。实验表明，我们的描述符不仅能够匹配新场景中的局部几何形状进行重建，而且还可以推广到不同的任务和空间尺度（例如，Amazon Picking Challenge的实例级对象模型对齐，以及网格表面对应）。结果表明，3DMatch始终优于其他国家的最先进的方法显着保证金。代码、数据、基准测试和预训练模型可在http://3dmatch.cs.princeton.edu上在线获取
2017-04-09 cs.CV
RainDancer: RGB-Event Video Deraining with Rain-Oriented Spiking Dynamics
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；School of Computer Science and Technology, Harbin University of Science and Technology（哈尔滨理工大学计算机科学与技术学院）
研究针对视频去雨问题，提出RainDancer框架，基于分解-交互范式，在RGB和事件分支分别处理，分离雨和背景成分，进行组件级融合，并引入事件域监督，实验表明该方法在多方面性能优越。
2026-07-16 cs.CV
ThermoNeRF: Joint RGB and Thermal Novel View Synthesis for Building Facades using Multimodal Neural Radiance Fields
EPFL（洛桑联邦理工学院）；Schindler EPFL Lab（迅达-洛桑联邦理工学院实验室）
针对现有方法重建几何与温度数据不一致的问题，提出ThermoNeRF多模态神经辐射场方法，联合渲染RGB和热红外新视角，并构建ThermoScenes配对数据集，在建筑等场景温度估计误差降低超50%。
2024-11-29 cs.CV
Learning Flow-Guided Registration for RGB-Event Semantic Segmentation
Lehigh University（莱维大学）；Qualcomm AI Research（高通AI研究）；City University of Hong Kong（香港城市大学）
针对RGB-事件分割中的时空与模态错位问题，提出流引导双向配准框架BRENet，利用光流和事件时间特征生成像素配对，并引入MET表示，在四个数据集上验证了有效性。
2025-09-25 cs.CV
MonoSelfRecon: Purely Self-Supervised Explicit Generalizable 3D Reconstruction of Indoor Scenes from Monocular RGB Views
UC San Diego（加州大学圣地亚哥分校）；Qualcomm（高通公司）
本文提出MonoSelfRecon框架，利用体素-SDF、可泛化NeRF和新型自监督损失，首次从单目RGB实现纯自监督、显式且可泛化的室内三维网格重建。
2024-04-10 cs.CV
Deep3DPose: Realtime Reconstruction of Arbitrarily Posed Human Bodies from Single RGB Images
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Xmov（魔珐科技）；Zhejiang University（浙江大学）；Texas A&M University（德州农工大学）
我们介绍了一种方法，准确地重建三维人体姿势和详细的三维全身几何模型，从单图像实时。我们的方法的核心思想是一种新型的端到端多任务深度学习框架，该框架使用单个图像同时预测五个输出：前景分割掩码，2D关节位置，语义体分区，3D部件方向和UV坐标（UV地图）。多任务网络架构不仅为重建生成更多的视觉线索，而且还使每个单独的预测更加准确。CNN回归器进一步与基于优化的算法相结合，用于精确的运动姿态重建和全身形状建模。我们表明，实时重建达到准确的拟合，还没有见过，特别是野生图像。我们展示了我们的实时3D姿态和人体重建系统在各种具有挑战性的野外视频的结果。我们表明，该系统的进步前沿的三维人体和姿势重建从单一的图像定量评估和比较与国家的最先进的方法。
2021-06-22 cs.CV
Dynamic EventNeRF: Reconstructing General Dynamic Scenes from Multi-view RGB and Event Streams
MPI for Informatics, SIC（信息研究所）
本文提出Dynamic EventNeRF，首次结合稀疏多视角事件流与RGB帧，通过时间条件NeRF和事件/RGB联合损失实现低光照快速运动场景的高质量时空重建，并发布了基准数据集。
2025-07-16 cs.CV
3D Reconstruction and Alignment by Consumer RGB-D Sensors and Fiducial Planar Markers for Patient Positioning in Radiation Therapy
Instituto Maimónides de Investigación en Biomedicina (IMIBIC)（迈蒙尼德生物医学研究所）；Córdoba University（科尔多瓦大学）；Health Time；Clínica las Nieves（拉斯涅韦斯诊所）
背景和目的：患者定位是放射治疗中的关键步骤，已经开发了基于使用光学3D成像的表面重建的非侵入性方法。然而，大多数解决方案需要昂贵的专用硬件和仔细的校准程序，必须重复随着时间的推移。本文提出了一种快速，廉价的患者定位方法的基础上廉价的消费级RGB-D传感器。方法：所提出的方法依赖于一种3D重建方法，该方法实时融合从手持RGB-D传感器记录的人工和自然视觉地标。视频序列被转换成一组具有已知姿势的关键帧，这些关键帧随后被细化以获得患者的真实3D重建。人工地标的使用允许我们的方法自动将重建与参考重建对齐，而不需要相对于线性加速器坐标系校准系统。结果：进行的实验表明，我们的方法得到了一个中位数为1厘米的平移误差，1度的旋转误差相对于参考位姿。此外，所提出的方法将（来自参考和当前场景的）叠加姿态和误差图示出为视觉输出，该误差图可以用于校正患者的当前姿态以匹配参考姿态。结论：提出了一种新的方法来获得三维身体重建的病人定位，而不需要昂贵的硬件或专用的图形卡。该方法可以用于将患者的当前姿势实时的对准到预览姿势，这是放射治疗中的相关步骤。
2021-03-22 cs.CV
Learnable Triangulation for Deep Learning-based 3D Reconstruction of Objects of Arbitrary Topology from Single RGB Images
Univ Evry（埃夫里大学）；Université Paris-Saclay（巴黎萨克雷大学）；Ausy（奥西公司）；Université Orléans（奥尔良大学）；Murdoch University（莫道克大学）；University of South Australia（南澳大学）
我们提出了一种新的基于深度强化学习的方法，用于从单目图像重建3D对象。使用网格表示的先前作品是基于模板的。因此，它们仅限于重建与模板具有相同拓扑结构的对象。使用体积网格作为中间表示的方法在计算上是昂贵的，这限制了它们在实时场景中的应用。在本文中，我们提出了一种新的端到端的方法，从单目图像重建任意拓扑的3D对象。它由（1）顶点生成网络（VGN）组成，它从输入RGB图像预测对象顶点的初始3D位置，（2）可微分三角剖分层，它使用新颖的强化学习算法以非监督方式学习对象顶点的最佳三角剖分，最后，（3）使用图卷积来细化初始网格的分层网格细化网络。我们的主要贡献是可学习的三角剖分过程，它以无监督的方式恢复输入形状的拓扑结构。我们在ShapeNet和Pix3D基准测试上的实验表明，该方法在视觉质量、重建精度和计算时间方面优于最先进的方法。
2021-09-24 cs.CV
Tuning IR-cut Filter for Illumination-aware Spectral Reconstruction from RGB
University of Southern California（南加州大学）；Shanghai Jiao Tong University（上海交通大学）；Anhui Normal University（安徽师范大学）；The University of Tokyo（东京大学）
重建光谱信号从多通道观测，特别是三色RGB，最近出现了作为一个有前途的替代传统的扫描为基础的光谱成像仪。已经证明，重建精度在很大程度上依赖于所使用的RGB相机的光谱响应。为了提高准确性，已经提出了数据驱动算法来检索现有RGB相机的最佳响应曲线，甚至设计全新的三通道响应曲线。相反，本文探讨了现有RGB相机的基于滤波器阵列的彩色成像机制，并提出了适当设计IR截止滤波器以改善光谱恢复，这是一种介于两者之间的解决方案，在重建精度和实现复杂性之间具有更好的权衡。我们还提出了一种基于深度学习的光谱重建方法，该方法也可以恢复照明光谱。实验结果与合成和真实图像在日光照明下显示了我们的红外截止滤波器调谐方法和我们的照明感知光谱重建方法的好处。
2021-03-26 cs.CV eess.IV
PEOD: A Pixel-Aligned Event-RGB Benchmark for Object Detection under Challenging Conditions
针对现有Event-RGB数据集极端条件覆盖稀疏、分辨率低的局限，提出首个大规模像素对齐高分辨率（1280×720）目标检测基准PEOD，含130+序列、34万标注框，57%数据来自极端场景，基准测试揭示不同条件下各模型性能差异，为多模态感知研究提供支撑。
2025-11-11 cs.CV
