ScaleVid: Geometry-Aware Video Object Scaling with Mesh-Free Inference
ScaleVid提出无网格推理的两阶段训练框架,实现几何感知视频目标缩放,在野外视频评估中,其几何一致性、前景保真度等优于需显式3D重建的方法,推理更实用。
2026-08-13 cs.CV
ViDAR: Video Diffusion-Aware 4D Reconstruction From Monocular Inputs
Huawei Noah’s Ark Lab(华为诺亚实验室);Queen Mary University of London(伦敦大学女王学院)
ViDAR利用个性化扩散模型生成伪多视角监督,训练高斯溅射表示,实现单目视频的4D重建,在DyCheck基准上超越现有方法。
2025-06-23 cs.CV
Adversarial Networks for Spatial Context-Aware Spectral Image Reconstruction from RGB
TECNALIA(特克纳利亚研究与创新中心);CVC - Universitat Autònoma de Barcelona(巴塞罗那自治大学计算机视觉中心)
高光谱信号重建的目的是恢复原始的光谱输入,产生了一定的三色(RGB)响应从捕获设备或观察者。鉴于该问题的严重约束不足、非线性性质,传统技术利用光谱信号的不同统计属性,根据真实世界物体反射率构建信息先验,以构建此类RGB到光谱信号映射。然而,他们中的大多数独立地对待每个样本,因此没有从空间维度可以提供的上下文信息中受益。我们将高光谱自然图像重建作为图像到图像映射学习问题,并应用条件生成对抗框架来帮助捕获空间语义。这是卷积神经网络--特别是生成对抗网络--首次用于解决这一任务。定量评估显示,ICVL自然高光谱图像数据集的均方根误差(RMSE)下降了33.2%,相对RMSE下降了54.0%。
2018-03-14 cs.CV
Training-Free Instance-Aware 3D Scene Reconstruction and Diffusion-Based View Synthesis from Sparse Images
The University of Adelaide(阿德莱德大学)
本文提出一种无需训练的系统,从稀疏未定位RGB图像重建、理解并渲染3D室内场景,通过点云重建、2D到3D实例提升和扩散模型渲染实现高保真结果,支持实例编辑。
2026-03-22 cs.CV
GenDiff: A Dose and Anatomy Aware Diffusion Model with Structural Prior Refinement for Low-Dose CT Reconstruction and Generalization
Faculty of Information Science & Technology, Multimedia University, Malaysia(马来西亚多媒体大学信息科学与技术学院)
针对低剂量CT重建中现有方法局限性,提出GenDiff框架,联合建模剂量与解剖信息,集成多种模块,经多数据集实验验证,该方法在不同条件下鲁棒性强且重建质量优,是低剂量CT成像的有前途方案。
2026-07-15 cs.CV cs.LG
Tuning IR-cut Filter for Illumination-aware Spectral Reconstruction from RGB
University of Southern California(南加州大学);Shanghai Jiao Tong University(上海交通大学);Anhui Normal University(安徽师范大学);The University of Tokyo(东京大学)
重建光谱信号从多通道观测,特别是三色RGB,最近出现了作为一个有前途的替代传统的扫描为基础的光谱成像仪。已经证明,重建精度在很大程度上依赖于所使用的RGB相机的光谱响应。为了提高准确性,已经提出了数据驱动算法来检索现有RGB相机的最佳响应曲线,甚至设计全新的三通道响应曲线。相反,本文探讨了现有RGB相机的基于滤波器阵列的彩色成像机制,并提出了适当设计IR截止滤波器以改善光谱恢复,这是一种介于两者之间的解决方案,在重建精度和实现复杂性之间具有更好的权衡。我们还提出了一种基于深度学习的光谱重建方法,该方法也可以恢复照明光谱。实验结果与合成和真实图像在日光照明下显示了我们的红外截止滤波器调谐方法和我们的照明感知光谱重建方法的好处。
2021-03-26 cs.CV eess.IV
Semantic-SuPer: A Semantic-aware Surgical Perception Framework for Endoscopic Tissue Identification, Reconstruction, and Tracking
University of California San Diego(加州大学圣地亚哥分校)
手术场景的精确和鲁棒的跟踪和重建是实现自主机器人手术的关键技术。现有的手术中的3D感知算法主要依赖于几何信息,而我们建议也利用语义信息推断内窥镜视频使用图像分割算法。在本文中,我们提出了一种新的,全面的手术感知框架,语义超级,它集成了几何和语义信息,以促进数据关联,三维重建和跟踪内窥镜场景,有利于下游任务,如手术导航。所提出的框架证明了具有挑战性的内窥镜数据与变形组织,显示其优势,我们的基线和其他几个国家的最先进的方法。我们的代码和数据集可以在https://github.com/ucsdarclab/Python-SuPer上找到。
2023-02-20 cs.CV eess.IV
CAMP-Net: Consistency-Aware Multi-Prior Network for Accelerated MRI Reconstruction
The Chinese University of Hong Kong(香港中文大学);Tianjin University(天津大学)
本文提出CAMP-Net,一种结合图像域、k域和校准域多先验知识的一致性感知展开网络,通过频率融合和表面数据保真层提升高度欠采样MRI的重建质量与T2映射精度。
2024-01-15 cs.CV eess.IV
CORAL: A Benchmark for Structure-aware and Brain-wide Neuron Reconstruction in Light Microscopy
Tsinghua University(清华大学);Tsinghua Laboratory of Brain and Intelligence(清华大学生物医学工程系脑与智能实验室);IDG/McGovern Institute for Brain Research(IDG/麦戈文脑科学研究所);School of Basic Medical Sciences(医学科学系);Tsinghua-Peking Center for Life Sciences(清华-北京大学生命科学联合中心)
该研究提出首个结构感知的神经元重建基准CORAL,构建相关任务与指标,开发全脑追踪框架,对比主流方法并凸显结构感知评估的必要性。
2026-09-01 cs.CV
Bridging Synthetic-to-Real Gaps: Frequency-Aware Perturbation and Selection for Single-shot Multi-Parametric Mapping Reconstruction
针对医学成像中合成数据到真实数据的域差距问题,提出包含频率感知扰动与选择网络的FPS方法,经多类临床数据验证性能优异,且可推广至DTI等更多医学成像任务。
2025-09-02 cs.CV eess.IV
EAGLE: An Edge-Aware Gradient Localization Enhanced Loss for CT Image Reconstruction
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);University Hospital Erlangen(埃尔朗根大学医院)
提出Eagle-Loss损失函数,通过梯度变化中局部特征的频谱分析增强CT重建图像的边缘清晰度,在低剂量CT重建和视野扩展任务中超越现有方法。
2024-03-15 cs.CV eess.IV
Structure-Aware Sparse-View X-ray 3D Reconstruction
Johns Hopkins University(约翰斯·霍普金斯大学)
针对现有NeRF忽略X射线内部结构特性的问题,提出SAX-NeRF框架,通过设计Lineformer主干和MLG射线采样策略,在稀疏视图X射线3D重建和新视角合成任务上取得显著性能提升。
2024-03-23 cs.CV eess.IV
Bayesian Uncertainty-Aware MRI Reconstruction
Department of Computer Science, University of Exeter, UK(埃克塞特大学计算机科学系,英国);UCL Hawkes Institute, Department of Computer Science, University College London, UK(伦敦大学学院霍克斯研究所,计算机科学系,英国)
本文提出一种联合MRI重建与不确定性量化的新框架,利用欠采样k空间测量,通过贝叶斯线性逆问题方法,结合总变分先验模型和分裂增强吉布斯采样算法,实现参数联合后验分布采样,实验显示优于优化压缩感知算法,并有效量化不确定性。
2026-03-13 cs.CV eess.IV
LIST3R: Long-sequence Instance-aware 3D Reconstruction
Beijing Jiaotong University(北京交通大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
提出LIST3R框架,通过实例锚点组织长序列三维重建,将子序列局部观测整合为全局一致场景,在长序列基准上实现更优轨迹与重建质量。
2026-07-02 cs.CV
Geometry-aware Two-scale PIFu Representation for Human Reconstruction
Zhejiang University(浙江大学);City University of Hong Kong(香港城市大学)
虽然基于PIFu的三维人体重建方法很流行,但恢复的细节质量仍然不令人满意。在稀疏(例如,3个RGBD传感器)捕获设置,深度噪声通常在PIFu表示中被放大,导致平坦的面部表面和几何形状易出错的身体。在本文中,我们提出了一种新型的几何感知双尺度PIFu,用于根据稀疏、有噪输入进行3D人体重建。我们的关键思想是利用深度去噪和3D重建的互补特性,学习双尺度PIFU表示,以分别重建高频面部细节和一致的身体。为此,我们首先将深度去噪和3D重建作为一个多任务学习问题。深度去噪过程丰富了重建特征的局部几何信息,而重建过程利用全局拓扑信息增强了深度去噪。然后,我们建议使用基于去噪深度和几何感知特征的两个MLP来学习双尺度PIFu表示。大量的实验表明,我们的方法在重建面部细节和机构的不同姿态和国家的最先进的方法的优越性。
2022-09-27 cs.CV
EAR: Edge-Aware Reconstruction of 3-D vertebrae structures from bi-planar X-ray images
Visual 3-D Medical Science and Technology Development Co. Ltd(视觉三维医疗科技发展有限公司)
针对双平面X射线图像中三维椎体边缘与形状重建难题,提出融合边缘注意力、频率增强及四类损失的EAR网络,在三个公开数据集上优于四种现有模型。
2024-08-05 cs.CV eess.IV
SONAR: A Structure-Consistent Neural Operator for Null-Space-Aware Sparse View CT Reconstruction
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);Peking University Health Science Center(北京大学医学部)
SONAR提出一种结构一致神经算子,通过预测低维零空间感知表示并分离测量与伪测量残差,实现稀疏视图CT的准确、稳健且跨离散化重建。
2026-09-15 cs.CV eess.IV
S3PET: Semi-supervised Standard-dose PET Image Reconstruction via Dose-aware Token Swap
Sichuan University(四川大学)
针对全监督方法依赖大量配对数据且易致图像失真的问题,提出两阶段半监督框架S3PET,通过DsMAEs预训练与剂量知识解耦及传递模块,实现从低剂量PET到标准剂量PET的高质量重建。
2024-07-30 cs.CV eess.IV
GeoFusionLRM: Geometry-Aware Self-Correction for Consistent 3D Reconstruction
Bilkent University(比尔肯特大学);Adobe Research(Adobe研究)
GeoFusionLRM通过反馈几何信息提升单图像3D重建的几何精度与一致性
2026-02-15 cs.CV
Neural Template: Topology-aware Reconstruction and Disentangled Generation of 3D Meshes
The Chinese University of Hong Kong(香港中文大学);Hunan University(湖南大学)
本文介绍了一种新的框架DTNet三维网格重建和生成通过解开拓扑。除了以前的工作,我们学习了一个特定于每个输入的拓扑感知神经模板,然后变形模板以重建详细的网格,同时保留学习的拓扑。一个关键的见解是将复杂的网格重建分解为两个子任务:拓扑制定和形状变形。由于解耦,DT-Net隐式地学习了潜在空间中拓扑和形状的解纠缠表示。因此,它可以实现用于支持各种形状生成应用的新颖的解纠缠控制,例如,重新混合3D对象的拓扑结构,这是以前的重建工作无法实现的。大量的实验结果表明,我们的方法是能够产生高质量的网格,特别是与不同的拓扑结构,与国家的最先进的方法相比。
2022-06-10 cs.CV
DIAL-GS: Dynamic Instance Aware Reconstruction for Label-free Street Scenes with 4D Gaussian Splatting
Chenpeng Su ∗ , Wenhua Wu ∗ , Chensheng Peng, Tianchen Deng, Zhe Liu, Hesheng Wang †(无明确机构)
针对现有自监督街景重建方法无法区分动态对象的问题,提出DIAL-GS方法,通过4D高斯溅射实现实例感知的动态重建,性能优于现有基线。
2026-09-04 cs.CV
Computation-Aware Event-to-Frame Reconstruction via Selective Attention
University of California, Berkeley(加州大学伯克利分校)
提出一种高效的事件到帧重建框架,通过循环编码器-解码器、选择性上下文融合和轻量级混合注意力机制,在保持重建质量的同时降低计算复杂度。
2026-06-04 cs.CV
Morphology-Aware Multimodal Representation Learning for Insect Phylogenetic Reconstruction
Rural Development Academy, Zhejiang University(浙江大学农村发展学院)
提出形态感知多模态对齐框架,结合标本图像与形态描述,通过视觉Transformer微调和对比学习对齐图像-文本,学习连续性状用于贝叶斯系统发育重建,在Rove-Tree-11数据集上提升拓扑一致性。
2026-06-23 cs.CV
DAS3R: Dynamics-Aware Gaussian Splatting for Static Scene Reconstruction
National University of Singapore(新加坡国立大学);dConstruct Robotics(dConstruct机器人公司)
DAS3R通过动态感知高斯泼溅和运动掩码实现日常视频的静态背景重建,无需相机位姿或SLAM点云,在DAVIS和Sintel上PSNR领先超过2 dB。
2024-12-27 cs.CV
Dynamic-Aware Spatio-temporal Representation Learning for Dynamic MRI Reconstruction
针对动态MRI重建中现有INR方法优化慢、调参难的问题,提出DA-INR模型,在图像域捕获时空连续性并显式利用时间冗余,实现极端欠采样下高质量重建且高效省调参。
2025-10-25 cs.AI cs.CV eess.IV
Geometry-Aware Representation Denoising for Robust Multi-view 3D Reconstruction
KAIST AI(韩国国立科学技术院人工智能研究所);Samsung Electronics(三星电子)
提出几何感知表示去噪(GARD)框架,在前馈3D重建模型的特征空间中执行扩散式多视角恢复,同时恢复场景几何与高质量RGB图像,在DA3基准上验证有效性。
2026-05-25 cs.CV
Shape-Aware Human Pose and Shape Reconstruction Using Multi-View Images
University of Maryland(马里兰大学)
我们提出了一个可扩展的神经网络框架,从多视角图像重建人体的三维网格,在SMPL模型的子空间。使用多视点图像可以显著降低投影模糊问题,提高服装下三维人体的重建精度。我们的实验表明,该方法受益于从我们的管道生成的合成数据集,因为它具有良好的变量控制的灵活性,并可以提供地面实况验证。我们的方法优于现有的方法对现实世界的图像,特别是形状估计。
2019-08-26 cs.CV
Topology-Change-Aware Volumetric Fusion for Dynamic Scene Reconstruction
拓扑变化是动态场景4D重建的一个挑战性问题。在经典的基于体融合的框架中,通常从TSDF体中提取一个网格作为正则表面表示来帮助估计变形场。然而,表面和嵌入变形图(EDG)表示带来的冲突,在拓扑变化,因为表面网格具有固定的连接,但变形场可以是不连续的。在本文中,经典的框架进行了重新设计,使4D重建的动态场景下的拓扑变化,通过引入一种新的结构的非流形体网格TSDF和EDG的重新设计,它允许通过单元分裂和复制的连接更新。实验结果表明,令人信服的重建结果的拓扑结构变化的动态场景,相比,国家的最先进的方法。
2020-07-14 cs.CV
STAC: Plug-and-Play Spatio-Temporal Aware Cache Compression for Streaming 3D Reconstruction
University of Science and Technology of China(中国科学技术大学)
本文提出STAC框架,通过时空感知缓存机制提升流式3D重建的内存效率和重建质量,减少内存消耗并加速推理。
2026-04-08 cs.CV cs.GR eess.IV
MagicRoad: Semantic-Aware 3D Road Surface Reconstruction via Obstacle Inpainting
针对现有路面重建方法易受遮挡、杂波及环境变化影响的问题,提出MagicRoad框架,结合语义引导修复与色彩增强技术,实现真实场景下高质量3D路面重建,性能优于现有方法。
2025-07-31 cs.CV
Accurate and Efficient Surface Reconstruction from Point Clouds via Geometry-Aware Local Adaptation
School of FSE, Waseda University(Waseda大学FSE学院);Graduate School of FSE, Waseda University(Waseda大学FSE研究生院)
针对现有局部区域重建方法因均匀固定区域设置无法适应几何复杂度变化的问题,提出基于点云曲率自适应调整局部区域间距和大小的方法,以提升曲面重建的精度与效率。
2025-11-11 cs.CV
Texture Vector-Quantization and Reconstruction Aware Prediction for Generative Super-Resolution
University of Electronic Science and Technology of China(电子科技大学)
本文提出纹理向量量化与重建感知预测策略,解决VQ模型中量化误差大和预测器训练不优的问题,实现低计算成本的高质量超分辨率生成。
2026-03-22 cs.CV
LongDPM: Overlap-Aware 4D Reconstruction from Long Monocular Videos
Hangzhou Dianzi University(杭州电子科技大学)
本文提出LongDPM,一种基于重叠意识的长视频单目动态重建框架,通过分块处理、重登记和动态身份关联,实现长距离的3D重建和跟踪,提升了PointOdyssey、Kubric-F和Kubric-G等数据集上的密集跟踪精度和相机姿态估计性能。
2026-05-17 cs.CV
Circular Phase Representation and Geometry-Aware Optimization for Ptychographic Image Reconstruction
School of Electrical and Computer Engineering, University of Sydney(悉尼大学电气与计算机工程学院);Department of Engineering and System Science, National Tsing Hua University(清华大学系统科学系)
本文提出一种基于圆相位表示的深度学习框架,通过几何感知优化提升ptychographic图像重建的精度与效率,实验表明在幅度和相位重建上优于现有方法,并在高频相位保持方面表现更佳。
2026-04-29 cs.CV eess.IV physics.optics
Collision-Aware and Observation-Aligned Object-Centric Scene Reconstruction from Point Cloud
Zhejiang University(浙江大学)
提出COOL框架,利用实例与背景点云条件化生成,结合碰撞损失与联合优化,实现碰撞感知、观测对齐的面向对象场景重建。
2026-09-30 cs.CV
Ocean4D: Generative Underwater 4D Reconstruction via Medium-Aware Video Diffusion
Faculty of Information Science and Engineering, Ocean University of China(中国海洋大学信息科学与工程学部);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
提出Ocean4D生成式框架,通过4D几何一致性条件化和介质感知去噪扩散,解决水下动态场景中吸收与散射导致的几何不稳定和跨视角不一致问题,实现单目视频到目标轨迹的高质量4D重建。
2026-06-23 cs.CV
VASC: Value-Aware Sparse Attention with Cross-Layer Memory for Efficient 3D Reconstruction
Shanghai Jiao Tong University(上海交通大学)
提出免训练的VASC稀疏注意力方法,通过值感知块选择与跨层记忆,在固定预算下提升3D重建的位姿估计质量,推理加速达2.29倍。
2026-10-02 cs.CV
Agentic Building-Aware Satellite Gaussian Splatting for Auditable Urban DSM Reconstruction
University of Waterloo(滑铁卢大学);University of Calgary(卡尔加里大学);Sun Yat-sen University(中山大学)
提出一种智能体感知建筑的卫星高斯泼溅工作流,利用建筑掩膜语义先验和智能体重建控制器选择策略,在DFC2019场景中降低建筑区域DSM误差,实现可审计的城市三维重建。
2026-09-23 cs.CV
Crowd4D: Scene-Aware Monocular 4D Crowd Reconstruction
针对单目视频恢复大规模场景下4D人群运动的难题,提出Crowd4D框架,通过多阶段优化联合优化人群与场景,引入HSIP解决对齐问题、CSCR提升时间稳定性,实验证明其性能优于现有方法,可实现复杂场景下单目4D人群稳健重建。
2026-07-23 cs.CV
DINO-RotateMatch: A Rotation-Aware Deep Framework for Robust Image Matching in Large-Scale 3D Reconstruction
Beijing National Day School(北京国家日学校);No.2 High School of East China Normal University(华东师范大学第二中学);CodingFuture Research Center(CodingFuture研究中心)
DINO-RotateMatch通过结合自监督全局描述符与旋转增强的局部匹配,提升大规模3D重建中的图像匹配鲁棒性与可扩展性。
2025-12-03 cs.CV
SERES: Semantic-aware neural reconstruction from sparse views
Department of Automation, Shanghai Jiao Tong University(自动化系,上海交通大学);Department of Mechanical and Aerospace Engineering, The University of Manchester(机械与航空航天工程系,曼彻斯特大学);Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong(机械与自动化工程系,香港中文大学)
提出语义感知神经重建方法SERES,利用补丁语义逻辑与几何基元掩码正则化,从稀疏视图生成高保真3D模型,显著降低重建误差。
2025-08-23 cs.CV
Uncertainty-Aware Null Space Networks for Data-Consistent Image Reconstruction
VASCage – Centre on Clinical Stroke Research(VASCage临床卒中研究中心);University of Innsbruck(因斯布鲁克大学)
本文提出将深度零空间网络与不确定性量化结合,通过估计输入依赖的尺度图建模数据依赖不确定性,在保持数据一致性的同时提供重建置信度,并在CT和fastMRI数据集上验证了其有效性。
2023-04-14 cs.CV cs.NA eess.IV
Pano Popups: Indoor 3D Reconstruction with a Plane-Aware Network
Zillow Group(齐洛集团);Wormpex AI Research(沃姆派克斯人工智能研究院)
在这项工作中,我们提出了一种方法来训练一个平面感知卷积神经网络的密集深度和表面法线估计以及平面边界从一个单一的室内$360^\circ$图像。使用我们提出的损失函数,我们的网络优于现有的方法,单视图,室内,全向深度估计,并提供了一个初始基准表面正常预测从$360^\circ$图像。我们的改进是由于使用了一种新的平面感知损失,利用主曲率作为平面边界的指标。我们还表明,包括测地坐标地图作为网络先验提供了一个显着的提高表面正常的预测精度。最后,我们演示了如何结合网络的输出来生成室内场景的高质量3D“弹出”模型。
2020-02-24 cs.CV
Swimm3R: Splatting with Medium-aware SfM for Underwater 3D Reconstruction
University of Minnesota–Twin Cities(明尼苏达大学双城分校);Minnesota Robotics Institute (MnRI)(明尼苏达机器人研究所)
该研究提出Swimm3R框架,结合介质感知SfM与水下Beta高斯溅射,建立巴巴多斯水下视频数据集,在水下三维重建中提升了PSNR与下游定位性能。
2026-08-04 cs.CV cs.RO eess.IV
TG-Field: Geometry-Aware Radiative Gaussian Fields for Tomographic Reconstruction
TG-Field通过几何感知高斯变形框架,提升静态和动态CT重建的精度与效率,尤其在稀疏投影条件下表现优异。
2026-02-12 cs.CV
MetaSSP: Enhancing Semi-supervised Implicit 3D Reconstruction through Meta-adaptive EMA and SDF-aware Pseudo-label Evaluation
Doctoral Program in Empowerment Informatics(赋能信息学博士项目);University of Tsukuba(茨ukuba大学);Center for Computational Science(计算科学中心)
MetaSSP通过元适应性EMA和SDF-aware伪标签评估,提升半监督隐式3D重建的精度和效率,达到新的技术水平。
2026-02-05 cs.CV
Tissue-Mixture Entropy-Weighted Reconstruction for Partial-Volume-Aware Brain MRI Super-Resolution
Peking University(北京大学);Weihai Institute of Oceanology, Peking University(北京大学威海海洋研究院);Beijing MagnVue Medix Co., Ltd.(北京迈格威医疗科技有限公司)
本研究提出AGW-PBR方法,通过组织混合熵加权优化脑部MRI超分辨率,提升了IXI数据集的重建效果,无PVE监督的骨干网络在fastMRI上也表现出色。
2026-09-03 cs.CV
Motion-aware 3D Gaussian Splatting for Efficient Dynamic Scene Reconstruction
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合性国家科学中心人工智能研究院)
提出运动感知增强框架,从光流挖掘运动线索改进动态3DGS,在多视图和单目场景中显著提升渲染质量与效率。
2024-03-18 cs.CV
SHARP: Shape-Aware Reconstruction of People in Loose Clothing
IIIT Hyderabad(海得拉巴国际信息技术学院)
深度学习的最新进展使得能够从单目图像进行3D人体重建,这在多个领域中具有广泛的应用。在本文中,我们提出了SHARP(SHAPE Aware Reconstruction of People in loose clothing),这是一种新型的端到端可训练网络,可以从单目图像中准确地恢复穿着宽松衣服的人的3D几何形状和外观。SHARP使用稀疏和有效的融合策略将参数化身体先验与穿着衣服的人的非参数化2D表示相结合。参数化身体先验在身体形状和姿势上强制几何一致性,而非参数化表示建模宽松的衣服并处理自遮挡。我们还利用非参数表示的稀疏性来更快地训练我们的网络,同时使用2D地图上的损失。另一个关键贡献是3DHums,这是我们新的3D人体扫描数据集,具有丰富的几何和纹理细节。我们在3DHumans和其他公开可用的数据集上评估了SHARP,并显示出比现有最先进方法更优越的定性和定量性能。
2022-05-24 cs.CV
Ray-Aware Pointer Memory with Adaptive Updates for Streaming 3D Reconstruction
The Chinese University of HongKong, Shenzhen(香港中文大学(深圳));Tsinghua University(清华大学)
本文提出了一种射线感知指针记忆,用于流式3D重建,通过统一的记忆表示模型同时建模空间位置和视角方向,采用自适应指针更新策略以保留信息性指针并丢弃冗余指针,从而提高长期重建稳定性和相机姿态精度。
2026-05-21 cs.CV
MoRe: Motion-aware Feed-forward 4D Reconstruction Transformer
School of Software, Tsinghua University(软件学院,清华大学)
MoRe通过注意力强制策略和分组因果注意力,高效重建动态3D场景,适用于实时应用。
2026-03-06 cs.CV
Locality-Aware Inter-and Intra-Video Reconstruction for Self-Supervised Correspondence Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Zhejiang University(浙江大学);Baidu Research(百度研究院);Beijing Institute of Technology(北京理工大学);ETH Zurich(苏黎世联邦理工学院);University of Technology Sydney(悉尼科技大学)
我们的目标是从未标记的视频中学习视觉对应。我们开发了LIIR,一个局部感知的视频间和视频内重建框架,它填补了三个缺失的部分,即,实例判别,位置意识,空间紧凑性,自我监督对应学习难题。首先,而不是大多数现有的努力只集中在视频内的自我监督,我们利用跨视频的亲和力作为额外的负样本在一个统一的,帧间和帧内的视频重建方案。这使得能够通过将期望的视频内像素关联与负的视频间对应进行对比来进行实例区分性表示学习。其次,我们将位置信息合并到对应匹配中,并设计了一种位置偏移策略,以消除位置编码在视频间亲和力计算中的副作用,使我们的LIIR位置敏感。第三,为了充分利用视频数据的空间连续性,我们对对应匹配施加了基于紧性的约束,从而产生更稀疏和可靠的解决方案。在标签传播任务(包括对象、语义部分和关键点)上,学习到的表示超越了自我监督的最新技术水平。
2022-03-29 cs.CV
OAHuman: Occlusion-Aware 3D Human Reconstruction from Monocular Images
本文提出OAHuman框架,通过解耦几何重建与纹理合成,提升遮挡环境下单目3D人体重建的鲁棒性和真实性。
2026-03-15 cs.CV
OcclusionFusion: Occlusion-aware Motion Estimation for Real-time Dynamic 3D Reconstruction
Tsinghua University(清华大学);BNRist(北京信息科学与技术国家研究中心)
基于RGBD的实时的【形】动态3D重建遭受不准确的帧间运动估计,因为误差可能随着在线跟踪而累积。对于基于单视图的系统,由于强遮挡,该问题甚至更加严重。基于这些观察,我们提出了OcclusionFusion,一种新的方法来计算遮挡感知的3D运动,以指导重建。在我们的技术中,首先估计可见区域的运动,并结合时间信息,通过LSTM参与的图神经网络推断被遮挡区域的运动。此外,我们的方法通过使用概率模型对网络输出进行建模来计算估计运动的置信度,该模型可以消除不可信的运动并实现鲁棒跟踪。在公共数据集和我们自己记录的数据上的实验结果表明,我们的技术比现有的基于单视图的实时的【形】方法性能要好得多。随着运动误差的减少,所提出的技术可以处理长的和具有挑战性的运动序列。请查看项目页面以获取序列结果:https://wenbin-lin.github.io/OcclusionFusion。
2022-03-15 cs.CV