Virtual Wave Optics for Non-Line-of-Sight Imaging
University of Wisconsin Madison(威斯康星大学麦迪逊分校);Universidad de Zaragoza(萨拉戈萨大学);I3A(阿拉贡工程研究中心)
非视线(NLOS)成像允许通过分析次级中继表面的间接漫反射来观察从直接视图部分或完全遮挡的对象。尽管其许多潜在的应用,现有的方法缺乏实际的可用性,由于几个共享的限制,包括假设的单散射,缺乏闭塞,朗伯反射。我们解除这些限制,将NLOS问题转化为一个虚拟的视线(LOS)。由于成像信息不能从到达中继表面的辐照度中恢复,我们引入了相量场的概念,这是一种表示辐照度快速变化的数学构造。我们表明,NLOS光传输可以建模为一个相量场波的传播,它可以准确地解决了瑞利索末菲衍射积分。我们第一次展示了NLOS重建的复杂场景与强大的多重散射和环境光,任意材料,大深度范围内,和闭塞。我们的方法处理这些具有挑战性的情况下,没有明确开发一个光传输模型。通过利用现有的快速算法,我们优于现有的方法在执行速度,计算复杂性,和内存使用。我们相信,我们的方法将有助于释放NLOS成像的潜力,并开发不限于实验室条件的新应用。例如,我们展示了现实世界的,复杂的场景与大深度的重新聚焦和瞬态NLOS视频。
2019-08-06 cs.CV
Non-line-of-sight imaging in the presence of scattering media using phasor fields
Universidad de Zaragoza, I3A(萨拉戈萨大学,I3A)
本文研究基于相量场的非视域成像方法,用于重建浸没在散射介质中的场景,实验表明其在合成和真实场景中均有效,性能与扩散光学断层成像相当。
2023-08-25 cs.CV eess.IV
NeTO:Neural Reconstruction of Transparent Objects with Self-Occlusion Aware Refraction-Tracing
Wuhan University(武汉大学);The University of Hong Kong(香港大学);Texas A&M University(得克萨斯农工大学)
提出NeTO方法,利用隐式SDF表面表示和自遮挡感知的折射光线追踪技术,通过体渲染从2D图像重建透明物体的3D几何形状,解决了优化不稳定和自遮挡问题,实现高质量重建。
2023-09-08 cs.AI cs.CV
MITO: A Millimeter-Wave Dataset and Simulator for Non-Line-of-Sight Perception
Massachusetts Institute of Technology(麻省理工学院);Adobe Research(奥多比研究中心);Cartesian Systems(笛卡尔系统公司)
MITO提出首个毫米波日常物体数据集与开源模拟器,利用机器人合成孔径融合实现高分辨率非视距感知,并构建分割与分类基准以推动NLOS研究。
2026-11-06 cs.CV
Adaptive Lighting for Data-Driven Non-Line-of-Sight 3D Localization and Object Identification
Arizona State University(亚利桑那州立大学)
对摄像机或照明源不可见的物体进行非视线(NLOS)成像是一项具有挑战性的任务,具有重要的应用,包括监控和机器人。最近的NLOS重建的进展已经实现了使用时间分辨的测量,这需要昂贵的和专门的探测器和激光源。相比之下,我们提出了一种数据驱动的方法,只需要一个传统的相机和投影仪的NLOS三维定位和对象识别。为了推广到具有非平面表面和遮挡的复杂视线(LOS)场景,我们引入了一种自适应照明算法。该算法,基于辐射度,识别和照明场景补丁的LOS最有助于NLOS光路,并可以在系统的功率约束的因素。我们实现了平均识别87.1%的对象识别四类对象,平均定位的非视距对象的质心的均方误差(MSE)为1.97厘米的遮挡区域的实际数据从硬件原型。这些结果表明,数据驱动的NLOS成像的光传输与主动照明的物理相结合的优势。
2019-07-26 cs.CV eess.IV
Occlusion-aware Visual Tracker using Spatial Structural Information and Dominant Features
Fujian Normal University(福建师范大学);Fujian Newland Computer Co Ltd.(福建新大陆电脑有限公司)
针对视觉跟踪中的遮挡问题,提出了一种遮挡感知的跟踪算法。该算法根据目标的像素分布,通过聚类将目标分割成离散的图像块。为了避免跟踪器漂移到虚假目标,该算法提取的主导功能,如颜色直方图或直方图的梯度方向,从这些图像块,并使用它们作为线索进行跟踪。为了提高跟踪器的鲁棒性,该算法采用了一个隐式的空间结构之间的这些补丁作为跟踪的另一个线索,然后,该算法将这些组件的粒子滤波框架,这导致在一个强大的和精确的跟踪器。在不同分辨率的彩色图像序列上的实验结果表明,该跟踪器在处理视觉跟踪中的遮挡问题上优于比较算法。
2021-04-16 cs.CV
Non-line-of-sight Imaging with Partial Occluders and Surface Normals
Stanford University(斯坦福大学)
对被遮挡物遮挡的对象进行成像对于许多应用来说是一个重大挑战。一个可以“看到角落”的摄像头可以帮助提高自动驾驶汽车的导航和绘图能力,或者使搜索和救援任务更有效。时间分辨的单光子成像系统最近已经被证明可以记录场景的光学信息,这可以导致对隐藏在相机视线之外的物体的形状和反射率的估计。然而,现有的非视线(NLOS)重建算法已被限制在类型的光传输效果,他们模型的隐藏场景部分。我们引入了一个因子化的NLOS光传输表示,占部分遮挡和表面法线。基于这个模型,我们开发了一种逆时间分辨光传输的分解方法,并在模拟和实验NLOS成像系统中展示了具有挑战性的场景的高保真NLOS重建。
2018-04-04 cs.CV
Person-In-Situ: Scene-Consistent Human Image Insertion with Occlusion-Aware Pose Control
University of Tsukuba(茨口大学)
本文提出两种基于3D姿态控制和潜在扩散模型的人物插入方法,无需遮挡掩码即可在场景中自然合成人物并保持场景一致性,优于现有方法。
2025-05-07 cs.CV cs.GR
OAHuman: Occlusion-Aware 3D Human Reconstruction from Monocular Images
本文提出OAHuman框架,通过解耦几何重建与纹理合成,提升遮挡环境下单目3D人体重建的鲁棒性和真实性。
2026-03-15 cs.CV
Occlusion-aware Non-Rigid Point Cloud Registration via Unsupervised Neural Deformation Correntropy
Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences(中国科学院香港创新研究院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对非刚性点云配准中的遮挡挑战,提出无监督遮挡感知配准(OAR)方法,结合自适应相关熵函数与隐式神经表示优化未遮挡区域变形,通过理论分析和局部线性重建提升性能,在遮挡场景及多任务中表现优异。
2025-02-15 cs.AI cs.CV
Unveiling the Invisible: Reasoning Complex Occlusions Amodally with AURA
College of Computing and Data Science, Nanyang Technological University, Singapore(南洋理工大学计算与数据科学学院);Department of Electrical and Electronic Engineering, Yonsei University, Korea(延世大学电子与电气工程系)
针对现有非模态分割方法无法通过文本交互且难以处理复杂遮挡的问题,提出非模态推理分割新任务,构建日常生活遮挡数据集,并设计专为复杂遮挡定制的AURA模型以预测完整形状并基于文本提供详细解答。
2025-07-15 cs.CV
GenHOI: Generalized Hand-Object Pose Estimation with Occlusion Awareness
Hunan University(湖南大学);Lancaster University(兰卡斯特大学);University of Western Australia(西澳大学);University of Trento(特伦托大学);National University of Singapore(新加坡国立大学)
本文提出GenHOI框架,通过整合层次语义知识与手部先验,提升在遮挡条件下手-物体姿态估计的泛化能力,实验表明在DexYCB和HO3Dv2基准上达到SOTA性能。
2026-07-03 cs.CV
Internal Video Inpainting by Implicit Long-range Propagation
The Hong Kong University of Science and Technology(香港科技大学)
我们提出了一个新的框架,采用内部学习策略的视频修复。与以前的方法不同,使用光流跨帧上下文传播来修补未知区域,我们表明,这可以通过将卷积神经网络拟合到已知区域来隐式实现。此外,为了处理具有模糊背景或长期遮挡的具有挑战性的序列,我们设计了两个正则化项来保留高频细节和长期时间一致性。在DAVIS数据集上的大量实验表明,该方法在定量和定性上都达到了最先进的修复质量。我们进一步将所提出的方法扩展到另一个具有挑战性的任务:学习从视频中移除对象,在4K视频中仅在一帧中给出单个对象掩码。
2021-08-17 cs.CV
From Implicit Ambiguity to Explicit Solidity: Diagnosing Interior Geometric Degradation in Neural Radiance Fields for Dense 3D Scene Understanding
Norwegian Institute of Bioeconomy Research (NIBIO)(挪威生物经济研究所)
本研究提出显式几何方法以解决NeRF在密集自遮挡场景中的内部几何退化问题,实现95.8%的实例恢复率。
2026-02-12 cs.CV
NeuS: Learning Neural Implicit Surfaces by Volume Rendering for Multi-view Reconstruction
The University of Hong Kong(香港大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Texas A&M University(德州农工大学)
我们提出了一种新的神经表面重建方法,称为NeuS,用于从2D图像输入重建高保真的对象和场景。现有的神经表面重建方法,如DVR和IDR,需要前景掩模作为监督,容易陷入局部极小值,因此难以重建具有严重自遮挡或薄结构的对象。与此同时,最近的神经方法,如NeRF及其变种,新的视图合成,使用体渲染,以产生一个神经场景表示与鲁棒性的优化,即使是高度复杂的对象。然而,从这个学习的隐式表示中提取高质量的曲面是困难的,因为在表示中没有足够的曲面约束。在NeuS中,我们提出了一个表面表示为零级集的符号距离函数(SDF)和开发一个新的体渲染方法训练神经SDF表示。我们观察到,传统的体渲染方法会导致固有的几何误差(即偏见)的表面重建,因此提出了一种新的配方,是免费的偏见,在一阶近似,从而导致更准确的表面重建,即使没有掩模监督。在DTU数据集和BlendedMVS数据集上的实验表明,NeuS在高质量的表面重建方面优于现有技术,特别是对于具有复杂结构和自遮挡的物体和场景。
2023-02-01 cs.CV cs.GR
Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints
ETH Zurich(苏黎世联邦理工学院);MPI for Informatics(信息研究所);Microsoft(微软)
提出利用稀疏3D手部关节点作为显式控制信号,通过遮挡感知特征提取和3D加权机制,实现高保真、3D一致的第一人称手物交互视频生成。
2026-06-26 cs.CV
Holistic 3D Scene Understanding from a Single Image with Implicit Representation
University of Electronic Science and Technology of China(电子科技大学);Google(谷歌);ETH Zürich(苏黎世联邦理工学院)
我们提出了一个新的管道,从一个单一的图像,可以预测物体的形状,物体姿态和场景布局的整体三维场景理解。由于它是一个高度不适定的问题,现有的方法通常遭受不准确的形状和布局的估计,特别是对于杂乱的场景,由于对象之间的严重遮挡。我们建议利用最新的深度隐式表示来解决这一挑战。我们不仅提出了一个基于图像的局部结构隐式网络,以提高物体的形状估计,但也通过一种新的隐式场景图神经网络,利用隐式局部对象的功能,细化三维物体的姿态和场景布局。还提出了一种新的物理违规损失,以避免对象之间的不正确的上下文。大量的实验表明,我们的方法优于国家的最先进的方法在物体形状,场景布局估计,和3D目标检测。
2021-08-22 cs.CV
Seeing through boxes: Non-Line-of-Sight 3D Reconstruction from Radar Signals
École Polytechnique Fédérale de Lausanne(联邦理工学院洛桑校区)
提出统一视距与非视距神经几何重建框架GeRaF 2.0,利用外部视距几何约束引导射频信号传播,实现稳定训练和物理一致的重建,在射频几何重建中达到新最优。
2026-08-06 cs.CV
Occlusion-Aware 3D Hand-Object Pose Estimation with Masked AutoEncoders
National Engineering Research Center for Robot Visual Perception and Control Technology, School of Artificial Intelligence and Robotics, Hunan University(国家机器人视觉感知与控制技术工程研究中心,人工智能与机器人学院,湖南大学);School of Architecture and Art, Central South University(建筑与艺术学院,中南大学);Department of Computer Science and Software Engineering, The University of Western Australia(计算机科学与软件工程系,西澳大学)
提出HOMAE方法,通过目标聚焦掩码策略和隐式SDF与显式点云融合,解决手-物体交互中的严重遮挡问题,在DexYCB和HO3Dv2上达到最优性能。
2026-07-03 cs.CV
Implicit field supervision for robust non-rigid shape matching
École Polytechnique(巴黎综合理工学院);IP Paris(巴黎理工学院)
建立两个非刚性变形形状之间的对应关系是视觉计算中最基本的问题之一。现有的方法往往表现出较弱的弹性时,提出了与现实世界的数据,如噪声,离群值,自遮挡等挑战。另一方面,自动解码器已经表现出强大的表达能力,在学习几何有意义的潜在嵌入。然而,它们在\emph{shape analysis}中的使用受到限制。在本文中,我们介绍了一种基于自动解码器框架的方法,该方法在固定模板上学习连续的形状变形场。通过一种新的\emph{Signed Distance Regularisation}(SDR)来监控曲面上点的形变场和曲面外点的正则化,学习模板和形状\emph{volumes}之间的对齐。经过清洁防水网格、\emph{without}和任何数据增强的培训,我们在受损数据和真实世界扫描上展示了令人信服的性能。
2022-07-21 cs.CV
Improving neural implicit surfaces geometry with patch warping
Thales LAS France(泰雷兹LAS法国公司);École des Ponts(巴黎桥路学院);Univ. Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
神经隐式曲面已成为多视图三维重建的重要技术,但其精度仍然有限。在本文中,我们认为,这是由于难以学习和渲染高频纹理与神经网络。因此,我们建议添加到标准的神经渲染优化直接的照片一致性条款在不同的意见。直观地说,我们优化了隐式几何,使其以一致的方式扭曲彼此的视图。我们证明了两个要素是这种方法成功的关键:(i)扭曲整个补丁,使用预测的占用率和沿每条射线的3D点的法线,并测量它们的相似性与鲁棒结构相似性(SSIM);(ii)处理可见性和遮挡的方式,不正确的扭曲不给予太多的重要性,同时鼓励尽可能完整的重建。我们在标准DTU和EPFL基准测试中评估了我们的方法,称为NeuralWarp,并显示它在两个数据集上的表现优于最先进的无监督隐式曲面重建超过20%。
2022-05-08 cs.CV
Ladybird: Quasi-Monte Carlo Sampling for Deep Implicit Field Based 3D Reconstruction with Symmetry
Netease Fuxi AI Lab(网易伏羲人工智能实验室);Saarland Informatics Campus(萨尔兰信息学园区);MPI for Informatics(马克斯·普朗克信息学研究所)
深度隐场回归方法是单视点图像三维重建的有效方法。然而,不同的采样模式对重建质量的影响并没有得到很好的理解。在这项工作中,我们首先研究了点集差异对网络训练的影响。基于Faradian点采样算法,我们提出了一种采样方案,理论上鼓励更好的泛化性能,并导致快速收敛的SGD为基础的优化算法。其次,基于物体的反射对称性,提出了一种特征融合方法,解决了由于自遮挡而难以利用局部图像特征的问题。我们提出的系统Ladybird能够从单个输入图像创建高质量的3D对象重建。我们在一个大规模的3D数据集(ShapeNet)上对Ladybird进行了评估,在倒角距离、地球移动器距离和联合交叉点(IoU)方面展示了极具竞争力的结果。
2020-07-27 cs.CV
WiFi-based Spatiotemporal Human Action Perception
Queen Mary University of London(伦敦玛丽女王大学);Onfido Research London(Onfido伦敦研究院)
基于WiFi的感知人类活动识别(HAR)最近已成为一个热门话题,因为与基于视频的HAR相比,它带来了巨大的好处,例如消除视线(LOS)的需求和保护隐私。然而,让WiFi信号“看到”动作是相当粗糙的,因此仍处于起步阶段。提出了一种端到端时空WiFi信号神经网络(STWNN),以实现在视距和非视距场景下的仅WiFi感知。特别地,3D卷积模块能够探索WiFi信号的时空连续性,并且特征自注意模块可以显式地保持主导特征。此外,一种新的3D表示的WiFi信号的设计,以保持多尺度时空信息。此外,一个小的无线视觉数据集(WVAR)同步收集,以扩展STWNN的潜力,“看到”通过闭塞。WVAR和其他三个公共基准数据集上的定量和定性结果表明,我们的方法在准确性和移位一致性方面的有效性。
2022-06-20 cs.CV eess.SP
Ki-Pode: Keypoint-based Implicit Pose Distribution Estimation of Rigid Objects
刚体的6维位姿估计是计算机视觉中的一个基本问题。传统上,姿态估计涉及单个最佳估计的确定。然而,一个单一的估计是无法表达的视觉模糊,这在许多情况下是不可避免的,由于对象的对称性或遮挡的识别功能。不能考虑姿态中的模糊性可能导致后续方法的失败,这在失败成本高时是不可接受的。完整的姿态分布的估计,相反,单一的估计,非常适合表达的姿态不确定性。受此启发,我们提出了一种新的姿态分布估计方法。一个隐式公式的概率分布的对象姿态是来自一个中间表示的对象作为一组关键点。这确保姿态分布估计具有高水平的可解释性。此外,我们的方法是基于保守的近似,这导致可靠的估计。该方法已被评估的YCB-V和T-LESS数据集上的旋转分布估计的任务,并在所有对象上可靠地执行。
2022-09-20 cs.AI cs.CV cs.LG
From 2D Alignment to 3D Plausibility: Unifying Heterogeneous 2D Priors and Penetration-Free Diffusion for Occlusion-Robust Two-Hand Reconstruction
AgiBot;Mohamed bin Zayed University of Artificial Intelligence;The University of Sydney;La Trobe University
本文提出统一异构二维先验和无穿透扩散模型,以实现抗遮挡的双手重建,提升交互对齐和穿透抑制性能。
2026-03-07 cs.AI cs.CV
OASIS: Occlusion-aware Single-image Hand Avatar Reconstruction via 3D Gaussian Splatting
University of Leicester(莱斯特大学);University of Exeter(埃克塞特大学);University of Birmingham(伯明翰大学);China University of Geoscience(中国地质大学)
本研究提出OASIS框架,通过3D高斯溅射结合可见性条件注意力与网格上特征表示,实现单图像手部化身重建,在视觉保真度、效率及下游应用通用性上优于现有方法。
2026-08-03 cs.CV
Differentiable Surface Rendering via Non-Differentiable Sampling
Google Research(谷歌研究院);MIT(麻省理工学院)
我们提出了一种方法,可微分渲染的3D表面,支持显式和隐式表示,提供衍生物在遮挡边界,是快速和简单的实现。该方法首先使用不可微光栅化对表面进行采样,然后应用可微的、深度感知的点溅射来产生最终图像。我们的方法不需要可微的网格化或光栅化步骤,使其有效的大型3D模型和适用于从隐式表面定义提取的等值面。我们证明了我们的方法的有效性隐式,网格和参数化表面为基础的逆绘制和神经网络训练应用程序。特别是,我们首次展示了从神经辐射场(NeRF)中提取的等值面的高效、可微分渲染,并展示了基于表面而不是基于体积的NeRF渲染。
2021-08-10 cs.CV cs.GR
Neural Implicit Dictionary via Mixture-of-Expert Training
University of Texas at Austin(德克萨斯大学奥斯汀分校)
通过基于坐标的深度全连接网络表示视觉信号已被证明在拟合复杂细节和解决逆问题方面比基于离散网格的表示具有优势。然而,获取这样一个连续的隐式神经表示(INR)需要对大量信号测量进行繁琐的逐场景训练,这限制了它的实用性。在本文中,我们提出了一个通用的INR框架,通过从数据汇集中学习神经隐式字典(NID)并将INR表示为从字典中采样的基础的函数组合来实现数据和训练效率。我们的NID集合了一组基于坐标的子网络,这些子网络被调整以跨越所需的函数空间。在训练之后,通过求解编码系数,可以立即且鲁棒地获得不可见的场景表示。为了对大量的网络进行优化,我们借鉴了混合专家(MoE)的思想,采用稀疏门控机制来设计和训练我们的网络。我们的实验表明,NID可以提高重建的2D图像或3D场景的2个数量级的速度高达98%的输入数据减少。我们进一步展示了NID在图像修补和遮挡去除中的各种应用,这些应用被认为是具有挑战性的。我们的代码可在https://github.com/VITA-Group/Neural-Implicit-Dict上找到。
2022-07-08 cs.CV
X-Fields: Implicit Neural View-, Light- and Time-Image Interpolation
MPI Informatik(马克斯·普朗克信息学研究所);Saarland Informatics Campus(萨尔兰信息学园区);University College London(伦敦大学学院)
我们建议表示X场-在不同视图、时间或照明条件下拍摄的一组2D图像,即,视频、光场、反射场或它们的组合--通过学习神经网络(NN)将它们的视图、时间或光坐标映射到2D图像。在新坐标处执行该NN会导致联合视图、时间或光线插值。使其可行的关键思想是一个NN,它已经以硬编码和可区分的形式知道图形的“基本技巧”(照明,3D投影,遮挡)。NN将该渲染的输入表示为隐式映射,对于任何视图、时间或光坐标以及对于任何像素,可以量化如果视图、时间或光坐标改变(像素位置相对于视图、时间、照明等的雅可比矩阵)它将如何移动。我们的X-Field表示在几分钟内针对一个场景进行训练,从而获得一组紧凑的可训练参数,从而实现视图,时间和照明的实时导航。
2020-10-01 cs.CV cs.GR
DDN-SLAM: Real-time Dense Dynamic Neural Implicit SLAM
Dalian University of Technology(大连理工大学);Saarland University of Applied Sciences(萨尔应用技术大学);Shanghai Jiao Tong University(上海交通大学);Dalian Maritime University(大连海事大学)
针对现有基于NeRF的SLAM在动态场景下易出现跟踪漂移和建图误差的问题,提出融合语义特征的实时DDN-SLAM系统,通过多模块设计实现稳健跟踪与高质量重建,动态数据集上ATE精度平均提升90%。
2024-03-09 cs.CV cs.RO
Omni-Line-of-Sight Imaging for Holistic Shape Reconstruction
ShanghaiTech University(上海科技大学);University of Toronto(多伦多大学)
本文提出 Omni-LOS,融合 LOS 与 NLOS 的 SPAD 飞行时间测量,通过可微射线传播和隐式神经表示,从单扫描点实现物体近360°整体形状重建。
2023-04-21 cs.CV eess.IV
In-Hand 3D Object Reconstruction from a Monocular RGB Video
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室);OPPO US Research Center(OPPO美国研究中心)
提出一种结合2D遮挡阐明和物理接触约束的新方法,用于从单目RGB视频重建手持旋转物体,在HO3D和HOD数据集上分别提升52%和20%的表面质量。
2023-12-27 cs.CV
SH-SAS: An Implicit Neural Representation for Complex Spherical-Harmonic Scattering Fields for 3D Synthetic Aperture Sonar
Arizona State University(亚利桑那州立大学);Dartmouth College(达特茅斯学院)
本文提出SH-SAS隐式神经表示,利用球谐系数建模复杂声散射场,通过多分辨率哈希编码器与轻量级MLP预测复系数,直接从一维飞行时间信号训练,在合成与真实SAS基准上实现了更优的三维重建质量。
2025-09-14 cs.CV cs.GR cs.LG
Out of Sight, Still in Mind: Reasoning and Planning about Unobserved Objects with Video Tracking Enabled Memory Models
Kahlert School of Computing, University of Utah(犹他大学卡勒特计算学院);University of Utah(犹他大学);Oregon State University(俄勒冈州立大学);NVIDIA(英伟达公司)
针对机器人在现实环境中处理被遮挡物体的问题,提出DOOM和LOOM方法,利用Transformer关系动力学和物体跟踪引擎编码记忆,在仿真和真实实验中优于隐式记忆基线。
2024-05-25 cs.AI cs.CV cs.LG
SparseGS-W: Sparse-View 3D Gaussian Splatting in the Wild with Generative Priors
Sun Yat-sen University(中山大学);Ant Research(蚂蚁研究)
SparseGS-W通过生成先验和约束扩散先验,利用最少五张图像实现稀疏视图下复杂户外场景的高质量重建与遮挡处理。
2025-03-25 cs.CV
Realistic Clothed Human and Object Joint Reconstruction from a Single Image
University of Surrey(萨里大学);Centre for Vision, Speech and Signal Processing (CVSSP)(视觉、语音与信号处理中心)
本文提出基于注意力的神经隐式模型,首次对穿衣人体与物体同时进行隐式联合重建,并结合姿态先验语义特征与扩散模型修复遮挡区域,在合成和真实数据上取得优于现有方法的重建质量。
2025-03-08 cs.CV
Color-NeuS: Reconstructing Neural Implicit Surfaces with Color
Shanghai Jiao Tong University(上海交通大学);Shanghai Qi Zhi Institute(上海期智研究院);National University of Singapore(新加坡国立大学)
针对现有研究多侧重几何重建的问题,提出Color-NeuS方法,通过重光照网络、SDF网络和全局颜色网络重建带颜色的隐式曲面,在自建扫描任务和多个公开数据集上表现优于现有方法。
2023-12-19 cs.CV
Implicit and Efficient Point Cloud Completion for 3D Single Object Tracking
Huazhong University of Science and Technology(华中科技大学);CVTE Research(CVTE研究院)
基于点云的3D单目标跟踪越来越受到人们的关注。虽然取得了许多突破,但我们也暴露出两个严重的问题。通过大量的分析,我们发现目前的方法的预测方式是非鲁棒的,即,暴露了预测分数和实际定位精度之间的未对准差距。另一个问题是稀疏点返回将破坏SOT任务的特征匹配过程。基于这些见解,我们引入了两个新的模块,即,自适应细化预测(ARP)和目标知识转移(TKT),以解决他们,分别。为此,我们首先设计了一个强大的管道来提取区分特征,并与注意力机制进行匹配。然后,ARP模块提出了解决错位问题,通过聚合所有预测的候选人有价值的线索。最后,TKT模块的设计,有效地克服了不完整的点云,由于稀疏和遮挡问题。我们称之为PCET。通过在KITTI和Waymo开放数据集上进行广泛的实验,我们的模型在保持较低计算成本的同时,实现了最先进的性能。
2023-02-09 cs.CV
Implicit-Scale 3D Reconstruction for Multi-Food Volume Estimation from Monocular Images
University of Waterloo(滑铁卢大学);Purdue University(普渡大学);Indiana University(印第安纳大学)
本文提出隐式尺度三维重建方法,用于单目图像中多食物体积估计,通过基准数据集验证了基于几何的重建方法在准确性和鲁棒性上的优势。
2026-02-13 cs.CV
ShAPO: Implicit Representations for Multi-Object Shape, Appearance, and Pose Optimization
Georgia Institute of Technology(佐治亚理工学院);Toyota Research Institute(丰田研究院)
我们的方法从单个RGB-D观察研究了以对象为中心的3D理解的复杂任务。由于这是一个不适定问题,现有的方法遭受低性能的3D形状和6D姿态和尺寸估计在复杂的多对象场景中的闭塞。我们提出了ShAPO,联合多目标检测,三维纹理重建,6D目标姿态和大小估计的方法。ShAPO的关键是一个单镜头管道,用于回归形状,外观和姿势潜在代码以及每个对象实例的掩码,然后以稀疏到密集的方式进一步细化。一种新的解开的形状和外观的先验数据库,首先学习嵌入对象在各自的形状和外观空间。我们还提出了一种新的基于八叉树的可微优化步骤,使我们能够以综合分析的方式在学习的潜在空间下同时进一步改善对象的形状,姿势和外观。我们新的联合隐式纹理对象表示使我们能够准确地识别和重建新的看不见的对象,而无需访问其3D网格。通过大量的实验,我们证明了我们的方法,在模拟的室内场景上训练,可以准确地回归现实世界中新物体的形状,外观和姿态,并且微调最少。我们的方法显着优于NOCS数据集上的所有基线,6D姿态估计的mAP绝对提高了8%。项目页面:https://zubair-irshad.github.io/projects/ShAPO.html
2022-07-27 cs.CV cs.LG cs.RO
I3DM: Implicit 3D-aware Memory Retrieval and Injection for Consistent Video Scene Generation
Monash University(莫纳什大学);Vertex Lab(Vertex实验室);Shanghai Jiao Tong University(上海交通大学)
本文提出I3DM,一种隐式3D-aware记忆机制,通过预训练FF-NVS模型的中间特征进行视图相关性评分,提升复杂遮挡下的场景一致性生成效果。
2026-08-03 cs.CV
SparseRecon: Neural Implicit Surface Reconstruction from Sparse Views with Feature and Depth Consistencies
School of Software, Tsinghua University(清华大学软件学院);Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);China Telecom(中国电信);Kuaishou Technology(快手科技);Department of Computer Science, Wayne State University(韦恩州立大学计算机科学系)
针对稀疏视图曲面重建中现有方法泛化性差或几何线索不足的问题,提出SparseRecon方法,通过跨视图特征一致性损失和不确定性引导深度约束提升重建质量,在小重叠视图场景下性能优于现有最优方法。
2025-08-01 cs.CV
Learning Positive-Incentive Point Sampling in Neural Implicit Fields for Object Pose Estimation
College of Intelligence Science and Technology, National University of Defense Technology(智能科学与技术学院,国防科技大学);College of Computer Science, National University of Defense Technology(计算机科学学院,国防科技大学)
本文提出结合SO(3)-等价卷积隐式网络和正激励点采样策略的方法,提升物体姿态估计的准确性和效率。
2026-02-23 cs.CV
Part-level Car Parsing and Reconstruction from Single Street View
Beihang University(北京航空航天大学);Baidu Research(百度研究院);National Engineering Laboratory of Deep Learning Technology and Application(深度学习技术及应用国家工程实验室)
零件信息已被证明是抵抗遮挡和视点变化,这是有益的各种视觉相关的任务。然而,我们发现非常有限的工作,汽车姿态估计和重建从街景利用部分信息。本文有两个主要贡献。首先,我们第一次尝试建立一个框架,同时估计形状,平移,方向和语义部分的汽车在3D空间从一个单一的街景。由于它是劳动密集型的语义部分注释真实的街景,我们提出了一个具体的方法来隐式地将部分功能从合成图像到真实的街景。对于姿态和形状估计,我们提出了一种新的网络结构,利用部分功能和3D损失。其次,我们是第一个构建高质量数据集的公司,该数据集包含348个不同的汽车模型,具有基于全局和局部变形的物理尺寸和部件级注释。给定这些模型,我们进一步生成60K合成图像,其中包含方向、照明、遮挡和纹理的随机化。我们的研究结果表明,我们的部分分割性能显着提高后,应用我们的隐式传输方法。我们的姿势和形状估计网络在ApolloCar3D数据集上实现了最先进的性能,并且在平均A3DP-Abs方面比3D-RCNN和DeepMANTA高出12.57和8.91个百分点。
2019-08-26 cs.CV
Object Rearrangement Using Learned Implicit Collision Functions
NVIDIA(英伟达);UC Berkeley(加州大学伯克利分校);University of Washington(华盛顿大学)
机器人物体重排结合了拾取和放置物体的技能。当对象模型不可用时,典型的碰撞检查模型可能无法预测具有遮挡的部分点云中的碰撞,使得无碰撞抓取或放置轨迹的生成具有挑战性。我们提出了一个学习碰撞模型,接受场景和查询对象点云,并预测场景内的6DOF对象姿势的碰撞。我们在100万个场景/对象点云对和20亿个碰撞查询的合成集上训练模型。我们利用学习的碰撞模型作为模型预测路径积分(MPPI)政策的一部分,在桌面重排任务,并表明该政策可以计划无碰撞的把握和放置对象看不见的训练在模拟和物理杂乱的场景与弗兰卡熊猫机器人。在模拟碰撞查询数据集上,学习模型的准确性优于传统管道和学习消融9.8%,并且比性能最佳的基线快75倍。视频和补充材料可在https://research.nvidia.com/publication/2021-03_Object-Rearrangement-Using上获得。
2021-03-26 cs.CV cs.RO
LODE: Locally Conditioned Eikonal Implicit Scene Completion from Sparse LiDAR
Tsinghua University(清华大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院(AIR));University of Chinese Academy of Sciences(中国科学院大学)
场景补全是指从复杂3D场景的不完整感知中获得密集场景表示。这有助于机器人在自动驾驶等场景中检测多尺度障碍物并分析物体遮挡。最近的进展表明,隐式表示学习可以用于连续场景完成,并通过像Eikonal方程的物理约束来实现。然而,以往的Eikonal完备化方法只能在几十个网格的尺度下证明水密网格上的结果。他们都没有成功地做了非防水激光雷达点云的开放大场景规模的数千个场景。在本文中,我们提出了一种新的Eikonal制定的条件的隐式表示的局部形状先验的功能作为密集的边界值约束,并证明它的工作SemanticKITTI和SemanticPOSS。它还可以扩展到语义Eikonal场景完成,只需对网络架构进行少量修改。通过大量的定量和定性结果,我们证明了现有Eikonal方法的优点和缺点,这自然会导致新的局部条件制定。值得注意的是,我们在SemanticKITTI上将IoU从31.7%提高到51.2%,在SemanticPOSS上从40.5%提高到48.7%。我们广泛地消融我们的方法,并证明所提出的配方是强大的实现超参数的广泛。代码和模型可在https://github.com/AIR-DISCOVER/LODE上公开获取。
2023-02-27 cs.CV
ObjectSDF++: Improved Object-Compositional Neural Implicit Surfaces
Monash University(莫纳什大学);University of Sydney(悉尼大学);University of Oxford(牛津大学);Nanyang Technological University(南洋理工大学)
本文提出 ObjectSDF++,通过遮挡感知对象不透明度渲染和对象区分正则化改进对象组合神经隐式曲面,提升单对象与整体场景重建质量。
2023-08-17 cs.CV
Geometric Prior-Guided Neural Implicit Surface Reconstruction in the Wild
The University of Manchester(曼彻斯特大学);Cardiff University(卡迪夫大学)
针对野外图像中光照变化、瞬态遮挡及表面约束不足的问题,提出融合 SfM 稀疏点、位移补偿、鲁棒法向与边缘及多视角一致性约束的神经隐式表面重建方法。
2025-05-12 cs.CV
Look Where You Can: Active View Selection for CAD Reconstruction under Occlusion
Helmholtz-Zentrum Hereon(亥姆霍兹中心赫伦研究所);Leuphana Universität Lüneburg(吕讷堡大学);Universität des Saarlandes(萨尔大学);Technische Universität Hamburg(汉堡工业大学)
本研究提出SightCAD框架,将视角可行性作为约束,联合训练视角选择器与CAD生成VLM,在多基准的遮挡场景CAD重建任务中显著优于基线,可执行程序占比高。
2026-10-09 cs.CV
DeepMultiCap: Performance Capture of Multiple Characters Using Sparse Multiview Cameras
Tsinghua University(清华大学)
我们提出了DeepMultiCap,这是一种使用稀疏多视图相机进行多人表演捕捉的新方法。我们的方法可以捕捉时变的表面细节,而不需要使用预先扫描的模板模型。为了解决严重的闭塞的挑战,密切互动的场景,我们结合了最近提出的像素对齐的隐式函数与参数模型的不可见表面区域的鲁棒重建。设计了一个有效的注意力感知模块,用于从多视点图像中获取细粒度的几何细节,从而生成高保真度的结果。除了空间注意力方法,对于视频输入,我们进一步提出了一种新的时间融合方法,以减轻噪声和时间不一致的运动字符重建。为了进行定量评估,我们提供了一个高质量的多人数据集MultiHuman,它由150个具有不同遮挡程度的静态场景和地面真实3D人体模型组成。实验结果表明,我们的方法的最先进的性能和良好的推广到真实的多视点视频数据,这是优于以前的工作了很大的利润。
2021-08-28 cs.CV
SABER-6D: Shape Representation Based Implicit Object Pose Estimation
Technical University of Munich(慕尼黑工业大学);Siemens Technology(西门子技术公司);Robert Bosch GmbH(罗伯特·博世有限公司);Max-Planck Institute(马克斯·普朗克研究所)
本文提出SABER-6D,通过编码器-解码器架构在嵌入空间中学习形状表示以估计物体6D姿态,仅需CAD模型和合成数据即可处理对称与非对称物体,在Occlusion-LineMOD和T-LESS上接近基准性能。
2024-09-02 cs.CV
Looking Beyond Two Frames: End-to-End Multi-Object Tracking Using Spatial and Temporal Transformers
Monash University(莫纳什大学);The University of Melbourne(墨尔本大学);The University of Adelaide(阿德莱德大学);Australian Institute for Machine Learning(澳大利亚机器学习研究所);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
尽管该领域最近取得了进展,但随着时间的推移跟踪视频序列中随时间变化的不确定数量的对象仍然是一个挑战。大多数现有的方法都不能正确处理多对象跟踪的挑战,如闭塞,部分原因是因为他们忽略了长期的时间信息。为了解决这些缺点,我们提出了MO3 TR:一个真正的基于Transformer的端到端在线多对象跟踪(MOT)框架,它可以学习处理遮挡、跟踪启动和终止,而无需显式数据关联模块或任何启发式方法。MO3TR使用空间和时间Transformers的组合将对象交互编码为长期时间嵌入,并递归地使用与输入数据联合的信息来估计所有跟踪对象随时间的状态。空间注意力机制使我们的框架能够学习所有对象和测量对象之间的隐式表示,而时间注意力机制专注于过去信息的特定部分,使我们的方法能够解决多帧上的遮挡。我们的实验证明了这种新方法的潜力,在几个流行的多目标跟踪基准测试中,在多个MOT指标上取得了与当前最先进的方法相当或更好的结果。
2022-10-07 cs.CV
SeSDF: Self-evolved Signed Distance Field for Implicit 3D Clothed Human Reconstruction
The University of Hong Kong(香港大学)
提出基于SMPL-X的灵活框架,通过自演化符号距离场(SeSDF)模块学习变形SDF以编码穿衣人体精细几何,结合多视角自校准与遮挡感知特征融合策略,在未校准设置下实现了优于现有方法的3D穿衣人体重建。
2023-04-01 cs.CV
MVSBoost: An Efficient Point Cloud-based 3D Reconstruction
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心);Institut de Neurosciències(神经科学研究所)
本文提出MVSBoost,一种结合360度多视图图像、SfM位姿估计与先进图像处理的增强MVS框架,在Realistic Synthetic 360数据集上以Chamfer距离验证,实现高精度、高效且鲁棒的三维重建,可媲美或超越神经隐式场方法。
2024-07-18 cs.CV