3DSFLabelling: Boosting 3D Scene Flow Estimation by Pseudo Auto-labelling
PhiGent Robotics(菲根特机器人公司);University of Cambridge(剑桥大学);Shanghai Jiaotong University(上海交通大学)
针对真实LiDAR点云3D场景流标签稀缺问题,提出3DSFLabelling伪自动标注与运动增强方法,在多个真实数据集上显著超越现有监督和无监督方法。
2024-03-01 cs.CV
SplitFusion: Simultaneous Tracking and Mapping for Non-Rigid Scenes
the University of Tokyo(东京大学);RIKEN(日本理化学研究所)
我们提出了SplitFusion,这是一种新的密集RGB-D SLAM框架,它同时对场景的刚性和非刚性组件进行跟踪和密集重建。SplitFusion首先采用基于深度学习的语义即时分割技术,将场景分割为刚性或非刚性表面。分裂表面通过刚性或非刚性ICP独立跟踪,并通过增量深度图融合重建。实验结果表明,该方法不仅可以提供准确的环境地图,但也很好地重建非刚性目标,如运动的人。
2020-07-04 cs.CV
Unsupervised Monocular Depth Reconstruction of Non-Rigid Scenes
ETH Zurich(苏黎世联邦理工学院);University of Amsterdam(阿姆斯特丹大学);KU Leuven(鲁汶大学)
复杂动态场景的单目深度重建是一个极具挑战性的问题。虽然对于刚性场景,即使在无监督的情况下,基于学习的方法也提供了有希望的结果,但对于动态和可变形场景,几乎没有文献涉及同样的问题。在这项工作中,我们提出了一个无监督的单目框架密集的深度估计的动态场景,共同重建刚性和非刚性的部分,而不明确建模的相机运动。使用密集的对应关系,我们推导出一个训练目标,旨在机会主义地保留重建的3D点之间的成对距离。在这个过程中,密集深度图是使用尽可能刚性的假设隐式地学习的。我们的方法提供了有前途的结果,证明了其具有挑战性的非刚性场景的视频重建3D的能力。此外,该方法还提供了无监督的运动分割结果作为辅助输出。
2021-10-28 cs.CV
Learning Rigidity in Dynamic Scenes with a Moving Camera for 3D Motion Field Estimation
Georgia Institute of Technology(佐治亚理工学院);NVIDIA(英伟达)
从时间序列图像对中估计动态场景中的三维运动是场景理解的核心任务。在现实世界的应用中,动态场景通常由移动的相机(即,摇摄、倾斜或手持),这增加了任务的复杂性,因为从不同的视点观察场景。主要的挑战是从场景运动中消除相机运动的歧义,随着所观察到的刚性量的减少,这变得更加困难,即使成功地估计了2D图像的对应关系。相比其他国家的最先进的三维场景流估计方法,在本文中,我们提出了\emph{learn}刚性的场景在监督的方式从一个大的动态场景数据的集合,并直接推断出刚性掩模从两个连续的图像与深度。通过学习网络,我们展示了如何使用计算的2D光流和推断的刚性掩模有效地估计相机运动和投影场景流。为了训练和测试刚性网络,我们还提供了一个新的半合成动态场景数据集(具有真实背景的合成前景对象)和一个评估分割,该分割占观察到的非刚性像素的百分比。通过我们的评估,我们表明,该框架优于当前最先进的场景流估计方法在具有挑战性的动态场景。
2018-07-30 cs.CV
Weakly Supervised Scene Text Detection using Deep Reinforcement Learning
Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳学院)
具有挑战性的场景文本检测领域需要复杂的数据注释,这是耗时和昂贵的。诸如弱监管等技术可以减少所需的数据量。本文提出了一种基于强化学习的弱监督场景文本检测方法。RL代理收到的奖励由神经网络估计,而不是从地面实况标签推断。首先,我们通过几种训练优化增强了现有的监督RL文本检测方法,使我们能够缩小与基于回归的算法的性能差距。然后,我们使用我们提出的系统在现实世界的数据上进行弱监督和半监督训练。我们的研究结果表明,在弱监督环境中进行训练是可行的。然而,我们发现在半监督环境中使用我们的模型,例如,当将标记的合成数据与未注释的真实世界数据相结合时,会产生最佳结果。
2022-01-13 cs.AI cs.CV cs.LG
Non-Rigid Neural Radiance Fields: Reconstruction and Novel View Synthesis of a Dynamic Scene From Monocular Video
MPI for Informatics(马克斯·普朗克信息学研究所);Facebook Reality Labs Research(Facebook现实实验室研究)
提出了一种非刚性神经辐射场(NR-NeRF)的动态场景重建和视图合成方法。我们的方法将动态场景的RGB图像作为输入(例如,从单目视频记录),并创建高质量的时空几何和外观表示。我们表明,一个单一的手持消费级相机是足以合成复杂的渲染的动态场景从新颖的虚拟相机的意见,例如,一个“子弹时间”的视频效果。NR-NeRF将动态场景分解为正则体及其变形。场景变形被实现为光线弯曲,其中直线光线被非刚性地变形。我们还提出了一种新的刚性网络,以更好地约束场景的刚性区域,从而获得更稳定的结果。射线弯曲和刚度网络在没有明确监督的情况下进行训练。我们的公式可以在视图和时间上进行密集的对应估计,以及引人注目的视频编辑应用程序,如运动夸张。我们的代码将是开源的。
2021-08-23 cs.CV cs.GR
Self-Supervised Learning of Non-Rigid Residual Flow and Ego-Motion
ETH Zurich(苏黎世联邦理工学院);Microsoft(微软)
当前的场景流方法大多选择将场景流建模为逐点平移向量,而不区分3D运动的静态和动态分量。在这项工作中,我们提出了一种替代方法,用于端到端的场景流学习的非刚性残余流和自我运动流的动态3D场景的联合估计。我们建议从一对点云中学习相对刚性变换,然后进行迭代细化。然后,我们从转换后的输入中学习非刚性流,并扣除流的刚性部分。此外,我们扩展的监督框架与自我监督信号的时间一致性的点云序列的基础上。我们的解决方案允许在监督模式下进行训练,并辅以自我监督损失条款,以及在完全自我监督模式下进行训练。我们证明了场景流分解成非刚性流和自我运动流,并引入了自我监督信号,使我们能够优于当前最先进的监督方法。
2020-10-19 cs.CV cs.LG
LapSeg3D: Weakly Supervised Semantic Segmentation of Point Clouds Representing Laparoscopic Scenes
Artiminds Robotics GmbH(阿蒂明兹机器人有限公司);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Heidelberg University Hospital(海德堡大学医院)
本文提出LapSeg3D,一种基于DNN的弱监督方法,通过半自动聚类流水线生成胆囊标注,在离体猪肝数据集上实现0.94的F1分数,有效解决了腹腔镜场景点云的体素级语义分割问题。
2022-07-15 cs.AI cs.CV cs.LG
Multiframe Scene Flow with Piecewise Rigid Motion
NVIDIA(英伟达);University of Kaiserslautern(凯泽斯劳滕大学);DFKI(德国人工智能研究中心);Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学)
我们介绍了一种新的多帧场景流的方法,共同优化的补丁外观的一致性和他们的本地刚性运动从RGB-D图像序列。在竞争的方法相比,我们利用的参考帧和强大的优化技术的过分割。我们制定场景流恢复作为一个全球性的非线性最小二乘问题,迭代求解阻尼高斯-牛顿方法。因此,我们在基于RGB-D的场景流估计中获得了一个新的定性准确度水平,它可以潜在地实时运行。我们的方法可以处理具有挑战性的情况下,刚性,分段刚性,铰接和适度的非刚性运动,并不依赖于先验知识的运动和变形的类型。对合成数据和真实数据的大量实验表明,我们的方法优于最先进的方法。
2017-10-05 cs.CV
Scene-level Tracking and Reconstruction without Object Priors
Rutgers University(罗格斯大学)
我们提出的第一个实时系统能够跟踪和重建,单独,在一个给定的场景中的每一个可见的对象,没有任何形式的先验的刚性的对象,纹理存在,或对象类别。与以前的方法,如Co-Fusion和MaskFusion,首先将场景分割成单个对象,然后独立地处理每个对象相比,所提出的方法动态分割非刚性场景作为跟踪和重建过程的一部分。当新的测量结果表明拓扑结构发生变化时,重建的模型将实时更新以反映该变化。我们提出的系统可以提供实时的几何形状和变形的所有可见对象在一个新的场景中,这使得它可以无缝集成到众多现有的机器人应用程序,依赖于对象模型的把握和操纵。所提出的系统的能力证明在具有挑战性的场景,包含多个刚性和非刚性对象。
2022-10-07 cs.CV cs.GR cs.RO
Learning rigid-body simulators over implicit shapes for large-scale scenes and vision
Google Deepmind(谷歌DeepMind)
针对大规模刚体场景模拟难题,提出基于学习符号距离函数(SDF)的SDF-Sim模拟器,克服网格方法扩展瓶颈,支持数百物体和百万节点,并可从多视角图像应用于真实场景。
2024-05-22 cs.CV cs.LG
Self-Supervised 3D Scene Flow Estimation and Motion Prediction using Local Rigidity Prior
提出基于局部刚性先验的自监督3D场景流估计方法,通过分段刚性运动生成伪标签并利用有效性掩码训练,在多个数据集上达到最先进性能。
2023-10-17 cs.CV
RAFT-3D: Scene Flow using Rigid-Motion Embeddings
Princeton University(普林斯顿大学)
我们解决场景流的问题:给定一对立体或RGB-D视频帧,估计像素级3D运动。我们介绍了RAFT-3D,一个新的场景流的深度架构。RAFT-3D基于为光流开发的RAFT模型,但迭代地更新像素级SE 3运动的密集场,而不是2D运动。RAFT-3D的一个关键创新是刚性运动嵌入,它表示将像素软分组为刚性对象。刚性运动嵌入的积分是Dense-SE 3,这是一个可微层,可以强制嵌入的几何一致性。实验结果表明,RAFT-3D算法具有较好的性能。在FlyingThings 3D上,在双视图评估下,我们将最佳发布准确率(d < 0.05)从34.3%提高到83.7%。在KITTI上,我们实现了5.77的错误,优于最好的方法(6.31),尽管没有使用对象实例监督。代码可在https://github.com/princeton-vl/RAFT-3D上获得。
2021-04-06 cs.CV
Multi-Body Neural Scene Flow
The Australian Institute for Machine Learning, The University of Adelaide(阿德莱德大学澳大利亚机器学习研究所);Queensland University of Technology(昆士兰科技大学);CSIRO Robotics(联邦科学与工业研究组织机器人学部);The University of Adelaide(阿德莱德大学)
提出一种通过等距正则化实现多体刚性的场景流优化方法,无需显式约束SE(3)参数,在真实数据集上优于现有技术,支持长期4D轨迹预测。
2024-02-06 cs.CV cs.RO
EgoFlowNet: Non-Rigid Scene Flow from Point Clouds with Ego-Motion Support
The University of Kaiserslautern-Landau (RPTU)(凯泽斯劳滕-兰道大学)
EgoFlowNet提出一种弱监督点级场景流估计网络,通过二值分割掩码隐式驱动自运动与场景流分支,结合共享代价体和多尺度局部细化,在KITTI真实场景中优于现有方法。
2024-07-03 cs.CV
Exploiting Implicit Rigidity Constraints via Weight-Sharing Aggregation for Scene Flow Estimation from Point Clouds
本文提出一种隐式利用刚性约束的权重共享聚合(WSA)方法和形变度模块,并将其集成到PointPWC-Net构建WSAFlowNet,在FlyingThings3D和KITTI数据集上大幅提升了场景流估计性能。
2023-04-01 cs.CV
Lepard: Learning partial point cloud matching in rigid and deformable scenes
The University of Tokyo(东京大学);RIKEN(理化学研究所)
我们提出了Lepard,一种基于学习的方法,用于刚性和可变形场景中的部分点云匹配。其主要特点是利用三维位置知识进行点云匹配的技术:1)将点云表示分解为特征空间和三维位置空间的体系结构。2)一种位置编码方法,通过矢量的点积显式显示3D相对距离信息。3)修改交叉点云相对位置的重新定位技术。消融研究证明了上述技术的有效性。在严格的情况下,Lepard结合RANSAC和ICP在3DMatch / 3DLoMatch上证明了最先进的配准召回率为93.9% / 71.3%。在可变形的情况下,Lepard在我们新构建的4DMatch / 4DLoMatch基准上实现了比现有技术高+27.1% / +34.8%的非刚性特征匹配召回率。
2022-03-07 cs.CV
Weakly Supervised Point Cloud Segmentation via Conservative Propagation of Scene-level Labels
提出一种弱监督点云分割方法,通过二分匹配保守传播场景级标签至相关点,在ScanNet和S3DIS上大幅超越现有技术。
2025-06-13 cs.CV cs.LG
Learning to Segment Rigid Motions from Two Frames
Carnegie Mellon University(卡内基梅隆大学);Argo AI
基于外观的检测器在一般场景下表现出了很好的性能,但在缺乏训练数据的场景下往往会失败。几何运动分割算法,但是,推广到新的场景,但尚未实现可比的性能,基于外观的,由于噪声运动估计和退化的运动配置。为了结合这两个世界的最好的,我们提出了一个模块化的网络,其架构的动机是什么独立的对象运动可以从一个egomotion字段恢复的几何分析。它以两个连续的帧作为输入,并预测背景和多个刚性移动对象的分割掩模,然后通过3D刚性变换进行参数化。我们的方法在KITTI和Sintel上实现了最先进的刚性运动分割性能。推断出的刚性运动导致深度和场景流估计的显著改善。在提交时,我们的方法在KITTI场景流排行榜上排名第一,优于最好的发布方法(场景流误差:4.89% vs 6.31%)。
2021-01-11 cs.CV
The Drunkard's Odometry: Estimating Camera Motion in Deforming Scenes
University of Zaragoza(萨拉戈萨大学);ETH Zurich(苏黎世联邦理工学院);University of Amsterdam(阿姆斯特丹大学);Microsoft(微软)
针对可形变场景中相机运动估计的难题,本文提出了Drunkard's Dataset合成数据基准和Drunkard's Odometry方法,通过将光流分解为刚体运动与非刚性形变,为形变环境下的视觉导航与重建提供了新方案。
2023-06-29 cs.CV cs.LG cs.RO
NRMVS: Non-Rigid Multi-View Stereo
NVIDIA(英伟达);University of Erlangen-Nuremberg(埃尔朗根-纽伦堡大学);SenseTime(商汤科技);Technical University of Munich(慕尼黑工业大学)
在计算机视觉的许多应用中,从无组织的RGB图像重建场景是一个重要的任务。多视图立体视觉(MVS)是摄影测量应用中用于静态场景的密集重建的常见解决方案。然而,静态场景假设限制了MVS算法的一般适用性,因为许多日常场景经历非刚性运动,例如,衣服、面孔或人体。在本文中,我们开辟了一个新的具有挑战性的方向:密集的三维重建场景的非刚性变化观察到的任意,稀疏,宽基线的意见。我们制定的变形和深度估计的联合优化的问题,使用变形图作为底层表示。我们提出了一种新的稀疏的3D到2D匹配技术,连同一个密集的补丁匹配评估计划,以估计变形和深度与光度一致性。我们表明,从几个RGB图像与非刚性变化创建一个密集的4D结构是可能的,并证明我们的方法可以用来插值从稀疏视图中得到的这些变形估计的各种组合的新的变形场景。
2019-01-12 cs.CV
DefVINS: Visual-Inertial Odometry for Deformable Scenes
Departamento de Informática e Ingeniería de Sistemas, Universidad de Zaragoza(信息与系统工程系,萨拉戈萨大学)
本文提出DefVINS,一种针对变形场景的视觉-惯性里程计,通过分解里程状态为刚性IMU锚定部分和非刚性场景变形图,解决传统VIO对变形场景的不足。同时引入VIMandala基准测试集,并通过实验验证其优于传统方法。
2026-09-17 cs.CV cs.RO
Audio Event and Scene Recognition: A Unified Approach using Strongly and Weakly Labeled Data
Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们提出了一种新的学习框架,称为监督和弱监督学习,其目标是同时从弱标记和强标记数据中学习。强标记数据可以简单地理解为完全监督的数据,其中所有标记实例都可用。在弱监督学习中,只有数据是弱标记的,这阻止了人们直接应用监督学习方法。我们提出的框架是出于这样一个事实,即少量的强标记的数据可以给相当大的改善,只有弱监督学习。本文的主要问题域焦点是音频记录中的声事件和场景检测。我们首先提出了一个天真的配方,利用标记的数据在这两种形式。然后,我们提出了一个更一般的框架监督和弱监督学习(SWSL)。基于这个框架,我们提出了一个基于图的方法SWSL。我们的主要方法是基于图上的流形正则化,其中我们表明,统一学习可以制定为一个约束优化问题,可以通过迭代凹凸过程(CCCP)来解决。我们的实验表明,我们提出的框架可以解决几个问题的音频内容分析使用弱标记的数据。
2017-02-18 cs.CV cs.LG cs.SD
SIRE: SE(3) Intrinsic Rigidity Embeddings
University of Southern California(南加州大学);Toyota Research Institute(丰田研究所);NVIDIA Research(英伟达研究院)
本文提出自监督方法SIRE,通过从视频学习内在刚性嵌入和几何,以4D重投影损失实现物体运动发现与动态场景重建,在物体分割、SE(3)运动估计和深度估计中展现高效数据利用与强泛化能力。
2025-03-10 cs.CV
Optical Flow in Mostly Rigid Scenes
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
自然景物的光流是观察者的运动和物体的独立运动的组合。现有的算法通常集中在恢复运动和结构的假设下,一个纯粹的静态世界或光流一般无约束的场景。我们将这些方法结合在一个光流算法,估计一个明确的分割运动物体的外观和物理约束。在静态区域中,我们利用强约束来联合估计多帧上的相机运动和场景的3D结构。这使得我们也可以正则化结构而不是运动。我们的公式使用平面+视差框架,即使在小基线下也能工作,并将运动估计减少到一维搜索问题,从而实现更准确的估计。在移动区域中,流被视为无约束的,并与现有的光流方法计算。由此产生的大多数刚性流(MR-Flow)方法在MPI-Sintel和KITTI-2015基准测试中均获得了最先进的结果。
2017-05-03 cs.CV
Cascaded Scene Flow Prediction using Semantic Segmentation
Brown University(布朗大学);NVIDIA(英伟达);UC Irvine(加州大学欧文分校)
给定来自一对立体相机的两个连续帧,3D场景流方法同时估计所观察场景的3D几何形状和运动。许多现有的方法使用超像素进行正则化,但可能会预测刚性移动对象内部不一致的形状和运动。相反,我们假设场景由在静态背景前面刚性移动的前景对象组成,并使用语义线索来产生像素精确的场景流估计。我们的级联分类框架通过迭代地改进语义分割掩模、立体对应、3D刚性运动估计和光流场来精确地建模3D场景。我们在具有挑战性的KITTI自动驾驶基准上评估了我们的方法,并表明考虑分段车辆的运动会带来最先进的性能。
2017-10-05 cs.CV
ArticuTable: Generating Instance-Level Interactive Rigid-Articulated 3D Tabletop Scenes from a Single Image
Wuhan University(武汉大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);University of North Texas(北德克萨斯大学);Australian National University(澳大利亚国立大学)
提出ArticuTable框架,从单张图像重建具身智能体可交互的3D桌面场景,通过GRAM关节建模和PSGSR场景配准实现部件级关节运动与视图一致布局,并构建ArticuTable-100数据集验证性能。
2026-10-06 cs.CV
SE3-Nets: Learning Rigid Body Motion using Deep Neural Networks
University of Washington(华盛顿大学)
我们介绍了SE 3-Nets,这是一种深度神经网络,旨在从原始点云数据中建模和学习刚体运动。仅基于深度图像序列以及动作向量和逐点数据关联,SE 3-Nets学习分割受影响的对象部分,并预测它们因施加的力而产生的运动。SE 3-Nets不是学习逐点流向量,而是预测场景不同部分的SE 3变换。使用桌面场景和机器人操纵器的模拟深度数据,我们证明了SE 3-Nets的底层结构使它们能够生成比传统的基于流的网络更一致的对象运动预测。使用深度相机观察Baxter机器人在桌子上推物体的其他实验表明,SE 3-Nets在真实数据上也能很好地工作。
2017-03-30 cs.AI cs.CV cs.LG
VISC: mmWave Radar Scene Flow Estimation using Pervasive Visual-Inertial Supervision
State Key Laboratory of Maritime Technology and Safety(maritime技术与安全国家重点实验室);Wuhan University of Technology(武汉理工大学);University of Essex(埃塞克斯大学);Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学);University College London(伦敦大学学院)
本文提出VISC框架,利用普适视觉-惯性传感器数据监督毫米波雷达场景流估计,通过无漂移刚体变换估计器和光学-毫米波监督提取模块,在烟雾环境中超越使用昂贵激光雷达的SOTA方法。
2025-07-05 cs.CV cs.RO
The effect of scene context on weakly supervised semantic segmentation
Shahid Beheshti University(沙希德·贝赫什提大学);Cyberspace Research Institute, Shahid Beheshti University(沙希德·贝赫什提大学网络空间研究院)
图像语义分割是将图像分割成若干个区域,每个区域都包含一个语义概念。在弱监督的方式下,由于只有图像级标签可用,因此将对象与背景区分开来是具有挑战性的,并且在某些情况下更加困难。更具体地,在一个特定场景中通常看到的一些对象(例如,“训练”通常在“铁路轨道”上看到)更有可能被混淆。在本文中,我们提出了一种方法来添加特定于目标的场景,以克服上述问题。实际上,我们提出了一个场景推荐器,它建议在目标数据集中添加一些特定的场景上下文,以便更准确地训练模型。值得注意的是,这一想法可以成为许多其他方法基线的补充部分。实验结果验证了该方法对添加场景背景的对象的有效性。
2019-06-07 cs.CV
WeText: Scene Text Detection under Weak Supervision
Institute for Infocomm Research(资讯通信研究院);Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
需要大量带注释的训练数据已经成为各种深度学习系统的共同约束。在本文中,我们提出了一种弱监督场景文本检测方法(WeText),通过从未注释或弱注释的数据中学习来训练鲁棒且准确的场景文本检测模型。通过在一个小的完全注释的数据集上训练的“轻”监督模型,我们分别在一个大的未注释的数据集和一个大的弱注释的数据集上探索半监督和弱监督学习。对于无监督学习,将轻监督模型应用于未注释的数据集以搜索更多的字符训练样本,这些样本进一步与小注释数据集组合以重新训练更优的字符检测模型。对于弱监督学习,字符搜索由单词/文本行的高级注释引导,这些注释广泛可用并且也更容易准备。此外,我们通过基于回归的深度网络设计了一个统一的场景特征检测器,这大大缓解了大多数传统方法中广泛存在的错误积累问题。在不同的未注释和弱注释数据集上的大量实验表明,场景文本检测性能在两种情况下都可以明显提高,其中弱监督学习可以通过仅使用229个完全注释的场景文本图像来实现最先进的性能。
2017-10-13 cs.CV
Human-Scene Network: A Novel Baseline with Self-rectifying Loss for Weakly supervised Video Anomaly Detection
INRIA(法国国家信息与自动化研究所);Woven Planet Holdings;Toyota Motor Europe(丰田汽车欧洲公司)
在只有视频级标签(即弱监督)的监控系统中,视频异常检测是具有挑战性的。这是由于:(i)基于人类和场景的异常的复杂整合,包括真实世界场景中的微妙和尖锐的时空线索,(ii)在弱监督下正常和异常实例之间的非最优优化。在本文中,我们提出了一个人类场景网络学习歧视性的表示,通过捕捉微妙和强烈的线索,在解离的方式。此外,还提出了一种自校正损失,从视频级标签中动态计算伪时间注释,以有效地优化人-场景网络。在三个公开可用的数据集上验证了所提出的具有自校正损失优化的人类场景网络,即UCF-Crime,ShanghaiTech和IITB-Corridor,在所考虑的六个场景中的五个场景中,表现优于最近报道的最先进的方法。
2023-01-19 cs.CV
Hierarchical Scene Parsing by Weakly Supervised Learning with Image Descriptions
Sun Yat-sen University(中山大学);Hefei University of Technology(合肥工业大学);Harbin Institute of Technology(哈尔滨工业大学)
本文研究了场景理解的一个基本问题:如何将场景图像解析成结构化配置(即,具有对象交互关系的语义对象层次结构)。我们提出了一个由两个网络组成的深度架构:i)卷积神经网络(CNN)提取图像表示用于逐像素对象标记,ii)递归神经网络(RsNN)发现分层对象结构和对象间关系。而不是依赖于精心的注释(例如,手动标记的语义图和关系),我们通过利用训练图像的描述性语句以弱监督学习方式训练我们的深度模型。具体来说,我们将每个句子分解成一个由名词和动词短语组成的语义树,并应用这些树结构来发现训练图像的配置。一旦确定了这些场景配置,则通过反向传播相应地更新CNN和RsNN两者的参数。整个模型的训练是通过期望最大化方法完成的。大量的实验表明,我们的模型能够产生有意义的场景配置,并在两个基准上实现更有利的场景标记结果(即,PASCAL VOC 2012和SYSU-Scenes)与其他最先进的弱监督深度学习方法相比。特别是,SYSU-Scenes包含超过5000个场景图像及其语义句子描述,这是我们为推进场景解析研究而创建的。
2018-01-27 cs.CV
Learning Action-Conditional and Object-Centric Gaussian Splatting World Models for Rigid Objects
Intelligent Perception in Technical Systems Group(技术系统智能感知组)
提出MRO-GWM模型,通过对象中心高斯表示和时空变换器架构,学习刚性物体在3D中的动作条件动力学,支持多物体场景和部分观测下的未来运动预测。
2026-10-27 cs.CV cs.LG cs.RO
Active Self-Training for Weakly Supervised 3D Scene Semantic Segmentation
Shenzhen University(深圳大学);Carleton University(卡尔顿大学)
由于为训练点云的语义分割网络准备标记数据是一个耗时的过程,因此已经引入了弱监督方法来仅从一小部分数据中学习。这些方法通常基于具有对比损失的学习,同时从用户注释的标签的稀疏集合自动导出每点伪标签。在本文中,我们的主要观察结果是,选择要注释的样本与如何使用这些样本进行训练一样重要。因此,我们介绍了一种弱监督分割的3D场景,结合自我训练与主动学习的方法。主动学习选择可能导致训练模型性能改进的注释点,而自训练有效地使用用户提供的标签来学习模型。我们证明,我们的方法导致一个有效的方法,提供了改进的场景分割在以前的作品和基线,同时只需要少量的用户注释。
2022-09-15 cs.CV
SCANet: Scene Complexity Aware Network for Weakly-Supervised Video Moment Retrieval
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
针对弱监督视频时刻检索中现有提案未考虑视频场景数量变化的问题,提出SCANet,通过测量视频场景复杂度生成自适应提案,在三个基准上取得最先进性能。
2025-04-14 cs.CV
Learning to Generate Rigid Body Interactions with Video Diffusion Models
MBZUAI
本文提出KineMask方法,通过视频生成实现刚体交互的逼真控制与模拟,结合低级运动控制与高级文本条件,提升动态现象合成能力。
2026-09-29 cs.AI cs.CV cs.LG
LLM4SGG: Large Language Models for Weakly Supervised Scene Graph Generation
KAIST(韩国科学技术院);ETRI(电子通信研究院);Korea University(高丽大学)
提出LLM4SGG方法,利用大型语言模型结合思维链和少样本学习,解决弱监督场景图生成中三元组提取的语义过度简化和对齐时的低密度图问题,在多个数据集上显著提升了性能且具备数据效率。
2024-07-29 cs.AI cs.CV cs.LG
Back to Reality: Weakly-supervised 3D Object Detection with Shape-guided Label Enhancement
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京国家信息科学与技术研究中心)
在本文中,我们提出了一种弱监督的方法,用于3D目标检测,这使得有可能训练一个强大的3D检测器与位置级注释(即对象中心的注释)。为了弥补从框注释到中心的信息丢失,我们的方法,即回到现实(BR),利用合成的3D形状将弱标签转换为完全注释的虚拟场景作为更强的监督,并反过来利用完美的虚拟标签来补充和细化真实标签。具体来说,我们首先组装成物理上合理的虚拟场景根据粗糙的场景布局从位置级注释提取的三维形状。然后,我们回到现实中,通过应用虚拟到现实的领域自适应方法,细化弱标签,并额外监督与虚拟场景的检测器的训练。此外,我们提出了一个更具挑战性的benckmark室内3D目标检测与更多的多样性,在对象大小,以更好地显示BR的潜力。在不到5%的标记劳动力的情况下,我们在广泛使用的ScanNet数据集上实现了与一些流行的全监督方法相当的检测性能。代码可在:https://github.com/wyf-ACCEPT/BackToReality
2022-03-27 cs.AI cs.CV cs.LG
VideoPhysEdit: Physical Counterfactual Video Editing via Rigid-Body Physical Scene Reconstruction
Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身智能研究院)
针对视频编辑中物理后果未充分探索的问题,提出物理反事实视频编辑(PCVE)任务,并引入VideoPhysEdit免训练流水线,通过物理场景重建显式推理,结合新基准PCVE-RigidBench和物理编辑分数,在刚体场景中实现高物理编辑准确性。
2026-09-29 cs.CV
Moving SLAM: Fully Unsupervised Deep Learning in Non-Rigid Scenes
HKUST(香港科技大学);University of Oxford(牛津大学)
我们提出了一种训练深度网络的方法,将视频分解为3D几何形状(相机和深度),移动对象及其运动,无需监督。我们建立在视图合成的想法,它使用经典的相机几何重新渲染源图像从不同的视点,由预测的相对姿势和深度图指定。通过最小化合成图像与视频中对应的真实图像之间的误差,可以完全无监督地训练预测姿势和深度的深度网络。然而,视图合成方程依赖于一个强有力的假设:对象不移动。这种刚性世界假设限制了预测能力,并排除了自动学习对象的可能性。我们提出了一个简单的解决方案:最小化图像小区域的误差。虽然场景作为一个整体可能是非刚性的,但总是可以找到近似刚性的小区域,例如移动对象内部。然后,我们的网络可以在一个滑动窗口中从学习的密集姿势图中预测每个区域的不同姿势。这代表了一个非常丰富的模型,包括6D对象运动,几乎没有额外的复杂性。我们在KITTI上实现了非常有竞争力的无监督测距和深度预测性能。我们还展示了EPIC-Kitchener的新功能,这是一个具有挑战性的室内视频数据集,其中没有深度,里程计,对象分割或运动的地面真实信息。然而,所有这些都是通过我们的方法自动恢复的。
2021-06-01 cs.CV
Multi-body Non-rigid Structure-from-Motion
Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Australian National University(澳大利亚国立大学)
传统的从运动恢复结构运动恢复结构(SFM)研究主要涉及由静态相机观察到的单个刚性运动物体的3D重建,或者由运动相机观察到的静态和刚性场景的3D重建-在这两种情况下,仅涉及一个相对刚性运动。最近的进展已经将SFM扩展到{多体SFM}(其中场景中存在{多个刚性}相对运动)以及{非刚性SFM}(其中存在单个非刚性可变形对象或场景)的领域。沿着这条思路,显然存在“多体非刚性SFM”的缺失缺口,其中任务将是从图像中联合重建和分割多个非刚性对象或可变形场景的多个3D结构。这种多体非刚性场景在现实中是常见的(例如,两个人握手,多人社交事件),并且如何解决它代表了SFM研究中的自然{下一步}。本文利用子空间聚类的最新成果,首次提出了一种有效的多体NRSFM框架,该框架同时将每个3D轨迹重建并分割到各自的低维子空间中。根据我们的公式,每个非刚性结构的3D轨迹可以很好地近似于来自相同结构的其他3D轨迹的稀疏仿射组合(自我表达)。我们用交替方向乘子法(ADMM)求解所得优化。我们证明了所提出的框架的有效性,通过广泛的实验合成和真实的数据序列。我们的方法明显优于其他替代方法,例如首先将2D特征轨迹聚类成组,然后在每组中进行非刚性重建,或者首先通过使用单个子空间假设进行3D重建,然后将3D轨迹聚类成组。
2016-07-15 cs.CV
STaR: Self-supervised Tracking and Reconstruction of Rigid Objects in Motion with Neural Rendering
University of Washington(华盛顿大学);Facebook Reality Labs Research(Facebook现实实验室研究部)
我们提出了STaR,一种新的方法,执行自监督跟踪和重建的动态场景与刚性运动从多视图RGB视频没有任何手动注释。最近的工作已经表明,神经网络在将场景的许多视图压缩成学习函数的任务中是令人惊讶地有效的,该学习函数经由体渲染从观察光线映射到观察到的辐射值。不幸的是,一旦场景中的任何对象移动,这些方法就失去了所有的预测能力。在这项工作中,我们明确建模刚性运动的辐射场的神经表示的背景下的对象。我们表明,没有任何额外的人类指定的监督,我们可以重建一个动态场景与一个单一的刚性物体在运动中,同时分解成两个组成部分,并编码每个与自己的神经表示。我们通过联合优化两个神经辐射场的参数和一组刚性姿态来实现这一点,这些刚性姿态在每个帧处对齐两个场。在合成和真实世界的数据集上,我们证明了我们的方法可以呈现逼真的新颖视图,其中新颖性是在空间和时间轴上测量的。我们的因子表示还可以实现看不见的对象运动的动画。
2020-12-22 cs.CV cs.GR
EffiScene: Efficient Per-Pixel Rigidity Inference for Unsupervised Joint Learning of Optical Flow, Depth, Camera Pose and Motion Segmentation
Xidian University(西安电子科技大学);Johns Hopkins University(约翰斯·霍普金斯大学);Xidian Guangzhou Institute of Technology(西安电子科技大学广州研究院)
本文解决了具有挑战性的无监督场景流估计问题,通过联合学习四个低级视觉子任务:光流$\textbf{F}$,立体深度$\textbf{D}$,相机姿态$\textbf{P}$和运动分割$\textbf{S}$。我们的关键见解是,场景的刚性与对象运动和场景深度共享相同的固有几何结构。因此,可以通过联合耦合$\textbf{F}$、$\textbf{D}$和$\textbf{P}$来推断来自$\textbf{S}$的刚性,以实现更鲁棒的估计。为此,我们提出了一种新的场景流框架EffiScene,它具有高效的联合刚性学习,超越了现有的具有独立辅助结构的管道。在EffiScene中,我们首先在粗略的水平上估计光流和深度,然后通过Perspective-$n$-Points方法计算相机位姿。为了共同学习局部刚性,我们设计了一个新的运动刚性(RfM)层,该层具有三个主要组成部分:\emph{}{(i)}相关提取; \emph{}{(ii)}边界学习;和\emph{}{(iii)}离群值排除。最终输出基于来自RfM的刚性图$M_R$在更精细的水平上进行融合。为了有效地训练EffiScene,设计了两个新的损失$\mathcal{L}_{bnd}$和$\mathcal{L}_{unc}$,以防止平凡的解决方案和正则化流动边界不连续性。在场景流基准KITTI上进行的大量实验表明,该方法是有效的,并显著…
2021-05-15 cs.CV
D-NeRF: Neural Radiance Fields for Dynamic Scenes
Institut de Robòtica i Informàtica Industrial CSIC-UPC(西班牙高等科学研究委员会-加泰罗尼亚理工大学 工业机器人与信息学研究所);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
结合机器学习和几何推理的神经渲染技术已经成为从稀疏图像集合合成场景的新视图的最有前途的方法之一。其中,神经辐射场(NeRF)脱颖而出,它训练深度网络将5D输入坐标(表示空间位置和观察方向)映射到体积密度和视图相关的发射辐射。然而,尽管在生成的图像上实现了前所未有的照相现实主义水平,但NeRF仅适用于静态场景,其中可以从不同的图像查询相同的空间位置。在本文中,我们介绍了D-NeRF,一种方法,扩展神经辐射场的动态域,允许重建和渲染新的图像下的刚性和非刚性运动的对象从\emph{single}相机移动的场景。为此,我们考虑时间作为系统的额外输入,并将学习过程分为两个主要阶段:一个将场景编码到规范空间中,另一个将此规范表示映射到特定时间的变形场景中。这两个映射是使用全连接网络同时学习的。一旦网络经过训练,D-NeRF就可以渲染新的图像,控制相机视图和时间变量,从而控制对象的移动。我们证明了我们的方法在场景中的物体刚性,关节和非刚性运动的有效性。代码,模型权重和动态场景数据集将被释放。
2020-11-27 cs.CV
Superpixel Soup: Monocular Dense 3D Reconstruction of a Complex Dynamic Scene
ETH Zürich(苏黎世联邦理工学院);Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学)
这项工作解决了密集的三维重建的复杂动态场景的图像的任务。解决这一任务的普遍想法是由一系列步骤组成的,并且取决于其执行过程中几个管道的成功。为了克服现有算法的局限性,我们提出了一个统一的方法来解决这个问题。我们假设一个动态场景可以近似由许多分段平面表面,其中每个平面表面享有自己的刚性运动,和两帧之间的场景中的全局变化是刚性尽可能(ARAP)。因此,我们的模型的动态场景减少到汤的平面结构和这些局部平面结构的刚性运动。使用平面过分割的场景,我们减少这项任务,以解决“3D拼图”的问题。因此,任务归结为正确地组装每个刚性件,以构建符合ARAP假设下场景几何形状的3D形状。此外,我们表明,我们的方法提供了一个有效的解决方案,在透视投影下的运动结构的固有的规模模糊性。我们提供了广泛的实验结果和评估几个基准数据集。与竞争方法的定量比较显示了最先进的性能。
2019-11-19 cs.CV
Contrastive Gaussian Clustering: Weakly Supervised 3D Scene Segmentation
Istituto Italiano di Tecnologia (IIT)(意大利技术研究院)
本文提出对比高斯聚类方法,通过为每个三维高斯学习分割特征向量,结合对比学习与空间正则化,在弱监督下实现跨视角一致的三维场景分割,并较现有技术提升IoU准确率8%。
2024-04-19 cs.CV cs.LG
EMR-MSF: Self-Supervised Recurrent Monocular Scene Flow Exploiting Ego-Motion Rigidity
Tokyo Institute of Technology(东京工业大学)
提出EMR-MSF自监督单目场景流模型,利用自运动刚性和软掩码过滤动态区域,结合多种损失与训练策略,在KITTI基准上SF-all指标提升44%,性能媲美监督方法。
2023-09-04 cs.CV
Monocular Dense 3D Reconstruction of a Complex Dynamic Scene from Two Perspective Frames
Australian National University(澳大利亚国立大学);Northwestern Polytechnical University(西北工业大学);Australia Centre for Robotic Vision(澳大利亚机器人视觉中心)
本文提出了一种新的方法,从两个透视帧的单目密集三维重建的复杂动态场景。通过对图像应用超像素过分割,我们用分段平面和刚性近似来建模一般动态(因此非刚性)场景。通过这种方式,我们将动态重建问题简化为“3D拼图”问题,该问题从无组织的“超像素汤”中取出碎片。我们表明,我们的方法提供了一个有效的解决方案,固有的相对规模的模糊性,从运动的结构。由于我们的方法不假设模板先验,或每对象分割,或动态场景的刚性知识,它适用于广泛的场景。大量的实验上的合成和真正的单目序列证明了我们的方法相比,国家的最先进的方法的优越性。
2017-12-20 cs.CV
Weakly Supervised Scene Text Generation for Low-resource Languages
East China Normal University(华东师范大学);University of Malaya(马来亚大学);iFLYTEK Research(科大讯飞研究院)
针对低资源语言场景文本生成依赖大量配对数据的问题,提出一种弱监督方法,利用少量识别级标签解耦内容与风格特征,通过跨语言生成提升场景文本识别准确率。
2023-06-27 cs.CV
wildNeRF: Complete view synthesis of in-the-wild dynamic scenes captured using sparse monocular data
University of Toronto(多伦多大学)
我们提出了一种新的神经辐射模型,是可训练的自监督的方式,新的动态非结构化场景的视图合成。我们的端到端可训练算法可在几秒钟内学习高度复杂的真实静态场景,并在几分钟内学习具有刚性和非刚性运动的动态场景。通过区分静态和以运动为中心的像素,我们从稀疏的图像集创建高质量的表示。我们对现有的基准进行了广泛的定性和定量评估,并在具有挑战性的NVIDIA动态场景数据集上设置了最先进的性能指标。此外,我们还评估了我们的模型在具有挑战性的现实世界数据集上的性能,如Cholec80和Surgicalpaths 160。
2022-09-20 cs.CV
Weakly Supervised Learning of Multi-Object 3D Scene Decompositions Using Deep Shape Priors
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Max Planck ETH Center for Learning Systems(马克斯·普朗克-ETH学习系统中心);ETH Zurich(苏黎世联邦理工学院);Microsoft(微软)
以对象的粒度表示场景是场景理解和决策的前提。我们提出了PriSMONet,一种新的方法,基于先验形状知识学习多对象3D场景分解和表示从单个图像。我们的方法学习将平面上具有多个对象的合成场景的图像分解为其组成场景对象,并从单个视图中推断其3D属性。递归编码器从输入RGB图像中回归每个对象的3D形状、姿态和纹理的潜在表示。通过微分绘制,我们训练我们的模型分解场景从RGB-D图像在一个自我监督的方式。3D形状在函数空间中连续表示为有符号距离函数,我们以监督的方式从示例形状中进行预训练。这些形状先验提供了弱监督信号,以更好地调节具有挑战性的整体学习任务。我们评估我们的模型在推断3D场景布局的准确性,展示其生成能力,评估其泛化到真实图像,并指出学习表示的好处。
2022-05-03 cs.CV
PointFlowNet: Learning Representations for Rigid Motion Estimation from Point Clouds
MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学)
尽管基于图像的3D场景流估计取得了重大进展,但这些方法的性能尚未达到许多应用所需的保真度。同时,这些应用通常不限于基于图像的估计:激光扫描仪提供了传统相机的流行替代品,例如在自动驾驶汽车的背景下,因为它们直接产生3D点云。在本文中,我们建议使用深度神经网络从这种非结构化点云估计3D运动。在一个单一的向前通过,我们的模型共同预测三维场景流以及三维限界框和刚体运动的场景中的对象。虽然从非结构化点云估计3D场景流的前景是有希望的,但它也是一个具有挑战性的任务。我们证明了刚体运动的传统全局表示禁止CNN进行推理,并提出了一种平移等变表示来规避这个问题。为了训练我们的深度网络,需要一个大型数据集。因此,我们使用虚拟对象增强KITTI的真实扫描,逼真地建模遮挡并模拟传感器噪声。与经典的和基于学习的技术进行了彻底的比较,突出了所提出的方法的鲁棒性。
2019-01-07 cs.CV
Weakly Supervised Adversarial Domain Adaptation for Semantic Segmentation in Urban Scenes
Northwestern Polytechnical University(西北工业大学)
语义分割是一种像素级的视觉任务,通过使用卷积神经网络(CNN)得到了快速发展。训练CNN需要大量的标记数据,但手动注释数据很困难。为了解放人力,近年来,一些合成数据集被发布。然而,它们仍然不同于真实场景,这导致在合成数据(源域)上训练模型不能在真实城市场景(目标域)上取得良好的性能。本文提出了一种弱监督对抗性领域自适应来提高从合成数据到真实场景的分割性能,它由三个深度神经网络组成。具体而言,检测和分割(简称“DS”)模型专注于检测对象和预测分割图;像素级域分类器(简称“PDC”)试图区分图像特征来自哪些域;对象级域分类器(简称“ODC”)区分对象来自哪些域并预测对象类别。PDC和ODC被视为鉴别器,DS被视为生成器。通过对抗学习,DS应该学习域不变特征。在实验中,我们提出的方法产生了新的记录mIoU度量在同一问题。
2019-04-19 cs.CV