Semi-supervised Learning for Dense Object Detection in Retail Scenes
ParallelDots, Inc.(ParallelDots公司)
零售场景通常在每个图像中包含密集的大量对象。标准的目标检测技术使用完全监督的训练方法。这是非常昂贵的,因为与标准数据集相比,注释大的密集零售目标检测数据集涉及多一个数量级的工作。因此,我们提出了半监督学习,以有效地利用大量的未标记的数据在零售领域。我们适应一个流行的自我监督的方法,称为嘈杂的学生最初提出的对象分类密集的目标检测的任务。我们表明,使用未标记的数据与嘈杂的学生训练方法,我们可以提高在密集的零售场景中精确检测物体的最新技术水平。我们还表明,模型的性能随着未标记数据量的增加而增加。
2021-07-05 cs.CV
Self-Supervised Scene De-occlusion
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
自然场景理解是一项具有挑战性的任务,特别是当遇到部分遮挡的多个对象的图像时。这个障碍是由不同的对象排序和定位引起的。现有的场景理解范例只能解析可见部分,导致不完整和非结构化的场景解释。本文研究场景去遮挡问题,旨在恢复底层遮挡顺序并完整被遮挡对象的不可见部分。我们第一次尝试通过一个新的和统一的框架,恢复隐藏的场景结构,而不订购和amodal注释作为监督来解决这个问题。这是通过部分完成网络(PCNet)-掩码(M)和-内容(C)来实现的,它们分别以自我监督的方式学习恢复对象掩码和内容的部分。在PCNet-M和PCNet-C的基础上,我们设计了一种新的推理方案,通过顺序恢复、非模态完成和内容完成来实现场景去遮挡。在现实场景中进行的大量实验证明了我们的方法比其他替代方案具有更优越的性能。值得注意的是,我们以自我监督方式训练的方法取得了与完全监督方法相当的结果。所提出的场景去遮挡框架有益于许多应用,包括高质量和可控的图像操纵和场景重组(参见图1),以及现有模态掩模注释到非模态掩模注释的转换。
2020-04-06 cs.CV
SPSG: Self-Supervised Photometric Scene Generation from RGB-D Scans
Technical University of Munich(慕尼黑工业大学);Google(谷歌)
我们提出了SPSG,一种新的方法来生成高质量的,彩色的3D模型的场景从RGB-D扫描观察学习推断未观察到的场景几何形状和颜色在一个自我监督的方式。我们的自我监督方法通过将不完整的RGB-D扫描与该扫描的更完整版本相关联来学习联合修复几何形状和颜色。值得注意的是,我们不是依靠3D重建损失来告知我们的3D几何和颜色重建,而是提出了在2D渲染上操作的对抗性和感知损失,以实现场景的高分辨率,高质量的彩色重建。这利用了来自单个原始RGB-D帧的高分辨率、自一致信号,而帧的融合3D重建则表现出与视图相关效果的不一致性,例如色彩平衡或姿势不一致。因此,通过直接通过2D信号通知我们的3D场景生成,我们可以生成高质量的3D场景彩色重建,在合成和真实数据上都优于现有技术。
2021-04-28 cs.CV
Self-Supervised Relation Alignment for Scene Graph Generation
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(Vector人工智能研究所);Canada CIFAR AI Chair(加拿大CIFAR人工智能讲席)
针对场景图生成任务,提出一种可与任意现有框架结合的自监督关系对齐正则化方法,通过带掩码的辅助分支蒸馏对齐监督分支预测,在SGTR和Neural Motifs架构上均实现性能显著提升。
2023-12-12 cs.CV
Self-Supervised Robust Scene Flow Estimation via the Alignment of Probability Density Functions
University of Florida(佛罗里达大学)
在本文中,我们提出了一种新的自监督场景流估计方法的一对连续的点云。我们的方法的核心思想是表示离散点云连续的概率密度函数,使用高斯混合模型。因此,场景流估计转换成恢复运动的概率密度函数,我们实现使用经典的Cauchy-Schwarz发散的封闭形式的表达对齐的问题。与现有的基于最近邻的方法使用硬配对对应不同,我们提出的方法在点云之间建立了软和隐式的点对应,并在存在缺失对应和离群值的情况下生成更鲁棒和准确的场景流。综合实验表明,我们的方法在真实世界环境中的倒角距离和地球移动器的距离上取得了显着的增益,并在FlyingThings 3D和KITTI上的自监督学习方法中实现了最先进的性能,甚至优于一些具有地面真实标注的监督方法。
2022-03-23 cs.CV
Weakly Supervised Learning of Multi-Object 3D Scene Decompositions Using Deep Shape Priors
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Max Planck ETH Center for Learning Systems(马克斯·普朗克-ETH学习系统中心);ETH Zurich(苏黎世联邦理工学院);Microsoft(微软)
以对象的粒度表示场景是场景理解和决策的前提。我们提出了PriSMONet,一种新的方法,基于先验形状知识学习多对象3D场景分解和表示从单个图像。我们的方法学习将平面上具有多个对象的合成场景的图像分解为其组成场景对象,并从单个视图中推断其3D属性。递归编码器从输入RGB图像中回归每个对象的3D形状、姿态和纹理的潜在表示。通过微分绘制,我们训练我们的模型分解场景从RGB-D图像在一个自我监督的方式。3D形状在函数空间中连续表示为有符号距离函数,我们以监督的方式从示例形状中进行预训练。这些形状先验提供了弱监督信号,以更好地调节具有挑战性的整体学习任务。我们评估我们的模型在推断3D场景布局的准确性,展示其生成能力,评估其泛化到真实图像,并指出学习表示的好处。
2022-05-03 cs.CV
NeRF-SOS: Any-View Self-supervised Object Segmentation on Complex Scenes
University of Texas at Austin(德克萨斯大学奥斯汀分校)
神经体积表示已经表明,多层感知机(MLP)可以通过多视图校准图像进行优化,以表示场景几何形状和外观,而无需显式3D监督。基于学习的辐射场,对象分割可以丰富许多下游应用。然而,引入手工制作的分割来定义复杂的真实世界场景中的感兴趣区域是不平凡的和昂贵的,因为它需要每个视图注释。针对复杂的真实场景,利用NeRF进行了自监督学习的目标分割探索。我们的框架,称为NeRF与自监督对象分割NeRF-SOS,耦合对象分割和神经辐射场分割对象在场景内的任何视图。通过在外观和几何级别提出一种新的协作对比损失,NeRF-SOS鼓励NeRF模型从其密度场和自监督预训练的2D视觉特征中提取紧凑的几何感知分割集群。自监督对象分割框架可以应用于各种NeRF模型,这些模型可以为室内和室外场景提供照片般逼真的渲染结果和令人信服的分割图。LLFF、Tank & Temple和BlendedMVS数据集上的大量结果验证了NeRF-SOS的有效性。它始终优于其他基于2D的自监督基线,并预测比现有监督同行更精细的语义掩码。请参阅我们项目页面上的视频了解更多详情:https://zhiwenfan.github.io/NeRF-SOS。
2022-10-12 cs.CV
Exploring Scene Affinity for Semi-Supervised LiDAR Semantic Segmentation
School of Computer Science, Wuhan University(武汉大学计算机学院);School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院);School of Computer Science and Technology, Hainan University(海南大学计算机科学与技术学院);School of Electronic Information, Wuhan University(武汉大学电子信息学院);State Key Lab. of LIESMARS, Wuhan University(武汉大学LIESMARS国家重点实验室);Institute for Math & AI, Wuhan University(武汉大学数学与人工智能研究院)
本文提出AIScene方法,通过移除无伪标签点确保场景内前后向传播一致性,并结合多场景混合增强,显著提升了半监督LiDAR语义分割性能。
2025-04-01 cs.CV
Unsupervised Object-Level Representation Learning from Scene Images
Nanyang Technological University(南洋理工大学);The Chinese University of Hong Kong(香港中文大学);A*STAR, Singapore(新加坡科技研究局)
对比自监督学习在很大程度上缩小了与ImageNet上的监督预训练的差距。然而,它的成功高度依赖于ImageNet以对象为中心的先验,即,同一图像的不同增强视图对应于同一对象。当在具有许多对象的更复杂场景图像上进行预训练时,这种高度策划的约束立即变得不可行。为了克服这一局限性,我们引入对象级表示学习(ORL),一个新的自监督学习框架对场景图像。我们的关键见解是利用图像级自监督预训练作为先验,以发现对象级语义对应关系,从而实现从场景图像中进行对象级表示学习。COCO上的大量实验表明,ORL显著提高了场景图像的自监督学习性能,甚至在几个下游任务上超过了有监督的ImageNet预训练。此外,ORL提高了下游性能时,更多的未标记的场景图像,展示了其巨大的潜力,利用未标记的数据在野外。我们希望我们的方法可以激励未来的研究更通用的无监督表示学习从场景数据。
2021-12-03 cs.CV
The effect of scene context on weakly supervised semantic segmentation
Shahid Beheshti University(沙希德·贝赫什提大学);Cyberspace Research Institute, Shahid Beheshti University(沙希德·贝赫什提大学网络空间研究院)
图像语义分割是将图像分割成若干个区域,每个区域都包含一个语义概念。在弱监督的方式下,由于只有图像级标签可用,因此将对象与背景区分开来是具有挑战性的,并且在某些情况下更加困难。更具体地,在一个特定场景中通常看到的一些对象(例如,“训练”通常在“铁路轨道”上看到)更有可能被混淆。在本文中,我们提出了一种方法来添加特定于目标的场景,以克服上述问题。实际上,我们提出了一个场景推荐器,它建议在目标数据集中添加一些特定的场景上下文,以便更准确地训练模型。值得注意的是,这一想法可以成为许多其他方法基线的补充部分。实验结果验证了该方法对添加场景背景的对象的有效性。
2019-06-07 cs.CV
MonoSelfRecon: Purely Self-Supervised Explicit Generalizable 3D Reconstruction of Indoor Scenes from Monocular RGB Views
UC San Diego(加州大学圣地亚哥分校);Qualcomm(高通公司)
本文提出MonoSelfRecon框架,利用体素-SDF、可泛化NeRF和新型自监督损失,首次从单目RGB实现纯自监督、显式且可泛化的室内三维网格重建。
2024-04-10 cs.CV
SGRec3D: Self-Supervised 3D Scene Graph Learning via Object-Level Scene Reconstruction
Bosch Center for Artificial Intelligence Robert Bosch Corporate Research(博世人工智能中心 罗伯特·博世企业研究);University of Ulm(乌尔姆大学);TU Wien(维也纳工业大学)
针对3D场景图全监督学习标注成本高、现有点云预训练方法效果不佳的问题,提出SGRec3D自监督预训练方法,以图瓶颈重建为前置任务,利用无关系标注数据,实现SOTA性能且微调仅需10%标注数据。
2023-11-06 cs.CV
WeText: Scene Text Detection under Weak Supervision
Institute for Infocomm Research(资讯通信研究院);Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
需要大量带注释的训练数据已经成为各种深度学习系统的共同约束。在本文中,我们提出了一种弱监督场景文本检测方法(WeText),通过从未注释或弱注释的数据中学习来训练鲁棒且准确的场景文本检测模型。通过在一个小的完全注释的数据集上训练的“轻”监督模型,我们分别在一个大的未注释的数据集和一个大的弱注释的数据集上探索半监督和弱监督学习。对于无监督学习,将轻监督模型应用于未注释的数据集以搜索更多的字符训练样本,这些样本进一步与小注释数据集组合以重新训练更优的字符检测模型。对于弱监督学习,字符搜索由单词/文本行的高级注释引导,这些注释广泛可用并且也更容易准备。此外,我们通过基于回归的深度网络设计了一个统一的场景特征检测器,这大大缓解了大多数传统方法中广泛存在的错误积累问题。在不同的未注释和弱注释数据集上的大量实验表明,场景文本检测性能在两种情况下都可以明显提高,其中弱监督学习可以通过仅使用229个完全注释的场景文本图像来实现最先进的性能。
2017-10-13 cs.CV
3D Object Detection with a Self-supervised Lidar Scene Flow Backbone
Technical University of Munich(慕尼黑工业大学);Tongji University(同济大学)
最先进的基于激光雷达的3D目标检测方法依赖于监督学习和大型标记数据集。然而,注释激光雷达数据是消耗资源的,并且仅依赖于监督学习限制了训练模型的适用性。自我监督训练策略可以通过学习下游3D视觉任务的通用点云骨干模型来缓解这些问题。在此背景下,我们展示了自监督多帧流表示和单帧3D检测假设之间的关系。我们的主要贡献是利用学习的流和运动表示,并将自监督骨干与监督3D检测头相结合。首先,一个自我监督的场景流估计模型的训练与循环一致性。然后,该模型的点云编码器被用作单帧三维目标检测头部模型的骨干。该第二3D目标检测模型学习利用运动表示来区分呈现不同运动模式的动态对象。在KITTI和nuScenes基准测试上的实验表明,所提出的自监督预训练显著提高了3D检测性能。https://github.com/emecercelik/ssl-3d-detection.git
2022-07-19 cs.CV
Human-Scene Network: A Novel Baseline with Self-rectifying Loss for Weakly supervised Video Anomaly Detection
INRIA(法国国家信息与自动化研究所);Woven Planet Holdings;Toyota Motor Europe(丰田汽车欧洲公司)
在只有视频级标签(即弱监督)的监控系统中,视频异常检测是具有挑战性的。这是由于:(i)基于人类和场景的异常的复杂整合,包括真实世界场景中的微妙和尖锐的时空线索,(ii)在弱监督下正常和异常实例之间的非最优优化。在本文中,我们提出了一个人类场景网络学习歧视性的表示,通过捕捉微妙和强烈的线索,在解离的方式。此外,还提出了一种自校正损失,从视频级标签中动态计算伪时间注释,以有效地优化人-场景网络。在三个公开可用的数据集上验证了所提出的具有自校正损失优化的人类场景网络,即UCF-Crime,ShanghaiTech和IITB-Corridor,在所考虑的六个场景中的五个场景中,表现优于最近报道的最先进的方法。
2023-01-19 cs.CV
Hierarchical Scene Parsing by Weakly Supervised Learning with Image Descriptions
Sun Yat-sen University(中山大学);Hefei University of Technology(合肥工业大学);Harbin Institute of Technology(哈尔滨工业大学)
本文研究了场景理解的一个基本问题:如何将场景图像解析成结构化配置(即,具有对象交互关系的语义对象层次结构)。我们提出了一个由两个网络组成的深度架构:i)卷积神经网络(CNN)提取图像表示用于逐像素对象标记,ii)递归神经网络(RsNN)发现分层对象结构和对象间关系。而不是依赖于精心的注释(例如,手动标记的语义图和关系),我们通过利用训练图像的描述性语句以弱监督学习方式训练我们的深度模型。具体来说,我们将每个句子分解成一个由名词和动词短语组成的语义树,并应用这些树结构来发现训练图像的配置。一旦确定了这些场景配置,则通过反向传播相应地更新CNN和RsNN两者的参数。整个模型的训练是通过期望最大化方法完成的。大量的实验表明,我们的模型能够产生有意义的场景配置,并在两个基准上实现更有利的场景标记结果(即,PASCAL VOC 2012和SYSU-Scenes)与其他最先进的弱监督深度学习方法相比。特别是,SYSU-Scenes包含超过5000个场景图像及其语义句子描述,这是我们为推进场景解析研究而创建的。
2018-01-27 cs.CV
Weakly Supervised Cross-Modal Learning for 4D Radar Scene Flow Estimation
Zhejiang University, Hangzhou, Zhejiang, China(浙江大学);Zhejiang Provincial Key Laboratory of Multi-Modal Communication Networks and Intelligent Information Processing(浙江省多模态通信网络与智能信息处理重点实验室);Singapore University of Technology and Design(新加坡科技设计大学)
本文提出了一种弱监督的雷达场景流学习框架,利用图像和里程计进行辅助监督,通过实例感知的自监督损失和静态区域的刚性损失,实现了更高效的场景流估计。
2026-05-21 cs.CV
Self-Supervised 3D Scene Flow Estimation and Motion Prediction using Local Rigidity Prior
提出基于局部刚性先验的自监督3D场景流估计方法,通过分段刚性运动生成伪标签并利用有效性掩码训练,在多个数据集上达到最先进性能。
2023-10-17 cs.CV
Remote Sensing Image Scene Classification with Self-Supervised Paradigm under Limited Labeled Samples
Central South University(中南大学)
随着深度学习的发展,监督学习方法在遥感影像场景分类中取得了良好的效果。然而,监督学习需要大量的注释数据进行训练。当标记的样本不够时,最常见的解决方案是使用大型自然图像数据集(例如ImageNet)微调预训练模型。然而,这种学习范式并不是万能的,特别是当目标遥感图像(例如多光谱和高光谱数据)具有与RGB自然图像不同的成像机制时。为了解决这个问题,我们引入了新的自监督学习(SSL)机制,以获得高性能的预训练模型,从大规模的未标记数据的RSIs场景分类。在三个常用的RSIs场景分类数据集上的实验表明,这种新的学习范式优于传统的主流ImageNet预训练模型。此外,我们分析了SSL中的几个因素对RSIs场景分类任务的影响,包括自监督信号的选择,源和目标数据集之间的域差异,以及预训练数据的量。从我们的研究中提炼出的见解可以帮助促进SSL在遥感界的发展。由于SSL可以从非常容易获得的未标记的大量RSI中学习,因此它将是一种潜在的有希望的方法,以减轻对标记样本的依赖,从而有效地解决许多问题,例如全局映射。
2020-10-02 cs.CV
Semantic Implicit Neural Scene Representations With Semi-Supervised Training
Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
隐式神经场景表示最近的成功为我们如何捕获和存储3D场景提供了一种可行的新方法。与传统的3D表示(例如点云)不同,这些隐式表示将场景属性明确存储在离散的局部单元中,这些隐式表示将场景编码在神经网络的权重中,可以在任何坐标处查询该权重以产生这些相同的场景属性。到目前为止,隐式表示主要被优化为仅估计场景中的外观和/或3D几何信息。我们采取下一步,并证明现有的隐式表示(SRN)实际上是多模态的,它可以进一步利用来执行每点语义分割,同时保留其表示外观和几何形状的能力。为了实现这种多模态的行为,我们利用一个半监督学习策略,现有的预训练的场景表示。我们的方法是简单的,通用的,只需要几十个标记的二维分割掩模,以实现密集的三维语义分割。我们探索了两个新的应用,这种语义感知隐式神经场景表示:3D新的视图和语义标签合成只给一个单一的输入RGB图像或2D标签掩码,以及3D插值的外观和语义。
2021-01-17 cs.CV
DoGFlow: Self-Supervised LiDAR Scene Flow via Cross-Modal Doppler Guidance
KTH Royal Institute of Technology(皇家理工学院);Autonomous Transport Solutions Lab, Scania Group(自主运输解决方案实验室,斯堪尼亚集团)
针对自主系统3D场景流估计中人工标注数据集的瓶颈问题,提出DoGFlow自监督框架,通过跨模态多普勒引导迁移运动伪标签,无需人工标注即可提升LiDAR场景流性能,在MAN TruckScenes数据集上大幅超越现有自监督方法并提高标签效率。
2025-08-25 cs.CV
Boundary-aware Self-supervised Learning for Video Scene Segmentation
Kakao Brain;Seoul National University(首尔大学);Hanyang University(汉阳大学)
自监督学习通过其在没有地面实况注释的情况下学习域内表示的有效性引起了人们的注意;特别地,已经表明适当设计的借口任务(例如,对比预测任务)为下游任务(例如,分类任务)。受此启发,我们解决视频场景分割,这是一个任务的时间定位场景边界的视频,与自监督学习框架,我们主要集中在设计有效的借口任务。在我们的框架中,我们通过将镜头序列分成两个连续的、不重叠的子序列来发现伪边界,并利用伪边界来促进预训练。在此基础上,我们介绍了三个新的边界感知借口任务:1)镜头场景匹配(SSM),2)上下文组匹配(CGM)和3)伪边界预测(PP); SSM和CGM引导模型最大化场景内相似性和场景间区分度,而PP鼓励模型识别过渡时刻。通过综合分析,我们实证表明,预训练和转移上下文表示都是提高视频场景分割性能的关键。最后,我们在MovieNet-SSeg基准上实现了新的最先进的技术。该代码可在https://github.com/kakaobrain/bassl上获得。
2022-01-14 cs.CV
Self-Supervised Equivariant Scene Synthesis from Video
NYU(纽约大学);NVidia(英伟达);Technical University of Berlin(柏林工业大学);Google(谷歌)
我们提出了一个自我监督的框架来学习场景表示从视频自动划定为背景,人物,和他们的动画。我们的方法利用了移动字符是等变的,相对于他们的跨帧的变换和背景是恒定的,相对于相同的变换。经过训练后,我们可以实时的操纵图像编码,以创建所描绘的组件的不可见组合。据我们所知,我们是第一个对可解释的背景、角色和动画进行无监督提取和合成的方法。我们在三个数据集上展示了结果:移动MNIST背景,2D视频游戏精灵和时尚建模。
2021-02-01 cs.CV
Self-Point-Flow: Self-Supervised Scene Flow Estimation from Point Clouds with Optimal Transport and Random Walk
Nanyang Technological University(南洋理工大学)
由于带注释的场景流数据的稀缺性,点云中的自监督场景流学习越来越受到人们的关注。在自监督的方式下,建立两个点云之间的对应关系来近似场景流是一种有效的方法。以往的匹配方法往往只考虑点坐标上的距离,忽略了其他判别性指标,如颜色和表面法线等,而这些判别性指标往往能为精确匹配提供有用的线索;以及(2)由于匹配是在不受约束的情况下操作的,其中多个点可能以相同的对应点结束,因此它经常产生低于标准的性能。为了解决这些问题,我们制定了这个匹配任务作为一个最优的运输问题。输出的最优分配矩阵可以用来指导伪地面真值的生成。在这个最优的运输,我们设计的运输成本,考虑多个描述符,并鼓励一对一的匹配质量平等的约束。同时,在点上构造一个图,引入随机游走模块以提高伪标签的局部一致性。在FlyingThings 3D和KITTI上的综合实验表明,该方法在自监督学习方法中达到了最先进的性能。我们的自监督方法甚至可以与一些监督学习方法相提并论,尽管我们不需要任何基础事实流进行训练。
2021-05-18 cs.CV
SG-NN: Sparse Generative Neural Networks for Self-Supervised Scene Completion of RGB-D Scans
Technical University of Munich(慕尼黑工业大学)
我们提出了一种新的方法,通过推断未观察到的场景几何形状,将部分和嘈杂的RGB-D扫描转换为高质量的3D场景重建。我们的方法是完全自我监督的,因此可以只在真实世界的不完整扫描上进行训练。为了实现自我监督,我们从一个给定的(不完整的)3D扫描中删除帧,以使其更加不完整;然后通过将同一扫描的两个级别的局部性相关联,同时掩盖从未观察到的区域,来制定自我监督。通过在大型训练集上进行泛化,我们可以预测3D场景的完成,而无需看到任何完全完整的几何体的3D扫描。结合一个新的3D稀疏生成神经网络架构,我们的方法是能够预测高度详细的表面在一个由粗到细的分层方式,生成3D场景在2厘米的分辨率,超过现有的国家的最先进的方法的分辨率的两倍,以及优于他们的重建质量的显着保证金。
2020-03-24 cs.CV
S4C: Self-Supervised Semantic Scene Completion with Neural Fields
Technical University of Munich(慕尼黑工业大学);MCML;University of Oxford(牛津大学)
S4C提出首个不依赖3D地面真值的自监督语义场景补全方法,利用隐式语义场和渲染损失,从单图重建场景,性能接近全监督方法并具强泛化能力。
2023-10-12 cs.CV
SCANet: Scene Complexity Aware Network for Weakly-Supervised Video Moment Retrieval
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
针对弱监督视频时刻检索中现有提案未考虑视频场景数量变化的问题,提出SCANet,通过测量视频场景复杂度生成自适应提案,在三个基准上取得最先进性能。
2025-04-14 cs.CV
ShelfGaussian: Shelf-Supervised Open-Vocabulary Gaussian-based 3D Scene Understanding
Georgia Institute of Technology(佐治亚理工学院)
本文提出ShelfGaussian框架,利用货架监督学习方法,结合多模态高斯变换,提升3D场景理解的开放词汇能力,实验显示其在零样本语义占用预测中表现优异。
2026-04-10 cs.CV
Active Self-Training for Weakly Supervised 3D Scene Semantic Segmentation
Shenzhen University(深圳大学);Carleton University(卡尔顿大学)
由于为训练点云的语义分割网络准备标记数据是一个耗时的过程,因此已经引入了弱监督方法来仅从一小部分数据中学习。这些方法通常基于具有对比损失的学习,同时从用户注释的标签的稀疏集合自动导出每点伪标签。在本文中,我们的主要观察结果是,选择要注释的样本与如何使用这些样本进行训练一样重要。因此,我们介绍了一种弱监督分割的3D场景,结合自我训练与主动学习的方法。主动学习选择可能导致训练模型性能改进的注释点,而自训练有效地使用用户提供的标签来学习模型。我们证明,我们的方法导致一个有效的方法,提供了改进的场景分割在以前的作品和基线,同时只需要少量的用户注释。
2022-09-15 cs.CV
CloudMatch: Weak-to-Strong Consistency Learning for Semi-Supervised Cloud Detection
School of Information Science and Engineering, Lanzhou University(兰州大学信息科学与工程学院);Faculty of Data Science, City University of Macau(澳门城市大学数据科学学院)
CloudMatch通过弱到强一致性学习和场景混合增强,提升半监督云检测的性能。
2026-01-07 cs.CV
ContrastMotion: Self-supervised Scene Motion Learning for Large-Scale LiDAR Point Clouds
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Rhino(犀牛(公司));The Chinese University of Hong Kong(香港中文大学);OPPO Research Institute(OPPO研究院);Zhejiang Lab(之江实验室);ShanghaiTech University(上海科技大学)
该研究提出 ContrastMotion,通过 BEV pillar 的特征级一致性、Soft Discriminative Loss、门控多帧融合与 pillar association,实现 LiDAR 点云的自监督场景运动估计。
2023-04-25 cs.CV
Self-supervised Point Cloud Completion on Real Traffic Scenes via Scene-concerned Bottom-up Mechanism
ShanghaiTech University(上海科技大学);Chinese University of Hong Kong(香港中文大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉成像工程研究中心)
由于自遮挡、外部遮挡和有限的传感器分辨率,实际扫描总是错过物体的部分几何形状。点云完成旨在为对象的不完整3D扫描提供完整的形状。目前基于深度学习的方法在训练过程中依赖于大规模的完整形状,这些形状通常是从合成数据集中获得的。由于域间隙,它不适用于实际扫描。在本文中,我们提出了一种自监督点云完成方法(TraPCC)的车辆在真实的交通场景中没有任何完整的数据。基于车辆的对称性和相似性,利用连续的点云框架构建车辆存储体作为参考。我们设计了一个自自底向上的【形】的机制,专注于局部几何细节和全球形状特征的输入。此外,我们设计了一个场景图在网络中的帮助下,注意到周围的车辆的缺失部分。实验结果表明,TraPCC算法在KITTI和nuScenes流量数据集上,即使在没有完整数据的情况下,也能获得较好的实扫描完成性能.我们还展示了3D检测的下游应用,这得益于我们的完成方法。
2022-03-20 cs.CV
SSFlowNet: Semi-supervised Scene Flow Estimation On Point Clouds With Pseudo Label
Xiamen University(厦门大学);University of Copenhagen(哥本哈根大学)
本文提出SSFlowNet,一种基于伪标签的点云半监督场景流估计方法,通过结合标注与未标注数据、利用空间记忆特征和相关矩阵,在减少标注依赖的同时保持高精度,并在不同数据量下表现优异。
2024-06-04 cs.CV
LEGO: Self-Supervised Representation Learning for Scene Text Images
South China University of Technology(华南理工大学)
针对场景文本图像合成与真实数据分布差异问题,提出 LEGO 自监督表示学习方法,通过三个前置任务和文本知识码本建模序列、语义与结构特征,提升识别及相关文本任务性能。
2024-08-04 cs.CV
Differencing based Self-supervised pretraining for Scene Change Detection
Advanced Research Lab, NavInfo Europe(NavInfo欧洲高级研究实验室)
场景变化检测(SCD)是一项重要的感知任务,通过比较不同时间拍摄的场景来识别变化。SCD是具有挑战性的,由于噪声的变化,照明,季节变化,和跨一对视图的视角差异。基于深度神经网络的解决方案需要大量的注释数据,获得这些注释数据是繁琐且昂贵的。另一方面,来自大数据集的迁移学习会导致域转移。为了解决这些挑战,我们提出了一种新的\textit{Differencing self-supervised pretraining (DSP)}方法,该方法使用特征差分来学习与变化区域相对应的歧视性表示,同时通过强制执行跨视图的时间不变性来处理噪声变化。我们在SCD数据集上的实验结果证明了我们的方法的有效性,特别是对于相机视点和光照条件的差异。与自我监督的Barlow Twins和使用超过一百万个额外标记图像的标准ImageNet预训练相比,DSP可以在不使用任何额外数据的情况下超越它。我们的研究结果也证明了DSP的鲁棒性自然腐败,分布偏移,有限的标记数据下的学习。
2022-08-11 cs.CV
Scene Text Detection with Supervised Pyramid Context Network
Tongji University(同济大学);University of Electronic Science and Technology of China(电子科技大学);Megvii (Face++) Technology Inc.(旷视(Face++)科技有限公司)
基于深度学习的场景文本检测方法在过去几年取得了显著的成果。然而,由于自然场景的高度多样性和复杂性,当应用于在真实世界环境中捕获的图像时,先前的最先进的文本检测方法仍然可能产生相当数量的误报。为了解决这个问题,主要受Mask R-CNN的启发,本文提出了一种有效的场景文本检测模型,该模型基于特征金字塔网络(FPN)和实例分割。我们提出了一个监督金字塔上下文网络(SPCNET),以精确定位文本区域,同时抑制误报。由于语义信息的引导和FPN的共享,SPCNET在引入少量额外计算的同时,获得了显著的性能提升。在标准数据集上的实验表明,我们的SPCNET明显优于最先进的方法。具体而言,它在ICDAR 2013上实现了92.1%的F-测量,在ICDAR 2015上实现了87.2%,在ICDAR 2017 MLT上实现了74.1%,在Total-Text上实现了82.9%。
2018-11-21 cs.CV
SEE: Towards Semi-Supervised End-to-End Scene Text Recognition
Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳学院)
在自然场景图像中检测和识别文本是一个具有挑战性的,但尚未完全解决的任务。近年来,已经提出了几个新的系统,试图解决至少两个子任务(文本检测和文本识别)之一。在本文中,我们提出了SEE,半监督神经网络的场景文本检测和识别,可以优化端到端的一步。大多数现有的作品包括多个深度神经网络和几个预处理步骤。与此相反,我们建议使用单个深度神经网络,它以半监督的方式学习从自然图像中检测和识别文本。SEE是一个网络,它集成并联合学习空间Transformer网络和文本识别网络,空间transformer网络可以学习检测图像中的文本区域,文本识别网络可以识别识别的文本区域并识别其文本内容。我们介绍了我们的新方法背后的想法,并通过在标准基准数据集上进行一系列实验来展示其可行性,在这些实验中,我们获得了有竞争力的结果。
2017-12-14 cs.CV
ReADS: A Rectified Attentional Double Supervised Network for Scene Text Recognition
Meituan-Dianping Group(美团点评集团)
近年来,场景文本识别一直被认为是一个序列到序列的问题。连接主义时间分类(CTC)和注意序列识别(Attn)是两种非常流行的方法来解决这个问题,但他们可能会在某些情况下分别失败。CTC更关注单个字符,但在文本语义依赖建模方面比较薄弱。基于Attn的方法具有更好的上下文语义建模能力,但往往在有限的训练数据上过拟合。在本文中,我们精心设计了一个校正注意双监督网络(ReADS)的一般场景文本识别。为了克服CTC和Attn的不足,我们将它们都应用到我们的方法中,但在两个监督分支中使用了不同的模块,可以相互补充。此外,有效的空间和通道注意力机制的引入,以消除背景噪声和提取有效的前景信息。最后,实现了一个简单的校正网络来校正不规则文本。ReADS可以进行端到端的训练,只需要单词级的注释。在各种基准测试上的大量实验验证了ReADS的有效性,达到了最先进的性能。
2020-04-07 cs.CV
4DRadar-GS: Self-Supervised Dynamic Driving Scene Reconstruction with 4D Radar
School of Automotive Studies, Tongji University(同济大学汽车学院);State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所多模态人工智能系统国家重点实验室)
提出4DRadar-GS框架,利用4D雷达辅助高斯初始化和VGPT模型,解决动态驾驶场景中自监督3D重建的运动估计与时间一致性问题,实现最先进性能。
2025-09-16 cs.CV
EMR-MSF: Self-Supervised Recurrent Monocular Scene Flow Exploiting Ego-Motion Rigidity
Tokyo Institute of Technology(东京工业大学)
提出EMR-MSF自监督单目场景流模型,利用自运动刚性和软掩码过滤动态区域,结合多种损失与训练策略,在KITTI基准上SF-all指标提升44%,性能媲美监督方法。
2023-09-04 cs.CV
Multi-View People Detection in Large Scenes via Supervised View-Wise Contribution Weighting
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院);Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(人工智能与数字经济广东省实验室(深圳));Department of Computer Science, City University of Hong Kong(香港城市大学计算机科学系)
本文提出一种监督式视角贡献加权方法,结合大型合成数据集与领域自适应技术,有效解决了大型复杂场景下多视角行人检测的跨场景泛化与信息融合问题。
2024-05-30 cs.CV
Semi-supervised Implicit Scene Completion from Sparse LiDAR
Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院);The Hong Kong University of Science and Technology(香港科技大学);Intel Labs China(英特尔中国研究院);Peking University(北京大学)
最近的进展表明,半监督隐式表示学习可以通过像Eikonal方程的物理约束来实现。然而,该方案尚未成功地用于激光雷达点云数据,由于其空间变化的稀疏性。在本文中,我们开发了一种新的配方,条件半监督隐函数的局部形状嵌入。它利用稀疏卷积网络的强大表示学习能力来生成形状感知的密集特征量,同时仍然允许半监督符号距离函数学习,而无需知道其在自由空间的确切值。通过大量的定量和定性结果,我们证明了这个新的学习系统的内在属性及其在现实世界的道路场景中的实用性。值得注意的是,我们在SemanticKITTI上将IoU从26.3%提高到51.0%。此外,我们探索了两种范式来整合语义标签预测,实现隐含的语义完成。代码和模型可以在https://github.com/OPEN-AIR-SUN/SISC上访问。
2021-11-29 cs.CV
Visual Distant Supervision for Scene Graph Generation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);University of Hamburg(汉堡大学)
场景图生成的目的是识别图像中的对象及其关系,提供结构化的图像表示,可以促进计算机视觉中的许多应用。然而,场景图模型通常需要对大量带有密集人工注释的标记数据进行监督学习。在这项工作中,我们提出了视觉远程监督,一种新的范式的视觉关系学习,它可以训练场景图模型,没有任何人类标记的数据。直觉是,通过对齐常识知识库和图像,我们可以自动创建大规模的标记数据,为视觉关系学习提供远程监督。为了减轻噪声在遥远的标记数据,我们进一步提出了一个框架,迭代估计的概率关系标签,并消除噪声。综合实验结果表明,我们的远程监督模型优于强,弱监督和半监督基线。通过以半监督的方式进一步结合人类标记的数据,我们的模型比最先进的全监督模型表现更好(例如,8.3 Visual Genome评估中谓词分类的微观和7.8宏观召回率(50次改进)。我们在https://github.com/thunlp/VisualDS上公开了本文的数据和代码。
2021-08-20 cs.CV
Weakly Supervised Scene Text Generation for Low-resource Languages
East China Normal University(华东师范大学);University of Malaya(马来亚大学);iFLYTEK Research(科大讯飞研究院)
针对低资源语言场景文本生成依赖大量配对数据的问题,提出一种弱监督方法,利用少量识别级标签解耦内容与风格特征,通过跨语言生成提升场景文本识别准确率。
2023-06-27 cs.CV
Shot Contrastive Self-Supervised Learning for Scene Boundary Detection
Amazon Prime Video(亚马逊Prime Video)
场景在将电影和电视剧的故事情节分解成语义上有凝聚力的部分方面起着至关重要的作用。然而,鉴于其复杂的时间结构,寻找场景边界可能是一项具有挑战性的任务,需要大量的标记训练数据。为了解决这一挑战,我们提出了一个自我监督的镜头对比学习方法(ShotCoL)学习镜头表示,最大限度地提高附近的镜头之间的相似性相比,随机选择的镜头。我们展示了如何将我们学习的镜头表示应用于场景边界检测任务,以在MovieNet数据集上提供最先进的性能,同时只需要约25%的训练标签,使用9倍的模型参数,并提供7倍的运行时间。为了评估ShotCoL在场景边界检测的新应用中的有效性,我们承担了在电影和电视剧中找到时间戳的问题,其中可以插入视频广告,同时提供最小的破坏性观看体验。为此,我们收集了一个名为AdCuepoints的新数据集,其中包含3,975部电影和电视剧集,220万个镜头和19,119个最小破坏性广告提示点标签。我们对该数据集进行了全面的实证分析,证明了ShotCoL用于广告提示点检测的有效性。
2021-04-28 cs.CV
Self-supervised Pre-training with Masked Shape Prediction for 3D Scene Understanding
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);CUHK(香港中文大学)
本文提出掩码形状预测(MSP)框架,利用几何形状作为预测目标进行三维场景自监督预训练,并通过上下文增强目标与架构设计缓解形状泄漏,在室内外数据集上有效提升下游任务性能。
2023-05-08 cs.CV
GeoDiff3D: Self-Supervised 3D Scene Generation with Geometry-Constrained 2D Diffusion Guidance
Nanjing University(南京大学);Simon Fraser university(西蒙弗雷泽大学)
GeoDiff3D通过几何约束的2D扩散模型和自监督机制,实现高效且高质量的3D场景生成,减少对标注数据的依赖,提升复杂场景的生成质量。
2026-01-28 cs.CV
Masked Scene Modeling: Narrowing the Gap Between Supervised and Self-Supervised Learning in 3D Scene Understanding
TU Wien(维也纳技术大学);Ulm University(乌尔姆大学)
本文提出掩码场景建模自监督方法及稳健评估协议,使3D场景理解中仅用现成特征即可达到与有监督模型相当的性能,并大幅超越现有自监督方法。
2025-04-09 cs.AI cs.CV
Self-Supervised Relative Depth Learning for Urban Scene Understanding
UMass Amherst(马萨诸塞大学阿默斯特分校);University of Chicago(芝加哥大学);TTI-Chicago(芝加哥丰田技术研究所)
当智能体在世界中移动时,场景元素的视运动(通常)与它们的深度成反比。对于学习代理来说,将图像模式与它们随时间推移的位移幅度相关联是很自然的:当代理移动时,远处的山脉不会移动太多;附近的树木会移动很多。物体的外观和它们的运动之间的这种自然关系是关于世界的丰富信息来源。在这项工作中,我们首先训练一个深度网络,使用全自动监督,从单个图像中预测相对场景深度。相对深度训练图像是使用最新的运动分割技术从汽车在场景中移动的简单视频中自动导出的,并且没有人类提供的标签。这种从单个图像预测相对深度的代理任务在网络中引入了一些特征,这些特征在一组下游任务中产生了很大的改进,这些下游任务包括语义分割、联合道路分割和汽车检测以及单眼(绝对)深度估计,而这些任务都是从头开始训练的网络。对语义分割任务的改进大于由任何其他自动监督方法产生的改进。此外,对于单目深度估计,我们的无监督预训练方法甚至优于ImageNet的监督预训练。此外,我们还展示了学习预测(无监督)与各种下游任务相关的特定视频的相对深度的好处。我们以无监督的方式适应这些任务中的特定场景,以提高性能。总之,对于语义分割,我们在不使用监督预训练的方法中呈现了最先进的结果,并且我们甚至超过了监督ImageNet预训练模型用于单目深度估计的性能,实现了与最先进方法相当的结果。
2018-04-02 cs.CV
Weakly Supervised Adversarial Domain Adaptation for Semantic Segmentation in Urban Scenes
Northwestern Polytechnical University(西北工业大学)
语义分割是一种像素级的视觉任务,通过使用卷积神经网络(CNN)得到了快速发展。训练CNN需要大量的标记数据,但手动注释数据很困难。为了解放人力,近年来,一些合成数据集被发布。然而,它们仍然不同于真实场景,这导致在合成数据(源域)上训练模型不能在真实城市场景(目标域)上取得良好的性能。本文提出了一种弱监督对抗性领域自适应来提高从合成数据到真实场景的分割性能,它由三个深度神经网络组成。具体而言,检测和分割(简称“DS”)模型专注于检测对象和预测分割图;像素级域分类器(简称“PDC”)试图区分图像特征来自哪些域;对象级域分类器(简称“ODC”)区分对象来自哪些域并预测对象类别。PDC和ODC被视为鉴别器,DS被视为生成器。通过对抗学习,DS应该学习域不变特征。在实验中,我们提出的方法产生了新的记录mIoU度量在同一问题。
2019-04-19 cs.CV
Smart Library: Identifying Books in a Library using Richly Supervised Deep Scene Text Reading
Pennsylvania State University(宾夕法尼亚州立大学)
实体图书馆馆藏是宝贵的和长期的知识和学习资源。然而,管理大书架中的书籍并在其上查找书籍通常会导致繁琐的手动工作,特别是对于书籍可能丢失或放错位置的大型图书收藏。最近,深度神经模型,如卷积神经网络(CNN)和递归神经网络(RNN),在场景文本检测和识别方面取得了巨大成功。受这些最近的成功,我们的目标是调查他们的可行性,促进图书管理,一个任务,介绍了进一步的挑战,包括大量的混乱的场景文本,失真,和不同的照明条件。本文提出了一种基于情景文本阅读方法的图书馆书目建立与检索系统。我们专门设计了我们的场景文本识别模型,使用丰富的监督来加速训练,并在多个基准数据集上实现最先进的性能。我们提出的系统有可能大大减少人力资源管理图书库存以及存储图书信息所需的空间。
2016-11-22 cs.CV
Cascade Network for Self-Supervised Monocular Depth Estimation
Zhejiang Gongshang University(浙江工商大学)
利用单目摄像机获取真实场景深度图是一个经典的计算机视觉问题,近年来受到了广泛的关注。然而,训练这种模型通常需要大量人工标记的样本。为了解决这个问题,一些研究人员使用自监督学习模型来克服这个问题,减少对手动标记数据的依赖。然而,这些方法的准确性和可靠性都没有达到预期的标准。提出了一种基于级联网络的自监督学习方法。与以往的自监督方法相比,我们的方法提高了准确性和可靠性,我们已经通过实验证明了这一点。我们展示了一个级联的神经网络,它将目标场景划分为不同视距的部分,并分别训练它们以生成更好的深度图。我们的方法分为以下四个步骤。在第一步中,我们使用自监督模型来粗略估计场景的深度。在第二步中,将第一步中生成的场景的深度用作标签以将场景划分为不同深度部分。第三步是使用不同参数的模型生成目标场景中不同深度部分的深度图,第四步是对深度图进行融合。通过消融研究,我们分别证明了每个组件的有效性,并在KITTI基准测试中显示了高质量、最先进的结果。
2020-09-14 cs.CV
DASH: 4D Hash Encoding with Self-Supervised Decomposition for Real-Time Dynamic Scene Rendering
University of Science and Technology of China(中国科学技术大学);Institute of Artificial Intelligence, Hefei Comprehensive National Science Center(合肥综合国家科学中心人工智能研究院)
针对动态高斯泼溅平面法低秩假设缺陷与4D哈希编码直接应用的冲突冗余问题,提出带自监督分解的DASH框架,结合多分辨率4D哈希编码与时空正则化,实现单4090 GPU上264FPS的SOTA实时动态渲染。
2025-07-29 cs.CV
Learning Depth via Leveraging Semantics: Self-supervised Monocular Depth Estimation with Both Implicit and Explicit Semantic Guidance
Northwestern Polytechnical University(西北工业大学)
自监督深度估计在从未标记图像序列学习深度方面取得了巨大成功。虽然图像和像素级深度之间的映射在当前的方法中得到了很好的研究,但图像,深度和场景语义之间的相关性却很少考虑。这阻碍了网络更好地理解场景的真实几何形状,因为上下文线索不仅贡献了场景深度的潜在表示,而且还贡献了深度图的直接约束。在本文中,我们利用这两个好处,提出了精确的自我监督深度估计的隐式和显式语义指导。我们提出了一个语义感知的空间特征对齐(SSFA)计划,有效地对齐隐含的语义特征与深度特征的场景感知的深度估计。我们还提出了一个语义指导的排名损失明确限制估计的深度图与真实场景的上下文属性是一致的。语义标签噪声和预测不确定性都被认为是产生可靠的深度监督。大量的实验结果表明,我们的方法产生高质量的深度图,无论是在复杂的场景或不同的语义类别是一贯优越的,并优于国家的最先进的方法显着的利润。
2021-02-11 cs.CV