One Ring to Rule Them All: Certifiably Robust Geometric Perception with Outliers
Laboratory for Information and Decision Systems (LIDS)(信息与决策系统实验室(LIDS));Massachusetts Institute of Technology(麻省理工学院)
我们提出了第一个通用的和实用的框架来设计可验证的算法,用于在存在大量离群值的情况下进行鲁棒的几何感知。我们调查使用截断最小二乘(TLS)的费用函数,这是已知的离群值是强大的,但会导致硬,非凸,和非光滑最优化的问题。我们的第一个贡献是表明-对于广泛的一类几何感知问题- TLS估计可以重新表述为多项式环上的优化,并且Lasserre的凸矩松弛层次在最小松弛阶处经验上是紧的(即,可证明地获得非凸TLS问题的全局极小值)。我们的第二个贡献是利用结构稀疏的目标和约束多项式和杠杆基减少,显着减少的大小的半定程序(SDP)的时刻放松,而不损害其紧密性。我们的第三个贡献是从平方和(SOS)松弛的角度开发可扩展的对偶最优性证明器,它可以计算次优性差距,并可能证明任何候选解的全局最优性(例如,由快速算法(例如RANSAC或分级非凸性)返回)。我们的双证明器利用Douglas-Rachford分裂来解决凸可行性SDP。不同感知问题的数值实验,包括单次旋转平均,形状对齐,3D点云和网格配准,以及高完整性卫星姿态估计,证明了我们的放松,认证的正确性,以及所提出的双认证器的可扩展性,以解决大问题,超出了当前SDP求解器的范围。
2020-10-19 cs.CV cs.RO math.OC
Sim2Real for Self-Supervised Monocular Depth and Segmentation
University of California, Berkeley(加州大学伯克利分校);Ford Greenfield Labs(福特格林菲尔德实验室)
用于自动驾驶车辆感知任务的基于图像的学习方法需要大量标记的真实数据,以便在不过度拟合的情况下进行适当的训练,这通常是非常昂贵的。虽然利用模拟数据的能力可以潜在地帮助减轻这些成本,但在模拟域中训练的网络在应用于真实域中的图像时通常无法充分执行。领域自适应的最新进展表明,共享潜在空间假设可以帮助弥合模拟域和真实域之间的差距,允许网络的预测能力从模拟域转移到真实域。我们证明了一个双VAE为基础的架构与共享的潜在空间和辅助解码器是能够弥合sim2real差距,而不需要任何配对,地面实况数据在实域。在仿真领域中仅使用配对的地面实况数据,这种架构有可能生成深度和分割图等感知任务。我们将这种方法与以监督方式训练的网络进行比较,以表明这些结果的优点。
2020-12-01 cs.CV cs.LG
Certifiably Optimal Outlier-Robust Geometric Perception: Semidefinite Relaxations and Scalable Global Optimization
Massachusetts Institute of Technology(麻省理工学院)
我们提出了第一个通用的和可扩展的框架来设计可验证的算法,在存在离群值的情况下,鲁棒的几何感知。我们的第一个贡献是表明,估计使用常见的鲁棒成本,如截断最小二乘(TLS),最大共识,Geman-McClure,Tukey的biwight等,可以重新制定为多项式优化问题(POP)。通过关注TLS成本,我们的第二个贡献是利用POP中的稀疏性,并提出一个稀疏半定规划(SDP)松弛,它比标准的Lasserre层次结构小得多,同时保持经验精确性,即,SDP利用最优性证书恢复非凸POP的优化器。我们的第三个贡献是解决SDP松弛在一个前所未有的规模和准确性,提出STRIDE,求解器,融合了全局下降的凸SDP与快速局部搜索的非凸POP。我们的第四个贡献是六个几何感知问题,包括单次和多次旋转平均,点云和网格配准,绝对姿态估计,以及类别级对象姿态和形状估计。我们的实验表明,(i)我们的稀疏SDP松弛是经验上精确的,在应用程序中有高达60%-90%的离群值;(ii)虽然仍然远离实时,但STRIDE在中等规模问题上比现有的SDP求解器快100倍,并且是唯一可以解决具有数十万约束的大规模SDP的高精度求解器;(iii)STRIDE保障现有快速算法的可靠估计(例如,RANSAC或渐变非凸性),即,如果启发式估计是最优的,则它证明全局最优性,或者当启发式估计是次优的时,它检测并允许逃避局部最优。
2022-05-29 cs.CV cs.RO math.OC
Spherical View Synthesis for Self-Supervised 360 Depth Estimation
Information Technologies Institute (ITI), Centre for Research and Technology Hellas (CERTH)(希腊研究与技术中心(CERTH)信息技术研究所(ITI));Universidad Politécnica de Madrid (UPM)(马德里理工大学(UPM))
用于深度感知的基于学习的方法受到干净训练数据的可用性的限制。这导致利用视图合成作为使用有效的数据采集过程学习深度估计的间接目标。尽管如此,大多数研究集中在基于针孔的单目视觉,与稀缺的作品呈现全方位输入的结果。在这项工作中,我们探索球面视图合成学习单眼360深度在一个自我监督的方式,并证明其可行性。根据一个纯粹的几何推导公式,我们提出的结果水平和垂直基线,以及三目的情况下。此外,我们展示了如何更好地利用传统CNN的表现力时,以有效的方式应用到等距矩形域。最后,考虑到地面实况深度数据的可用性,我们的工作具有独特的优势,可以以一致和公平的方式将视图合成与直接监督进行比较。结果表明,其他研究方向可能更适合实现更高质量的深度感知。我们的数据、模型和代码可在https://vcl3d.github.io/SphericalViewSynthesis/上公开获取。
2019-09-17 cs.CV cs.LG
Panoramic Depth Estimation via Supervised and Unsupervised Learning in Indoor Scenes
Zhejiang University(浙江大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);National Engineering Research Center of Optical Instrumentation, Zhejiang University(浙江大学国家光学仪器工程技术研究中心)
深度估计作为将二维图像转换到三维空间的必要线索,在机器视觉领域得到了广泛的应用。然而,传统的立体匹配深度估计算法由于噪声大、精度低、多摄像机标定要求严格等原因,在实现全方位360度几何感知方面受到限制。在这项工作中,对于一个统一的周围感知,我们引入全景图像,以获得更大的视野。我们扩展PADENet首次出现在我们以前的会议工作室外场景的理解,执行全景单眼深度估计与室内场景的重点。同时,我们改进了适应全景图像特点的神经网络的训练过程。此外,本文将传统的立体匹配算法与深度学习方法相融合,进一步提高了深度预测的准确性。通过大量的实验,验证了本文提出的室内场景感知方案的有效性。
2021-08-18 cs.CV cs.RO
On-Device Self-Supervised Learning of Low-Latency Monocular Depth from Only Events
MAVLab, TU Delft(代尔夫特理工大学MAV实验室);EUISPC, Sony Semiconductor Solutions Europe, Sony Europe B.V.(索尼欧洲有限公司欧洲半导体解决方案公司EUISPC)
本文提出一种高效的事件相机对比度最大化流水线,实现在小型无人机上在线自监督学习低延迟单目深度,显著提升深度估计精度与避障成功率,达到自监督方法的最优性能。
2025-03-25 cs.CV cs.RO
GeoMask3D: Geometrically Informed Mask Selection for Self-Supervised Point Cloud Learning in 3D
ÉTS Montréal(蒙特利尔工程学院);MILA(麦吉尔人工智能实验室);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院)
本文提出GeoMask3D(GM3D),通过师生模型依据几何复杂度选择点云掩码,并结合完整到局部的特征级知识蒸馏增强MAE自监督表示学习,在分类和小样本任务上优于SOTA基线。
2025-03-17 cs.CV cs.LG
Cross-Modal Self-Supervised Learning with Effective Contrastive Units for LiDAR Point Clouds
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);QCraft(奇酷科技)
针对激光雷达点云标注成本高的问题,研究对比学习的不同模态方案,提出实例感知且相似度平衡的跨模态对比单元,在多个基准的下游感知任务上实现显著性能提升。
2024-09-10 cs.CV
Channel-Wise Attention-Based Network for Self-Supervised Monocular Depth Estimation
State Key Laboratory for Manufacturing System Engineering(机械制造系统工程国家重点实验室);School of Mechanical Engineering, Xi’an Jiaotong University(西安交通大学机械工程学院)
自监督学习在单目深度估计中已经显示出非常有前途的结果。场景结构和局部细节都是高质量深度估计的重要线索。最近的作品缺乏明确的场景结构建模和正确的细节信息处理,这导致了性能瓶颈和预测结果中的模糊伪影。本文提出了一种基于场景注意力的深度估计网络(CADepth-Net),该网络具有两个有效的贡献:1)结构感知模块采用自注意力机制捕获长距离依赖关系,并在通道维度上聚合判别特征,显式增强场景结构的感知,获得更好的场景理解和丰富的特征表示。2)细节强调模块重新校准逐通道特征图并选择性地强调信息特征,旨在突出关键的局部细节信息并更有效地融合不同级别的特征,从而产生更精确和更锐利的深度预测。此外,大量的实验验证了我们的方法的有效性,并表明我们的模型达到了最先进的KITTI基准测试和Make 3D数据集的结果。
2021-12-24 cs.AI cs.CV cs.LG
SPARGen: Unifying Spatial Perception and Reasoning through Native Multimodal Generation
SPARGen是统一多模态框架,将3D重建等空间任务转为指令条件生成任务,在单一框架内实现异构空间任务的竞争力性能,突破现有方法的知识迁移限制。
2026-08-17 cs.AI cs.CV
Attention meets Geometry: Geometry Guided Spatial-Temporal Attention for Consistent Self-Supervised Monocular Depth Estimation
Technical University of Munich(慕尼黑工业大学)
在时间上连续的图像的元组上推断几何上一致的密集3D场景对于自监督单目深度预测流水线仍然具有挑战性。本文探讨了日益流行的Transformer架构以及新颖的正则化损耗公式如何在保持精度的同时提高深度一致性。我们提出了一个空间注意力模块,相关的粗深度预测,聚合局部几何信息。一种新的时间注意力机制进一步处理跨连续图像的全局上下文中的局部几何信息。此外,我们引入了框架之间的几何约束正则化的光度周期的一致性。通过结合我们提出的正则化和新颖的时空注意力模块,我们充分利用了单目帧之间基于几何和外观的一致性。与以前的方法相比,这产生了几何上有意义的注意力,并提高了时间深度稳定性和准确性。
2021-10-15 cs.CV
Multi-Scale Neighborhood Occupancy Masked Autoencoder for Self-Supervised Learning in LiDAR Point Clouds
Bosch Center for AI(博世人工智能中心);University of Freiburg(弗莱堡大学)
提出NOMAE,通过多尺度邻域占用重建解决LiDAR点云MAE的占用泄漏与计算复杂问题,在nuScenes和Waymo上实现SOTA。
2025-02-27 cs.AI cs.CV cs.RO
Formula-Supervised Visual-Geometric Pre-training
AIST;University of Tsukuba(筑波大学);Tokyo Institute of Technology(东京工业大学)
提出FSVGP,一种从数学公式自动生成对齐的合成图像和点云进行跨模态监督预训练的方法,在统一Transformer上实现视觉-几何表示学习,并在图像和3D物体分类、检测、分割六个任务上优于现有方法。
2024-09-20 cs.CV
Supervised Fitting of Geometric Primitives to 3D Point Clouds
Stanford University(斯坦福大学);Facebook AI Research(脸书人工智能研究院)
将几何基元拟合到3D点云数据,弥合了底层数字化3D数据和底层3D形状上的高级结构信息之间的差距。因此,它支持3D数据处理中的许多下游应用。长期以来,基于RANSAC的方法一直是这种原始拟合问题的黄金标准,但它们需要仔细地调整每个输入参数,因此不能很好地扩展具有不同形状的大型数据集。在这项工作中,我们介绍了监督原始拟合网络(SPFN),一个端到端的神经网络,可以鲁棒地检测不同数量的基元在不同的尺度没有任何用户控制。使用输入点的地面真实原始表面和原始隶属度来监督网络。我们的架构不是直接预测原语,而是先预测每个点的属性,然后使用差分模型估计模块来计算原语类型和参数。我们在ANSI 3D机械部件模型的新基准上评估了我们的方法,并证明了对最先进的基于RANSAC的方法和直接神经预测的显着改进。
2020-01-28 cs.CV
Bridging Domain Gap of Point Cloud Representations via Self-Supervised Geometric Augmentation
School of Computer Science, Nanjing University of Information Science & Technology(南京信息工程大学计算机科学与学院);Jiangsu Collaborative Innovation Center of Atmospheric Environment and Equipment Technology (CICAEET), Nanjing University of Information Science & Technology(南京信息工程大学江苏省大气环境与装备技术协同创新中心);School of Electronic and Information Engineering, South China University of Technology(华南理工大学电子与信息工程学院);Peng Cheng Laboratory(鹏城实验室);College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院)
针对合成点云表示难以适配真实不完整带噪点云的域间隙问题,提出结合平移距离预测前置任务与级联关系自监督的几何增强正则化方案,在PointDA-10上达SOTA。
2024-09-11 cs.CV
Self-Supervised Depth Estimation in Laparoscopic Image using 3D Geometric Consistency
Imperial College London(帝国理工学院);University of Oxford(牛津大学);University of Liverpool(利物浦大学);Lightpoint Medical Ltd.(Lightpoint医疗有限公司)
提出M3Depth,一种利用立体图像对中3D几何一致性进行自监督深度估计的方法,通过掩膜去除边界区域,在公共及新数据集上大幅超越现有方法。
2023-06-20 cs.CG cs.CV
GSRender: Deduplicated Occupancy Prediction via Weakly Supervised 3D Gaussian Splatting
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Houmo AI;Dalian University of Technology(大连理工大学);The Hong Kong University of Science and Technology(香港科学与技术大学)
GSRender通过弱监督3D高斯点划法和射线补偿模块,有效减少占用预测中的重复问题,提升户外自动驾驶的感知性能。
2025-12-22 cs.AI cs.CV
Self-supervised learning for autonomous vehicles perception: A conciliation between analytical and learning methods
VEDECOM Institute(VEDECOM研究所);French-German Research Institute of Saint-Louis(圣路易法德研究所);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CentraleSupelec(中央理工-高等电力学院)
如今,监督式深度学习技术为各种计算机视觉任务提供了最佳的预测性能。然而,这样的监督技术通常需要大量手动标记的训练数据。在自动驾驶汽车感知的背景下,这一要求是至关重要的,因为传感器数据的分布可能会不断变化,并包括一些意想不到的变化。事实证明,一类学习技术,被称为自监督学习(SSL),包括用自动标记过程取代手动标记工作。由于其在应用时间和不同环境中学习的能力,最先进的SSL技术为各种不同任务提供了监督学习的有效替代方案,包括长距离可穿越区域分割,移动障碍物实例分割,长期移动障碍物跟踪或深度图预测。在这篇教程式的文章中,我们对用于自动驾驶汽车感知的自监督学习(SSL)概念进行了概述和一般形式化。这种形式化为开发基于通用SSL原则的新框架提供了有用的指导。此外,它能够指出未来SSL系统设计中的重大挑战。
2020-06-07 cs.CV cs.LG cs.RO
SEAL: Self-supervised Embodied Active Learning using Exploration and 3D Consistency
Facebook AI Research(Facebook AI研究院);Carnegie Mellon University(卡内基梅隆大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);UC Berkeley(加州大学伯克利分校)
在本文中,我们将探讨如何在互联网图像的数据和模型的基础上构建,并使用它们来适应机器人视觉,而无需任何额外的标签。我们提出了一个框架,称为自我监督的主动学习主动学习(SEAL)。它利用在互联网图像上训练的感知模型来学习主动探索策略。该探索策略收集的观察结果使用3D一致性进行标记,并用于改进感知模型。我们构建并利用3D语义地图,以完全自我监督的方式学习动作和感知。语义图是用来计算一个内在的动机奖励训练的探索政策,并使用时空3D一致性和标签传播标记的代理观察。我们证明了SEAL框架可以用于关闭动作感知循环:它通过在训练环境中移动来提高预先训练的感知模型的目标检测和实例分割性能,并且改进的感知模型可以用于改进对象目标导航。
2021-12-02 cs.AI cs.CV cs.LG
EASE: Embodied Active Event Perception via Self-Supervised Energy Minimization
CSSE Department, Auburn University(计算机科学与工程系,阿伯杜大学)
针对现有事件感知依赖预定义动作和标注的问题,提出EASE自监督框架,通过自由能最小化统一感知与控制,利用预测误差和熵实现无标注事件分割、跟踪与总结,在仿真和真实环境中验证了隐私保护与可扩展性。
2025-06-20 cs.CV cs.RO
Self-supervised Adaptive Weighting for Cooperative Perception in V2V Communications
University of Warwick(华威大学);University of Technology Sydney(悉尼科技大学);University of Durham(杜伦大学);Oracle for Research(甲骨文研究部门);Southern University of Science and Technology(南方科技大学);University of Reading(雷丁大学)
针对V2V通信下协同感知受信道损伤导致性能下降的问题,提出自监督自适应加权中间融合模型,考虑莱斯衰落与非理想CSI,实验证明其性能优于基准,且适配多信道、泛化性好。
2023-12-16 cs.CV cs.LG eess.SP
On Domain-Specific Pre-Training for Effective Semantic Perception in Agricultural Robotics
University of Bonn(波恩大学);University of Oxford(牛津大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所);La Sapienza University of Rome(罗马第一大学)
农业机器人有望实现更高效和可持续的粮食、饲料和纤维农业生产。作物和杂草的感知是农业机器人的核心组成部分,其目的是以自动方式监测田地并评估植物及其生长阶段。语义感知主要依赖于使用监督方法的深度学习,这需要时间和合格的工人来标记相当大量的数据。在本文中,我们研究了在不影响最终分割性能的情况下减少标签数量的问题。对于在现场操作的机器人来说,以监督的方式预训练网络已经是一种流行的方法,可以减少所需标记图像的数量。我们研究了使用目标域的数据以自我监督的方式进行预训练的可能性。为了更好地利用这些数据,我们提出了一套特定于域的增强策略。我们评估了我们在语义分割和叶实例分割上的预训练,这是我们领域中的两个重要任务。实验结果表明,与常用的预训练相比,使用特定于领域的数据与我们的数据增强策略配对的预训练会带来更好的性能。此外,预训练的网络获得了与具有较少标记数据的完全监督网络相似的性能。
2023-03-22 cs.CV cs.LG cs.RO
Video Playback Rate Perception for Self-supervisedSpatio-Temporal Representation Learning
University of Chinese Academy of Sciences(中国科学院大学);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
在自监督时空表示学习中,时间分辨率和长短期特性尚未得到充分探索,这限制了学习模型的表示能力。在本文中,我们提出了一种新的自我监督的方法,称为视频回放速率感知(PRP),学习时空表示在一个简单而有效的方式。PRP起源于一种扩张的采样策略,它产生关于视频回放速率的自我监督信号,用于表示模型学习。PRP实现了一个特征编码器,一个分类模块,和一个重建解码器,以实现时空语义保持在一个合作的歧视产生的方式。歧视性感知模型遵循特征编码器,通过对快进速率进行分类来优先感知低时间分辨率和长期表示。通过引入运动-注意力机制,生成感知模型充当特征解码器以专注于理解高时间分辨率和短期表示。PRP应用于典型的视频目标任务,包括动作识别和视频检索。实验表明,PRP优于最先进的自监督模型,具有显着的利润率。代码可在github.com/yuanyao366/PRP上获得
2020-06-20 cs.CV
Self-Supervised Video Representation Learning with Motion-Contrastive Perception
Fudan University(复旦大学)
纯视觉自监督学习在视频表示学习中取得了显著的进步。现有的相关方法鼓励模型通过利用对比学习或设计特定的借口任务来学习视频表示。然而,一些模型可能会关注背景,这对于学习视频表示并不重要。为了缓解这个问题,我们提出了一个新的视图称为远程残差帧,以获得更多的运动特定的信息。在此基础上,我们提出了运动对比感知网络(MCPNet),它包括两个分支,即运动信息感知(MIP)和对比实例感知(CIP),通过关注视频中的变化区域来学习通用视频表示。具体而言,MIP分支旨在学习细粒度的运动特征,CIP分支执行对比学习以学习每个实例的整体语义信息。在两个基准数据集UCF-101和HMDB-51上的实验表明,我们的方法优于当前最先进的视觉自监督方法。
2022-04-10 cs.AI cs.CV
Linking vision and motion for self-supervised object-centric perception
UC Berkeley(加州大学伯克利分校);Wayve(Wayve公司)
本文提出仅以 RGB 视频和车辆位姿为输入的自监督对象中心感知模型,可融合多相机时序视角并跟踪车辆与行人。
2023-07-14 cs.CV
Revisiting Weakly Supervised Pre-Training of Visual Perception Models
Meta AI
模型预训练是现代视觉识别系统的基石。虽然像ImageNet这样的数据集上的完全监督预训练仍然是事实标准,但最近的研究表明,大规模弱监督预训练可以优于完全监督方法。本文使用带有现代版本的残差网络和有史以来最大的图像数据集以及相应的主题标签,重新审视了使用主题标签监督的模型的弱监督预训练。我们研究了所得到的模型在各种迁移学习设置,包括zero-shot传输的性能。我们还将我们的模型与通过大规模自监督学习获得的模型进行了比较。我们发现我们的弱监督模型在所有环境中都非常有竞争力,并且发现它们的表现大大优于自监督模型。我们还调查了我们的模型是否学到了潜在的令人不安的联想或刻板印象。总的来说,我们的研究结果提供了一个令人信服的论据弱监督学习在视觉识别系统的发展。我们的模型,通过hashtAGs弱监督(SWAG),是公开的。
2022-04-02 cs.CV
Learning Shared RGB-D Fields: Unified Self-supervised Pre-training for Label-efficient LiDAR-Camera 3D Perception
University of Michigan(密歇根大学);Carnegie Mellon University(卡内基梅隆大学)
针对自动驾驶多模态感知的标注难题,提出统一自监督预训练策略 NS-MAE,利用 NeRF 编码外观与几何,通过共享公式优化 LiDAR 与相机模态,实现高效掩码重建,在标签高效微调下显著提升 3D 感知性能。
2024-10-11 cs.AI cs.CV cs.RO
CALICO: Self-Supervised Camera-LiDAR Contrastive Pre-training for BEV Perception
University of Michigan(密歇根大学);University of Wisconsin, Madison(威斯康星大学麦迪逊分校);NVIDIA(英伟达)
本文提出统一的多模态BEV感知自监督预训练框架CALICO,通过点-区域对比(PRC)和区域感知蒸馏(RAD)两个阶段联合优化相机与LiDAR表征,显著提升了3D目标检测与地图分割的精度及鲁棒性。
2023-11-27 cs.CV cs.LG
Self-Supervised Pre-training with Combined Datasets for 3D Perception in Autonomous Driving
University of Science and Technology of China(中国科学技术大学)
针对自动驾驶3D感知,本文提出结合异构未标记数据集的自监督预训练框架,搭配提示适配器域适应策略,显著提升下游任务性能,且性能随数据量增加而稳定提升。
2025-04-17 cs.CV
Vision-Driven 2D Supervised Fine-Tuning Framework for Bird's Eye View Perception
School of Vehicle and Mobility, Tsinghua University(清华大学车辆与 Mobility学院);State Key Laboratory of Intelligent Green Vehicle and Mobility, Tsinghua University(清华大学智能绿色车辆与交通全国重点实验室)
针对BEV感知依赖昂贵LiDAR真值的问题,提出基于视觉2D语义感知的网络微调框架,并在nuScenes与Waymo上验证其有效性。
2024-09-09 cs.CV
Self-Supervised Domain Mismatch Estimation for Autonomous Perception
Technische Universität Braunschweig(布伦瑞克工业大学);Volkswagen Group Automation(大众汽车集团自动化部门)
自动驾驶需要自我意识其感知功能。从技术上讲,这可以通过观察者来实现,观察者监测各种感知模块的性能指标。在这项工作中,我们选择,例如,一个语义分割进行监测,并提出了一个自动编码器,训练在一个自我监督的方式在相同的训练数据作为语义分割进行监测。虽然自动编码器的图像重建性能(PSNR)在线推理期间已经显示出良好的预测能力w.r.t.语义分割性能,我们提出了一种新的域失配度量DM作为地球移动器的距离之间的预存储的PSNR分布的训练(源)数据,和在线获取的PSNR分布的任何推理(目标)数据。我们能够通过实验表明,DM度量有一个很强的排名顺序相关的语义分割在其功能范围内。我们还提出了一个训练域相关的阈值的DM指标来定义这个功能范围。
2020-06-15 cs.CV
Multi-Modal Perception Attention Network with Self-Supervised Learning for Audio-Visual Speaker Tracking
Key Laboratory of Machine Perception, Peking University, Shenzhen Graduate School(北京大学深圳研究生院机器感知重点实验室);Computer Vision Lab, ETH Zurich(苏黎世联邦理工学院计算机视觉实验室)
多模态融合被证明是提高说话人跟踪准确性和鲁棒性的有效方法,特别是在复杂场景下。然而,如何将异构信息融合起来,充分利用多模态信号的互补性,仍然是一个具有挑战性的问题。在本文中,我们提出了一种新的多模态感知跟踪器(MPT)的扬声器跟踪使用音频和视觉模态。具体而言,一种新的声学地图的基础上的时空全局相干场(stGCF)的异构信号融合,它采用摄像机模型映射到定位空间的音频线索与视觉线索一致。然后引入多模态感知注意力网络,推导出感知权重,用于度量受噪声干扰的间歇性音频和视频流的可靠性和有效性。此外,一个独特的跨模态自监督学习方法,提出了利用不同模态之间的互补性和一致性来建模的音频和视频观察的信心。实验结果表明,该算法在标准和遮挡数据集上的跟踪准确率分别达到98.6%和78.3%,表明了该算法在恶劣条件下的鲁棒性,优于现有方法.
2021-12-14 cs.CV
Self-Supervised Sparse Sensor Fusion for Long Range Perception
Torc Robotics(Torc机器人公司);Princeton University(普林斯顿大学)
本文提出一种基于稀疏表示与自监督预训练的多模态传感器融合方法,将自动驾驶感知距离扩展至250米,显著提升检测与LiDAR预测性能。
2025-08-19 cs.CV
Towards Driver Behavior Understanding: Weakly-Supervised Risk Perception in Driving Scenes
本文提出RAID数据集和弱监督风险识别框架,用于研究驾驶场景中的驾驶员风险感知与行人注意力,实验表明方法在性能上优于现有最先进方法。
2026-03-06 cs.CV
A Novel Video Salient Object Detection Method via Semi-supervised Motion Quality Perception
Qingdao University(青岛大学);Jiangxi University of Finance and Economics(江西财经大学)
以往的视频显著目标检测(VSOD)方法主要集中在设计奇特的网络来实现其性能的改进。然而,随着最近深度学习技术的发展放缓,仅仅通过花哨的网络来预测另一个突破可能变得越来越困难。为此,本文提出了一种通用的学习计划,以获得进一步的3%的性能提高所有国家的最先进的(SOTA)的方法。该方法的主要特点是采用了“运动质量”这一全新的概念,从原始测试集中选取一组视频帧来构造新的训练集。在这个新的训练集中选择的帧都应该包含高质量的运动,其中的显着对象将有很大的概率被成功地检测到的“目标SOTA方法”--我们想要改进的一个。因此,我们可以通过使用这个新的训练集来开始新一轮的网络训练来实现显着的性能改善。在新一轮训练中,目标SOTA方法的VSOD结果将被用作伪训练目标。我们的新学习方案简单而有效,其半监督方法可能在未来激发VSOD社区的潜力。
2020-08-07 cs.CV cs.LG
CoDTS: Enhancing Sparsely Supervised Collaborative Perception with a Dual Teacher-Student Framework
Beijing Jiaotong University(北京交通大学);School of Computer Science and Technology, Beijing Jiaotong University(北京交通大学计算机科学与技术学院)
针对稀疏监督协同感知中伪标签质量与数量难以兼顾的问题,本文提出CoDTS双师生框架,通过MFM、SFM、NAS和分阶段训练实现自适应互补学习,并达到新的最先进性能。
2025-03-18 cs.CV
Monocular Robot Navigation with Self-Supervised Pretrained Vision Transformers
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学)
在这项工作中,我们考虑的问题,学习的感知模型,单目机器人导航,使用很少的注释图像。使用视觉Transformer(ViT)预训练的无标签的自我监督的方法,我们成功地训练一个粗略的图像分割模型的Duckietown环境使用70个训练图像。我们的模型在8x8补丁级别执行粗图像分割,并且可以调整推理分辨率以平衡预测粒度和实时感知约束。我们研究如何最好地适应我们的任务和环境的ViT,并发现一些轻量级的架构可以产生良好的单图像分割在可用的帧速率,甚至在CPU上。由此产生的感知模型被用作骨干的一个简单而强大的视觉伺服代理,我们部署在差分驱动移动机器人执行两项任务:车道跟踪和避障。
2022-05-01 cs.AI cs.CV cs.RO
Slow Perception: Let's Perceive Geometric Figures Step-by-step
StepFun;Beihang University(北京航空航天大学)
针对LVLMs难以准确感知几何图形的问题,提出“慢感知”(SP)方法,通过感知分解与感知流两阶段逐步重建几何结构,遵循越慢越好的推理时间缩放定律。
2025-01-26 cs.CV
OctoSense: Self-Supervised Learning for Multimodal Robot Perception
提出OctoSense传感器平台和数据集,通过“晚融合”掩码自编码器实现多模态自监督学习,在多种退化条件下鲁棒预测光流、深度、语义分割和自运动。
2026-06-26 cs.CV cs.RO
Self-Supervised Learning for Robotic Leaf Manipulation: A Hybrid Geometric-Neural Approach
Robotics Institute, Carnegie Mellon University(机器人研究所,卡内基梅隆大学)
针对农业叶片操作自动化的挑战,提出结合几何方法与神经网络的自监督叶片抓取方案,通过置信度加权融合平衡两者贡献,在受控和真实温室环境下均显著优于单一方法,为农业机器人提供新范式。
2025-05-16 cs.CV cs.LG cs.RO
PP-SSL : Priority-Perception Self-Supervised Learning for Fine-Grained Recognition
College of Computer Science and Technology, Ocean University of China(中国海洋大学计算机科学与技术学院);School of Automation, Northwestern Polytechnical University(西北工业大学自动化学院);School of Computer Science, The University of Adelaide(阿德莱德大学计算机科学学院);School of Information Science and Engineering, Shandong University(山东大学信息科学与工程学院)
针对自监督细粒度识别易受无关模式干扰、难以捕捉细微差异的问题,提出PP-SSL框架,通过AIS与IADM增强判别特征学习,并在多个数据集上取得显著优于现有方法的结果。
2024-11-28 cs.CV
Defending Against Repetitive Backdoor Attacks on Semi-supervised Learning through Lens of Rate-Distortion-Perception Trade-off
Academia Sinica(中央研究院);National Taiwan University(台湾大学);National Yang Ming Chiao Tung University(国立阳明交通大学)
针对半监督学习(SSL)易受不可信未标记数据投毒引发后门攻击的问题,提出无需额外干净标记数据的未标记数据净化(UPure)方法,通过频域扰动破坏触发模式与目标类别的关联,实验证明其可将攻击成功率从99.78%降至0%且保持模型准确率。
2024-12-04 cs.CV
CapGeo-Bench: Decoupling Visual Perception from Reasoning and Evaluating Geometric Understanding
THU(清华大学);PKU(北京大学);Ant Group(蚂蚁集团)
针对多模态大模型几何推理瓶颈,提出CapGeo-Bench基准,含4641个图形-描述对及细粒度关键点评估指标,验证并评估视觉感知能力。
2026-09-15 cs.AI cs.CL cs.CV
Towards Robust Driving Perception: A Flexible Scale-Driven Family for Self-Supervised Monocular Depth Estimation
Hefei University of Technology(合肥工业大学);Nanjing University of Posts and Telecommunications(南京邮电大学);Chengpin Home Tech(橙品家居科技);Differential Robotics(差分机器人)
提出FlexDepth,一种尺度驱动的自监督单目深度估计模型系列,通过两阶段静态-动态解耦训练和尺度驱动解码器,在复杂驾驶场景中实现高精度深度估计,且计算开销低。
2026-09-07 cs.CV
Weakly Supervised Visual-Auditory Fixation Prediction with Multigranularity Perception
Beihang University(北京航空航天大学);China University of Petroleum(中国石油大学);ETH Zurich(苏黎世联邦理工学院);Chinese Academy of Medical Sciences(中国医学科学院);Pengcheng Laboratory(鹏城实验室);Stony Brook University(石溪大学)
由于深度学习技术的快速发展和大规模训练集的广泛可用性,视频显著性检测模型的性能一直在稳步显着提高。然而,基于深度学习的视听注视预测仍处于起步阶段。目前,只有少数视听序列已被提供,与真正的固定记录在真实的视听环境。因此,在相同的视觉-听觉环境下选择真实的注视既没有效率也没有必要。为了解决这个问题,本文提出了一种新的方法,在弱监督的方式,以减轻大规模的训练集的视觉-音频模型训练的需求。通过只使用视频类别标签,我们提出了选择性类激活映射(SCAM)及其升级(SCAM+)。在时空音环境下,前者遵循由粗到细的策略来选择最具区分力的区域,并且这些区域通常能够表现出与真实人眼注视的高度一致性。后者为SCAM配备了额外的多粒度感知机制,使整个过程与真实人类视觉系统更加一致。此外,我们从这些区域中提取知识,以获得完整的新时空音频(STA)固定预测(FP)网络,从而在视频标签不可用的情况下实现广泛的应用。在不诉诸任何真实人眼固定的情况下,这些STA FP网络的性能与完全监督网络的性能相当。代码和结果可在https://github.com/guotaowang/STANet上公开获得。
2022-07-29 cs.CV
Belief Consistency Between Foundation-Model Evidence and Geometric Perception in Persistent Robotic Maps
Department of Computer Science, University of Colorado, Boulder(科罗拉多大学博尔德分校计算机科学系);Computer Science and Artificial Intelligence Lab, Massachusetts Institute of Technology(麻省理工学院计算机科学与人工智能实验室)
提出一种更新算子,通过每类校准提交门和每事件冲突丢弃窗口,解决基础模型语义通道与几何感知通道在持久地图中的矛盾,显著提升地图精度。
2026-05-29 cs.CV cs.RO
Perception Consistency Ultrasound Image Super-resolution via Self-supervised CycleGAN
Anhui University of Technology(安徽工业大学);Aberystwyth University(阿伯里斯特威斯大学)
由于传感器、传输介质和超声固有特性的限制,超声成像质量一直不理想,尤其是其空间分辨率较低。为了弥补这种情况,最近开发了深度学习网络用于超声图像超分辨率(SR),因为它具有强大的近似能力。然而,目前大多数监督SR方法不适用于超声医学图像,因为医学图像样本总是稀少的,通常,在现实中,没有低分辨率(LR)和高分辨率(HR)的训练对。基于自监督和循环生成对抗网络(CycleGAN),提出了一种新的感知一致性超声图像超分辨率(SR)方法,该方法只需要LR超声数据,能够保证生成的SR图像的再退化图像与原始LR图像一致,反之亦然。首先通过图像增强生成测试超声LR图像的HR父子,然后充分利用LR-SR-LR和HR-LR-SR的周期损失和伪随机序列的对抗特性,促使生成器产生更好的感知一致性SR结果。在CCA-US和CCA-US基准数据集上的PSNR/IFC/SSIM、推理效率和视觉效果的评估表明,该方法是有效的,优于其他最先进的方法。
2020-12-28 cs.CV eess.IV
Unified Multisensory Perception: Weakly-Supervised Audio-Visual Video Parsing
University of Rochester(罗切斯特大学);Adobe Research(Adobe研究院)
在本文中,我们引入了一个新的问题,命名为视听视频解析,其目的是将视频解析成时间事件片段,并将它们标记为可听,可见或两者兼而有之。这样的问题对于完整理解视频中描绘的场景至关重要。为了便于探索,我们收集了一个看,听,和解析(LLP)数据集调查视听视频解析在弱监督的方式。这个任务可以自然地表述为多模态多实例学习(MMIL)问题。具体而言,我们提出了一种新的混合注意力网络,同时探索单峰和跨模态的时间背景。我们开发了一个细心的MMIL池化方法,从不同的时间范围和方式自适应地探索有用的音频和视频内容。此外,我们发现和减轻模态偏见和嘈杂的标签问题与个人指导的学习机制和标签平滑技术,分别。实验结果表明,具有挑战性的视听视频解析,即使只有视频级的弱标签可以实现。我们提出的框架可以有效地利用单模态和跨模态的时间上下文,并减轻模态偏见和嘈杂的标签问题。
2020-07-21 cs.CV cs.MM cs.SD
SARL: Spatially-Aware Self-Supervised Representation Learning for Visuo-Tactile Perception
Department of Bioengineering, Imperial-X Initiative, Imperial College London(生物工程系、Imperial-X计划、帝国理工学院伦敦分校)
SARL通过引入三个地图级目标,提升视觉-触觉数据的自监督学习效果,实现更精确的机器人感知。
2025-12-01 cs.CV
Region-Aware CAM: High-Resolution Weakly-Supervised Defect Segmentation via Salient Region Perception
School of Instrumentation Science and Engineering, Harbin Institute of Technology(仪器科学与工程学院,哈尔滨工业大学);Harbin Institute of Technology Suzhou Research Institute(哈尔滨工业大学苏州研究所)
提出一种结合区域感知CAM和伪标签训练的弱监督语义分割框架,通过过滤引导反向传播和区域感知加权模块提升缺陷分割精度,适用于资源受限的工业场景。
2025-06-28 cs.AI cs.CV
Estimation Contracts for Outlier-Robust Geometric Perception
Massachusetts Institute of Technology(麻省理工学院)
异常值-稳健估计是一个基本问题,一直受到统计学家和实践者的广泛研究。在过去的几年里,已经看到了收敛跨研究领域的“算法的强大的统计”,重点是开发易于处理的离群强大的技术,高维估计问题。尽管有这种趋同,但各领域的研究工作大多彼此脱节。这本专着桥梁最近的工作可证明的离群值-稳健估计的几何感知机器人和计算机视觉与平行的工作,在强大的统计。特别是,我们调整和扩展了鲁棒线性回归(适用于<< 50%离群值的低离群值制度)和列表可解码回归(适用于>> 50%离群值的高离群值制度)的最新结果,以适应机器人和视觉中常见的设置,其中(i)变量(例如,旋转、姿态)属于非凸域,(ii)测量值是矢量值,以及(iii)异常值的数量先验未知。这里的重点是性能保证:而不是提出全新的算法,我们提供的条件下,现代估计算法(可能经过小的修改)的输入测量,保证恢复估计接近地面真理的存在离群值。这些条件就是我们所说的“估价合同”。除了对现有结果的扩展外,我们认为这本专著的主要贡献是(i)通过指出共性和差异来统一平行的研究路线,(ii)引入先进的材料(例如,平方和证明)在一个访问和自包含的介绍从业者,及(iii)指出一些直接的机会和开放的问题,在离群强大的几何感知。
2022-12-16 cs.CV cs.DS cs.LG
How much do you perceive this? An analysis on perceptions of geometric features, personalities and emotions in virtual humans (Extended Version)
Pontifical Catholic University of Rio Grande do Sul(南里奥格兰德天主教大学)
这项工作旨在评估人们对虚拟人的几何特征,个性和情感特征的感知。为此,我们使用包含从自发视频捕获的行人跟踪文件的数据集作为基础,并将其可视化为相同的虚拟人。目标是专注于他们的行为,而不是被其他功能分散注意力。除了跟踪包含其位置的文件外,数据集还包含使用计算机视觉和模式识别技术检测到的行人情绪和个性。我们继续我们的分析,以回答这个问题,如果受试者可以感知几何特征的距离/速度,以及在视频序列中的情感和个性时,行人是由虚拟人。关于参与者,共有73人自愿参加实验。分析分为两个部分:i)对几何特征(如密度、角度变化、距离和速度)的感知的评价,以及ii)对个性和情感感知的评价。结果表明,即使没有向参与者解释每个个性或情感的概念以及它们是如何计算的(考虑几何特征),在大多数情况下,参与者感知到虚拟代理所表达的个性和情感,根据可用的地面真相。
2019-04-24 cs.CV cs.GR
Boosting Supervised Learning Performance with Co-training
NVIDIA(英伟达);Carnegie Mellon University(卡内基梅隆大学)
深度学习感知模型需要大量标记的训练数据来实现良好的性能。虽然未标记的数据很容易获得,但标记的成本令人望而却步,可能会给公司或个人带来巨大的负担。最近,自我监督已经成为利用未标记数据的替代方案。在本文中,我们提出了一种新的轻量级自监督学习框架,可以以最小的额外计算成本提高监督学习性能。在这里,我们介绍了一个简单灵活的多任务协同训练框架,它将自监督任务集成到任何监督任务中。我们的方法利用借口任务来产生最小的计算和参数开销,并最大限度地减少对现有训练管道的干扰。我们证明了我们的框架的有效性,通过使用两个自我监督的任务,目标检测和全景分割,在不同的感知模型。我们的研究结果表明,这两个自监督任务可以提高监督任务的准确性,同时,在使用额外的未标记数据时,表现出较强的域适应能力。
2021-11-18 cs.CV
Med-Scout: Curing MLLMs' Geometric Blindness in Medical Perception via Geometry-Aware RL Post-Training
HKUSTGZ-ML4Health-Lab(香港科技大学-ML4Health实验室)
提出Med-Scout框架,利用无标注医学图像中的内在几何逻辑,通过强化学习和三种代理任务(层次尺度定位、拓扑拼图重建、异常一致性检测)来缓解多模态大语言模型的几何盲点,并在新基准Med-Scout-Bench上提升超过40%的几何感知性能,同时泛化到更广泛的医学理解任务。
2026-06-01 cs.AI cs.CV