Robust CLIP: Unsupervised Adversarial Fine-Tuning of Vision Embeddings for Robust Large Vision-Language Models
Tübingen AI Center(蒂宾根人工智能中心);University of Tübingen(蒂宾根大学);EPFL(洛桑联邦理工学院)
针对大型视觉-语言模型易受视觉对抗攻击的问题,提出无监督对抗微调方案以获得鲁棒的CLIP视觉编码器,无需重训下游模型即可全面防御图像篡改隐蔽攻击。
2024-06-05 cs.AI cs.CV cs.LG
Noise-Tolerant Few-Shot Unsupervised Adapter for Vision-Language Models
Alexandria University(亚历山大大学)
针对视觉语言模型目标样本标注限制问题,提出抗噪无监督适配器 NtUA,利用少量无标签样本构建键值缓存,结合自适应加权与知识蒸馏细化伪标签,在多基准上取得卓越性能。
2024-07-30 cs.CV cs.LG
Unsupervised deep learning techniques for powdery mildew recognition based on multispectral imaging
Università degli Studi di Milano(米兰大学)
目标.植物病害的可持续管理是一个具有相关经济和环境影响的公开挑战。最佳战略依赖于人类在有利条件下进行实地侦察的专门知识,以评估疾病症状的当前存在和程度。这项劳动密集型的任务是复杂的大领域面积侦察,结合毫米级的早期症状要检测。鉴于此,基于图像的早期疾病症状检测是自动化该过程的有吸引力的方法,从而以可持续的成本实现潜在的高通量监测。方法.深度学习已成功应用于各个领域,以通过经由训练过程学习滤波器来获得相关图像特征的自动选择。深度学习最近也进入了植物病害检测领域:遵循这一想法,在这项工作中,我们提出了一种深度学习方法来自动识别黄瓜叶片上的白粉病。我们专注于应用于多光谱成像数据的无监督深度学习技术,并提出使用自动编码器架构来研究疾病检测的两种策略:i)压缩空间中的特征聚类; ii)异常检测。结果这两个建议的方法进行了评估的定量指标。聚类方法本身并不完全能够提供准确的预测,但它确实提供了相关的信息。异常检测具有显著的分辨率潜力,可以进一步利用其作为具有非常有限数量的标记样本的监督架构的先验。
2021-12-20 cs.AI cs.CV cs.LG
Unsupervised Foveal Vision Neural Networks with Top-Down Attention
University of Florida(佛罗里达大学)
深度学习架构是识别和分类图像的非常强大的工具。然而,它们需要监督学习,并且通常在图像像素大小的向量上工作,并且在数百万个对象图像上训练时产生最佳结果。为了帮助缓解这些问题,我们提出了自下而上的显着性和自上而下的注意力的融合,只采用无监督学习技术,这有助于对象识别模块专注于相关数据,并学习重要的功能,可以在以后进行微调,以用于特定的任务。此外,通过仅利用数据的相关部分,可以大大提高训练速度。我们测试的性能,拟议的伽玛显着性技术的多伦多和CAT2000数据库,以及在街景门牌号码(SVHN)数据库中的视觉中心凹。在中心凹视觉中的结果表明,Gamma显着性与最佳和计算速度更快。SVHN中的结果表明,我们的无监督认知架构与完全监督方法相当,并且如果需要,Gamma显着性也可以提高CNN的性能。我们还开发了一种自上而下的注意力机制,该机制基于应用于CNN顶层的Gamma显着性,以提高多对象图像或具有强背景杂波的图像中的场景理解。当我们比较结果与人类观察者在自然场景中的动物被遮挡的图像数据集,我们表明,自上而下的注意力是能够从背景中消除对象的歧义,并提高系统的性能超出了人类观察者的水平。
2020-10-18 cs.CV cs.LG
Sim-CLIP: Unsupervised Siamese Adversarial Fine-Tuning for Robust and Semantically-Rich Vision-Language Models
Florida Atlantic University(佛罗里达大西洋大学)
Sim-CLIP通过无监督对抗微调提升CLIP视觉编码器的鲁棒性,同时保持语义表示。采用孪生架构和余弦相似度目标,避免大批次对比学习和额外动量编码器,实现低计算开销的鲁棒训练。
2026-04-07 cs.AI cs.CL cs.CV
Sustainable Edge Vision via Empirically Calibrated DVFS: Eliminating Thermal Throttling on Passively Cooled Hardware
University of Southern Mississippi(南密西西比大学)
针对被动冷却边缘SoC上DNN推理的热节流瓶颈,提出经经验校准的状态感知DVFS调度器,在树莓派5上实现无热节流,能效优于主动冷却系统,帧率与可复现性均达标。
2026-09-07 cs.AR cs.CV cs.LG
Unsupervised Domain Adaptation for Training Event-Based Networks Using Contrastive Learning and Uncorrelated Conditioning
University of Southern California(南加州大学)
基于事件的摄像机为在高动态范围环境和快速运动机动期间执行计算机视觉任务提供可靠的测量。然而,在基于事件的视觉中采用深度学习面临着由于事件相机的新近性而导致的注释数据稀缺的挑战。转移可以从传统相机注释数据中获得的知识为这一挑战提供了一个实用的解决方案。我们开发了一种无监督的领域自适应算法,用于使用对比学习和数据的不相关条件来训练用于基于事件的数据图像分类的深度网络。为此,我们的解决方案优于现有的算法。
2023-03-22 cs.CV cs.LG
DatUS^2: Data-driven Unsupervised Semantic Segmentation with Pre-trained Self-supervised Vision Transformer
本研究提出基于预训练自监督视觉Transformer的无监督语义分割方法DatUS^2,可生成无标注数据的伪分割掩码以评估自监督特征质量,在SUIM、COCO数据集上取得优异表现。
2024-01-23 cs.CV cs.LG
It's a (Blind) Match! Towards Vision-Language Correspondence without Parallel Data
TU Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
研究基于柏拉图表示假设,提出将无监督视觉-语言匹配表述为二次指派问题并引入新颖启发式求解器,在四个数据集上验证了无需并行数据即可匹配视觉与语言表示的可行性,并展示了无需标注的无监督分类器。
2025-05-29 cs.CV cs.LG
Physics-as-Inverse-Graphics: Unsupervised Physical Parameter Estimation from Video
University of Edinburgh(爱丁堡大学)
我们提出了一个模型,能够执行无监督的物理参数估计的系统从视频中,其中的微分方程控制的场景动态是已知的,但标记的状态或对象是不可用的。现有的物理场景理解方法要么需要对象状态监督,要么不与可微物理学集成以学习可解释的系统参数和状态。我们通过一个物理作为逆图形的方法来解决这个问题,该方法将视觉作为逆图形和可微物理引擎结合在一起,使对象和显式状态和速度表示能够被发现。该框架允许我们执行长期外推视频预测,以及基于视觉的模型预测控制。我们的方法在具有相互作用对象的系统(如球弹簧或三体引力系统)的长期未来帧预测中显着优于相关的无监督方法,因为它能够将动态构建到模型中作为归纳偏差。我们进一步展示了这种紧密的视觉-物理集成的价值,通过展示钟摆系统的视觉驱动基于模型的控制的数据高效学习。我们还表明,控制器的可解释性提供了独特的能力,目标驱动的控制和物理推理零数据适应。
2020-04-21 cs.AI cs.CV cs.LG
A Vision Inspired Neural Network for Unsupervised Anomaly Detection in Unordered Data
Airbus(空中客车公司)
无监督机器学习领域的一个基本问题是检测与罕见和不寻常的感兴趣观察相对应的异常;原因包括拒绝,调节或进一步调查。异常被直观地理解为不寻常或不一致的东西,其发生会立即引起注意。更正式的异常是那些观察,根据适当的随机变量建模,其发生的期望相对于一组先前的兴趣是小于一个,这样的定义和理解已被用来开发的参数自由感知异常检测算法。目前的工作旨在建立重要的和实际的联系所使用的感知算法和前几十年的神经生理学和计算神经科学的研究方法,特别是在视网膜和视觉皮层的信息处理。该算法被概念化为一个神经元模型,它形成了一个无监督的神经网络的核心,学习信号作为异常的意外观察。网络和神经元都显示出在生物过程中观察到的特性,包括:即时智能;并行处理;冗余;全局退化;对比度不变性;无参数计算,动态阈值和非线性处理。作为一个具体的应用,该网络建立了一个鲁棒的、精确的单变量和多变量数据异常检测模型。
2022-05-13 cs.CR cs.LG cs.NE
Applying Unsupervised Semantic Segmentation to High-Resolution UAV Imagery for Enhanced Road Scene Parsing
University of Maryland(马里兰大学)
本文提出一种无监督道路解析框架,结合视觉语言模型与SAM生成掩码,通过自监督学习与聚类生成伪标签进行迭代自训练,无需人工标注即在无人机图像上达到89.96%的mIoU。
2024-04-27 cs.CV cs.LG
Unsupervised Feature Learning for low-level Local Image Descriptors
Technische Universität München(慕尼黑工业大学)
无监督特征学习已经在广泛的输入模式中显示出令人印象深刻的结果,特别是在计算机视觉中的对象分类任务中。使用大量的未标记的数据,无监督的特征学习方法被用来构建高层次的表示,是足够的歧视性,随后训练的监督分类算法。然而,它从来没有\emph{quantitatively}调查还如何以及无监督学习方法可以找到\emph{low-level representations}的图像补丁,没有任何额外的监督。在本文中,我们研究了纯无监督方法在低级别对应任务上的性能,这是许多计算机视觉应用的核心问题。我们发现,一种特殊类型的限制玻尔兹曼机(RBM)执行手工制作的描述符。此外,一个简单的二进制化方案产生的紧凑表示,比几个国家的最先进的描述符更好地执行。
2013-04-25 cs.CV cs.LG stat.ML
A Meta-Learning Approach for Multi-Objective Reinforcement Learning in Sustainable Home Environments
University of Galway(高威大学)
针对住宅电器调度中多目标强化学习面临的数据有限和情境变化问题,提出元学习扩展方法,结合自编码器检测情境变化,在伦敦真实数据上显著超越基线,节省电费3.28%,提升舒适度2.74%,并大幅减少训练数据与步骤。
2024-07-16 cs.AI cs.LG
AnoViT: Unsupervised Anomaly Detection and Localization with Vision Transformer-based Encoder-Decoder
Korea University(高丽大学)
图像异常检测问题的目的是确定图像是否异常,并检测异常区域。这些方法在制造业、医疗保健、智能信息等各个领域得到了积极应用。编码器-解码器结构已经被广泛用于异常检测领域,因为它们可以在无监督学习环境中容易地学习正常模式,并且通过指示输入图像和重构图像之间的差异的重构误差来计算用于识别异常的分数。因此,目前的图像异常检测方法普遍采用卷积编解码器,通过图像的局部特征提取正常信息。然而,它们的局限性在于,由于使用固定大小的滤波器的卷积运算的特性,在构造正常表示时只能利用图像的局部特征。因此,我们提出了一个基于视觉Transformer的编码器-解码器模型,命名为AnoViT,旨在反映正常的信息,通过额外的学习图像块之间的全局关系,这是能够图像异常检测和定位。所提出的方法构造了一个特征图,保持现有的位置信息的个人补丁,通过使用嵌入的所有补丁通过多个自我注意层。所提出的AnoViT模型在三个基准数据集上的表现优于基于卷积的模型。在MVTecAD中,这是异常定位的代表性基准数据集,与基线相比,15个类别中有10个类别的结果有所改善。此外,所提出的方法表现出良好的性能,无论类和类型的异常区域定位结果进行定性评价。
2022-03-21 cs.CV cs.LG
URLOST: Unsupervised Representation Learning without Stationarity or Topology
UC Berkeley(加州大学伯克利分校);UC Davis(加州大学戴维斯分校);New York University(纽约大学);FAIR at Meta(Meta公司FAIR研究院)
针对现有无监督表征学习依赖领域平稳性与拓扑结构的局限,提出结合可学习自组织层、谱聚类和MAE的URLOST框架,在多模态数据上性能超越现有方法,推动跨模态泛化的无监督学习发展。
2025-03-21 cs.CV cs.LG
Uncovering the Inner Workings of STEGO for Safe Unsupervised Semantic Segmentation
Merantix Momentum
本文深入剖析STEGO无监督语义分割方法的内部机制,通过复现实验、扩展验证和跨数据集迁移研究,揭示其本质是一种保持语义的降维技术,为其在安全关键应用中的使用提供依据。
2023-04-14 cs.AI cs.CV cs.LG
UnSegGNet: Unsupervised Image Segmentation using Graph Neural Networks
Shiv Nadar Intitute of Eminence Delhi-NCR(希夫·纳达尔卓越学院(德里国家首都辖区))
本文提出 UnSegGNet,结合预训练 ViT 特征、图神经网络与模块度优化,在无标注条件下实现图像分割,并在基准上取得具竞争力的结果。
2024-05-09 cs.CV cs.LG
Unsupervised Domain Adaptation of Object Detectors: A Survey
Johns Hopkins University(约翰斯·霍普金斯大学)
深度学习的最新进展已经导致为各种计算机视觉应用(例如分类、分割和检测)开发准确且高效的模型。然而,学习高度准确的模型依赖于大规模注释数据集的可用性。因此,当在具有视觉上不同的图像的标签稀缺数据集上进行评估时,模型性能急剧下降,称为领域自适应问题。通过无监督的领域自适应来使分类和分割模型适应于标签稀缺的目标数据集的工作过多。鉴于检测是计算机视觉的一项基本任务,近年来的许多工作都集中在发展新的域自适应检测技术。在这里,我们详细描述了检测的领域自适应问题,并提出了各种方法的广泛调查。此外,我们强调提出的战略和相关的缺点。随后,我们确定了多个方面的问题,是最有前途的未来研究。我们相信,这项调查将是有价值的模式识别专家在计算机视觉,生物识别,医学成像,自主导航领域的工作,通过介绍他们的问题,并熟悉他们的进展现状,同时为未来的研究提供有前途的方向。
2021-07-04 cs.CV cs.LG
Cohere3D: Exploiting Temporal Coherence for Unsupervised Representation Learning of Vision-based Autonomous Driving
University of California, Berkeley(加利福尼亚大学伯克利分校);Cruise LLC
Cohere3D提出一种利用LiDAR点云构建长期时间对应关系的无监督对比学习算法,在BEV特征中学习对视角和距离变化鲁棒的实例表示,显著提升自动驾驶下游任务的数据效率和性能。
2024-02-23 cs.CV cs.LG
Vision-Language-Guided Pseudo-Labels for Unsupervised Domain Adaptation in Semantic Segmentation for Waste Sorting
LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所)
该研究针对垃圾分类语义分割无监督域适应的标注难题,提出基于SAM、EVA-CLIP及可选BLIP的跨模态伪标签流水线,在两类域偏移场景下提升了性能,证实伪标签质量是自训练的关键。
2026-09-02 cs.AI cs.CV cs.LG
Lightweight Unsupervised Federated Learning with Pretrained Vision Language Model
School of Computer Science, Carleton University(卡尔顿大学计算机科学学院)
针对有监督联邦学习需标注数据、模型训练传输开销大的问题,提出基于CLIP的轻量无监督联邦学习方法,通过自训练优化伪标签、类别平衡采样缓解异构,在低开销下性能超越零样本预测和有监督基准。
2024-04-17 cs.AI cs.CV cs.LG
GeoNet: Benchmarking Unsupervised Adaptation across Geographies
UC San Diego(加州大学圣迭戈分校)
近年来,一些努力旨在提高视觉模型对训练期间看不到的领域和环境的鲁棒性。一个重要的实际问题涉及部署在新地理环境中的模型,该模型在训练数据集中代表性不足,对公平和包容的计算机视觉构成直接挑战。在本文中,我们研究了地理鲁棒性问题,并作出了三个主要贡献。首先,我们介绍了一个大规模的地理适应数据集GeoNet,其中包含场景识别(GeoPlaces),图像分类(GeoImNet)和通用适应(GeoUniDA)等不同任务的基准。其次,我们调查的性质分布偏移典型的地理适应性问题,并假设域转移的主要来源产生的显着变化,场景上下文(上下文转移),对象设计(设计转移)和标签分布(事先转移)跨地域。第三,我们对GeoNet上的几种最先进的无监督领域自适应算法和架构进行了广泛的评估,结果表明它们不足以适应地理环境,并且使用大型视觉模型进行大规模预训练也不会导致地理鲁棒性。我们的数据集可在https://tarun005.github.io/GeoNet上公开获取。
2023-03-27 cs.AI cs.CV cs.LG
Position: Unlabeled IS NOT Equal to No Human Supervision in Visual Learning
Louisiana State University(路易斯安那州立大学)
该论文指出视觉学习中未标记数据≠无人类监督,呼吁明确识别监督来源、披露学习先验以提升无监督学习研究的概念清晰度与学术交流效率。
2026-09-04 cs.CV cs.LG
Efficient unsupervised domain adaptation via self-supervised vision transformer and synergistic cross-domain alignment
University of Windsor(温莎大学);Queens University(女王大学)
提出EUDA框架,以冻结的DINOv2为特征提取器,结合SDAL损失,在多数据集上实现高效无监督域适应,可训练参数减少42%至99.7%,适配资源受限环境。
2026-08-05 cs.AI cs.CV cs.LG
Unsupervised feature learning by augmenting single images
University of Freiburg(弗莱堡大学)
当深度学习应用于视觉对象识别时,通常使用数据增强来生成额外的训练数据,而无需额外的标记成本。它有助于减少过拟合和提高算法的性能。在本文中,我们调查是否有可能使用数据增强作为一个无监督的特征学习架构的主要组成部分。为此,我们采样一组随机图像补丁,并将它们中的每一个声明为单独的单图像代理类。然后,我们扩展这些平凡的一个元素类,通过应用各种变换的初始“种子”补丁。最后,我们训练一个卷积神经网络来区分这些代理类。然后,网络学习的特征表示可以用于各种视觉任务。我们发现这种简单的特征学习算法出奇地成功,在几个流行的视觉数据集(STL-10、CIFAR-10、Caltech-101)上取得了有竞争力的分类结果。
2014-02-16 cs.CV cs.LG cs.NE
Big Earth Data and Machine Learning for Sustainable and Resilient Agriculture
National Technical University of Athens(雅典国立技术大学);NOA(国家天文台(注:此处NOA常见全称National Observatory of Athens,即雅典国家天文台));CERTH(希腊信息技术研究与技术中心(注:CERTH常见全称Center for Research and Technology Hellas,即希腊研究与技术中心));Wageningen University and Research(瓦赫宁根大学及研究中心)
来自卫星或其他平台的大量地球图像(例如,无人机和移动电话)越来越多地以低成本或无成本获得,并且具有增强的空间和时间分辨率。本论文认识到我们这个时代的高质量和开放获取的地球观测数据所提供的前所未有的机会,并介绍了新的机器学习和大数据方法,以适当地利用它们来开发可持续和有弹性的农业应用。本论文涉及三个不同的主题领域,即,共同农业政策(CAP)的监测,粮食安全的监测以及智能和弹性农业的应用。与这三个专题领域有关的发展的方法创新解决了以下问题:一)地球观测大数据的处理,二)用于机器学习模型培训的注释数据的稀缺性,以及三)机器学习产出与可采取行动的建议之间的差距。本文展示了如何使用大数据技术,如数据立方体,分布式学习,链接开放数据和语义丰富,以利用数据洪水和提取知识,以满足真正的用户需求。此外,本论文认为,半监督和无监督的机器学习模型,规避稀缺的注释,从而允许在空间和时间的模型泛化的挑战的重要性。具体而言,它显示了如何只需要很少的地面实况数据生成高质量的作物类型图和作物物候估计。最后,本文认为在现实世界的场景中,模型推理和决策之间存在相当大的价值差距,从而展示了因果和可解释的机器学习在弥合这一差距方面的力量。
2022-11-22 cs.AI cs.LG
Bridging Language, Vision and Action: Multimodal VAEs in Robotic Manipulation Tasks
Czech Institute of Informatics, Robotics and Cybernetics(捷克信息学、机器人学与自动控制研究所);Czech Technical University in Prague(布拉格捷克技术大学)
本文研究机器人操作中的无监督视觉-语言-动作映射,提出轻量级多模态 VAEs 方法,并引入模型无关训练方案将模拟器性能提升达 55%,系统评估了任务变量挑战及 VAEs 的应用潜力与局限。
2025-05-28 cs.LG cs.RO
Unsupervised Model Diagnosis
Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学);University of Central Florida(中佛罗里达大学)
针对现有模型诊断方法依赖人工标注或用户输入、成本高且易有偏差的问题,提出无监督模型诊断UMO,通过生成模型潜空间优化找反事实方向并匹配文本属性,可无人工干预地发现模型虚假相关性与失效模式。
2024-10-08 cs.AI cs.CL cs.CV
TRUST: Leveraging Text Robustness for Unsupervised Domain Adaptation
提出TRUST方法,利用语言模态鲁棒性指导视觉模型的无监督域适应,通过基于描述生成伪标签并估计其不确定性来重新加权分类损失,同时引入多模态软对比学习损失对齐特征空间,在DomainNet和GeoNet上达到SOTA。
2025-08-08 cs.CV cs.LG
UnSegMedGAT: Unsupervised Medical Image Segmentation using Graph Attention Networks Clustering
Shiv Nadar School(希夫·纳达尔学校);Shiv Nadar Institution of Eminence(希夫·纳达尔卓越机构)
针对医学图像标注稀缺问题,提出基于预训练Dino-ViT与图注意力网络的无监督分割框架,利用模块度损失捕获图像图结构,在ISIC-2018和CVC-ColonDB上达到或超越半监督方法MedSAM的性能。
2024-11-04 cs.CV cs.LG
Unsupervised Domain Adaptation: from Simulation Engine to the RealWorld
Department of Electrical Engineering and Computer Sciences, University of California Berkeley(加州大学伯克利分校电气工程与计算机科学系)
大规模的标记训练数据集使深度神经网络能够在广泛的基准视觉任务中表现出色。然而,在许多应用中,获取大量的标记数据是非常昂贵或耗时的。为了应对有限的标记训练数据,许多人试图将在大规模标记源域上训练的模型直接应用于另一个稀疏标记的目标域。不幸的是,跨域的直接传输通常由于域偏移和数据集偏差而表现不佳。领域自适应是一种机器学习范例,旨在从源域学习一个模型,该模型可以在不同(但相关)的目标域上表现良好。本文对计算机视觉应用中最新的无监督领域自适应方法进行了总结和比较。我们将非深度方法分为样本重新加权和中间子空间变换两类,而深度策略包括基于差异的方法,对抗生成模型,对抗判别模型和基于重建的方法。我们还讨论了一些潜在的方向。
2018-03-24 cs.CV cs.LG stat.ML
Unsupervised Learning of Dense Optical Flow, Depth and Egomotion from Sparse Event Data
University of Maryland Institute for Advanced Computer Studies(马里兰大学高级计算机研究所);Institute for Physical Science and Technology, University of Maryland(马里兰大学物理科学与技术研究所)
在这项工作中,我们提出了一个轻量级的,无监督学习管道\textit{dense}深度,光流和egomotion估计从稀疏事件输出的动态视觉传感器(DVS)。为了解决这个低层次的视觉任务,我们使用一种新的编码器-解码器神经网络架构- ECN。我们的工作是第一个单目管道,产生密集的深度和光流从稀疏的事件数据。该网络以自我监督模式工作,只有15万个参数。我们在MVSEC自驾驶数据集上评估了我们的管道,并给出了深度,光流和自运动估计的结果。由于轻量级设计,网络的推理部分在单个GPU上以250 FPS的速度运行,使流水线为实时机器人应用做好了准备。我们的实验证明了对事件数据使用深度学习的先前工作的显着改进,以及我们的管道在白天和晚上都能表现良好的能力。
2019-02-25 cs.CV cs.LG cs.RO
Multimodal Data Integration for Sustainable Indoor Gardening: Tracking Anyplant with Time Series Foundation Model
University of Virginia(弗吉尼亚大学);Mississippi State University(密西西比州立大学)
本文提出一种集成计算机视觉、环境传感与Lag-Llama时间序列模型的框架,通过融合RGB、表型及环境数据预测植物水分胁迫,实现可持续室内园艺的自动化监测与资源优化。
2025-03-27 cs.CE cs.CV cs.LG
A Machine Learning Approach to Recovery of Scene Geometry from Images
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO(芝加哥丰田理工学院)
从图像中恢复场景的3D结构为诸如形状和场景识别、目标检测或机器人中的运动规划和物体抓取等任务提供有用的信息。在这篇论文中,我们介绍了一个通用的机器学习方法,称为无监督CRF学习的基础上最大化的条件似然。我们将我们的方法应用于从图像中恢复3-D场景几何的计算机视觉系统。我们专注于从单个图像,立体对和视频序列中恢复3D几何。构建这些系统需要进行推理以及学习条件马尔可夫随机场(MRF)参数的算法。我们的系统是在不使用地面实况标记数据的情况下进行无监督训练的。我们采用倾斜平面立体视觉模型,在该模型中,我们使用固定的过分割将左侧图像分割成称为超像素的相干区域,然后为每个超像素分配视差平面。通过求解MRF标号问题,通过最小化能量函数来估计平面参数。我们展示了使用我们的无监督CRF学习算法的参数化倾斜平面立体视觉模型,涉及形状从纹理线索。我们的立体模型与纹理线索,只有通过无监督训练,优于在相同的立体数据集上的相关工作的结果。在这篇论文中,我们还制定了结构和运动估计作为一个能量最小化的问题,其中该模型是我们的倾斜平面立体视觉模型,也处理表面速度的扩展。速度估计通过使用Loopy BP解决MRF标记问题来实现。性能分析是使用我们的新的评价指标的基础上的观点预测误差的概念。道路驾驶立体序列的实验结果令人鼓舞。
2010-07-17 cs.CV cs.LG
Geospatial Foundation Models to Enable Progress on Sustainable Development Goals
Helmholtz-Zentrum Dresden-Rossendorf(德累斯顿-罗斯托克研究所);University of Iceland(冰岛大学);Wuhan University(武汉大学);Wuhan University of Science and Technology(武汉科技大学);Universitat de València(瓦伦西亚大学)
本文提出SustainFM基准框架,基于17个可持续发展目标评估地理空间基础模型,发现其在多样任务中优于传统方法,并强调需从模型中心转向影响驱动部署,关注能效、泛化性和伦理。
2026-06-03 cs.CV cs.LG
Unsupervised Scale-Invariant Multispectral Shape Matching
Tel Aviv University(特拉维夫大学)
非刚性可拉伸结构之间的对齐是计算机视觉中最具挑战性的任务之一,因为不变量属性难以定义,并且没有用于真实数据集的标记数据。我们提出了无监督神经网络架构的基础上的频谱域的尺度不变的几何。我们建立在功能地图架构之上,但到目前为止,学习本地功能是不够的,一旦等距假设打破。我们演示了使用多个尺度不变的几何解决这个问题。我们的方法是不可知的本地规模的变形,并显示出优越的性能匹配形状从不同的域相比,现有的光谱最先进的解决方案。
2022-08-28 cs.CV cs.LG
Unsupervised Domain Adaptation within Deep Foundation Latent Spaces
School of Computing and Communications(计算与通信学院);Lancaster University(兰卡斯特大学)
本文在原型网络框架下研究ViT、Dino-V2等视觉基础模型在无微调条件下解决无监督域适应的能力,证明其优于现有基线并指出仍存在的局限。
2024-02-22 cs.AI cs.CV cs.LG
Self-Supervised Learning for Large-Scale Unsupervised Image Clustering
Technion – Israel Institute of Technology(以色列理工学院)
无监督学习一直吸引着机器学习研究人员和从业者,使他们能够避免昂贵而复杂的数据标记过程。然而,复杂数据的无监督学习具有挑战性,即使是最好的方法也比有监督的方法表现出更弱的性能。自监督深度学习已经成为计算机视觉中表示学习的强大工具。然而,这些方法尚未在完全无监督的环境中进行评估。在本文中,我们提出了一个简单的计划,基于自监督表示的无监督分类。我们使用几种最近的自监督方法对所提出的方法进行了评估,结果表明它在ImageNet分类方面取得了有竞争力的结果(ImageNet上1000个聚类的准确率为39%,过聚类的准确率为46%)。我们建议将无监督评估添加到自监督学习的标准基准中。代码可在https://github.com/Randl/kmeans_selfsuper上获得
2020-11-09 cs.CV cs.LG
Open Problems in Computer Vision for Wilderness SAR and The Search for Patricia Wu-Murad
Texas A&M University(德克萨斯农工大学)
本文通过将EfficientDET和RX分类器应用于日本Wu-Murad荒野搜救无人机影像,揭示了现有模型从数据集到真实场景的迁移失败问题,并提出更真实数据集、多源影像处理模型和统一性能度量三个未来研究方向。
2023-08-10 cs.AI cs.CV cs.LG
AutoEncoder Inspired Unsupervised Feature Selection
Peking University(北京大学)
在计算机视觉和机器学习任务等许多领域,高维数据给计算和分析带来了困难。特征选择是从观测到的特征中选择一个子集,是一种广泛使用的提高高维数据机器学习模型性能和有效性的方法。在本文中,我们提出了一种新的自动编码器特征选择(AEFS)的无监督特征选择结合自动编码器回归和组套索任务。与传统的特征选择方法相比,AEFS能够挖掘特征间的线性和非线性信息,从而选择出最重要的特征,比传统的自表示方法在无监督特征选择中只采用线性假设的情况下更加灵活。在基准数据集上的实验结果表明,该方法优于现有方法。
2018-04-09 cs.LG stat.ML
Unsupervised Spiking Instance Segmentation on Event Data using STDP
University of Strathclyde(思克莱德大学)
脉冲神经网络(SNN)和神经形态工程领域带来了如何处理机器学习(ML)和计算机视觉(CV)问题的范式转变。这种范式转变来自于基于事件的感知和处理的适应。基于事件的视觉传感器允许产生与场景动态相关的稀疏和异步事件。不仅允许捕获空间信息,还允许捕获高保真度的时间信息。同时避免了传统高帧速率方法的额外开销和冗余。然而,随着这种范式的变化,传统CV和ML的许多技术不适用于这些基于事件的时空视觉流。因此,存在有限数量的识别、检测和分割方法。在本文中,我们提出了一种新的方法,可以执行实例分割只使用尖峰时间相关的可塑性训练尖峰卷积神经网络,对象识别训练的权重。这利用了网络内部特征表示的空间和时间方面,增加了这种新的区分能力。我们突出了新的能力,成功地将一个单类无监督网络的人脸检测到多人的人脸识别和实例分割网络。
2021-11-12 cs.CV cs.LG eess.IV
Tile2Vec: Unsupervised representation learning for spatially distributed data
Stanford University(斯坦福大学)
地理空间分析缺乏像词向量表示和预训练网络这样的方法,这些方法可以显着提高各种自然语言和计算机视觉任务的性能。为了填补这一空白,我们引入了Tile 2 Vec,这是一种无监督的表示学习算法,它将分布假设从自然语言--出现在相似上下文中的单词往往具有相似的含义--扩展到空间分布数据。我们以经验证明,Tile 2 Vec在三个数据集上学习语义有意义的表示。我们学习的表示显著提高了下游分类任务的性能,并且与词向量类似,视觉类比可以通过潜在空间中的简单算法获得。
2018-05-30 cs.CV cs.LG stat.ML