Unsupervised uncertainty estimation using spatiotemporal cues in video saliency detection
College of Engineering（工程学院）
在本文中，我们解决的问题，量化的计算显着性的视频，这可以用来提高基于显着性的视频处理，使更可靠的性能和风险评估这样的处理的可靠性。我们的做法是双重的。首先，我们探讨显着性图和眼睛注视图的空间相关性。然后，我们学习时空相关性，定义一个可靠的显着图。我们首先研究了来自公共数据集的时空眼睛注视数据，并研究了人类视觉注意力的一个共同特征，该特征决定了像素与其直接相邻像素之间的显着性相关性。基于这项研究，我们然后开发了一种算法，估计一个像素的不确定性地图，反映了我们的信心，在相关的计算显着性地图有关像素的显着性，其邻居的显着性。为了估计这种不确定性，我们测量显着图中像素与其局部邻域的发散。此外，我们提出了一个系统的程序来评估的估计性能，明确计算不确定性地面真相作为一个给定的显着性图和眼睛固定的人类受试者的函数。在我们的实验中，我们探索时空视频信号中的局部性和邻域的多种定义。此外，我们研究我们提出的算法的参数和视频的内容之间的关系。该算法是无监督的，使其更适合于推广到大多数自然视频。此外，它在计算上是高效的，并且对于特定视频内容的定制是灵活的。实验结果表明，该算法比现有的不确定性估计方法准确率提高了63%，具有较高的效率和灵活性，在实际应用中具有更好的实用性.
2019-01-06 cs.CV
Unsupervised Discovery of Long-Term Spatiotemporal Periodic Workflows in Human Activities
Fujitsu Research of America, USA（美国富士通研究机构）；Fujitsu Limited, Japan（日本富士通有限公司）；Carnegie Mellon University, USA（美国卡内基梅隆大学）
本文提出首个包含长期周期性工作流的基准，通过轻量级基线实现无监督检测和异常检测，显著优于现有方法并具备实际部署优势。
2025-11-20 cs.CV
DisCo: Physics-Based Unsupervised Discovery of Coherent Structures in Spatiotemporal Systems
University of California at Davis（加利福尼亚大学戴维斯分校）；Intel Corporation（英特尔公司）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Baidu Research（百度研究院）
从复杂的未标记的科学数据中提取可操作的见解是一个开放的挑战，也是解锁科学中数据驱动发现的关键。作为有监督机器学习方法的补充和替代，基于行为驱动理论的无监督物理方法具有很大的前景。由于计算的局限性，在现实世界领域科学问题上的实际应用远远落后于理论发展。我们提出了我们的第一步弥合这一鸿沟-迪斯科-高性能的分布式工作流程的行为驱动的本地因果状态理论。DisCo提供了一种可扩展的无监督的基于物理的表示学习方法，该方法将时空系统分解为结构相关的组件，这些组件由潜在的局部因果状态变量捕获。复杂的时空系统通常是高度结构化的，并组织在一个低维骨架的连贯结构，并在几个第一，我们证明了效率的DisCo在捕捉这样的结构从观测和模拟的科学数据。据我们所知，DisCo也是第一个完全用Python开发的应用软件，可扩展到1000多个机器节点，提供良好的性能，并确保领域科学家的生产力。我们开发了针对英特尔众核处理器进行优化的可扩展、高性能方法，这些方法将被上游到开源Python库包。我们的顶点实验使用新开发的DisCo工作流和库，对CAM5.1气候模拟数据进行无监督时空分割分析，使用Cori超级计算机上的1024个Intel Haswell节点在6.6分钟内处理前所未有的89.5 TB，获得91%的弱缩放和64%的强缩放效率。
2019-09-25 cs.LG cs.PF physics.comp-ph
Deep Spatiotemporal Clustering: A Temporal Clustering Approach for Multi-dimensional Climate Data
University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
针对高维时空数据聚类仅侧重空间或时间特征的问题，提出无监督深度学习算法 DSC，利用集成 CNN-RNN 的自编码器与 Student's t-distribution 聚类层联合优化聚类与重建损失，在多维气候数据集上优于现有方法及多种变体。
2023-09-13 cs.LG
Spatiotemporal Contrastive Video Representation Learning
Google Research（谷歌研究院）；Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技校区）
我们提出了一种自监督的对比视频表示学习（CVRL）方法来学习时空视觉表示从未标记的视频。我们的表示是使用对比损失来学习的，其中来自同一短视频的两个增强剪辑在嵌入空间中被拉到一起，而来自不同视频的剪辑被推开。我们研究了视频自监督学习的良好数据增强，发现空间和时间信息都是至关重要的。我们仔细设计了涉及空间和时间线索的数据增强。具体地说，我们提出了一个时间上一致的空间增强方法施加强大的空间增强视频的每一帧，同时保持跨帧的时间一致性。我们还提出了一个基于采样的时间增强方法，以避免过度强制执行的剪辑是遥远的时间上的不变性。在Kinetics-600上，在CVRL学习的表示上训练的线性分类器在3D-ResNet-50（R3 D-50）主干上实现了70.4%的前1准确率，比ImageNet监督预训练高出15.7%，比Simplified无监督预训练高出18.8%。CVRL的性能可以通过更大的R3 D-152（2x过滤器）主干进一步提高到72.9%，显著缩小了无监督和有监督视频表示学习之间的差距。我们的代码和模型将在https://github.com/tensorflow/models/tree/master/official/上提供。
2021-04-05 cs.CV cs.LG
Unsupervised Motion Representation Learning with Capsule Autoencoders
School of Computing（计算机学院）；NUS Graduate School（新加坡国立大学研究生院）；National University of Singapore（新加坡国立大学）
我们提出了运动胶囊自动编码器（MCAE），它解决了运动表示的无监督学习中的一个关键挑战：变换不变性。MCAE在两级层次结构中对运动进行建模。在较低的水平，时空运动信号被划分为短，本地和语义不可知的片段。在更高的级别中，片段被聚合以形成完整长度的语义感知片段。对于这两个级别，我们表示运动与一组学习的变换不变的模板和相应的几何变换，通过使用胶囊自动编码器的一种新颖的设计。这导致视点变化的鲁棒且高效的编码。MCAE是在一个新的Trajectory20运动数据集和各种真实世界的基于机器人的人类动作数据集上进行评估的。值得注意的是，它在Trajectory20上实现了比基线更好的结果，在无监督的基于动作识别任务上具有更少的参数和最先进的性能。
2021-10-01 cs.CV cs.LG
Unsupervised Time-Series Representation Learning with Iterative Bilinear Temporal-Spectral Fusion
National Institute of Health Data Science, Peking University（北京大学健康医疗大数据国家研究院）；Institute of Medical Technology, Health Science Center of Peking University（北京大学医学部医学技术研究院）
无监督/自监督时间序列表示学习是一个具有挑战性的问题，因为它的复杂的动力学和稀疏的注释。现有的工作主要采用对比学习的框架与基于时间的增强技术，样本的积极和消极的对比训练。然而，它们大多使用源自时间分片的段级增强，这可能会由于全局上下文的丢失而带来采样偏差和具有假阴性的不正确优化。此外，它们都没有注意在特征表示中加入光谱信息。在本文中，我们提出了一个统一的框架，即双线性时间谱融合（BTSF）。具体来说，我们首先利用实例级增强，对整个时间序列进行简单的丢弃，以最大限度地捕获长期依赖关系。我们设计了一种新的迭代双线性时间谱融合显式编码丰富的时间频率对的亲和力，并迭代细化表示的融合和挤压的方式与频谱到时间（S2 T）和时间到频谱（T2 S）聚合模块。我们首先对时间序列的三个主要任务进行下游评估，包括分类，预测和异常检测。实验结果表明，我们的BTSF一贯显着优于国家的最先进的方法。
2022-05-30 cs.AI cs.LG
Reinforcement Learning for Unsupervised Domain Adaptation in Spatio-Temporal Echocardiography Segmentation
Department of Computer Science, University of Sherbrooke（谢布鲁克大学计算机科学系）；INSA, Universite Claude Bernard Lyon 1, CNRS UMR 5220, Inserm U1206, CREATIS（里昂1大学INSA、CNRS UMR 5220、Inserm U1206、CREATIS）；Dep. of Software and Information Technology Engineering, École de technologie supérieure（蒙特利尔工程学院软件与信息技术工程系）；Institut Universitaire de France (IUF)（法国国家科学院（IUF））
本文提出RL4Seg3D框架，通过强化学习提升空间时间超声分割的准确性、解剖有效性与时间一致性，并提供鲁棒的不确定性估计器。
2026-05-12 cs.AI cs.CV eess.IV
Unsupervised Domain Adaptation using Graph Transduction Games
Ca’ Foscari University of Venice（威尼斯大学）；Open University of the Netherlands（荷兰开放大学）；Radboud University Nijmegen（内梅亨大学）
无监督领域自适应（UDA）相当于使用来自相关源域的数据集的已标记实例，将类别标签分配给来自目标域的数据集的未标记实例。在本文中，我们建议投这个问题的博弈论设置为一个非合作的游戏，并介绍了一个完全自动化的迭代算法UDA的基础上图转换游戏（GTG）。这种方法的主要优点是它的原则基础，保证终止的迭代算法的纳什均衡（这对应于一个一致的标签条件）和软标签量化的标签分配过程的不确定性。我们还研究了使用线性分类器的伪标签来初始化迭代过程的有益效果。所得到的方法的性能进行评估公开的对象识别基准数据集，涉及浅和深的功能。实验结果表明，所提出的博弈论方法解决UDA任务的适用性。
2019-05-06 cs.CV cs.GT cs.LG
Unsupervised Deep Domain Adaptation for Pedestrian Detection
Shanghai Jiao Tong University（上海交通大学）；University of Twente（特文特大学）
针对拥挤场景中行人检测的无监督领域自适应问题进行了研究。首先，我们利用迭代算法迭代地选择和自动注释具有高置信度的正面行人样本作为目标域的训练样本。同时，我们还重用了源域中的负样本，以弥补正样本和负样本数量的不平衡。其次，基于深度网络，我们还设计了一个无监督正则化器来减轻数据噪声的影响。更具体地说，我们将最后一个全连接层转换为两个子层-逐元素乘法层和求和层，并添加无监督正则化器以进一步提高领域自适应精度。在行人检测实验中，该方法提高了近30%的召回值，而精度几乎保持不变。此外，我们执行我们的方法对标准的领域自适应基准监督和无监督的设置，也达到了最先进的结果。
2018-02-09 cs.CV
CycDA: Unsupervised Cycle Domain Adaptation from Image to Video
Graz University of Technology（格拉茨技术大学）；Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）；Southeast University（东南大学）；Goethe University Frankfurt（法兰克福大学）
虽然近年来动作识别取得了令人印象深刻的成果，视频训练数据的收集和注释仍然是耗时和成本密集型的。因此，图像到视频的适应已被提出来利用无标记的Web图像源，以适应未标记的目标视频。这带来了两个主要挑战：（1）网络图像和视频帧之间的空间域转移;（2）图像和视频数据之间的模态间隙。为了应对这些挑战，我们提出了循环领域自适应（CycDA），一个基于循环的方法，无监督的图像到视频领域自适应，一方面利用图像和视频中的联合空间信息，另一方面，训练一个独立的时空模型来弥合模态差距。我们在空间学习和时空学习之间交替进行，在每个周期中在两者之间进行知识转移。我们评估了我们的方法在基准数据集上的图像到视频以及混合源领域自适应，实现了最先进的结果，并证明了我们的循环适应的好处。代码可在\url{https://github.com/wlin-at/CycDA}上获得。
2023-03-22 cs.CV
VideoChat-R1.5: Visual Test-Time Scaling to Reinforce Multimodal Reasoning by Iterative Perception
Zhejiang University（浙江大学）；Shanghai AI Laboratory（上海人工智能实验室）；Nanjing University（南京大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所）
本文提出视觉测试时扩展（VTTS）方法，通过迭代感知机制在推理时逐步聚焦高置信度时空区域，并配以VTTS-80K数据集，使VideoChat-R1.5模型在15+基准上平均提升超5%。
2025-09-25 cs.CV
Unsupervised Few-Shot Action Recognition via Action-Appearance Aligned Meta-Adaptation
Microsoft（微软）；Oregon State University（俄勒冈州立大学）
我们提出MetaUVFS作为第一个无监督Meta学习算法的视频Few-Shot动作识别。MetaUVFS利用超过55万个未标记的视频，通过对比学习来训练双流2D和3D CNN架构，以分别捕获特定于外观的空间和特定于动作的时空视频特征。MetaUVFS包括一个新的视频-外观对齐元自适应（A3 M）模块，该模块通过在无监督的硬挖掘剧集上的显式Few-Shot情节元学习来学习关注与外观特征相关的面向动作的视频特征。我们的动作外观对齐和显式的Few-Shot学习器使无监督训练能够模仿下游的Few-Shot任务，使MetaUVFS在Few-Shot基准测试中显著优于所有无监督方法。此外，与以前的有监督的Few-Shot动作识别方法不同，MetaUVFS既不需要基类标签，也不需要有监督的预训练骨干。因此，我们只需要训练MetaUVFS一次，就可以在流行的HMDB 51、UCF 101和Kinetics 100 Few-Shot数据集上与最先进的监督方法竞争，有时甚至优于它们。
2021-10-11 cs.AI cs.CV cs.LG
Deep Metric Learning for Unsupervised Remote Sensing Change Detection
Johns Hopkins University（约翰斯·霍普金斯大学）
遥感变化检测（RS-CD）旨在从多时相遥感图像（MT-RSIs）中检测相关变化，这有助于各种遥感应用，如土地覆盖，土地利用，人类发展分析和灾害应对。现有RS-CD方法的性能归因于在大型注释数据集上的训练。此外，这些模型中的大多数都不太可转移，因为当训练数据集和测试数据集之间存在域间隙时，训练模型的性能往往很差。本文提出了一种基于深度度量学习的无监督CD方法，可以处理这两个问题。给定MT-RSI，所提出的方法通过迭代优化无监督CD损失来生成相应的变化概率图，而无需在大数据集上对其进行训练。我们的无监督CD方法由两个互连的深度网络组成，即深度变化概率生成器（D-CPG）和深度特征提取器（D-FE）。D-CPG用于预测给定MT-RSI的变化和无变化概率图，而D-FE用于提取MT-RSI的深层特征，这些特征将进一步用于拟议的无监督CD损失。我们使用迁移学习能力来初始化D-FE的参数。我们迭代优化参数的D-CPG和D-FE为一个给定的MT-RSI通过最小化建议无监督的“相似性-相异性损失”。这种损失是由度量学习的原理引起的，在度量学习中，我们同时最大化变化成对像素之间的距离，同时最小化双时间图像域中的无变化成对像素与其深度特征域之间的距离。在三个CD数据集上进行的实验表明，我们的无监督CD方法比最先进的监督和无监督CD方法取得了显着的改进。代码可在https://github.com/wgc…
2023-03-16 cs.CV cs.LG eess.IV
StabStitch++: Unsupervised Online Video Stitching with Spatiotemporal Bidirectional Warps
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学学院）；Visual Intelligence +X International Cooperation Joint Laboratory of MOE, Beijing（教育部视觉智能+X国际合作联合实验室）；School of Computing and Data Science, Nanyang Technological University（南洋理工大学计算机与数据科学学院）；School of Media Engineering, Communication University of Zhejiang（浙江传媒学院媒体工程学院）；School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院）
StabStitch++提出一种无监督在线视频拼接框架，通过虚拟中平面双向分解变形和变形平滑模型，同时优化空间对齐与时间稳定，解决了视频拼接中的变形抖动问题，并在性能、鲁棒性和效率上超越现有方法。
2025-05-08 cs.AI cs.CV
Unsupervised Domain Adaptation for Multispectral Pedestrian Detection
Zhejiang University（浙江大学）；University of Twente（特文特大学）
多模式信息（例如，可见光和热）可以生成鲁棒的行人检测，以促进全天候的计算机视觉应用，例如自动驾驶和视频监控。然而，它仍然是一个至关重要的挑战，训练一个可靠的检测器工作在不同的多光谱行人数据集没有手动注释。在本文中，我们提出了一种新的无监督领域自适应框架的多光谱行人检测，通过迭代生成伪注释和更新的参数，我们设计的多光谱行人检测器的目标域。该方法利用在信源域上训练的检测器生成伪标注，然后通过固定检测器参数和最小化交叉熵损失来更新伪标注，无需反向传播。通过考虑对齐良好的可见光和红外图像对之间的相似性和互补性，使用伪注释生成训练标签。检测器的参数更新使用生成的标签，通过最小化我们定义的多检测损失函数与反向传播。通过迭代更新伪标注和参数，得到最优的检测器参数。实验结果表明，我们提出的无监督多模态领域自适应方法实现了显着更高的检测性能比没有领域自适应的方法，并与监督多光谱行人检测器的竞争。
2019-04-07 cs.CV
Virtual Adversarial Training in Feature Space to Improve Unsupervised Video Domain Adaptation
School of Computing Sciences, University of East Anglia（东英吉利大学计算科学学院）
虚拟对抗训练最近在半监督学习和无监督领域自适应方面取得了很大的成功。然而，到目前为止，它已被用于像素空间中的输入样本，而我们建议将其直接应用于特征向量。我们还讨论了熵最小化和决策边界迭代精化训练与教师在领域自适应的不稳定行为，并建议实现类似的行为的替代品。通过将上述技术添加到现有技术的模型TA $^3$ N，我们在多个无监督视频领域自适应任务中保持有竞争力的结果或优于现有技术
2020-08-19 cs.CV
Spatio-Temporal Deep Graph Infomax
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；Mila – Québec Artificial Intelligence Institute（Mila——魁北克人工智能研究所）
时空图，如交通网络或基因调控系统，对现有的深度学习方法提出了挑战，因为随着时间的推移结构变化的复杂性。为了解决这些问题，我们引入了时空深度图Infomax（STDGI）--一种基于互信息最大化的完全无监督节点表示学习方法，该方法利用了图的时间和空间动态。我们的模型通过训练嵌入来最大化图的补丁之间的互信息，在任何给定的时间步，以及补丁的中心节点的特征之间，在未来，来解决节点级回归的挑战性任务。我们通过实验和定性研究表明，学习表示可以成功地编码有关输入图的相关信息，提高时空自回归预测模型的预测性能。
2019-04-12 cs.LG stat.ML
An Unsupervised, Iterative N-Dimensional Point-Set Registration Algorithm
提出了一种无监督迭代的N维欧氏点云点集配准算法。它基于线性最小二乘法，并考虑所有可能的点配对，并迭代地对齐两个集合，直到点配对的数量不超过允许的一对一配对的最大数量。
2019-08-06 cs.CV cs.LG
LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval
University of California, San Diego（加州大学圣地亚哥分校）；Microsoft Research Asia（微软亚洲研究院）；Sun Yat-sen University（中山大学）
在本文中，我们提出了LaPraDoR，这是一种预训练的双塔密集检索器，不需要任何监督数据进行训练。具体来说，我们首先提出迭代对比学习（ICoL），迭代训练查询和文档编码器的缓存机制。ICoL不仅扩大了负实例的数量，而且还将缓存示例的表示保持在相同的隐藏空间中。然后，我们提出了词汇增强的稠密检索（LEDR）作为一个简单而有效的方法来提高稠密检索与词汇匹配。我们评估LaPraDoR最近提出的BEIR基准，包括18个数据集的9个zero-shot文本检索任务。实验结果表明，与有监督的稠密检索模型相比，LaPraDoR具有最先进的性能，进一步的分析揭示了我们的训练策略和目标的有效性。与重新排名相比，我们的词汇增强方法可以在毫秒内运行（快22.5倍），同时实现卓越的性能。
2022-04-27 cs.AI cs.CL cs.IR
Large-scale unsupervised spatio-temporal semantic analysis of vast regions from satellite images sequences
Public University of Navarre（纳瓦拉公立大学）；INAMAT（纳瓦拉应用数学研究所）；Basque Center for Applied Mathematics（巴斯克应用数学中心）
提出一种结合深度嵌入与时间序列聚类的完全无监督方法，用于从卫星图像序列中提取大区域时空分类，并通过新程序优化嵌入以捕捉潜在模式，在西班牙北部220平方公里区域验证了其有效性。
2024-02-14 cs.CV cs.LG
Unsupervised Learning of Spatiotemporally Coherent Metrics
Courant Institute, NYU（纽约大学柯朗研究所）；University of California, Berkeley（加州大学伯克利分校）；Google Inc.（谷歌公司）；Facebook AI Research（脸书人工智能研究院）
当前最先进的分类和检测算法依赖于监督训练。在这项工作中，我们研究了时间相干视频数据的背景下，无监督的特征学习。我们专注于未标记的视频数据的特征学习，使用相邻的视频帧包含语义相似的信息的假设。利用该假设来训练通过慢度和稀疏度正则化的卷积池化自动编码器。我们建立了一个连接之间的缓慢特征学习度量学习和训练的编码器可以用来定义一个更时间和语义一致的度量。
2015-09-08 cs.CV
Nonlinear Motion-Guided and Spatio-Temporal Aware Network for Unsupervised Event-Based Optical Flow
Faculty of Robot Science and Engineering, Northeastern University（机器人科学与工程学院，东北大学）
本文提出E-NMSTFlow网络，通过非线性运动补偿和时空感知模块，提升事件基光流估计的精度和性能。
2025-05-08 cs.CV
Unsupervised Video Summarization via Iterative Training and Simplified GAN
Northwestern University（西北大学）；Allstate Insurance Company（好事达保险公司）
本文提出一种移除判别器的简化GAN无监督视频摘要方法，结合迭代训练策略与可训练掩码向量，在多数据集上验证了其在性能、稳定性和训练效率上的优势。
2024-11-25 cs.CV cs.LG
Unsupervised Video Analysis Based on a Spatiotemporal Saliency Detector
Arizona State University（亚利桑那州立大学）
视觉显着性，它预测的领域，最吸引视觉注意力的区域，吸引了大量的研究人员的兴趣。它已经被用于几个视觉任务，例如，图像分类、目标检测、前景分割。近年来，基于频谱分析的视觉显著性方法由于其简单和良好的性能而引起了人们的极大兴趣，其中图像的相位信息被用来构建显著性图。在本文中，我们提出了一种新的方法来检测时空视觉显著性的相位谱的基础上的视频，这是易于实现和计算效率。利用该算法，我们还研究了时空显著性如何应用于两个重要的视觉任务，异常检测和时空兴趣点检测。所提出的算法进行了评估，几个常用的数据集比较，从文献中的最先进的方法。实验结果表明，该方法能够有效地检测时空视觉显著性，并应用于上述视觉任务
2015-03-24 cs.CV
Unsupervised Video Object Segmentation using Motion Saliency-Guided Spatio-Temporal Propagation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Virginia Tech（弗吉尼亚理工学院暨州立大学）
无监督视频分割在从对象识别到压缩的各种应用中起着重要作用。然而，到目前为止，快速运动、运动模糊和遮挡带来了重大挑战。为了解决无监督视频分割的这些挑战，我们开发了一种新的显着性估计技术，以及一种新的邻域图，基于光流和边缘线索。我们的方法导致显着更好的初始前景背景估计和他们的鲁棒性以及准确的扩散随着时间的推移。我们在具有挑战性的DAVIS，SegTrack v2和FBMS-59数据集上评估了我们提出的算法。尽管只使用了在200张图像上训练的标准边缘检测器，但我们的方法在无监督设置中获得了最先进的结果，优于基于深度学习的方法。我们甚至在DAVIS数据集的半监督设置中展示了与基于深度学习的方法相当的竞争结果。
2018-09-04 cs.CV
Beyond Random Partitioning: Unsupervised Spatio-Temporal Stratification for Cohort Balancing in Longitudinal Medical Imaging
Oslo University Hospital（奥斯陆大学医院）
针对纵向医学影像随机划分导致的协变量偏移和采样失衡问题，提出三方数据集分析框架，结合肘部优化K-means与分层抽样，实现队列平衡，大幅降低强度偏差，提升划分稳定性。
2026-08-04 cs.CV cs.LG
Tubelets: Unsupervised action proposals from spatiotemporal super-voxels
本文将视频中的动作定位问题看作是一系列的包围盒。目标是生成可能包括感兴趣的操作的操作建议，理想情况下，用很少的建议实现高召回率。我们的贡献是三方面的。首先，受选择性搜索对象建议的启发，我们引入了一种方法来生成行动建议的时空超体素在一个无监督的方式，我们称之为Tubelets。其次，除了来自单个帧的静态特征之外，我们的方法还有利地利用了运动。我们引入独立的运动证据作为一个功能，以表征动作如何偏离背景，并明确地将这些运动信息的建议生成的各个阶段。最后，我们引入Tubelets的时空细化，以更精确地定位动作，并修剪以保持Tubelets的数量有限。我们证明了我们的方法的适用性，通过广泛的实验行动建议的质量和行动本地化的三个公共数据集：UCF体育，MSR-II和UCF 101。对于行动建议的质量，我们的无监督建议在三个数据集上击败了所有其他现有方法。对于动作本地化，我们在UCF Sports和UCF 101的修剪视频以及MSR-II的未修剪视频上都表现出最佳性能。
2016-07-07 cs.CV
Contrast-Phys: Unsupervised Video-based Remote Physiological Measurement via Spatiotemporal Contrast
University of Oulu（奥卢大学）
针对有监督rPPG方法需真实生理信号训练的问题，提出无监督方法Contrast-Phys，用3DCNN结合时空对比损失训练，在五个数据集上性能接近最优有监督方法，且速度更快、鲁棒性更强。
2022-08-08 cs.CV
Progressive Unsupervised Person Re-identification by Tracklet Association with Spatio-Temporal Regularization
University of Science and Technology of China（中国科学技术大学）；Huawei Cloud EI Product Department（华为云EI产品部）；Huawei Noah’s Ark Laboratory（华为诺亚方舟实验室）
现有的人重新识别（Re-ID）方法大多基于监督学习，其需要跨所有相机视图的大量手动标记的样本用于训练。这样的范例遭受可扩展性问题，因为在现实世界的Re-ID应用中，很难在多个不相交的相机视图上详尽地标记丰富的身份。为此，我们提出了一种渐进式深度学习方法，用于通过时空正则化跟踪关联（TASTR）在野外进行无监督的人Re-ID。在我们的方法中，我们首先通过自动人员检测和跟踪在每个摄像头内收集tracklet数据。然后，基于用于人表示学习的摄像机内三元组构造来训练初始Re-ID模型。在此基础上，基于人的视觉特征和时空约束，我们关联跨摄像机的tracklets生成跨摄像机三元组和更新的Re-ID模型。最后，利用改进的Re-ID模型，提取出更好的人的视觉特征，进一步促进了跨摄像机轨迹的关联。最后两个步骤重复多次以逐步升级Re-ID模型。
2019-10-25 cs.CV
Unsupervised Spatio-temporal Latent Feature Clustering for Multiple-object Tracking and Segmentation
Marquette University（马凯特大学）
视频序列中多个运动对象的时间标识符的一致性是一个具有挑战性的问题。这个问题的解决方案将直接影响多个对象跟踪和分割问题。我们提出了一种策略，将时间识别任务作为一个时空聚类问题。我们提出了一种无监督学习方法，使用卷积和完全连接的自动编码器，我们称之为深度异构自动编码器，从分割掩码和检测边界框中学习判别特征。我们从预训练的实例分割网络中提取掩码及其相应的边界框，并使用任务相关的不确定性权重联合训练自编码器以生成共同的潜在特征。然后，我们构建约束图，鼓励满足一组已知的时间条件的对象之间的关联。然后将特征向量和约束图提供给kmeans聚类算法以分离潜在空间中的相应数据点。我们使用具有挑战性的合成和真实世界的多对象视频数据集来评估我们的方法的性能。我们的研究结果表明，我们的技术优于几个国家的最先进的方法。
2021-11-05 cs.CV
Unsupervised Monocular Depth Learning with Integrated Intrinsics and Spatio-Temporal Constraints
University of California Los Angeles（加利福尼亚大学洛杉矶分校）；NASA Jet Propulsion Laboratory（美国国家航空航天局喷气推进实验室）；California Institute of Technology（加州理工学院）
近年来，单目深度推断得到了研究人员的极大关注，并且仍然是昂贵的飞行时间传感器的有希望的替代品，但是规模获取和实现开销的问题仍然困扰着这些系统。为此，这项工作提出了一个无监督学习框架，该框架能够预测在规模的深度图和自运动，除了相机的内在，通过一个单一的网络从单目图像序列。我们的方法结合了空间和时间的几何约束，以解决深度和姿态比例因子，这是在监督重建损失函数在训练时执行。只需要未标记的立体声序列来训练我们的单网络架构的权重，与以前的方法相比，这减少了整体实现开销。与KITTI驾驶数据集的多个序列的当前最新技术相比，我们的结果显示出强大的性能，并且可以提供更快的训练时间，降低网络复杂性。
2021-08-13 cs.CV cs.LG cs.RO
Unsupervised AER Object Recognition Based on Multiscale Spatio-Temporal Features and Spiking Neurons
Zhejiang University（浙江大学）
提出了一种无监督的地址事件表示（AER）对象识别方法.所提出的方法包括一种新的多尺度时空特征（MuST）表示输入AER事件和一个脉冲神经网络（SNN）使用尖峰时间相关的可塑性（STDP）与MuST的对象识别。MuST提取了AER事件流的时空信息中所包含的特征，形成了一种信息丰富、结构紧凑的特征尖峰表示。我们不仅展示了MuST如何利用尖峰信号更有效地传达信息，而且还展示了它如何有利于使用SNN进行识别。识别过程以无监督的方式执行，不需要指定SNN的每个单个神经元的期望状态，因此可以灵活地应用于现实世界的识别任务。实验在五个AER数据集上进行，其中包括一个新的名为Gesture-DVS的数据集。大量的实验结果表明，该方法的有效性和优势。
2019-11-19 cs.CV cs.NE eess.IV
Iterative Spectral Clustering for Unsupervised Object Localization
Indian Institute of Technology Gandhinagar（印度理工学院甘地纳格尔分校）
本文讨论了图像中的无监督目标定位问题。与以前的监督和弱监督算法，需要限界框或图像级注释训练分类器，以学习代表对象的功能，我们提出了一个简单而有效的技术，使用迭代谱聚类定位。这种迭代谱聚类方法以及在每次迭代中适当的聚类选择策略自然有助于在图像中搜索对象区域。为了估计最终的定位窗口，我们基于感知相似性对从迭代谱聚类步骤获得的建议进行分组，并对来自最高得分组的建议的坐标进行平均。我们在具有挑战性的数据集（如Object Discovery和PASCAL VOC 2007）上对我们的算法进行了基准测试，平均CorLoc百分比分别为51%和35%，尽管完全无监督，但与其他各种弱监督算法相当。
2017-06-29 cs.CV
Iterative Deployment Exposure for Unsupervised Out-of-Distribution Detection
University of Bern（伯恩大学）；University of Bonn（波恩大学）
针对现有无监督分布外检测方法忽略部署后积累特定任务OOD样本的问题，提出更贴合实际的迭代部署暴露设置与CSO方法，结合马氏距离、最近邻及置信度缩放少样本检测器，在三种医学影像模态上显著优于强基线。
2025-05-19 cs.CV cs.LG
Hyperspectral Denoising Using Unsupervised Disentangled Spatio-Spectral Deep Priors
University of Electronic Science and Technology of China（电子科技大学）；Oregon State University（俄勒冈州立大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
图像去噪通常需要精确的先验信息。近年来，数据驱动的神经网络先验在RGB自然图像去噪方面表现出了良好的性能。与经典的手工制作的先验（例如，稀疏性和总变差），使用大量的训练样本来学习“深度先验”--这可以精确地对复杂的图像生成过程进行建模。然而，由于缺乏训练数据，数据驱动的先验知识很难获得高光谱图像（HSI）。一种补救方法是使用所谓的无监督深度图像先验（DIP）。在无监督DIP框架下，假设并实证证明了适当的神经网络结构是某些类型图像的合理先验，并且可以在没有训练数据的情况下学习网络权重。尽管如此，最有效的无监督DIP结构是针对自然图像而不是HSI提出的。无监督的基于DIP的HSI去噪的性能受到两个严重挑战的限制，即网络结构设计和网络复杂性。这项工作提出了一个无监督的DIP框架，是基于经典的空间谱分解的HSIs。利用所谓的HSI的线性混合模型，两种类型的无监督DIP，即，U-Net类网络和全连接网络，分别用于模拟丰度图和HSI中包含的端元。这样，自然图像的经验验证的无监督DIP结构可以很容易地用于HSI去噪。此外，分解也大大降低了网络的复杂性。提出了一种有效的交替优化算法来处理公式化的去噪问题。半真实和真实数据的实验，以展示所提出的方法的有效性。
2021-08-18 cs.CV eess.IV
Video Jigsaw: Unsupervised Learning of Spatiotemporal Context for Video Action Recognition
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种自监督学习方法，以联合推理的空间和时间的视频识别上下文。最近的自监督方法使用了空间上下文[9，34]以及时间相干性[32]，但两者的组合需要大量的预处理，例如通过数百万个视频帧[59]跟踪对象或计算光流以确定具有高运动的帧区域[30]。我们建议在一个自监督框架中结合空间和时间上下文，而无需任何繁重的预处理。我们将多个视频帧划分为补丁网格，并训练网络从多个帧中解决这些补丁上的拼图游戏。因此，网络经过训练，可以正确识别视频帧内补丁的位置以及补丁随时间的位置。我们还提出了一种新的置换策略，优于随机置换，同时显着减少计算和内存的限制。我们使用我们训练的网络进行迁移学习任务，如视频活动识别，并在两个基准视频动作识别数据集上展示了我们方法的强度，而不使用这些数据集中的单个帧对我们提出的视频拼图网络进行无监督预训练。
2018-08-22 cs.CV
Contrast-Phys+: Unsupervised and Weakly-supervised Video-based Remote Physiological Measurement via Spatiotemporal Contrast
University of Oulu（奥卢大学）；Zhejiang University（浙江大学）
提出Contrast-Phys+方法，通过3DCNN生成时空rPPG信号并结合对比学习，在无监督和弱监督设置下进行视频远程生理测量，在五个数据集上优于现有监督方法。
2024-02-18 cs.CV
Iterative, Deep, and Unsupervised Synthetic Aperture Sonar Image Segmentation
Pennsylvania State University（宾夕法尼亚州立大学）
深度学习还没有被常规地用于合成孔径声纳（SAS）图像的海底环境的语义分割，这是由于这种方法所必需的大量训练数据的隐含需要。丰富的训练数据，特别是所有图像的像素级标签，由于复杂的物流（例如，潜水员测量、追踪船、精确位置信息）。已经提出了许多手工制作的基于特征的算法来以无监督的方式分割SAS。然而，由于这些方法的特征提取步骤是固定的，因此仍有改进的空间。在这项工作中，我们提出了一种新的迭代无监督算法，用于学习SAS图像分割的深度特征。我们提出的算法在聚类超像素和更新卷积神经网络（CNN）的参数之间交替，以便可以优化用于图像分割的特征提取。我们证明了我们的方法在一个现实的基准数据集的有效性。我们的研究结果表明，我们提出的方法的性能是大大优于目前国家的最先进的方法在SAS图像分割。
2021-07-30 cs.CV
IterMask3D: Unsupervised Anomaly Detection and Segmentation with Test-Time Iterative Mask Refinement in 3D Brain MR
Department of Engineering Science, University of Oxford, UK（工程科学系，牛津大学）；Department of Computer Science, Hong Kong Baptist University（计算机科学系，香港 Baptist 大学）；Nuffield Department of Clinical Neurosciences, University of Oxford（临床神经科学系，牛津大学）；Department of Neuroradiology, Oxford University Hospitals NHS Foundation Trust（放射学系，牛津大学医院 NHS 基础研究信托）
提出IterMask3D，通过测试时迭代掩码细化与高频信息引导重建，在3D脑MRI中实现无监督异常检测与分割，减少误报并提升性能。
2025-10-15 cs.CV cs.LG
Iterative Knowledge Exchange Between Deep Learning and Space-Time Spectral Clustering for Unsupervised Segmentation in Videos
University Politehnica of Bucharest（布加勒斯特理工大学）；Bitdefender（比特梵德）；Institute of Mathematics of the Romanian Academy（罗马尼亚科学院数学研究所）
我们提出了一个用于视频中无监督对象分割的双系统，它将两个具有互补特性的模块结合在一起：一个发现视频中对象的时空图和一个学习强大对象特征的深度网络。该系统使用迭代知识交换策略。图上的一种新的谱时空聚类过程产生无监督的分割掩码，作为伪标签传递给网络。网络学习在单帧中分割图在视频中发现的内容，并将强图像级特征传递回图，这些特征在下一次迭代中改善了其节点级特征。知识交换了几个周期，直到收敛。图中每个视频像素有一个节点，但对象发现速度很快。该算法采用一种新的幂迭代算法，在不计算运动矩阵的情况下，计算主时空簇作为特殊运动矩阵的主特征向量。通过实验分析验证了理论分析的正确性，证明了循环知识交换的有效性。我们还在监督场景上进行了实验，并结合了人工监督预训练的特征。我们在四个具有挑战性的数据集上实现了最先进的无监督和监督场景：DAVIS，SegTrack，YouTube-Objects和DAVSOD。
2020-12-13 cs.CV
IterMask2: Iterative Unsupervised Anomaly Segmentation via Spatial and Frequency Masking for Brain Lesions in MRI
Imperial College London（帝国理工学院）；University of Birmingham（伯明翰大学）；University of Oxford（牛津大学）
针对无监督异常分割中“破坏与重建”范式导致正常区域重建不佳而产生假阳性的问题，提出迭代空间掩码优化策略IterMask2，结合高频图像内容辅助输入，有效改善正常组织重建并提升MRI脑部病灶分割性能。
2024-06-05 cs.CV cs.LG eess.IV
Exploiting Spatio-Temporal Structure with Recurrent Winner-Take-All Networks
University of Florida（佛罗里达大学）；Universidad de los Andes（安第斯大学）
我们提出了一种卷积递归神经网络，具有Winner-Take-All dropout，用于多维时间序列中的高维无监督特征学习。我们将所提出的方法应用于视频中具有时间上下文的对象识别，并获得了比文献中的可比方法更好的结果，包括Chalasani和Principe先前提出的深度预测编码网络。我们的贡献可以总结为对通过时间反向传播训练的端到端深度预测编码网络的可扩展重新解释，将先前提出的Winner-Take-All Autoencoders扩展到时间序列，以及用于初始化和正则化卷积递归神经网络的新技术。
2017-03-15 cs.CV cs.LG
Visual Self-paced Iterative Learning for Unsupervised Temporal Action Localization
Shandong University（山东大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
提出一种视觉自步进迭代学习模型，通过增强聚类置信度和设计增量实例学习策略，解决无监督时序动作定位中聚类置信度低和伪标签不可靠的问题，在公开数据集上优于现有方法。
2025-03-30 cs.AI cs.CV
Are You Imitating Me? Unsupervised Sparse Modeling for Group Activity Analysis from a Single Video
Duke University（杜克大学）；University of Minnesota（明尼苏达大学）
本文提出了一种基于单个视频的无监督群体活动分析框架。我们的工作假设是，人类的行动在于低维子空间的工会，因此可以有效地建模为稀疏的线性组合的原子从一个学习的字典表示的动作的原语。与现有技术相反，并且以时空动作分组为主要目标，在这项工作中，在没有任何先前训练信息的情况下，只有一个单个视频片段可用于无监督学习和分析。在单个时空尺度上提取简单特征后，我们在每个短时间内为视频中的每个人学习一个字典。这些字典允许我们通过产生亲和矩阵来比较个体的动作，该亲和矩阵包含关于场景中的动作的足够的判别信息，从而使用简单有效的工具进行分组。通过各种公开的真实视频，我们证明了所提出的框架的有效性及其对杂乱背景，人类外观变化和动作变化的鲁棒性。
2012-08-27 cs.CV
Spatio-Spectroscopic Representation Learning using Unsupervised Convolutional Long-Short Term Memory Networks
Department of Physics and Astronomy, University of Minnesota Twin Cities（物理与天文学系，明尼苏达大学双城分校）；Physics Department, Lancaster University（拉斯特纳大学物理系）；European Space Agency (ESA), European Space Astronomy Centre (ESAC)（欧洲航天局（ESA）、欧洲空间天文学中心（ESAC））；Departments of Physics and Astronomy, Haverford College（物理与天文学系，哈弗德学院）；School of Physical Sciences, The Open University（物理科学学院，开放大学）
本文提出了一种基于无监督卷积长短期记忆网络的深度学习框架，用于在空间和光谱维度上学习星系的通用特征表示，并在活跃星系核样本上进行了演示。
2026-02-20 astro-ph.GA cs.CV
Unsupervised Automated Event Detection using an Iterative Clustering based Segmentation Approach
Shell Technology Centre（壳牌技术中心）
一类研究较少的视觉问题包括从基于物理的实验中获得的图像中检测物体。这些对象可以在4D（x，y，z，t）中跨越，并且在背景分布近似均匀的图像中作为干扰（由于物理现象引起）可见。这种物体有时被称为“事件”，可以被认为是图像中的高能斑点。与传统视觉问题中分析的图像不同，与这些事件相关的特征非常有限，它们的形状，大小和数量可能会有很大差异。这对使用从监督方法获得的预训练模型提出了挑战。在本文中，我们提出了一种无监督的方法，涉及基于迭代聚类的分割（ICS），可以检测目标对象（事件）的实时。在这种方法中，测试图像在几个周期内进行分析，并且每个周期识别一个事件。每个循环包括以下步骤：（1）使用改进的k均值聚类方法进行图像分割，（2）基于每个片段的统计分析消除空（无事件）片段，（3）合并重叠（对应于相同事件）的片段，以及（4）选择最强事件。重复这四个步骤，直到识别出所有事件。ICS方法由几个超参数组成，这些超参数是基于对一组测试图像进行的统计研究而选择的。ICS方法的适用性证明了几个2D和3D的测试例子。
2019-01-22 cs.AI cs.CV cs.LG
Beyond Wide-Angle Images: Structure-to-Detail Video Portrait Correction via Unsupervised Spatiotemporal Adaptation
针对广角视频畸变导致的人像面部拉伸问题，提出结合Transformer与扩散模型的ImagePC及无监督时空自适应的VideoPC，实现稳定自然的高保真人像校正。
2025-08-06 cs.AI cs.CV
Unsupervised Multiple Person Tracking using AutoEncoder-Based Lifted Multicuts
Fraunhofer Center Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；Institute for Machine Learning and Analytics (IMLA) Offenburg University（奥芬堡大学机器学习与分析研究所（IMLA））；University of Mannheim（曼海姆大学）
多目标跟踪（MOT）是计算机视觉中一个长期存在的课题。基于检测跟踪范例的当前方法需要某种领域知识或监督来将数据正确地关联到轨道中。在这项工作中，我们提出了一个无监督的多目标跟踪方法的基础上的视觉特征和最小成本提升多割。我们的方法是基于直接的时空线索，可以从相邻的帧中提取的图像序列没有supervison。基于这些线索的聚类使我们能够学习手头的跟踪任务所需的外观不变性，并训练自动编码器以生成合适的潜在表示。因此，所得到的潜在表示可以作为鲁棒的外观线索，用于跟踪，即使在大的时间距离，其中没有可靠的时空特征可以被提取。我们表明，尽管在没有使用所提供的注释的情况下进行了训练，但我们的模型在具有挑战性的MOT Benchmark行人跟踪上提供了有竞争力的结果。
2020-02-04 cs.CV
Spatiotemporal implicit neural representation for unsupervised dynamic MRI reconstruction
School of Biomedical Engineering, Shanghai Jiao Tong University, Shanghai, China（上海交通大学生物医学工程学院）；School of Information Science and Technology, ShanghaiTech University, Shanghai, China（上海科技大学信息科学与技术学院）；iHuman Institute, Shanghaitech University, Shanghai, China（上海科技大学iHuman研究所）
针对监督深度学习动态MRI重建需大量真实数据的问题，提出基于隐式神经表示的无监督方法，仅用时空坐标输入，结合多正则化，在高加速下PSNR提升5.5-7.1dB，无需训练数据即可改善重建效果。
2023-01-13 cs.CV eess.IV physics.med-ph
GENESIS-V2: Inferring Unordered Object Representations without Iterative Refinement
Google DeepMind（谷歌DeepMind）；Applied AI Lab, University of Oxford（牛津大学应用人工智能实验室）
对象表示的无监督学习的进展已经在用于无监督对象分割和可解释的以对象为中心的场景生成的广泛方法的发展中达到高潮。然而，这些方法仅限于具有有限视觉复杂度的模拟和真实世界数据集。此外，对象表示通常使用不能很好地扩展到大图像的RNN或迭代细化来推断，这避免了对图像中的对象施加不自然的排序，但需要对固定数量的对象表示进行先验初始化。与现有的范例相比，这项工作提出了一种基于嵌入的方法，其中嵌入的像素被聚集在一个可微的方式使用一个随机的棒断裂过程。类似于迭代细化，这种聚类过程也导致随机排序的对象表示，但不需要初始化一个固定数量的集群先验。这被用来开发一个新的模型GENESIS-v2，它可以在不使用RNN或迭代细化的情况下推断出可变数量的对象表示。我们表明，与最近的基线相比，GENESIS-v2在已建立的合成数据集以及更复杂的真实世界数据集上的无监督图像分割和以对象为中心的场景生成方面表现强劲。
2022-01-25 cs.CV cs.LG stat.ML
Adversarially learned iterative reconstruction for imaging inverse problems
University of Cambridge（剑桥大学）；KTH – Royal Institute of Technology（瑞典皇家理工学院）
在许多实际应用中，特别是在医学图像重建中，通常不可能获得用于监督学习的大量地面实况/测量对。因此，开发与监督方法在性能上具有竞争力的无监督学习协议势在必行。受最大似然原理的启发，我们提出了一个求解不适定逆问题的无监督学习框架。所提出的方法不是在重建图像和地面实况图像之间寻求像素接近度，而是学习迭代重建网络，其输出在分布上与地面实况相匹配。考虑到层析重建作为一个应用程序，我们证明了所提出的无监督的方法不仅执行与其监督的变体在客观的质量措施，但也成功地规避了问题的过度平滑，监督的方法往往遭受。重建质量的提高是以更高的训练复杂度为代价的，但是，一旦训练完成，重建时间就与其监督的对应时间相同。
2021-03-30 cs.CV cs.LG eess.IV
Iteratively Selecting an Easy Reference Frame Makes Unsupervised Video Object Segmentation Easier
School of Electrical and Electronic Engineering, Yonsei University（延世大学电气与电子工程学院）
无监督视频对象分割（UVOS）是一个逐像素的二值标记问题，其目的是在不使用前景对象的地面真值（GT）掩模的情况下将视频中的前景对象从背景中分离出来。大多数以前的UVOS模型使用第一帧或整个视频作为参考帧来指定前景对象的遮罩。我们的问题是为什么第一帧应该被选为参考帧，或者为什么整个视频应该被用来指定掩码。我们相信，我们可以选择一个更好的参考帧，以实现更好的UVOS性能，而不是只使用第一帧或整个视频作为参考帧。在我们的论文中，我们提出了简单的框架搜索（EFS）。EFS使我们能够选择一个“简单”的参考框架，使随后的VOS变得容易，从而提高VOS的性能。此外，我们提出了一个新的框架命名为迭代掩码预测（IMP）。在框架中，我们重复将EFS应用于给定的视频，并从视频中选择一个比上一次迭代更容易的参考帧，从而逐步提高VOS性能。IMP包括EFS、双向掩码预测（BMP）和时间信息更新（TIU）。从所提出的框架，我们实现了最先进的性能在三个UVOS基准集：DAVIS 16，FBMS和SegTrack-V2。
2021-12-23 cs.CV
Dictionary Learning with Accumulator Neurons
Pacific Northwest National Laboratory（太平洋西北国家实验室）；Drexel University（德雷塞尔大学）；National Research Council of Canada（加拿大国家研究委员会）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
局部竞争算法（LCA）使用非尖峰泄漏积分神经元之间的局部竞争来推断稀疏表示，允许在大规模并行神经形态架构（如英特尔的Loihi处理器）上进行潜在的实时执行。在这里，我们专注于从流媒体视频使用字典的时空特征优化稀疏重建的无监督的方式来推断稀疏表示的问题。非尖峰LCA先前已用于实现时空字典的无监督学习，所述时空字典由来自原始未标记视频的卷积核组成。我们演示了如何使用累加器神经元有效地实现具有尖峰LCA的无监督字典学习（\hbox{S-LCA}），该累加器神经元将传统的泄漏积分激发（\hbox{LIF}）尖峰生成器与用于最小化积分输入和尖峰输出之间的差异的附加状态变量相结合。我们展示了字典学习在广泛的动态制度，从分级到间歇性尖峰，从CIFAR数据库中绘制的静态图像以及从DVS相机捕获的视频帧的稀疏表示进行推断。在一个分类任务，需要识别的套件从一副牌被迅速翻阅通过DVS摄像头，我们发现基本上没有退化的性能作为LCA模型用于推断稀疏时空表示迁移从分级到尖峰。我们的结论是，累加器神经元很可能提供一个强大的使能组件的未来神经形态硬件实现在线无监督学习的时空字典优化稀疏重建流视频从基于事件的DVS摄像机。
2022-05-30 cs.CV
