Time-Series Representation Learning via Temporal and Contextual Contrasting
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
从具有时间动态的未标记时间序列数据中学习合适的表示是一项非常具有挑战性的任务。在本文中,我们提出了一个无监督的时间序列表示学习框架通过时间和上下文对比(TS-TCC),学习时间序列表示从未标记的数据。首先,原始的时间序列数据被转换成两个不同的,但相关的意见,通过使用弱和强增强。其次,我们提出了一种新的时间对比模块,通过设计一个艰难的跨视图预测任务来学习鲁棒的时间表示。最后,为了进一步学习区分性表征,我们提出了一个上下文对比模块,该模块建立在时间对比模块的上下文之上。它试图最大化相同样本的不同上下文之间的相似性,同时最小化不同样本的上下文之间的相似性。在三个真实世界的时间序列数据集上进行了实验。结果表明,在我们提出的TS-TCC学习的特征之上训练线性分类器与监督训练相比具有更好的性能。此外,我们提出的TS-TCC在少标记数据和迁移学习场景中表现出很高的效率。该代码可在https://github.com/emadeldeen24/TS-TCC上公开获取。
2021-06-26 cs.AI cs.LG
Temporally Consistent Object-Centric Learning by Contrasting Slots
University of Tübingen(蒂宾根大学);University of Amsterdam(阿姆斯特丹大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对视频对象中心表示缺乏跨帧稳定性的问题,提出对象级时间对比损失,提升分解可靠性、下游动力学预测及对象发现性能。
2025-03-18 cs.AI cs.CV cs.LG
ViCE: Improving Dense Representation Learning by Superpixelization and Contrasting Cluster Assignment
Tier IV Inc.(Tier IV公司)
最近的自监督模型已经证明了与监督方法相同或更好的性能,为AI系统从几乎无限的数据中学习视觉表示打开了大门。然而,这些方法通常是基于分类的,因此对于学习保留精确空间信息的高分辨率特征图无效。这项工作引入超像素,以提高密集的语义丰富的视觉概念嵌入的自监督学习。将图像分解成一小组视觉上连贯的区域,在保留细节的同时,通过$\mathcal{O}(1000)$降低了计算复杂性。我们的实验表明,对比区域提高了对比学习方法的有效性,将其适用性扩展到高分辨率图像,提高过聚类性能,超像素优于网格,区域掩蔽提高了性能。通过改进Cityscapes上的SOTA无监督语义分割基准和COCO上的卷积模型,证明了我们密集嵌入的表现力。
2022-10-07 cs.CV cs.LG stat.ML
Contrasting the landscape of contrastive and non-contrastive learning
Carnegie Mellon University(卡内基梅隆大学)
无监督特征学习的许多最新进展都是基于设计在语义数据增强下不变的特征。一种常见的方法是对比学习,它使用正样本和负样本。然而,最近的一些工作已经显示出有希望的结果,非对比学习,它不需要负样本。然而,非对比度损失具有明显的“塌陷”最小值,其中编码器输出与输入无关的恒定特征嵌入。一个民间猜想是,只要避免这些崩溃的解决方案,产生的特征表示应该是好的。在我们的论文中,我们对这个故事表示怀疑:我们通过理论结果和对照实验表明,即使在简单的数据模型上,非对比损失也具有非崩溃坏极小值的优势。此外,我们表明,训练过程并没有避免这些最小值。
2022-03-29 cs.CV cs.LG stat.ML
Graph-Aware Contrasting for Multivariate Time-Series Classification
Institute for Infocomm Research, A*STAR(新加坡A*STAR资讯通信研究院);Centre for Frontier AI Research, A*STAR(新加坡A*STAR前沿人工智能研究中心);Nanyang Technological University(南洋理工大学)
针对多元时间序列分类中现有对比学习方法忽略空间一致性的问题,提出图感知对比方法,通过节点和边增强及多层级图对比提取鲁棒特征,并引入多窗口时间对比,在多个任务上达到最先进性能。
2024-01-10 cs.LG
ACDC: Online Unsupervised Cross-Domain Adaptation
Nanyang Technological University(南洋理工大学);Singapore Institute of Manufacturing Technology(新加坡制造技术研究院)
我们考虑在线无监督的跨领域自适应问题,其中两个独立但相关的数据流具有不同的特征空间-一个完全标记的源流和一个未标记的目标流-一起学习。出现了独特的特征和挑战,例如协变量偏移、异步概念偏移和对比数据吞吐量。我们提出了ACDC,一个对抗性的无监督领域自适应框架,它可以用一个完整的自进化神经网络结构来处理多个数据流,对这些挑战做出反应。ACDC将三个模块封装到一个模型中:一个提取特征的去噪自动编码器,一个执行域转换的对抗模块,以及一个学习源流并预测目标流的估计器。ACDC是一个灵活且可扩展的框架,具有很少的超参数可调性。我们的实验结果下的prequential测试,然后训练协议表明,在基线方法的目标精度的改善,在某些情况下,实现了超过10%的增加。
2021-10-04 cs.LG
Unsupervised Contrastive Learning of Sound Event Representations
Music Technology Group, Universitat Pompeu Fabra(庞培法布拉大学音乐技术组);Insight Centre for Data Analytics, Dublin City University (DCU)(都柏林城市大学洞察数据分析中心)
自监督表示学习可以缓解人工标记数据少而未标记数据多的识别任务的局限性--这是声音事件研究中的一种常见情况。在这项工作中,我们探索无监督的对比学习作为一种学习声音事件表示的方法。为此,我们建议使用的借口任务,对比不同的增强意见的声音事件。视图主要通过将训练样本与不相关的背景混合来计算,然后进行其他数据增强。我们通过烧蚀实验分析了我们的方法的主要组成部分。我们评估学习表示使用线性评估,并在两个域中的下游声音事件分类任务,即,使用有限的手动标记的数据,并使用嘈杂的标记数据。我们的研究结果表明,无监督的对比预训练可以减轻数据稀缺的影响,并提高对噪声标签的鲁棒性,优于有监督的基线。
2020-11-15 cs.LG cs.SD eess.AS
Unsupervised Emergence of Egocentric Spatial Structure from Sensorimotor Prediction
SoftBank Robotics Europe(软银机器人欧洲公司)
尽管它在机器人应用中无处不在,空间知识的性质和机制,其出现在自主智能体仍然知之甚少。最近的理论工作表明,欧几里得空间结构诱导代理的原始感觉运动经验的不变量。我们假设,捕捉这些不变量是有益的感觉运动预测,并在一定的探索条件下,捕捉外部空间的结构的运动表征应该出现作为学习的副产品,以预测未来的感官体验。我们提出了一个简单的感觉运动预测方案,将其应用于不同的代理和类型的探索,并评估这些假设的相关性。我们表明,一个天真的代理可以捕获的拓扑结构和度量规则的传感器的位置在一个自我中心的空间框架,没有任何先验知识,也没有多余的监督。
2019-09-17 cs.AI cs.LG cs.RO
Unsupervised Emergence of Spatial Structure from Sensorimotor Prediction
SoftBank Robotics Europe(软银机器人欧洲公司)
尽管它在机器人应用中无处不在,空间知识的性质和机制,其出现在自主智能体仍然知之甚少。最近的理论工作表明,空间的概念可以通过捕获代理的原始感觉运动经验中的空间结构引起的不变量来接地。此外,据推测,捕捉这些不变量是有益的幼稚代理试图预测其感觉运动的经验。在某些探索性条件下,空间表征应该是学习预测的副产品。我们提出了一个简单的感觉运动预测方案,将其应用于不同的代理和类型的探索,并评估这一假设的相关性。我们表明,一个天真的代理可以捕捉到的拓扑结构和度量规则的空间配置没有任何先验知识,也没有多余的监督。
2018-11-27 cs.LG stat.ML
Learning Perceptual Inference by Contrasting
University of California, Los Angeles(加州大学洛杉矶分校);International Center for AI and Robot Autonomy (CARA)(国际人工智能与机器人自主中心(CARA))
“用图像思考”,[1]即,时空推理是人类进行逻辑归纳的一种重要能力,也是技术发展史上的一个重要因素。现代人工智能(AI)在大量数据集、更深层次的模型和强大的计算的推动下,已经发展到在某些特定任务中观察到(超)人类水平表现的阶段。然而,目前人工智能在“图像思维”方面的能力还远远落后。在这项工作中,我们研究了如何提高机器在一个具有挑战性的任务上的推理能力:Raven's Progressive Matrices(RPM)。具体来说,我们借用心理学、认知学和教育学领域的“对比效应”的思想,设计并训练一个置换不变模型。受认知研究的启发,我们为模型配备了一个简单的推理模块,该模块与感知骨干联合训练。结合所有元素,我们提出了对比感知推理网络(CoPINet),并实证证明CoPINet在两个主要数据集上为置换不变模型设置了新的最新技术水平。我们的结论是,时空推理取决于设想的可能性与对象之间的关系一致,可以解决从像素级的输入。
2019-11-29 cs.AI cs.CV cs.LG
Tile2Vec: Unsupervised representation learning for spatially distributed data
Stanford University(斯坦福大学)
地理空间分析缺乏像词向量表示和预训练网络这样的方法,这些方法可以显着提高各种自然语言和计算机视觉任务的性能。为了填补这一空白,我们引入了Tile 2 Vec,这是一种无监督的表示学习算法,它将分布假设从自然语言--出现在相似上下文中的单词往往具有相似的含义--扩展到空间分布数据。我们以经验证明,Tile 2 Vec在三个数据集上学习语义有意义的表示。我们学习的表示显著提高了下游分类任务的性能,并且与词向量类似,视觉类比可以通过潜在空间中的简单算法获得。
2018-05-30 cs.CV cs.LG stat.ML
BHyGNN+: Unsupervised Representation Learning for Heterophilic Hypergraphs
University of Notre Dame(圣母大学);University of Connecticut(康涅狄格大学);Amazon GenAI(亚马逊生成式人工智能)
BHyGNN+通过超图对偶性实现无监督学习,有效提升异质超图表示学习性能。
2026-02-16 cs.AI cs.LG
A Generic Machine Learning Framework for Fully-Unsupervised Anomaly Detection with Contaminated Data
Zurich University of Applied Sciences(苏黎世应用科学大学)
针对训练数据受异常样本污染导致基于残差的异常检测性能下降的问题,提出一种通用完全无监督数据提纯框架,通过评估样本对模型泛化的贡献区分异常,性能接近甚至优于纯正常样本训练效果。
2024-01-31 cs.AI cs.LG
Exploiting Spatial Invariance for Scalable Unsupervised Object Tracking
Mila(米拉研究所);McGill University(麦吉尔大学)
在视觉世界中检测和跟踪对象的能力是任何智能代理的关键技能,因为它是任何对象级推理过程的必要前提。此外,重要的是,智能体学会在没有监督的情况下跟踪对象(即不访问带注释的训练视频),因为这将允许智能体在最少的人工帮助下开始在新环境中操作。近年来,学习发现和跟踪视频中的对象的任务(我们称之为\textit{unsupervised object tracking})越来越突出;然而,解决这个问题的大多数架构仍然难以处理包含许多对象的大型场景。在目前的工作中,我们提出了一个架构,以及采用空间不变的计算(卷积和空间注意力)和表示(空间局部对象规范方案)的大场景,多对象设置的规模。在一系列实验中,我们展示了我们的架构的一些有吸引力的功能;最值得注意的是,它在跟踪具有许多对象的杂乱场景中的对象时优于竞争方法,并且它可以很好地推广到比训练期间遇到的视频更大和/或包含更多对象的视频。
2019-11-20 cs.CV cs.LG stat.ML
Unsupervised Deep Clustering for Source Separation: Direct Learning from Mixtures using Spatial Information
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe研究院)
我们提出了一个单声道声源分离系统,该系统只通过观察没有地面真值分离信息的混合物来训练。我们使用一种深度聚类方法,该方法在多通道混合物上进行训练,并学会将频谱图箱投影到与各种空间特征相关的源集群。我们表明,使用这样的训练过程中,我们可以获得的分离性能是一样好,利用地面真分离信息。一旦经过训练,这个系统就能够对单声道输入进行声音分离,尽管已经学会了如何使用多声道录音来这样做。
2018-11-09 cs.LG cs.SD eess.AS
SPACE: Unsupervised Object-Oriented Scene Representation via Spatial Attention and Decomposition
Rutgers University(罗格斯大学);Zhejiang University(浙江大学)
将复杂的多对象场景分解为像对象这样有意义的抽象的能力是实现更高层次认知的基础。以往的无监督面向对象场景表示学习方法要么基于空间注意力,要么基于场景混合,可扩展性有限,这是对真实世界场景建模的主要障碍。在本文中,我们提出了一个生成的潜变量模型,称为空间,它提供了一个统一的概率建模框架,结合了最好的空间注意力和场景混合的方法。空间可以显式地为前景对象提供因子分解的对象表示,同时也分解复杂形态的背景段。以前的模型在这两方面都很好,但不是两者都好。空间还解决了以前的方法,通过将并行空间注意力的可扩展性问题,因此适用于场景中有大量的对象,而不会降低性能。我们通过在Atari和3D-Rooms上的实验表明,与SPAIR、IODINE和GENESIS相比,SPACE始终实现了上述属性。我们的实验结果可以在我们的项目网站上找到:https://sites.google.com/view/space-project-page
2020-03-15 cs.CV cs.LG eess.IV
Unsupervised training of a deep clustering model for multichannel blind source separation
Paderborn University(帕德博恩大学)
我们提出了一种训练方案,当并行干净数据不可用时,从头开始训练基于神经网络的声源分离算法。特别是,我们证明了无监督的空间聚类算法足以指导深度聚类系统的训练。我们认为,以前的工作需要强有力的监督,并详细说明为什么这是一个限制。我们证明了(a)根据所提出的方案单独训练的单通道深度聚类系统能够在单词出错率方面实现与多通道教师类似的性能,以及(b)使用深度聚类结果初始化空间聚类方法,与无监督教师相比,相对单词出错率降低了26%。
2019-04-02 cs.LG eess.SP stat.ML
Unsupervised Sparse-view Backprojection via Convolutional and Spatial Transformer Networks
Columbia University(哥伦比亚大学)
许多成像技术依赖于断层重建,这需要在给定有限数量的投影的情况下求解多维逆问题。反投影是用于断层摄影重建的一类流行算法,然而,当投影角度稀疏和/或如果传感器特性不均匀时,反投影通常导致差的图像重建。已经开发了几种基于深度学习的算法来解决这个逆问题,并使用有限数量的投影重建图像。然而,这些算法通常需要地面实况的示例(即,重建图像的示例)来产生良好的性能。在本文中,我们介绍了一种无监督稀疏视图反投影算法,它不需要地面实况。该算法由两个模块组成的生成器投影框架;卷积神经网络和空间Transformer网络。我们评估我们的算法使用计算机断层扫描(CT)图像的人类胸部。我们表明,我们的算法显着优于过滤反投影时,投影角度非常稀疏,以及当传感器特性不同的角度。我们的方法具有实际应用的医学成像和其他成像方式(如雷达),稀疏和/或非均匀的投影可能会被收购由于时间或采样的限制。
2020-06-01 cs.LG eess.IV stat.ML
Unsupervised Object Keypoint Learning using Local Spatial Predictability
The Swiss AI Lab IDSIA(瑞士人工智能实验室IDSIA);USI(瑞士意大利语区大学);SUPSI(瑞士南部应用科学大学)
我们提出了PermaKey,一种新的方法来表示学习的基础上对象的关键点。它利用来自空间邻域的局部图像区域的可预测性来识别与对象部分相对应的显著区域,然后将其转换为关键点。与以前的方法不同,它利用可预测性来发现对象关键点,这是对象的内在属性。这确保了它不会过度偏置关键点,专注于不是唯一的对象,如运动,形状,颜色等的特性,我们证明了Atari的PermaKey的功效,它学习关键点对应于最突出的对象部分,是强大的某些视觉干扰。此外,在Atari域的下游RL任务中,我们展示了配备关键点的代理如何优于使用竞争替代品的代理,即使在具有移动背景或干扰对象的挑战性环境中。
2021-03-08 cs.AI cs.CV cs.LG
Deep Spatially-Regularized and Superpixel-Based Diffusion Learning for Unsupervised Hyperspectral Image Clustering
Tufts University(塔夫茨大学)
本文提出一种结合掩码深度表征学习与扩散聚类的无监督超光谱图像聚类框架,通过改进的空间正则化超像素扩散学习算法,提升聚类质量。
2026-04-14 cs.CV cs.LG
Bootstrapping single-channel source separation via unsupervised spatial clustering on stereo mixtures
Northwestern University(西北大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
将音频场景分离成孤立的源是计算机听觉中的基本问题,类似于视觉景物分析中的图像分割。基于深度学习的声源分离系统是目前解决欠定分离问题的最成功的方法,其中存在比信道更多的声源。传统上,这样的系统是在已经知道地面真实分解的声音混合物上训练的。由于大多数真实世界的记录没有这样的分解可用,这限制了可以训练的混合物的范围,以及学习模型可以成功分离的混合物的范围。在这项工作中,我们使用一个简单的盲空间声源分离算法来生成立体声混合的估计分解。这些估计连同基于分离质量的置信度的时频域中的加权方案一起用于训练可用于单通道分离的深度学习模型,其中没有源方向信息可用。这演示了如何使用诸如源的起源方向的简单线索来引导用于声源分离的模型,该模型可以在该线索不可用的情况下使用。
2018-11-06 cs.AI cs.LG cs.SD
Unsupervised Assignment Flow: Label Learning on Feature Manifolds by Spatially Regularized Geometric Assignment
Heidelberg University(海德堡大学)
本文介绍了无监督的分配流,耦合的分配流监督图像标记与黎曼梯度流的标签演变的特征流形。后一部分的方法包括国家的最先进的聚类方法的流形值数据的扩展。将标签进化与空间正则化的分配流耦合会产生稀疏化效应,从而能够以无监督的方式学习紧凑的标签字典。我们的方法简化了监督标记的要求,即手头有适当的标签,因为初始标签集可以在分配给给定数据时进化并适应更好的值。特征和分配流形之间的分离使灵活的应用程序,这是证明了三个场景与流形值的功能。实验证明了两个方向的有益效果:标签的自适应性提高了图像标记,并且通过空间正则化分配来引导标签进化导致正确的标签,因为监督标记的分配流被精确地使用,而没有任何近似用于标签学习。
2019-12-16 cs.CV cs.LG math.OC
Spatial Context Awareness for Unsupervised Change Detection in Optical Satellite Images
German Aerospace Center (DLR)(德国航空航天中心);Technical University of Munich (TUM)(慕尼黑工业大学)
利用多时相对地观测数据检测地面变化是遥感领域的关键问题之一。在本文中,我们介绍了同胞回归光学变化检测(SiROC),一种无监督的方法,在光学卫星图像的变化检测与中,高分辨率。SiROC是一种基于空间上下文的方法,它将像素建模为其远距离邻居的线性组合。它使用该模型来分析像素的差异及其在后续时间段内基于空间上下文的预测,以进行变化检测。我们将这种基于空间上下文的变化检测与相互排斥的邻域集成相结合,并通过形态学操作从像素级变化过渡到对象级变化。SiROC在四个数据集上使用中等分辨率的Sentinel-2和高分辨率的Planetscope图像进行变化检测时具有竞争力的性能。除了不需要训练的准确预测外,SiROC还提供了一个校准良好的预测不确定性。这使得该方法与基于深度学习的方法结合使用,特别适用于伪标签等应用。
2021-10-05 cs.CV cs.LG
Few-Shot Unsupervised Implicit Neural Shape Representation Learning with Spatial Adversaries
Inria(法国国家信息与自动化研究所);Univ. Rennes(雷恩大学);CNRS(法国国家科学研究中心);IRISA(雷恩信息与自动化研究所);M2S(运动、生长与形态研究所)
针对无监督下从稀疏3D点云学习神经符号距离函数的难题,提出利用形状周围对抗样本作为正则化项的方法,在合成与真实数据上有效提升了SDF学习效果。
2024-08-27 cs.AI cs.CV cs.GR
Spatial gradient consistency for unsupervised learning of hyperspectral demosaicking: Application to surgical imaging
高光谱成像有可能改善术中决策,如果组织表征进行实时和高分辨率。高光谱快照镶嵌传感器提供了一个很有前途的方法,由于其快速的采集速度和紧凑的尺寸。然而,需要一个去马赛克算法来完全恢复快照图像的空间和光谱信息。大多数最先进的去马赛克算法需要具有成对快照和高分辨率高光谱图像的地面实况训练数据,但是在术中设置中物理上不可能获得具有完全相同场景的这种图像对。在这项工作中,我们提出了一个完全无监督的高光谱图像去马赛克算法,只需要样本快照图像用于训练目的。我们将高光谱去马赛克视为一个不适定的线性逆问题,我们使用深度神经网络解决该问题。我们利用自然场景中发生的光谱相关性,设计了一种新的光谱带间正则化项的基础上空间梯度的一致性。通过将我们提出的项与标准正则化技术相结合,并利用标准数据保真度项,我们获得了一个用于训练深度神经网络的无监督损失函数,这使我们能够实现实时高光谱图像去马赛克。在高光谱图像数据集上的定量结果表明,我们的无监督去马赛克方法可以实现类似的性能,其监督的部分,并显着优于线性去马赛克。对真实快照高光谱手术图像的定性用户研究证实了定量分析的结果。我们的研究结果表明,所提出的无监督算法可以实现有前途的高光谱去马赛克的实时,从而提高了适用性的方式术中使用。
2023-02-21 cs.CV cs.LG eess.IV
Unsupervised Spatial-spectral Hyperspectral Image Reconstruction and Clustering with Diffusion Geometry
City University of Hong Kong(香港城市大学);Hong Kong Centre for Cerebro-Cardiovascular Health Engineering(香港脑心血管健康工程中心);Tufts University(塔夫茨大学);Wake Forest University(维克森林大学)
高光谱图像是自然科学和社会科学的重要数据源,它存储了上百个或更多的光谱波段。高光谱图像通常以相对粗糙的空间分辨率大量生成。因此,需要在高光谱图像中结合已知结构的无监督机器学习算法来自动分析这些图像。本文介绍了空间光谱图像重建和扩散几何聚类(DSIRC)算法,用于分割高度混合的高光谱图像。DSIRC通过形状自适应重建过程降低测量噪声。特别是,对于每个像素,DSIRC定位光谱相关的像素内的数据自适应的空间邻域和重建像素的光谱特征使用其邻居。然后,DSIRC将高密度、高纯度像素定位在远离其他高密度、高纯度像素的扩散距离(一种依赖于数据的距离度量)上,并将这些像素视为聚类样本,为每个像素提供唯一的标签。非模态像素被分配其扩散距离的标签-已经标记的具有更高密度和纯度的最近邻。强有力的数值结果表明,通过图像重建的空间信息,大大提高了性能的像素级聚类。
2022-04-28 cs.CV cs.LG stat.AP
Unsupervised Segmentation of Fire and Smoke from Infra-Red Videos
The University of New Mexico(新墨西哥大学)
本文提出了一种基于视觉的火灾和烟雾分割系统,该系统利用空间、时间和运动信息从视频帧中提取出所需的区域。信息的融合使用多个特征来完成,例如光流、发散度和强度值。从图像中提取的这些特征用于以无监督的方式将像素分割成不同的类。通过使用多种聚类算法进行分割的比较分析。在这里,马尔可夫随机场执行更准确地比其他分割算法,因为它的特点是使用有限数量的参数的像素的空间相互作用。它构建了一个概率图像模型,该模型使用最大后验概率(MAP)估计来选择最有可能的标签。这种无监督的方法在各种图像上进行了测试,并实现了95.39%的逐帧火灾检测率。因此,该方法可用于早期火灾的实时检测,它可以被纳入室内或室外监控系统。
2019-09-18 cs.CV cs.LG eess.IV
Superpixel-based and Spatially-regularized Diffusion Learning for Unsupervised Hyperspectral Image Clustering
City University of Hong Kong(香港城市大学);Tufts University(塔夫茨大学);The University of Hong Kong(香港大学);Wake Forest University(维克森林大学)
提出S2DL算法,结合超像素分割与空间正则化扩散学习,实现无监督高光谱图像聚类,在多个真实数据集上验证了高效性与准确性。
2023-12-24 cs.CV cs.LG stat.AP
Unsupervised Deep Learning-based Pansharpening with Jointly-Enhanced Spectral and Spatial Fidelity
University Federico II(费德里科二世大学);University Parthenope(帕台农佩大学)
本文提出一种基于无监督深度学习的全色锐化模型,采用残差注意力模块和联合增强光谱与空间质量的新损失函数,并通过新微调策略提升推理适应性,在全分辨率域实现前沿性能。
2023-07-26 cs.AI cs.CV cs.LG
Deep Bayesian Unsupervised Source Separation Based on a Complex Gaussian Mixture Model
National Institute of Advanced Industrial Science and Technology(国立先进工业科学技术研究院);RIKEN AIP(理化学研究所人工智能研究中心);Kyoto University(京都大学)
提出了一种仅利用多通道混合信号训练神经声源分离的无监督方法。传统的神经元分离方法需要大量的监督数据才能获得良好的性能。虽然基于空间信息的多通道方法可以在没有这样的训练数据的情况下工作,但是它们通常对参数初始化敏感,并且随着源彼此靠近而退化。所提出的方法使用基于称为复高斯混合模型(cGMM)的空间模型的成本函数。该模型的时间-频率(TF)掩模和波达方向(DOA)的源作为潜在变量,并用于训练分离和定位网络,分别估计这些变量。这种联合训练在统一的深度贝叶斯框架中解决了空间模型的频率排列模糊性。此外,预先训练的网络不仅可以用于进行单声道分离,而且可以用于有效地初始化多声道分离算法。模拟语音混合的实验结果表明,我们的方法优于传统的初始化方法。
2019-08-29 cs.LG cs.SD eess.AS
Unsupervised Graph Deep Learning Reveals Emergent Flood Risk Profile of Urban Areas
Texas A&M University(德克萨斯A&M大学)
针对现有城市洪水风险评估忽略特征交互与空间依赖的问题,提出无监督图深度学习模型FloodRisk-Net,利用美国多城市数据将洪水风险分为六级,识别最高风险原型,揭示核心城市高风险与空间层级分布,为减灾策略提供依据。
2025-08-06 cs.AI cs.CY cs.LG
Unsupervised Diffusion and Volume Maximization-Based Clustering of Hyperspectral Images
Tufts University(塔夫茨大学);City University of Hong Kong(香港城市大学);Conservation Research Institute, University of Cambridge(剑桥大学保护研究所);University of Cambridge(剑桥大学);Wake Forest University(维克森林大学)
从飞机或卫星上拍摄的高光谱图像包含来自数百个光谱带的信息,其中隐藏着潜在的低维结构,可用于对植被和其他材料进行分类。使用高光谱图像的缺点是,由于光谱和空间分辨率之间的固有权衡,它们具有相对粗糙的空间尺度,这意味着单个像素可能对应于包含多种材料的空间区域。本文介绍了基于扩散和体积最大化的图像聚类(D-VIC)算法的无监督材料聚类,以解决这个问题。通过直接将像素纯度纳入其标记过程中,D-VIC为对应于仅包含单一材料的空间区域的像素提供更大的权重。D-VIC的表现优于可比的国家的最先进的方法在广泛的实验上的一系列高光谱图像,包括土地利用地图和高度混合的森林健康调查(在灰枯梢病的背景下),这意味着它是装备精良的光谱混合高光谱数据集的无监督材料聚类。
2023-02-19 cs.CV cs.LG stat.AP
Efficient Unsupervised Domain Adaptation Regression for Spatial-Temporal Sensor Fusion
Intelligent Maintenance and Operations Systems Laboratory, EPFL(智能维护与操作系统实验室,瑞士联邦理工学院)
本文提出一种针对回归任务的高效无监督领域适应方法,通过整合空间-时间图神经网络和源目标域扰动逆Gram矩阵对齐,实现无标注数据下的可扩展领域适应,验证于空气质量监测和EEG信号重建任务,取得最佳性能。
2025-08-06 cs.LG eess.SP
Unsupervised Feature Learning by Deep Sparse Coding
Georgia Institute of Technology(佐治亚理工学院);DeepMind Technologies(DeepMind科技公司);Princeton University(普林斯顿大学);The City College of New York(纽约城市学院);University of Virginia(弗吉尼亚大学)
在本文中,我们提出了一种新的无监督特征学习框架,即深度稀疏编码(DeepSC),它将稀疏编码扩展到视觉对象识别任务的多层架构。该框架的主要创新之处在于它通过一个稀疏到密集的模块将不同层的稀疏编码器连接起来。稀疏到密集模块是局部空间池化步骤和低维嵌入过程的组合,其利用图像中的空间平滑信息。其结果是,新方法是能够学习几个层次的稀疏表示的图像捕捉功能在各种抽象层次,同时保持相邻的图像补丁之间的空间平滑度。结合来自多个层的特征表示,DeepSC在多个对象识别任务上实现了最先进的性能。
2013-12-20 cs.CV cs.LG cs.NE
Unsupervised embedding and similarity detection of microregions using public transport schedules
Faculty of Computer Science and Management(计算机科学与管理学院)
近年来,空间数据在处理与城市有关的任务方面的作用越来越大。为了在机器学习模型中使用它们,通常需要将它们转换为矢量表示,这导致了空间数据表示学习领域的发展。空间数据类型也越来越多,表示学习方法被提出。公共交通时刻表迄今为止还没有被用于学习一个城市的区域表示的任务。在这项工作中,开发了一种方法来嵌入到向量空间的公共交通可用性信息。为了对其应用进行实验,从48个欧洲城市收集了公共交通时间表。利用H3空间索引方法,将它们划分为微区域。还提出了一种方法,以确定具有类似公共交通服务特点的区域。在此基础上,确定了各区域公共交通服务的多层次类型。本论文表明,所提出的表示方法可以识别城市之间具有相似公共交通特征的微区域,并可用于评估城市公共交通的质量。
2021-11-03 cs.LG
Recycle-GAN: Unsupervised Video Retargeting
Carnegie Mellon University(卡内基梅隆大学);Facebook Reality Lab(Facebook现实实验室)
我们介绍了一种用于无监督视频重定向的数据驱动方法,该方法将内容从一个域转换到另一个域,同时保留域的本地风格,即,如果约翰·奥利弗的演讲的内容要被传送给斯蒂芬·科尔伯特,则所生成的内容/演讲应当是斯蒂芬·科尔伯特的风格。我们的方法结合了空间和时间信息以及内容翻译和风格保存的对抗性损失。在这项工作中,我们首先研究的优势,使用时空约束的空间约束有效重定向。然后,我们展示了所提出的方法,在空间和时间的问题,如面对面的翻译,花到花,风和云的合成,日出和日落的信息。
2018-08-15 cs.CV cs.GR cs.LG
Unsupervised Learning of Global Registration of Temporal Sequence of Point Clouds
New York University Abu Dhabi(纽约大学阿布扎比分校);New York University(纽约大学);NYU Tandon School of Engineering(纽约大学坦登工程学院)
点云的全局配准旨在找到一系列2D或3D点集的最佳对齐。在本文中,我们提出了一种新的方法,利用当前的深度学习技术,从点云的时间序列进行全局配准的无监督学习。我们的主要新颖之处在于,我们引入了一个深时空再现(STREP)功能,它描述了在未知环境中使用传感器获取的点云序列的时间和空间关系的几何本质。与之前单独处理每个时间步(成对配准)的做法相反,我们的无监督模型从优化潜在STREP特征序列开始,然后将其解码为时间和空间连续的几何变换序列,以全局对齐多个点云。我们已经在模拟的2D和真实的3D数据集上评估了我们提出的方法,实验结果表明,我们的方法可以通过考虑深度特征学习中的时间信息来击败其他技术。
2020-06-17 cs.CV cs.LG
An unsupervised approach for semantic place annotation of trajectories based on the prior probability
Peking University(北京大学);Technical University of Munich(慕尼黑工业大学)
语义位置标注可以提供个性化的语义,这在轨迹数据采掘领域有很大的帮助。大多数现有的方法依赖于注释或外部数据,并且需要在区域改变后重新训练,从而阻止了它们的大规模应用。在这里,我们提出了一个无监督的方法表示为UPAPP的轨迹使用时空信息的语义位置注释。具体采用贝叶斯准则将候选地点的时空概率分解为空间概率、持续时间概率和访问时间概率。随后采用ROI和POI数据中的空间信息来计算空间概率。在时间概率方面,采用词频逆文档频率加权算法对轨迹中不同地点类型的潜在访问进行统计,并生成访问时间和持续时间的先验概率。然后,候选地点的时空概率与地点类别的重要性相结合来注释访问过的地点。通过对北京709名志愿者采集的轨迹数据集进行验证,结果表明,该方法的总体准确率和平均准确率分别为0.712和0.720,这表明该方法可以在没有任何外部数据的情况下准确地注释访问过的地方。
2022-04-20 cs.IR cs.LG
Unsupervised 4D Cardiac Motion Tracking with Spatiotemporal Optical Flow Networks
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);DJI Technology Co., Ltd.(大疆创新科技有限公司);Shenzhen University of Advanced Technology(深圳理工大学)
本文提出首个无监督端到端深度学习光流网络用于4D心脏运动追踪,通过空间重建损失与时间一致性损失从噪声超声数据中估计心肌运动,实验证明其在准确性和速度上优于现有方法。
2024-07-05 cs.CV cs.LG
Unsupervised Spiking Instance Segmentation on Event Data using STDP
University of Strathclyde(思克莱德大学)
脉冲神经网络(SNN)和神经形态工程领域带来了如何处理机器学习(ML)和计算机视觉(CV)问题的范式转变。这种范式转变来自于基于事件的感知和处理的适应。基于事件的视觉传感器允许产生与场景动态相关的稀疏和异步事件。不仅允许捕获空间信息,还允许捕获高保真度的时间信息。同时避免了传统高帧速率方法的额外开销和冗余。然而,随着这种范式的变化,传统CV和ML的许多技术不适用于这些基于事件的时空视觉流。因此,存在有限数量的识别、检测和分割方法。在本文中,我们提出了一种新的方法,可以执行实例分割只使用尖峰时间相关的可塑性训练尖峰卷积神经网络,对象识别训练的权重。这利用了网络内部特征表示的空间和时间方面,增加了这种新的区分能力。我们突出了新的能力,成功地将一个单类无监督网络的人脸检测到多人的人脸识别和实例分割网络。
2021-11-12 cs.CV cs.LG eess.IV
IterMask2: Iterative Unsupervised Anomaly Segmentation via Spatial and Frequency Masking for Brain Lesions in MRI
Imperial College London(帝国理工学院);University of Birmingham(伯明翰大学);University of Oxford(牛津大学)
针对无监督异常分割中“破坏与重建”范式导致正常区域重建不佳而产生假阳性的问题,提出迭代空间掩码优化策略IterMask2,结合高频图像内容辅助输入,有效改善正常组织重建并提升MRI脑部病灶分割性能。
2024-06-05 cs.CV cs.LG eess.IV
CD-GAN: a robust fusion-based generative adversarial network for unsupervised remote sensing change detection with heterogeneous sensors
Southwest Minzu University(西南民族大学);University of Toulouse(图卢兹大学);University of Electronic Science and Technology of China(电子科技大学)
本文提出CD-GAN,将异构光学传感器变化检测转化为鲁棒融合问题,通过把预训练融合网络嵌入对抗框架实现无监督变化检测,实验证明其通用有效。
2023-11-29 cs.CV cs.LG eess.IV