Shallow Features Guide Unsupervised Domain Adaptation for Semantic Segmentation at Class Boundaries
University of Bologna（博洛尼亚大学）
尽管深度神经网络在语义分割任务方面取得了显著的成果，但它们通常无法推广到新的领域，特别是在执行合成到真实的适应时。这样的域转移沿着类边界特别明显，使包括获得尖锐的分割掩模的语义分割的主要目标之一无效。在这项工作中，我们专门解决这个核心问题的背景下，无监督领域自适应，并提出了一种新的低层次的适应策略，使我们能够获得尖锐的预测。此外，受最近的自训练技术的启发，我们引入了一种有效的数据增强，它消除了采用伪标签进行自训练时通常存在于语义边界的噪声。我们的贡献可以很容易地集成到其他流行的自适应框架中，大量的实验表明，它们有效地提高了类边界的性能。
2021-10-06 cs.CV
Unsupervised Microvascular Image Segmentation Using an Active Contours Mimicking Neural Network
Tel Aviv University（特拉维夫大学）；Facebook AI Research（脸书人工智能研究院）
显微图像中的血管分割对于许多诊断和研究应用至关重要。然而，根据瞬态成像条件的不同，血管可能看起来有很大的不同，并且收集用于监督训练的数据是费力的。我们提出了一种新的深度学习方法，用于血管的无监督分割。该方法的灵感来自于活动轮廓领域，我们引入了一个新的损失项，这是基于形态学活动轮廓无边缘（ACWE）优化方法。形态算子的作用是由新的池化层发挥的，这些池化层被纳入网络的架构。我们展示了当成像条件发生变化时，以前的监督学习解决方案所面临的挑战。我们的无监督方法在标记数据集以及应用于相似但不同的数据集时都能够优于以前的方法。我们的代码，以及基线方法VesselNN和DeepVess的高效PyTorch重新实现可在GitHub -https://github.com/shirgur/UMIS上获得。
2019-08-16 cs.CV eess.IV
A Replica Inference Approach to Unsupervised Multi-Scale Image Segmentation
Washington University in St. Louis（圣路易斯华盛顿大学）
我们应用基于副本推理的Potts模型方法在多尺度上进行无监督图像分割。这种方法的灵感来自于“社区检测”及其相图的统计力学问题。具体地说，这个问题被认为是识别紧密结合的集群（“社区”或“溶质”）的背景或“溶剂”。在我们的多分辨率方法中，我们计算基于信息论的多个解决方案（“副本”）的同一个图在一系列的分辨率之间的相关性。显着的多分辨率结构被确定为副本相关性在信息理论重叠。借助于这些关联式以及热力学措施，相应的Potts模型的相图分析在零温度和有限的温度。对应于合理的无监督分割的最佳参数对应于Potts模型的“容易阶段”。我们的算法是快速的，并被证明是至少作为最好的算法，以日期和特别适合于检测的图像。
2011-06-28 cond-mat.stat-mech cs.CV physics.soc-ph
DeepPhaseCut: Deep Relaxation in Phase for Unsupervised Fourier Phase Retrieval
Korea Advanced Institute of Science and Technology (KAIST)（韩国高等科学技术院（KAIST））
傅里叶相位恢复是一个经典的问题，恢复信号的傅里叶变换的测量幅度。虽然Fienup类型的算法，它使用在空间和傅立叶域的先验知识，已被广泛应用于实践中，他们往往会在局部极小。现代方法，如PhaseLift和PhaseCut，可以在凸松弛的帮助下提供性能保证。然而，这些算法通常是计算密集型的实际使用。为了解决这个问题，我们提出了一种新的，无监督，前馈神经网络傅立叶相位检索，使即时高质量的重建。与现有的使用神经网络作为正则化项或端到端黑箱模型进行监督训练的深度学习方法不同，我们的算法是无监督学习框架中PhaseCut算法的前馈神经网络实现。具体来说，我们的网络由两个生成器组成：一个用于使用PhaseCut损失进行相位估计，另一个用于图像重建，所有这些都是使用cycleGAN框架同时训练的，没有匹配的数据。还揭示了与经典Fienup型算法和最近的破坏性学习方法的联系。大量的实验表明，所提出的方法优于所有现有的傅里叶相位恢复问题的方法。
2020-11-20 cs.CV cs.LG eess.IV
Synaptic Plasticity Models and Bio-Inspired Unsupervised Deep Learning: A Survey
ISTI-CNR（意大利国家研究委员会信息科学与技术研究所）
本文综述了受生物启发的突触可塑性模型及其在深度学习场景中的应用，探讨了其与脉冲神经网络的联系，指出生物启发深度学习是推动技术和理解智能的重要研究方向。
2023-07-30 cs.AI cs.CV cs.LG
Regularity Normalization: Neuroscience-Inspired Unsupervised Attention across Neural Network Layers
Columbia University Irving Medical Center（哥伦比亚大学欧文医学中心）
受神经元放电自适应现象的启发，我们提出了一种无监督的注意力机制--正则化（RN），它根据最小描述长度（MDL）原则计算神经网络隐空间的统计正则性.将神经网络优化过程视为部分可观察的模型选择问题，正则性归一化通过归一化因子（通用码长）来约束隐空间。我们在神经网络层上递增地计算这个通用代码，并展示了包括自上而下的注意力和其他Oracle信息等数据先验的灵活性。从经验上讲，我们的方法在处理图像分类，经典控制，过程生成的强化学习，生成建模，手写生成和各种神经网络架构的问答任务中的有限，不平衡和非平稳输入分布方面优于现有的归一化方法。最后，无监督的注意力机制是神经网络的一个有用的探测工具，它通过跟踪深度网络的层和循环时间步长的依赖性和关键学习阶段。
2021-12-23 cs.CV cs.IT cs.LG
Motion Inspired Unsupervised Perception and Prediction in Autonomous Driving
Waymo LLC（Waymo有限责任公司）
现代自动驾驶系统中基于学习的感知和预测模块通常依赖于昂贵的人工注释，并且被设计为仅感知少数预定义的对象类别。这种闭集范式不足以满足安全关键的自动驾驶任务，其中自动驾驶车辆需要在高度动态的世界中处理任意多种类型的交通参与者及其运动行为。为了解决这个困难，本文开创了一个新颖而具有挑战性的方向，即，训练感知和预测模型，以理解开放集移动对象，无需人工监督。我们提出的框架使用自学习流来触发自动Meta标记管道，以实现自动监督。Waymo Open Dataset上的3D检测实验表明，我们的方法明显优于经典的无监督方法，甚至与有监督场景流的方法相比具有竞争力。我们进一步表明，我们的方法在开集3D检测和轨迹预测方面产生了非常有希望的结果，证实了它在缩小完全监督系统的安全差距方面的潜力。
2022-10-14 cs.CV cs.LG cs.RO
Physically Inspired Constraint for Unsupervised Regularized Ultrasound Elastography
Concordia University（康考迪亚大学）
位移估计是几乎所有超声弹性成像（USE）技术的关键步骤。两个主要特点使这项任务独特的相比，一般的光流问题：高频性质的超声射频（RF）数据和位移场的物理定律。最近，光流网络的架构已经被修改为能够使用RF数据。此外，半监督和无监督的技术已被用于USE考虑位移连续性的形式的一阶和二阶导数正则化的先验知识。尽管进行了这些尝试，但没有工作考虑组织压缩模式，并且轴向和侧向方向上的位移被假定为是独立的。然而，在使用中，组织运动模式受物理定律支配，使得轴向和侧向位移高度相关。在本文中，我们提出了物理启发的ConsTraint无监督正则化弹性成像（PICTURE），在那里我们施加约束的泊松比，以提高横向位移估计。对体模和活体数据的实验表明，PICTURE大大提高了横向位移估计的质量。
2022-06-11 cs.AI cs.CV eess.IV
Model Inspired Autoencoder for Unsupervised Hyperspectral Image Super-Resolution
Jiangnan University（江南大学）；Nanjing University of Science and Technology（南京理工大学）
本文主要研究高光谱图像超分辨率技术，旨在融合低空间分辨率的高光谱图像和高空间分辨率的多光谱图像，形成高空间分辨率的高光谱图像。现有的基于深度学习的方法大多是有监督的，依赖于大量的标记训练样本，这是不现实的。常用的基于模型的方法是无监督和灵活的，但依赖于手工先验。受模型特定属性的启发，我们首次尝试以无监督的方式设计一个模型启发的深度网络用于HSI超分辨率。这种方法由一个建立在目标HR-HSI上的隐式自动编码器网络组成，该网络将每个像素视为一个单独的样本。将目标HR-HSI的非负矩阵分解（NMF）集成到自动编码器网络中，其中两个NMF部分，频谱和空间矩阵，分别被视为解码器参数和隐藏输出。在编码阶段，我们提出了一个像素级的融合模型，直接估计隐藏输出，然后重新制定和展开模型的算法，形成编码器网络。通过特定的结构，所提出的网络类似于基于流形先验的模型，并且可以逐块而不是整幅图像进行训练。此外，我们提出了一个额外的无监督网络来估计点扩散函数和光谱响应函数。在合成数据集和真实数据集上的实验结果表明了该方法的有效性。
2021-10-22 cs.CV eess.IV
Lateral Strain Imaging using Self-supervised and Physically Inspired Constraints in Unsupervised Regularized Elastography
Concordia University（康考迪亚大学）
卷积神经网络（CNN）在超声弹性成像（USE）中的位移估计中显示出有希望的结果。已经提出了许多修改以改进用于在轴向方向上使用的CNN的位移估计。然而，横向应变，这是必不可少的几个下游任务，如弹性成像的逆问题，仍然是一个挑战。横向应变估计是复杂的，因为在该方向上的运动和采样频率基本上低于轴向运动和采样频率，并且在该方向上缺乏载波信号。在计算机视觉应用中，轴向和横向运动是独立的。相比之下，USE中的组织运动模式受连接轴向和侧向位移的物理定律支配。在本文中，受胡克定律的启发，我们首先提出了用于无监督正则化弹性成像（PICTURE）的物理启发的ConsTraint，其中我们对有效泊松比（EPR）施加约束以改善横向应变估计。在下一步中，我们提出了自监督PICTURE（sPICTURE）来进一步增强应变图像估计。大量的仿真实验，实验体模和体内数据表明，所提出的方法估计准确的轴向和横向应变图。
2022-12-16 cs.CV eess.IV
BUS: Brain-Inspired Unsupervised Self-Reflection via Backward Prediction for Multimodal Reasoning
AAAI Press（美国人工智能协会出版社）
研究针对VLM处理复杂视觉任务的不足，受脑启发提出BUS无监督训练框架，通过反向预测提升其反思推理能力，无需标注数据，与多种微调方法兼容，经实验验证在多任务中有效提升了VLM推理性能。
2026-07-13 cs.CV
FractalPINN-Flow: A Fractal-Inspired Network for Unsupervised Optical Flow Estimation with Total Variation Regularization
Globe Institute, University of Copenhagen（全球研究所，哥本哈根大学）；Centre for Mathematical Sciences, Lund University（数学科学中心，吕勒奥大学）
本文提出FractalPINN-Flow，一种无监督深度学习框架，通过连续灰度帧直接学习光流，无需真实数据。基于分形几何和自相似性设计的分形变形网络，结合总变分正则化，实现高精度、平滑且边缘保留的光流估计。
2025-09-10 cs.CV
RDA: Robust Domain Adaptation via Fourier Adversarial Attacking
Singtel Cognitive and Artificial Intelligence Lab for Enterprises（Singtel企业认知与人工智能实验室）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）
无监督领域自适应（Unsupervised domain adaptation，UDA）是一种在有标记的源域中进行监督损失，在无标记的目标域中进行无监督损失的自适应算法，由于监督源域损失具有明显的域间隙，而无监督目标域损失由于缺乏标注而往往带有噪声，因此UDA算法通常面临比经典监督学习更严重的过拟合问题。本文提出了一种鲁棒的领域自适应技术RDA，该技术引入对抗性攻击来减轻UDA中的过拟合。我们实现了强大的领域自适应通过一种新的傅立叶对抗攻击（FAA）的方法，允许大幅度的扰动噪声，但具有最小的修改图像的语义，前者是至关重要的，其生成的对抗样本的有效性，由于“域间隙”的存在。具体来说，FAA将图像分解为多个频率分量（FC），并通过扰动某些捕获很少语义信息的FC来生成对抗样本。使用FAA生成的样本，训练可以继续“随机游走”并漂移到具有平坦损耗景观的区域，从而导致更鲁棒的领域自适应。在多个领域自适应任务上的大量实验表明，RDA可以以优异的性能与不同的计算机视觉任务一起工作。
2021-08-15 cs.CV
FVP: Fourier Visual Prompting for Source-Free Unsupervised Domain Adaptation of Medical Image Segmentation
Beihang University（北京航空航天大学）；Zhejiang Lab（之江实验室）；Singapore University of Technology and Design（新加坡科技设计大学）；BioMind Technology Center（BioMind技术中心）；Zhongguancun Laboratory（中关村实验室）
针对医学图像分割SFUDA中测试模型需冻结的问题，本文提出FVP，通过学习输入频域中的少量低频视觉提示引导冻结模型适应目标域，并在三个公开数据集上取得优于现有方法的分割效果。
2023-11-02 cs.CV
Domain-knowledge Inspired Pseudo Supervision (DIPS) for Unsupervised Image-to-Image Translation Models to Support Cross-Domain Classification
Arizona State University（亚利桑那州立大学）；University of Arkansas（阿肯色大学）；University of Cincinnati（辛辛那提大学）
针对无监督图像翻译模型缺乏标注无法用传统监督指标评估的问题，提出DIPS方法利用领域信息驱动的高斯混合模型生成伪标注以支持跨域分类，其表现优于FID等指标并与真实监督指标高度相关。
2023-09-30 cs.CV cs.LG eess.IV
Tukey-Inspired Video Object Segmentation
University of Michigan（密歇根大学）
我们研究了严格无监督的视频对象分割问题，即，在没有用户提供的对象掩模或对注释数据集的任何训练的情况下，将视频中的主要对象与背景分离。我们发现前景物体在低层次的视觉数据使用约翰Tukey启发的措施“离群”。这种Tukey启发的测量还估计了每个数据源的可靠性，因为视频特性改变（例如，相机开始移动）。该方法实现了国家的最先进的结果，严格无监督的视频对象分割的挑战性DAVIS数据集。最后，我们使用Tukey启发的度量的变体来组合多个分割方法的输出，包括在训练、运行时或两者中使用监督的方法。这种总体上更强大的分割方法将其组成方法的Jaccard度量提高了28%。
2018-11-30 cs.CV
Unsupervised Discovery of 3D Hierarchical Structure with Generative Diffusion Features
University of North Carolina（北卡罗来纳大学）
利用生成扩散模型的多阶段特征，通过三种损失训练无监督分割网络，将三维生物医学图像分解为嵌套层次结构，在合成及真实脑肿瘤MRI数据上优于现有方法。
2023-10-10 cs.CV
DISYRE: Diffusion-Inspired SYnthetic REstoration for Unsupervised Anomaly Detection
FAU Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
针对扩散模型分数函数难以泛化到医学异常的问题，本文提出 DISYRE，用渐进合成异常损坏替代高斯噪声损坏，在脑 MRI UAD 基准上取得优异性能。
2024-03-05 cs.CV eess.IV
CoSeg: Cognitively Inspired Unsupervised Generic Event Segmentation
Purdue University（普渡大学）；JD AI Research（京东人工智能研究院）；University of Rochester（罗切斯特大学）
一些认知研究发现，人类完成事件分割是事件预期的副作用。受这一发现的启发，我们提出了一个简单而有效的端到端自监督学习框架的事件分割/边界检测。与主流的基于聚类的方法不同，我们的框架利用基于变换的特征重建方案来检测事件边界的重建错误。这与人类通过利用预测与实际感知之间的偏差来发现新事件的事实是一致的。由于语义的异质性，边界处的帧很难重建（通常具有较大的重建误差），这有利于事件边界检测。此外，由于重建发生在语义特征级别而不是像素级别，我们开发了一个时间对比特征嵌入模块来学习语义视觉表示帧特征重建。这个过程就像人类用“长期记忆“建立经验一样。我们的工作目标是分割通用事件，而不是本地化一些特定的。我们专注于实现准确的事件边界。因此，我们采用F1分数（精度/召回率）作为我们的主要评估指标，与以前的方法进行公平的比较。同时，我们还计算了传统的基于帧的MoF和IoU度量。我们在四个公开的数据集上对我们的工作进行了彻底的基准测试，并展示了更好的结果。
2021-09-30 cs.CV cs.MM
Knowledge-Based Video Question Answering with Unsupervised Scene Descriptions
Osaka University（大阪大学）
为了理解电影，人们不断地对特定场景中的对话和动作进行推理，并将它们与已经看到的整体故事情节联系起来。受这种行为的启发，我们设计了ROLL，一个基于知识的视频故事问答模型，它利用了电影理解的三个关键方面：对话理解，场景推理和故事情节回忆。在ROLL中，这些任务中的每一个都负责通过1）处理场景对话，2）生成无监督视频场景描述，以及3）以弱监督方式获取外部知识来提取丰富多样的信息。为了正确回答给定的问题，每个启发认知任务产生的信息通过Transformers编码，并通过模态加权机制融合，该机制平衡了来自不同来源的信息。详尽的评估证明了我们的方法的有效性，这产生了一个新的国家的最先进的两个具有挑战性的视频问答数据集：KnowIT VQA和TVQA+。
2020-07-17 cs.CL cs.CV
Bio-inspired Unsupervised Learning of Visual Features Leads to Robust Invariant Object Recognition
University of Tehran（德黑兰大学）；INSERM（法国国家健康与医学研究院）；Sorbonne Universités（索邦大学）；UPMC Univ Paris 06（巴黎第六大学）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）
由于周围物体的位置、大小、姿态、光照条件、背景、遮挡、噪声和非刚性变形等的变化，视网膜图像会发生很大的变化。但是，尽管有这些巨大的变化，我们的视觉系统能够在几分之一秒内不变地识别任何物体。迄今为止，已经提出了各种计算模型来模拟腹侧视觉通路的分层处理，但成功有限。在这里，我们表明，生物启发的网络架构和学习规则的关联显着提高了模型的性能时，面临着挑战性的不变对象识别问题。我们的模型是一个异步前馈脉冲神经网络。当网络呈现自然图像时，入口层的神经元检测边缘，最活跃的神经元首先激发，而高层的神经元则具有尖峰时间依赖的可塑性。这些神经元逐渐变得对适合于对象分类的中等复杂度视觉特征具有选择性。该模型在3D-Object和ETH-80数据集上进行了评估，这两个数据集是不变对象识别的两个基准，并且表现出优于最先进的模型，包括DeepConvNet和HMAX。这表明它能够准确识别多个对象类的不同实例，即使在各种外观条件下（不同视图、比例、倾斜和背景）。几个统计分析技术被用来表明，我们的模型提取类特定的和高信息量的功能。
2016-06-28 cs.CV q-bio.NC
Unsupervised Learning of Particle Image Velocimetry
Imperial College London（伦敦帝国学院）
粒子图像测速技术（PIV）是一种经典的流场测量方法，在实验流体力学和环境流场遥感中被广泛应用。最近，基于深度学习的方法的发展激发了解决PIV问题的新方法。这些基于监督学习的方法由具有地面真实训练信息的大量数据驱动。然而，很难在大规模的真实场景中收集可靠的地面实况数据。虽然合成数据集可以作为替代方案，但训练设置和现实世界场景之间的差距限制了适用性。我们在这里提出了我们认为是第一个工作，需要一个无监督学习为基础的方法来解决PIV问题。所提出的方法的灵感来自经典的光流方法。我们利用两个连续图像帧之间的光度损失、双向流估计的一致性损失和空间平滑损失来构建总的无监督损失函数，而不是使用地面真实数据。该方法显示出显着的潜力和优势，流体流量估计。实验结果表明，该方法与经典的PIV方法以及基于监督学习的方法相比，在大范围的PIV数据集上具有很强的竞争力，在某些困难的流动情况下，其性能甚至优于现有的方法。代码和训练模型可在https://github.com/erizmr/UnLiteFlowNet-PIV上获得。
2020-07-28 cs.CV cs.LG eess.IV
A Fourier Transform Framework for Domain Adaptation
针对无监督域适应中直接使用原始图像导致泛化差的问题，提出傅里叶变换框架FTF，通过在数据流级别融合频谱振幅并引入相关性对齐，在多个基准数据集上取得优越性能。
2024-03-21 cs.CV
An Insect-Inspired Randomly, Weighted Neural Network with Random Fourier Features For Neuro-Symbolic Relational Learning
Arizona State University（亚利桑那州立大学）；Peoples' Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学（RUDN大学））；Joint Institute for Nuclear Research（联合核研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Skövde（舍夫德大学）
昆虫，如果蝇和蜜蜂，可以解决简单的联想学习任务，并学习抽象概念，如“相同”和“差异”，这被视为高阶认知功能，通常被认为取决于自上而下的新皮层处理。果蝇的实证研究强烈支持，一个随机的代表性架构是用于在昆虫大脑的嗅觉处理。基于这些结果，我们提出了一种随机加权特征网络（RWFN），它在编码器中采用随机抽取的未经训练的权重，该编码器使用自适应线性模型作为解码器。在RWFN中，输入神经元和输入大脑中的高阶处理中心之间的随机投影被一个单隐藏层神经网络模仿，该网络使用随机傅立叶特征在隐藏层中专门构造潜在表示，这些特征使用核近似更好地表示输入之间的复杂关系。由于这种特殊的表示，RWFN可以通过只训练线性解码器模型来有效地学习输入之间的关系程度。我们比较了RWFNs的性能，LTNs的语义图像判读（SII）的任务，已被用作一个代表性的例子，LTNs如何利用推理一阶逻辑超越性能的单独的数据驱动的方法。我们证明，与LTNs相比，RWFN可以实现更好或相似的性能，同时使用少得多的可学习参数（1：62的比例）和更快的学习过程（1：2的运行速度比）的SII任务中的对象分类和检测对象之间的部分关系。此外，我们表明，由于随机权重不依赖于数据，几个解码器可以共享一个随机编码器，使RWFN的空间规模的同时分类任务的独特经济。
2021-09-11 cs.CV cs.LG
Fourier-Net: Fast Image Registration with Band-limited Deformation
School of Computer Science, University of Birmingham（伯明翰大学计算机科学学院）；University of Melbourne（墨尔本大学）；University of Cambridge（剑桥大学）；University of Warwick（华威大学）；Institute of Information Computer Engineering, Northeast Forestry University（东北林业大学信息与计算机工程学院）；Alan Turing Institute（阿兰·图灵研究所）
Fourier-Net通过用无参数模型驱动解码器替换U-Net扩展路径，在带限傅里叶域学习位移场低维表示，以极低参数和计算量实现快速高精度3D医学图像配准。
2023-07-06 cs.CV
Psychologically-Inspired, Unsupervised Inference of Perceptual Groups of GUI Widgets from GUI Images
Australian National University（澳大利亚国立大学）；CSIRO’s Data61（联邦科学与工业研究组织数据61研究所）；Monash University（莫纳什大学）
受格式塔感知理论启发，提出一种仅需GUI像素图像的无监督方法，用于推断GUI小部件感知组，在1091个GUI数据集上显著优于启发式基线。
2023-05-24 cs.CV cs.HC cs.SE
Augmenting Supervised Neural Networks with Unsupervised Objectives for Large-scale Image Classification
University of Michigan（密歇根大学）
无监督学习和监督学习是深度学习的关键研究课题。然而，随着用大量标签训练的高容量监督神经网络在许多计算机视觉任务中取得了显著的成功，大规模标记图像的可用性降低了无监督学习的重要性。受最近重新审视无监督学习重要性的趋势的启发，我们通过增强现有神经网络的解码路径来重建，在大规模环境中研究联合监督和无监督学习。首先，我们证明了预训练的大规模分类网络的中间激活几乎保留了输入图像的所有信息，除了一部分局部空间细节。然后，通过对整个增强架构进行端到端的训练，我们展示了监督任务的网络性能的改善。我们评估了几种变体的自动编码器，包括最近提出的“什么地方”的自动编码器，使用编码器池开关，研究架构设计的重要性。以ImageNet ILSVRC 2012协议下训练的16层VGGNet作为图像分类的强基线，我们的方法显著提高了验证集的准确性。
2016-06-21 cs.CV cs.LG
Improving Unsupervised Image Clustering With Robust Learning
KAIST（韩国科学技术院）；Institute for Basic Science（基础科学研究院）
无监督图像聚类方法通常引入替代目标来间接训练模型，并且容易受到错误预测和过度自信结果的影响。为了克服这些挑战，目前的研究提出了一个创新的模型RUC，鲁棒学习的启发。RUC的新颖之处在于利用现有图像聚类模型的伪标签作为可能包括错误分类样本的噪声数据集。它的再训练过程可以修正不一致的知识，减轻预测中的过度自信问题。该模型的灵活结构使其可以用作其他聚类方法的附加模块，并帮助它们在多个数据集上实现更好的性能。大量的实验表明，该模型可以调整模型的信心，更好的校准，并获得额外的鲁棒性对抗性噪声。
2021-03-29 cs.AI cs.CV cs.LG
Gaussian-Constrained LeJEPA Representations for Unsupervised Scene Discovery and Pose Consistency
Computer Vision Researcher（计算机视觉研究员）
本文提出基于高斯约束的LeJEPA表示方法，通过改进的管道提升无监督场景重建中场景分离和姿态估计的鲁棒性。
2026-01-31 cs.CV
Probabilistic PolarGMM: Unsupervised Cluster Learning of Very Noisy Projection Images of Unknown Pose
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
低温电子显微镜（Cryo-EM）的单粒子分析（SPA）中的一个关键步骤，2D分类和对齐需要收集噪声粒子图像来推断方向并将相似图像分组在一起。平均这些对齐和聚类的噪声图像产生一组干净的图像，准备进一步分析，如3D重建。傅立叶-贝塞尔可操纵主成分分析（FBsPCA）实现了一种高效、自适应、低秩旋转算子。我们扩展了FBsPCA以额外处理翻译。在这个扩展的FBsPCA表示，我们使用概率极坐标高斯混合模型学习软集群在无监督的方式使用期望最大化（EM）算法。因此，所获得的旋转簇对于成对对准缺陷的存在是额外鲁棒的。来自模拟Cryo-EM数据集的多个基准测试显示，与标准单粒子Cryo-EM工具EMAN 2和RELION相比，PolarGMM在各种聚类指标和对齐误差方面的性能有所改善。
2022-06-26 cs.CE cs.CV cs.LG
Unsupervised learning of depth and motion
Goethe University Frankfurt（法兰克福歌德大学）；University of Montreal（蒙特利尔大学）
我们提出了一个模型的视差和运动的联合估计。该模型基于对来自多个摄像机、视频中的多个帧或两者的组合的图像之间的相互关系的学习。我们表明，学习深度和运动线索，以及它们的组合，从数据中是可能的，在一个单一类型的架构和一个单一类型的学习算法，通过使用生物启发的“复杂细胞”一样的单位，编码跨图像对像素之间的相关性。我们的实验结果表明，深度和运动的学习使得有可能在3D活动分析中实现最先进的性能，并且比现有的手工设计的3D运动特征有很大的优势。
2013-12-16 cs.CV cs.LG stat.ML
Unsupervised Real-World Super-Resolution via Rectified Flow Degradation Modelling
针对无监督真实世界超分辨率中的未知退化问题，提出基于校正流的RFDM与傅里叶先验引导的FGDM，通过连续可逆建模生成真实退化图像对，显著提升了现有SR方法在真实场景中的性能。
2025-08-10 cs.CV eess.IV
SDA-GAN: Unsupervised Image Translation Using Spectral Domain Attention-Guided Generative Adversarial Network
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
这项工作介绍了一种新的GAN架构，用于人脸风格转换任务的无监督图像翻译。一个基于光谱注意力的机制被嵌入到设计中，同时对图像内容进行空间关注。我们证明了神经网络具有在相当大的计算成本内学习复杂变换（如傅立叶变换）的潜力。与仅使用空间注意力的基线模型相比，该模型进行了训练和测试。我们的方法的性能改善是显着的，特别是当源和目标域包括不同的复杂度（减少FID从142.84到49.18）。在平移过程中，由于FFT和频谱注意的实现，引入了频谱填充效应。本文还研究了另一种风格转换任务和真实世界物体翻译。
2021-10-06 cs.CV
Towards Deep Unsupervised SAR Despeckling with Blind-Spot Convolutional Neural Networks
PoliTO（都灵理工大学）
SAR相干斑抑制是遥感领域的一个重要问题，它代表了许多场景分析算法的第一步。最近，深度学习技术的性能优于经典的基于模型的去斑算法。然而，这样的方法需要干净的地面实况图像用于训练，因此由于不能获取干净的SAR图像，因此求助于合成斑点光学图像。在本文中，最近的工作的盲点去噪网络的启发，我们提出了一个自监督贝叶斯去斑方法。所提出的方法是训练只使用噪声图像，因此可以学习真正的SAR图像，而不是合成数据的功能。我们表明，所提出的网络的性能是非常接近的监督训练方法的合成数据和竞争力的真实数据。
2020-01-15 cs.CV cs.LG eess.IV
Improving Shape Deformation in Unsupervised Image-to-Image Translation
Brown University, USA（美国布朗大学）；University of Bath, UK（英国巴斯大学）
无监督的图像到图像的翻译技术能够映射两个域之间的局部纹理，但它们通常是不成功的域时，需要更大的形状变化。受语义分割的启发，我们引入了一个具有膨胀卷积的神经网络，它能够使用整个图像的信息来训练一个更具上下文感知的生成器。这与多尺度感知损失相结合，该多尺度感知损失能够更好地表示对象的底层形状中的错误。我们证明，这种设计更能够表示具有挑战性的玩具数据集中的形状变形，再加上人类，玩偶和动漫脸之间以及猫和狗之间的复杂映射，数据集差异很大。
2019-01-17 cs.CV
Unsupervised Vision-and-Language Pre-training Without Parallel Images and Captions
University of California, Los Angeles（加州大学洛杉矶分校）；Columbia University（哥伦比亚大学）
预先训练的上下文视觉和语言（V&L）模型在各种基准测试中取得了令人印象深刻的性能。然而，现有的模型需要大量的并行图像字幕数据进行预训练。这些数据的收集成本很高，需要繁琐的管理。受无监督机器翻译的启发，我们研究了在没有图像字幕语料库的情况下，是否可以通过无监督预训练来学习强V&L表示模型。特别是，我们建议对纯文本和纯图像语料进行“掩码和预测”预训练，并引入由对象识别模型检测到的对象标签作为锚点来桥接两种模态。我们发现，这种简单的方法在四个英语V&L基准测试中实现了接近于用对齐数据预训练的模型的性能。我们的工作挑战了人们普遍持有的观点，即对齐的数据对于V&L预训练是必要的，同时大大减少了V&L模型所需的监督量。
2021-04-11 cs.CL cs.CV cs.LG
FDA: Fourier Domain Adaptation for Semantic Segmentation
UCLA（加州大学洛杉矶分校）
我们描述了一个简单的方法，无监督的领域自适应，从而减少源和目标分布之间的差异，通过交换低频频谱的一个与其他。我们说明的方法在语义分割，密集注释的图像是丰富的一个域（合成数据），但很难获得在另一个（真实图像）。目前最先进的方法是复杂的，一些需要对抗性优化，使神经网络的骨干不变的离散域选择变量。我们的方法不需要任何训练来执行域对齐，只需简单的傅里叶变换及其逆变换。尽管它的简单性，它实现了国家的最先进的性能在当前的基准测试，当集成到一个相对标准的语义分割模型。我们的研究结果表明，即使是简单的程序可以折扣讨厌的变化，在数据中，更复杂的方法很难学习。
2020-04-11 cs.CV
Unsupervised OmniMVS: Efficient Omnidirectional Depth Inference via Establishing Pseudo-Stereo Supervision
Beijing Jiaotong University（北京交通大学）
全向多视图立体视觉（MVS）视觉因其超宽视场（FoV）而具有吸引力，使机器能够感知360° 3D环境。然而，现有的解决方案需要昂贵的密集深度标签进行监督，这使得它们在现实世界的应用中不切实际。在本文中，我们提出了第一个无监督的全向MVS框架的基础上，多个鱼眼图像。为此，我们将所有图像投影到一个虚拟的视图中心，并从两对背靠背的鱼眼图像合成两个具有球面几何形状的全景图像。两个360°图像形成具有特殊姿态的立体对，并且利用光度一致性来建立无监督约束，我们称之为“伪立体监督”。此外，我们还提出了一种高效的无监督全向MVS网络Un-OmniMVS，以提高两个有效组件的推理速度。首先，提出了一种新的特征提取器与频率的关注，同时捕获的非局部傅立叶特征和局部空间特征，明确地促进特征表示。然后，提出了一种基于方差的轻代价体积，以降低计算复杂性。实验表明，我们的无监督解决方案的性能是有竞争力的最先进的（SoTA）监督方法，在现实世界的数据具有更好的泛化。
2023-02-22 cs.CV
Coordinate-based Neural Network for Fourier Phase Retrieval
City University of Hong Kong（香港城市大学）
本文提出基于坐标神经网络的无监督相位恢复方法SCAN，通过联合优化预测幅度与相位克服传统迭代方法易陷局部最优且对噪声敏感的缺陷，在准确性和鲁棒性上优于现有模型并适用于叠层成像。
2024-01-08 cs.CV eess.IV
Unsupervised 3D Braided Hair Reconstruction from a Single-View Image
Carnegie Mellon University（卡内基梅隆大学）
本文提出一种从单视图RGB图像无监督重建3D辫状头发的新流水线，利用受辫子理论启发的合成模型捕捉复杂交织结构，在准确性、真实感和效率上优于现有方法。
2025-06-29 cs.CV
Pushing the Limit of Unsupervised Learning for Ultrasound Image Artifact Removal
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
超声（US）成像是一种快速和非侵入性的成像方式，广泛用于实时临床成像应用，而无需考虑辐射危害。不幸的是，它往往遭受从各种来源，如斑点噪声，模糊，多线采集（MLA），有限的RF通道，小数目的平面波成像的情况下的视角，等经典的方法来处理这些问题，包括图像域信号处理方法，使用各种自适应滤波和基于模型的方法的视觉质量差。最近，深度学习方法已经成功地用于超声成像领域。然而，这些方法的局限性之一是在许多实际应用中难以获得用于监督训练的成对高质量图像。在本文中，受最近使用最优传输驱动循环GAN（OT-cycleGAN）的无监督学习理论的启发，我们研究了无监督深度学习在没有匹配参考数据的情况下对US伪影去除问题的适用性。各种任务，如反卷积，斑点去除，有限的数据伪影去除等的实验结果证实，我们的无监督学习方法提供了相当的结果，监督学习的许多实际应用。
2020-06-26 cs.CV cs.LG eess.IV
LaST-SR: Laplace-Inspired Steady-Transient Complex-Frequency Decomposition for Single Image Super-Resolution
School of Mathematics（数学学院）；Southeast University（东南大学）
本研究针对单图像超分辨率的结构与细节恢复问题，提出LaST-SR模型，通过复频分解与稳态-瞬态协同聚合模块，在×2和×4超分辨率任务的五个基准上实现了最优PSNR/SSIM。
2026-09-03 cs.CV
DDRM-PR: Fourier Phase Retrieval using Denoising Diffusion Restoration Models
DTU（丹麦技术大学）；METU（中东技术大学）
本文提出 DDRM-PR，将 DDRM 的无监督后验采样与交替投影结合，利用预训练无条件扩散先验从含噪 Fourier 强度等测量中求解非线性相位检索，并通过仿真与实验验证其潜力与局限。
2025-01-06 cs.CV eess.IV
Improving Self-Organizing Maps with Unsupervised Feature Extraction
Université Côte d’Azur, CNRS, LEAT（蔚蓝海岸大学、法国国家科学研究中心、电子天线与电信实验室）
自组织映射（SOM）是一种受大脑启发的神经模型，在无监督学习，特别是在嵌入式应用中非常有前途。然而，在处理复杂数据集时，它无法学习有效的原型。在这项工作中，我们建议使用提取的功能，而不是原始数据，以提高SOM的性能。我们使用两种不同的方法对SOM分类精度进行了比较研究：使用基于梯度学习的稀疏卷积自动编码器的机器学习方法，以及使用Spike Timing Dependant Plasticity学习的脉冲神经网络的神经科学方法。SOM在提取的特征上进行训练，然后使用很少的标记样本来标记具有相应类别的神经元。我们研究的影响的特征地图，SOM的大小和标记的子集的大小上的分类精度使用不同的特征提取方法。我们将SOM分类提高了+6.09\%，并在无监督图像分类方面达到了最先进的性能。
2020-09-04 cs.CV cs.NE
Unsupervised Image Super-Resolution using Cycle-in-Cycle Generative Adversarial Networks
Sensetime Research（商汤科技研究院）；Shenzhen University（深圳大学）；Tsinghua University（清华大学）
我们考虑在低/高分辨率对和下采样过程不可用的更一般情况下的单个图像超分辨率问题。与传统的超分辨率公式不同，低分辨率输入被噪声和模糊进一步降级。这种复杂的设置使得监督学习和精确的核估计是不可能的。为了解决这个问题，我们求助于没有配对数据的无监督学习，受到最近成功的图像到图像翻译应用的启发。以生成对抗网络（GAN）为基本组成部分，我们提出了一个循环中循环的网络结构，以解决这个问题，在三个步骤。首先，噪声和模糊的输入被映射到无噪声的低分辨率空间。然后，使用预先训练的深度模型对中间图像进行上采样。最后，我们以端到端的方式微调这两个模块，以获得高分辨率的输出。在NTIRE 2018数据集上的实验表明，所提出的无监督方法取得了与最先进的监督模型相当的结果。
2018-09-03 cs.CV
CLIP-Flow: A Universal Discriminator for AI-Generated Images Inspired by Anomaly Detection
Jilin University（吉林大学）；GIPSA-lab, Univ. Grenoble Alpes, CNRS, Grenoble INP（GIPSA实验室，格勒诺布尔阿尔卑斯大学，CNRS，格勒诺布尔INP）；Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院）
针对AI生成图像检测器对未见生成模型泛化性差的问题，本文从异常检测角度提出CLIP-Flow，利用预训练CLIP和归一化流在代理图像上进行无监督训练，实现对各类生成图像的通用检测。
2025-08-13 cs.CR cs.CV
Exploring selective image matching methods for zero-shot and few-sample unsupervised domain adaptation of urban canopy prediction
The Alan Turing Institute（阿兰·图灵研究所）；University College London（伦敦大学学院）
本研究针对城市冠层预测的跨地理域适配问题，提出基于选择性图像对齐的无监督域自适应方法，在零样本和少样本微调场景下均优于基线与主流图像转换模型。
2024-04-16 cs.CV stat.AP
