Global Optimality Guarantees for Nonconvex Unsupervised Video Segmentation
University of California, Berkeley(加利福尼亚大学伯克利分校);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
在本文中,我们考虑的问题,无监督的视频对象分割通过背景减法。具体来说,我们提出的非语义提取视频的移动对象作为一个非凸优化问题,通过稀疏和低秩矩阵的总和。由此产生的配方,一个非负的变种,强大的主成分分析,是更易于计算的比其常用的凸松弛,虽然一般不能解决全局最优。尽管有这种限制,我们得到直观和可解释的条件下,保证使用局部搜索方法的对象分割的唯一性和全局最优的视频数据。我们通过使用真实视频数据的示例分割来说明这些新的最优性标准。
2020-02-22 cs.CV cs.LG math.OC
Identification of Anomalous Diffusion Sources by Unsupervised Learning
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);University of New Mexico(新墨西哥大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学)
分数布朗运动(fBM)是一种普遍存在的扩散过程,其中随机输运的记忆效应导致均方粒子位移遵循幂律$\langle {Δr}^2 \rangle \sim t^α$,其中扩散指数$α$表征输运是次扩散($α<1$)、扩散($α= 1$)还是超扩散($α>1$)。由于fBm过程在自然界中的丰富性,大量的工作已经致力于各种现象中的fBm源的识别和表征。在实践中,fBm源的识别往往依赖于基于有限的观测数据来求解复杂且不适定的逆问题。在一般情况下,检测到的信号是由位于不同位置、强度不同、同时作用的未知数量的释放源形成的。这意味着观测到的数据是由未知数量的来源的释放的混合物组成的,这使得传统的反演建模方法不可靠。在这里,我们报告了一种无监督学习方法,基于非负矩阵分解,使未知数量的释放源的识别以及异常扩散特性的基础上有限的观测数据和相应的fBM格林函数的一般形式。我们表明,我们的方法准确地执行不同类型的源和配置与预定数量的源具有特定的特性和引入的噪声。
2020-10-05 cs.LG physics.app-ph
Physics-as-Inverse-Graphics: Unsupervised Physical Parameter Estimation from Video
University of Edinburgh(爱丁堡大学)
我们提出了一个模型,能够执行无监督的物理参数估计的系统从视频中,其中的微分方程控制的场景动态是已知的,但标记的状态或对象是不可用的。现有的物理场景理解方法要么需要对象状态监督,要么不与可微物理学集成以学习可解释的系统参数和状态。我们通过一个物理作为逆图形的方法来解决这个问题,该方法将视觉作为逆图形和可微物理引擎结合在一起,使对象和显式状态和速度表示能够被发现。该框架允许我们执行长期外推视频预测,以及基于视觉的模型预测控制。我们的方法在具有相互作用对象的系统(如球弹簧或三体引力系统)的长期未来帧预测中显着优于相关的无监督方法,因为它能够将动态构建到模型中作为归纳偏差。我们进一步展示了这种紧密的视觉-物理集成的价值,通过展示钟摆系统的视觉驱动基于模型的控制的数据高效学习。我们还表明,控制器的可解释性提供了独特的能力,目标驱动的控制和物理推理零数据适应。
2020-04-21 cs.AI cs.CV cs.LG
Unsupervised approaches based on optimal transport and convex analysis for inverse problems in imaging
University of Twente(特文特大学);University of Cambridge(剑桥大学);University of Birmingham(伯明翰大学)
本文系统综述了基于最优传输与凸分析的成像逆问题无监督深度学习方法,涵盖循环一致性、对抗正则化、可证明收敛的学习优化算法及即插即用算法,并总结其关键数学基础。
2023-11-29 cs.CV cs.LG math.OC
DARE-GRAM : Unsupervised Domain Adaptation Regression by Aligning Inverse Gram Matrices
EPFL(洛桑联邦理工学院);ETH Zurich(苏黎世联邦理工学院)
无监督领域自适应回归(DAR)旨在弥合回归问题中标记源数据集和未标记目标数据集之间的领域差距。最近的工作主要集中在通过最小化源和目标特征之间的差异来学习深度特征编码器。在这项工作中,我们提出了一个不同的视角DAR问题,通过分析封闭形式的普通最小二乘(OLS)解决方案的线性回归在深领域自适应上下文中。而不是对齐原始特征嵌入空间,我们建议对齐特征的逆格拉姆矩阵,这是由其存在于OLS解决方案和格拉姆矩阵捕获特征相关性的能力所激发的。具体而言,我们提出了一种简单而有效的DAR方法,该方法利用伪逆低秩属性来对齐由两个域的伪逆Gram矩阵生成的选定子空间中的尺度和角度。我们评估我们的方法上的三个领域自适应回归基准。实验结果表明,我们的方法达到国家的最先进的性能。我们的代码可在https://github.com/ismailnejjar/DARE-GRAM上获得。
2023-03-23 cs.AI cs.CV
Inverse Quantum Fourier Transform Inspired Algorithm for Unsupervised Image Segmentation
Prairie View A&M University(普雷里维尤农工大学)
图像分割是计算机视觉中一个非常热门和重要的课题。在本文中,逆量子傅立叶变换(IQFT)的图像分割进行了探索,并提出了一种新的IQFT启发算法,并利用IQFT的底层数学结构实现。具体地说,该方法利用图像中像素的相位信息,将像素的强度编码成量子比特相对相位,并应用IQFT将像素自动有效地分类到不同的片段中。据我们所知,这是首次尝试使用IQFT进行无监督图像分割。与基于深度学习的方法相比,该方法具有较低的计算成本,更重要的是它不需要训练,因此适合于实时应用。所提出的方法的性能进行了比较,与K-均值和Otsu阈值。在PASCAL VOC 2012分割基准和xVIEW 2挑战数据集上,所提出的方法在平均交叉联合(mIOU)方面优于它们高达50%。
2023-01-11 cs.CV cs.LG quant-ph
Unsupervised Detection of Distribution Shift in Inverse Problems using Diffusion Models
Washington University in St. Louis(圣路易斯华盛顿大学);University of California, Riverside(加州大学河滨分校)
提出一种仅利用损坏测量值和扩散模型得分函数的无监督度量,用于估计逆问题中的分布偏移(KL散度),并通过得分对齐减少偏移以提升重建质量。
2025-05-26 cs.CV
An Unsupervised Approach to Solving Inverse Problems using Generative Adversarial Networks
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Center for Applied Scientific Computing(应用科学计算中心)
求解逆问题在从去模糊、图像修补、声源分离等广泛的应用中仍然是一个挑战。大多数现有技术通过显式地或隐式地找到模型的逆来解决这样的逆问题。前一类技术需要明确的测量过程的知识,这可能是不现实的,并依赖于强大的分析正则化约束的解决方案空间,这往往不能很好地推广。后一种方法取得了显著的成功,部分原因是深度学习,但需要大量的源-观测对,这可能是非常昂贵的。在本文中,我们提出了一种无监督技术来解决生成对抗网络(GANs)的逆问题。在源信号的空间中使用预先训练的GAN,我们表明可以以“盲”方式可靠地恢复欠确定问题的解决方案,即,而不了解测量过程。我们通过以迭代的方式对模型和解进行连续估计来解决这个问题。我们在三个具有挑战性的应用--盲声源分离、图像去模糊和从边缘图恢复图像中显示出有希望的结果,并且比几个基线表现得更好。
2018-06-04 cs.CV stat.ML
Inverse-Consistent Deep Networks for Unsupervised Deformable Image Registration
Tencent AI Medical Center(腾讯AI医疗中心)
形变图像配准是医学图像分析中的一项基本任务,其目标是在一对图像之间建立一种密集的、非线性的对应关系。以前的深度学习研究通常使用监督神经网络来直接学习从一个图像到另一个图像的空间变换,需要特定于任务的地面实况配准来进行模型训练。由于难以收集精确的地面实况配准,这些监督方法的实施实际上具有挑战性。虽然最近已经开发了几种无监督网络,但这些方法通常忽略了一对图像之间的变换的固有逆一致性(对于同构映射至关重要)。此外,现有的方法通常鼓励待估计的变换是局部光滑的,通过一个光滑约束,这不能完全避免折叠在所得到的变换。为此,我们提出了一种用于无监督可变形图像配准的逆一致深度网络(ICNet)。具体来说,我们开发了一个逆一致的约束,鼓励一对图像对称变形朝向彼此,直到两个扭曲的图像匹配。除了使用传统的平滑约束,我们还提出了一个反折叠约束,以进一步避免折叠的转换。所提出的方法不需要任何监督信息,同时鼓励通过建议的逆一致和反折叠约束的转换的拓扑属性。我们在T1加权脑磁共振成像(MRI)扫描的组织分割和解剖标志检测上评估了我们的方法,结果表明我们的ICNet在几种最先进的变形图像配准方法上具有优越的性能。我们的代码将公开提供。
2018-09-10 cs.CV
ExtrudeNet: Unsupervised Inverse Sketch-and-Extrude for Shape Parsing
Nanyang Technological University(南洋理工大学);Sensetime Research(商汤科技研究院);Monash University(莫纳什大学)
草图-拉伸是计算机辅助设计中一种常见的直观造型过程。研究了通过反绘制-挤压的方法学习点云形状的问题。我们提出了ExtrudeNet,这是一个无监督的端到端网络,用于从点云中发现草图和挤出。在ExtrudeNet背后有两个新的技术组件:1)草图和挤出的有效表示,它可以用自由形式的草图和传统的圆柱体和盒体基元建模挤出; 2)用于计算网络学习中使用的符号距离场的数值方法。这是第一次尝试使用机器学习以无监督的方式对形状的草图和挤出建模过程进行逆向工程。ExtrudeNet不仅输出一个紧凑的,可编辑和可解释的形状表示,可以无缝集成到现代CAD软件中,而且还与标准CAD建模过程保持一致,促进各种编辑应用程序,这使我们的工作与现有的形状解析研究区分开来。代码发布于https://github.com/kimren227/ExtrudeNet。
2022-09-30 cs.CV cs.GR
Unsupervised Brain Anomaly Detection as a Bayesian Inverse Problem with Diffusion Prior
Sorbonne Université(索邦大学);Institut du Cerveau - Paris Brain Institute - ICM(巴黎大脑研究所);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Inserm(法国国家健康与医学研究院);AP-HP(巴黎公立医院集团);Hôpital de la Pitié Salpêtrière(皮提耶-萨尔佩特里埃医院)
本文提出将无监督脑部异常检测建模为扩散先验下的贝叶斯逆问题,通过潜在异常掩码和退火后验采样联合推断伪健康图像与异常区域,在PET和MRI上提升了定位性能。
2026-09-22 cs.AI cs.CV
Unsupervised Imaging Inverse Problems with Diffusion Distribution Matching
Univ. Grenoble Alpes(格勒诺布尔-阿尔卑斯大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院)
针对图像复原逆问题中前向模型未知、配对数据难获取的痛点,提出基于条件流匹配和分布匹配损失的无监督方法,仅需小型非配对数据集,在多项任务上性能优异,可低成本实现镜头校准等真实应用。
2025-06-17 cs.CV cs.LG eess.IV
CLOUD: Contrastive Learning of Unsupervised Dynamics
Carnegie Mellon University(卡内基梅隆大学);Tencent(腾讯);Tsinghua University(清华大学);Shanghai Qizhi Institute(上海期智研究院)
开发代理,可以执行复杂的控制任务,从高维观测,如像素是具有挑战性的,由于在学习动态有效的困难。在这项工作中,我们建议通过对比估计以完全无监督的方式学习正向和反向动力学。具体而言,我们训练的前向动力学模型和逆动力学模型的状态和动作的特征空间与随机勘探收集的数据。与大多数现有的确定性模型不同,我们的基于能量的模型考虑到了代理环境相互作用的随机性。我们证明了我们的方法在各种任务,包括目标导向的规划和模仿观察的有效性。项目视频和代码在https://jianrenw.github.io/cloud/。
2020-10-23 cs.CV cs.RO
Inverse Graphics: Unsupervised Learning of 3D Shapes from Single Images
University College London(伦敦大学学院)
将生成模型用于逆向图形是一个活跃的研究领域。然而,大多数工作集中在开发模型的监督和半监督的方法。在本文中,我们研究的问题,无监督学习的三维几何从单一的图像。我们的方法是使用生成模型,生成2-D图像作为潜在的3D体素网格的投影,我们训练作为变分自动编码器或使用对抗方法。我们的贡献如下:首先,我们展示了如何从MNIST和MNIST Fashion等一般数据集恢复3D形状和姿势。其次,我们比较了使用对抗和变分方法学习的形状。对抗方法提供了更密集的3D形状。第三,我们探索了将对象的姿态建模为均匀分布以从单个图像恢复3D形状的想法。我们对CelebA数据集\cite{liu2015faceattributes}的实验证明,当对象沿一个或多个轴对称时,我们可以从单个图像中恢复完整的3D形状,而使用ModelNet 40 \cite{wu20153d}获得的结果显示了潜在的副作用,其中模型学习3D形状,以便它可以从任何视点渲染相同的图像。第四,我们提出了一种通用的端到端的方法,通过将方位角等变化因素建模为独立的潜在变量,以完全无监督的方式从单个图像中学习3D形状。我们的方法对数据集没有任何假设,并且可以处理合成图像和真实图像(即真正意义上的无监督图像)。我们提出了我们的结果,通过使用$μ$ -VAE目标\cite{ucar2019bridging}和一个数据集训练模型,该数据集结合了来自MNIS…
2019-12-02 cs.CV cs.LG stat.ML
Unsupervised Method for Intra-patient Registration of Brain Magnetic Resonance Images based on Objective Function Weighting by Inverse Consistency: Contribution to the BraTS-Reg Challenge
University of Applied Sciences Western Switzerland(瑞士西部应用科学大学);AGH University of Science and Technology(AGH科技大学);University of Geneva(日内瓦大学);University of Padova(帕多瓦大学)
针对脑肿瘤术前与随访MRI配准的难点,本研究提出结合实例优化与逆一致性加权的无监督方法,增强LapIRN性能,在BraTS-Reg两届挑战赛中分获冠、季军。
2022-11-14 cs.CV cs.LG
Boosting CNN beyond Label in Inverse Problems
KAIST(韩国科学技术院);Samsung Advanced Institute of Technology(三星先进技术研究院)
卷积神经网络(CNN)已被广泛用于反问题。然而,它们对看不见的测试数据的预测误差难以先验估计,因为神经网络仅使用选定的数据进行训练,并且它们的架构在很大程度上被认为是黑盒。这对神经网络的无监督学习或超越标签的改进提出了根本性的挑战。在本文中,我们表明,最近的无监督学习方法,如Noise 2Noise,Stein的无偏风险估计(SURE)为基础的降噪,和Noise 2 Void是密切相关的,彼此在他们制定的预测误差的无偏估计,但他们每个人都与自己的局限性。基于这些观察,我们提供了一个新的提升估计的预测误差。特别地,通过采用编码器-解码器CNN的组合卷积帧表示并将其与批量归一化协同组合,我们为预测误差的无偏估计器提供了一种封闭形式的公式,该公式可以最小化神经网络训练超出标签。实验结果表明,所得到的算法,我们称之为Noise 2Boosting,提供了一致的改善,在各种反问题的监督和无监督学习设置。
2019-06-18 cs.CV cs.LG eess.IV
Adversarially learned iterative reconstruction for imaging inverse problems
University of Cambridge(剑桥大学);KTH – Royal Institute of Technology(瑞典皇家理工学院)
在许多实际应用中,特别是在医学图像重建中,通常不可能获得用于监督学习的大量地面实况/测量对。因此,开发与监督方法在性能上具有竞争力的无监督学习协议势在必行。受最大似然原理的启发,我们提出了一个求解不适定逆问题的无监督学习框架。所提出的方法不是在重建图像和地面实况图像之间寻求像素接近度,而是学习迭代重建网络,其输出在分布上与地面实况相匹配。考虑到层析重建作为一个应用程序,我们证明了所提出的无监督的方法不仅执行与其监督的变体在客观的质量措施,但也成功地规避了问题的过度平滑,监督的方法往往遭受。重建质量的提高是以更高的训练复杂度为代价的,但是,一旦训练完成,重建时间就与其监督的对应时间相同。
2021-03-30 cs.CV cs.LG eess.IV
Optimal Transport driven CycleGAN for Unsupervised Learning in Inverse Problems
KAIST(韩国科学技术院)
为了提高经典生成对抗网络(GAN)的性能,Wasserstein生成对抗网络(W-GAN)被开发为使用Wasserstein-1距离的最佳运输(OT)问题的Kantorovich对偶公式。然而,目前尚不清楚如何从最优传输理论中推导出cycleGAN类型的生成模型。在这里,我们表明,一个新的cycleGAN架构可以推导出一个Kantorovich双OT公式,如果惩罚最小二乘(PLS)成本与深度学习为基础的反向路径惩罚被用作运输成本。这个公式最重要的优点之一是,根据前向问题的知识,可以导出cycleGAN架构的不同变化:例如,一个具有两对发生器和鉴别器,另一个只有一对发生器和鉴别器。即使是两个发电机的情况下,我们表明,结构知识的前向算子可以导致一个更简单的发电机架构,显着简化了神经网络的训练。新的cycleGAN公式,我们称之为OT-cycleGAN,已被应用于各种生物医学成像问题,如加速磁共振成像(MRI),超分辨率显微镜和低剂量X射线计算机断层扫描(CT)。实验结果证实了该理论的有效性和灵活性。
2020-08-30 cs.CV cs.LG eess.IV
One-Step Diffusion with Inverse Residual Fields for Unsupervised Industrial Anomaly Detection
Department of Computer Science and Technology(计算机科学与技术系);Xidian University(西电大学);Department of Electronic Engineering(电子工程系)
本文提出OSD-IRF方法,通过逆残差场实现无监督工业异常检测,利用单步扩散提升推理效率,并在多个基准测试中取得最优或竞争性性能。
2026-04-20 cs.CV
Unsupervised Multi-Parameter Inverse Solving for Reducing Ring Artifacts in 3D X-Ray CBCT
本文提出无监督方法Riner,将CBCT环形伪影减少建模为多参数逆问题,通过可微分前向模型联合学习无伪影图像的隐式神经表示并直接从测量数据估计探测器物理参数,无需外部训练数据且内存友好,在模拟和真实数据上优于现有监督方法。
2025-11-08 cs.CV eess.IV
Optimal Transport for Unsupervised Denoising Learning
Shanghai Jiao Tong University(上海交通大学)
最近,无监督去噪学习取得了很大进展。然而,现有的方法或多或少地依赖于对信号和/或退化模型的一些假设,这限制了它们的实际性能。如何在没有任何退化模型先验知识的情况下构造无监督去噪学习的最优准则仍然是一个悬而未决的问题。为了回答这个问题,本文提出了一种基于最优传输理论的无监督去噪学习准则。该标准具有有利的性质,例如,在实现感知重建的同时,近似最大限度地保留信号的信息。此外,虽然在实际实现中使用了松弛的无约束公式,但我们证明了松弛公式在理论上与原始约束公式具有相同的解。对合成数据和真实世界数据(包括逼真的摄影、显微镜、深度和原始深度图像)的实验表明,所提出的方法甚至可以与监督方法(例如,接近监督方法的PSNR,同时具有更好的感知质量。特别地,对于空间相关噪声和真实的显微图像,所提出的方法不仅实现了更好的感知质量,而且比监督方法具有更高的PSNR。此外,它在复杂噪声的恶劣实际条件下显示出显著的优越性,原始深度图像。代码可在https://github.com/wangweiSJTU/OTUR上获得。
2022-04-28 cs.CV cs.LG eess.IV
Unsupervised Data Uncertainty Learning in Visual Retrieval Systems
Honda Research Institute, USA(本田美国研究所)
我们引入了一个无监督的配方估计异方差的不确定性检索系统。我们提出了一个扩展的三重损失模型的数据不确定性为每个输入。除了提高性能,我们的配方模型的嵌入空间中的局部噪声。它量化了输入的不确定性,从而提高了系统的可解释性。这有助于识别查询和搜索数据库中的噪声观测。图像和视频检索应用程序的评价突出了我们的方法的实用性。我们强调了我们使用两个真实世界数据集(Clothing1M和Honda Driving数据集)对局部噪声建模的效率。定性结果说明了我们的能力,在确定混乱的情况下,在各个领域。不确定性学习还可以通过检测嘈杂的训练标签来进行数据清理。
2019-02-07 cs.CV
Mapping in a cycle: Sinkhorn regularized unsupervised learning for point cloud shapes
The University of Hong Kong(香港大学);Fuzhou University(福州大学)
我们提出了一个无监督学习框架,其前提任务是基于循环一致性公式找到来自同一类别的点云形状之间的密集对应关系。为了从点云数据中学习有区别的逐点特征,我们在公式中加入了一个基于Sinkhorn归一化的正则化项,以增强所学习的逐点映射,使其尽可能双射。此外,通过引入源形状的随机刚性变换,形成三重循环,提高了模型对扰动的鲁棒性。综合实验表明,通过我们的框架学习的逐点特征有利于各种点云分析任务,例如部分形状配准和关键点转移。我们还表明,学习到的逐点特征可以通过监督方法来利用完整的训练数据集或其中的一小部分来提高零件分割性能。
2020-07-19 cs.CV cs.LG
Quad-networks: unsupervised learning to rank for interest point detection
ETH Zurich(苏黎世联邦理工学院);Toshiba Corporation(东芝公司);Microsoft(微软)
几个机器学习任务需要仅使用稀疏的兴趣点集来表示数据。一个理想的检测器是能够找到相应的兴趣点,即使数据经历了一个典型的给定域的变换。由于该任务在计算机视觉中具有很高的实际意义,因此提出了许多手工制作的解决方案。在本文中,我们提出了一个基本问题:我们可以从头开始学习这样的检测器吗?由于通常不清楚哪些点是“有趣的”,因此无法使用人为标签来找到真正无偏见的解决方案。因此,这项任务需要一个无监督的制定。我们是第一个提出这样一个公式:训练一个神经网络以变换不变的方式对点进行排名。然后从该排名的顶部/底部分位数中提取兴趣点。我们验证了我们的方法上的两个任务:标准的RGB图像兴趣点检测和具有挑战性的跨模态RGB和深度图像之间的兴趣点检测。我们定量地表明,我们的无监督方法的性能更好或与基线相当。
2017-04-10 cs.CV cs.LG cs.NE
Robust Equivariant Imaging: a fully unsupervised framework for learning to image from noisy and partial measurements
University of Edinburgh(爱丁堡大学)
深度网络在从医学成像到计算摄影的多个成像逆问题中提供最先进的性能。然而,大多数现有的网络都是用干净的信号训练的,这些信号通常很难或不可能获得。等变成像(EI)是最近的自监督学习框架,利用存在于信号分布中的组不变性来仅从部分测量数据学习重建函数。虽然EI结果令人印象深刻,但其性能会随着噪音的增加而下降。在本文中,我们提出了一个鲁棒等变成像(REI)框架,可以学习图像从噪声部分测量单独。该方法使用Stein的无偏风险估计(SURE)来获得对噪声具有鲁棒性的完全无监督的训练损失。我们表明,REI在线性和非线性逆问题上带来了可观的性能提升,从而为深度网络的鲁棒无监督成像铺平了道路。代码可在:https://github.com/edongdongchen/REI.
2022-03-15 cs.CV eess.IV eess.SP
Unsupervised Abstract Reasoning for Raven's Problem Matrices
瑞文推理测验(RPM)与人类智力高度相关,被广泛用于测量人类的抽象推理能力。在本文中,为了研究深度神经网络的抽象推理能力,我们提出了第一种用于解决RPM问题的无监督学习方法。由于地面真值标签是不允许的,我们设计了一个基于RPM公式的先验约束的伪目标来近似地面真值标签,这有效地将无监督学习策略转换为有监督策略。然而,正确的答案是错误的标记的伪目标,从而噪声对比将导致不准确的模型训练。为了缓解这个问题,我们建议提高模型的性能与否定的答案。此外,我们开发了一个分散的方法,以适应不同的RPM问题的特征表示。在三个数据集上的大量实验表明,我们的方法甚至优于一些监督方法。我们的代码可在https://github.com/visiontao/ncd上获得。
2021-09-21 cs.AI cs.CV cs.LG
Discovering Structure From Corruption for Unsupervised Image Reconstruction
California Institute of Technology (Caltech)(加州理工学院);Peking University(北京大学);Jet Propulsion Laboratory(喷气推进实验室)
针对无图像先验的病态成像逆问题,本文提出联合求解多任务并学习共享低维潜在生成器,仅需不超过150幅图像的测量即可完成去噪、相位恢复和黑洞视频重建。
2023-11-01 cs.CV eess.IV
Floxels: Fast Unsupervised Voxel Based Scene Flow Estimation
Robert Bosch GmbH(罗伯特·博世有限公司);University of Freiburg(弗赖堡大学);CARIAD SE
本文提出基于体素网格的无监督场景流估计方法 Floxels,通过引入体素网格模型和多帧损失公式,在保持可比性能的同时大幅降低了计算成本,实现显著加速。
2025-04-03 cs.CV cs.LG cs.RO
Simultaneous Compression and Quantization: A Joint Approach for Efficient Unsupervised Hashing
Singapore University of Technology and Design(新加坡科技设计大学);University of Liverpool(利物浦大学);Chalmers University of Technology(查尔姆斯理工大学)
对于无监督的数据相关散列,两个最重要的要求是保持低维特征空间中的相似性和最小化二进制量化损失。一种成熟的哈希方法是迭代量化(ITQ),它在单独的步骤中解决了这两个要求。在本文中,我们重新ITQ的方法,并提出新的配方和算法的问题。具体来说,我们提出了一种新的方法,名为同步压缩和量化(SCQ),联合学习压缩(降低维数)和二进制输入数据在严格的正交约束下的一个单一的配方。通过这种方法,我们引入了一个损失函数及其放松的版本,分别称为正交编码器(OnE)和正交编码器(OgE),其中涉及具有挑战性的二进制和正交约束。我们建议使用新的算法攻击循环坐标下降方法的最新进展的基础上的优化。无监督图像检索的综合实验表明,我们提出的方法始终优于其他国家的最先进的哈希方法。值得注意的是,我们提出的方法在准确性上优于最近的深度神经网络和基于GAN的散列,同时计算效率非常高。
2019-11-13 cs.CV
End-to-end reconstruction meets data-driven regularization for inverse problems
KTH–Royal institute of Technology(瑞典皇家理工学院);University of Cambridge(剑桥大学)
我们提出了一种无监督的方法来学习端到端的重建算子不适定的逆问题。所提出的方法将经典变分框架与迭代展开相结合,其本质上是寻求最小化测量空间中的预期失真以及重建和地面实况分布之间的Wasserstein-1距离的加权组合。更具体地,变分设置中的正则化器由深度神经网络参数化,并且与展开的重建算子同时学习。变分问题,然后初始化与展开算子的重建和迭代求解,直到收敛。值得注意的是,由于通过展开运算符获得的出色初始化,它需要更少的迭代来收敛。所得到的方法结合了端到端展开重建的计算效率与适定性和噪声稳定性保证的变分设置。此外,我们用X射线计算机断层扫描(CT)的例子证明了我们的方法优于最先进的无监督方法,并且它优于或与最先进的监督学习重建方法相当。
2021-06-07 cs.CV cs.LG math.OC
QSMDiff: Unsupervised 3D Diffusion Models for Quantitative Susceptibility Mapping
University of Queensland(昆士兰大学);Central South University(中南大学);University of Newcastle(纽卡斯尔大学)
本文提出无监督3D扩散模型QSMDiff,通过3D图像块训练与全尺寸测量引导,解决了QSM偶极子反演问题,在多场景下实现了稳健重建与超分辨率去噪,并具备广泛医学应用潜力。
2024-03-21 cs.CV eess.IV physics.med-ph
Unsupervised Representation Adversarial Learning Network: from Reconstruction to Generation
Beckman Institute, UIUC(伊利诺伊大学厄巴纳-香槟分校贝克曼研究所)
一个好的表示任意复杂的数据应该具有语义生成,聚类和重构的能力。以前的研究已经在这两个方面取得了令人印象深刻的表现。本文旨在以无监督的方式学习一种对所有人都有效的解纠缠表示。为了同时实现这三个任务,我们在对称对抗过程的基础上学习数据和表示之间的正向和反向映射。在理论上,我们最小化的两个条件熵损失的上界之间的潜变量和观察一起,以实现循环的一致性。新提出的RepGAN在MNIST,fashionMNIST,CelebA和SVHN数据集上进行了测试,以执行无监督分类,生成和重建任务。结果表明,RepGAN是能够学习一个有用的和有竞争力的表示。据作者所知,我们的工作是第一个实现高的无监督分类精度和低重建错误的MNIST。代码可在https://github.com/yzhouas/RepGAN-tensorflow上获得。
2019-04-06 cs.CV cs.LG stat.ML
Plug-and-Play Deep Energy Model for Inverse problems
University of Iowa(爱荷华大学)
我们介绍了一种新的能量配方即插即用(PPERS)图像恢复。使用卷积神经网络(CNN)的传统PSNR方法不具有基于能量的公式。这项工作的主要重点是引入一种基于能量的Pestrian公式,该公式依赖于CNN,该CNN从训练数据中学习图像的对数。评分函数被评估为能量模型的梯度,其类似于具有共享编码器和解码器权重的UNET。因此,所提出的评分函数被约束到一个保守的向量场,这是与经典的Pestrian模型的关键区别。基于能量的公式提供了算法的收敛保证,即使当学习的分数模型不是一个收缩。收缩约束的放松允许所提出的模型学习更复杂的先验知识,从而提供了比传统的Pestrian方案更好的性能。我们在磁共振图像重建中的实验表明,所提出的能量模型比传统的PSNR方法提供了更好的性能。
2023-02-15 cs.CV cs.LG eess.IV
Denoising Diffusion Restoration Models
Technion(以色列理工学院);NVIDIA(英伟达)
图像复原中许多有趣的问题都可以归结为线性逆问题。最近的一个家庭的方法来解决这些问题,使用随机算法,样品从后验分布的自然图像的测量。然而,有效的解决方案通常需要特定于问题的监督训练来建模后验,而非特定于问题的无监督方法通常依赖于低效的迭代方法。这项工作通过引入去噪扩散恢复模型(DDRM),一种有效的,无监督的后验采样方法来解决这些问题。受变分推理的启发,DDRM利用预训练的去噪扩散生成模型来解决任何线性逆问题。我们展示了DDRM的多功能性的超分辨率,去模糊,修补和着色下的各种测量噪声量的图像数据集。DDRM在重建质量、感知质量和运行时间方面优于当前领先的无监督方法,比最接近的竞争对手快5倍。DDRM也很好地概括了观察到的ImageNet训练集分布之外的自然图像。
2022-10-12 cs.CV cs.LG eess.IV
Top-Down Unsupervised Image Segmentation (it sounds like oxymoron, but actually it is not)
模式识别通常被认为是两个反向图像处理流的交互:自下而上的信息细节收集和定位(分割)流,以及自上而下的信息特征聚合,关联和解释(识别)流。受生物视觉研究的最新证据和Kolmogorov复杂性理论的启发,我们提出了一个新的,自上而下的初始图像分割过程。我们认为,传统的自上而下的认知推理,这是应该引导分割过程的最终结果,是不是在所有的图像信息内容评估的一部分。初始图像分割当然是一个无监督的过程。我们提出了一些说明性的例子,支持我们的主张。
2005-03-01 cs.CV cs.IR
High-Resolution Image Reconstruction with Unsupervised Learning and Noisy Data Applied to Ion-Beam Dynamics for Particle Accelerators
IPHC, CNRS Nuclei & Particules, Univ. of Strasbourg(斯特拉斯堡大学核与粒子物理研究所(法国国家科学研究中心));University of Strasbourg(斯特拉斯堡大学);Sorbonne University(索邦大学)
本文提出了一种基于卷积滤波和神经网络的无监督学习方法,用于在低信噪比条件下实现高分辨率的束流发散度图像重建,显著提升了离子束动力学的诊断精度。
2026-03-04 cs.CV cs.LG
Equivariant Test-Time Training with Operator Sketching for Imaging Inverse Problems
School of Mathematics, University of Birmingham(伯明翰大学数学学院)
本文提出基于运算子草图的等变测试时间训练方法,用于加速深度内部学习框架,通过优化归一化层实现高效网络适应,显著提升高维应用中的计算效率。
2025-12-11 cs.CV cs.LG eess.IV
A Principled Approach to Unsupervised Anomaly Detection
Imperial College London(帝国理工学院);Friedrich-Alexander University Erlangen-Nürnberg(弗里德里希-亚历山大大学埃尔朗根-纽伦堡);Nanyang Technological University(南洋理工大学)
提出将无监督异常检测重构为贝叶斯逆问题,以能量分数作为异常分数,统一现有方法并改进MVTec AD数据集上的AUROC,同时提供病理估计。
2026-09-21 cs.CV
Improve Unsupervised Domain Adaptation with Mixup Training
Bosch Research North America(博世北美研究院)
无监督域自适应研究利用具有丰富标签的相关源域为未注释的目标域构建预测模型的问题。最近的工作观察到,流行的学习领域不变特征的对抗方法不足以实现期望的目标领域性能,从而引入额外的训练约束,例如聚类假设。然而,这些方法分别对源域和目标域施加约束,忽略了它们之间重要的相互作用。在这项工作中,我们建议使用mixup公式来执行跨域的训练约束,以直接解决目标数据的泛化性能。为了解决潜在的巨大的域差异,我们进一步提出了一个特征级的一致性正则化,以促进域间的约束。当添加域内混淆和域对抗学习时,我们的通用框架显着提高了图像分类和人类活动识别等几项重要任务的最新性能。
2020-01-03 cs.CV cs.LG stat.ML
PBNS: Physically Based Neural Simulator for Unsupervised Garment Pose Space Deformation
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
我们提出了一种方法,通过深度学习自动获得姿态空间变形(PSD)的基础上操纵的服装。经典的方法依赖于基于物理的模拟(PBS)来制作衣服的动画。这些都是一般的解决方案,给定足够细粒度的空间和时间离散化,可以实现高度现实的结果。然而,它们在计算上是昂贵的,并且任何场景修改都需要重新模拟。带有PSD的线性混合蒙皮(LBS)提供了PBS的轻量级替代方案,但是,它需要大量的数据来学习适当的PSD。我们建议使用深度学习,制定为一个隐式PBS,在一个受约束的场景中无监督地学习逼真的布姿势空间变形:穿着的人。此外,我们表明,这是可能的训练这些模型在相当的时间量的PBS的几个序列。据我们所知,我们是第一个提出一个神经模拟器的布。虽然该领域中基于深度的方法正在成为一种趋势,但这些都是数据饥渴的模型。此外,作者经常提出复杂的公式来更好地从PBS数据中学习皱纹。监督学习导致物理上不一致的预测,需要使用冲突解决。此外,对PBS数据的依赖限制了这些解决方案的可扩展性,而它们的制定阻碍了其适用性和兼容性。通过提出一种无监督的方法来学习LBS模型(3D动画标准)的PSD,我们克服了这两个缺点。得到的结果显示动画服装和有意义的姿势依赖的褶皱和皱纹的布一致性。我们的解决方案非常高效,可处理多层布料,允许无人监督的服装装饰,并可轻松应用于任何自定义3D头像。
2021-05-21 cs.CV cs.GR
FIRE: Unsupervised bi-directional inter-modality registration using deep networks
University of Edinburgh(爱丁堡大学);Sun Yat-Sen University(中山大学)
本文提出无监督双向模态间配准深度网络FIRE,通过多任务架构与逆向一致性损失同时学习仿射与非刚性变换,在脑MR与心脏Cine-MR数据上取得优异性能。
2019-07-11 cs.CV eess.IV
Adversarial Regularizers in Inverse Problems
DAMTP Department of Mathematics(DAMTP数学系);University of Cambridge(剑桥大学);KTH - Royal Institute of Technology(皇家理工学院)
本文提出了一种利用神经网络作为正则化函数的新框架,用于解决反问题,该方法通过学习真实图像分布与未正则化重建分布之间的差异来提升反问题求解的性能。
2019-01-11 cs.CV cs.LG cs.NA
Consistent estimation of the max-flow problem: Towards unsupervised image segmentation
Texas A&M University(德克萨斯农工大学)
复杂生物和制造过程的基于图像的诊断的进步使无监督图像分割成为实现自动化、动态决策的最前沿。然而,大多数现有的无监督分割方法或者计算复杂或者需要手动参数选择(例如,最大流量/最小切割分段中的流量容量)。在这项工作中,我们提出了一个完全无监督的分割方法,使用连续的最大流公式在图像域,同时最佳地估计流量参数的图像特征。更具体地说,我们表明,最大后验估计的图像标签可以制定为一个连续的最大流问题的流量是已知的。然后,通过采用一种新的马尔可夫随机场之前的图像域迭代获得的流量。我们提出的理论结果,建立后的一致性的流量。我们比较了我们的方法在两个真实案例研究中的性能,包括使用电子显微镜图像的增材制造组件中的脑肿瘤图像分割和缺陷识别。与几种最先进的监督方法以及无监督方法的比较结果表明,本方法在统计上与监督方法相似,但与最先进的无监督方法相比,Dice分数提高了90%以上。
2019-06-29 cs.CV eess.IV