Generative Manifold Distillation: Aligning Restoration Trajectories with Natural Image Prior
Google(谷歌);Washington University in St. Louis(圣路易斯华盛顿大学)
提出生成式流形蒸馏(GMD),通过几何流形对齐实现无配对域自适应,利用冻结文本到图像基础模型的流匹配动力学将离流形恢复投影到自然图像流形,并引入质量门控滤波器和源锚定轨迹正则化,无需架构修改或推理延迟即可提升感知质量。
2026-06-24 cs.CV eess.IV
Projective Manifold Gradient Layer for Deep Rotation Regression
Peking University(北京大学);Beijing Institute for General AI(北京通用人工智能研究院);Stanford University(斯坦福大学);Imperial College London(伦敦帝国理工学院)
使用深度神经网络回归SO(3)流形上的旋转是一个重要但尚未解决的问题。欧几里德网络输出空间和非欧几里德SO(3)流形之间的差距给神经网络的前向和后向学习带来了严峻的挑战。虽然有几个作品提出了不同的回归友好的旋转表示,很少有作品致力于提高梯度反向传播的反向通过。在本文中,我们提出了一种流形感知梯度,它直接反向传播到深度网络权重中。利用黎曼优化来构造一个新的投影梯度,我们提出的正则投影流形梯度(RPMG)方法可以帮助网络在各种旋转估计任务中实现新的最先进的性能。我们提出的梯度层也可以应用于其他光滑流形,如单位球。我们的项目页面位于https://jychen18.github.io/RPMG。
2022-03-30 cs.CV
Manifold Modeling in Embedded Space: A Perspective for Interpreting Deep Image Prior
Nagoya Institute of Technology(名古屋工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所)
深度图像先验(DIP)利用深度卷积网络(ConvNet)结构本身作为图像先验,在计算机视觉和机器学习社区中引起了关注。它经验性地显示了ConvNet结构对于各种图像复原应用的有效性。然而,为什么DIP工作得这么好仍然是未知的,为什么卷积运算是有用的图像重建或增强是不是很清楚。在这项研究中,我们解决了这些问题。该方法将卷积分解为“延迟嵌入”和"变换(\ie encoder-decoder)“,并提出了一种简单但必不可少的图像/张量建模方法,该方法与动力学系统和自相似性密切相关。提出的嵌入空间流形建模(MMES)方法是通过使用一种新的去噪自动编码器结合多路延迟嵌入变换来实现的。尽管它的简单性,图像/张量完成,超分辨率,反卷积,和去噪结果的MMES是非常相似的,甚至在我们广泛的实验中有竞争力的DIP,这些结果将有助于我们重新解释/表征DIP从“低维补丁流形先验”的角度。
2020-01-21 cs.CV cs.LG
What Matters for Diffusion-Friendly Latent Manifold? Prior-Aligned Autoencoders for Latent Diffusion
Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究院,中国科学院);Beihang University(北航);Sun Yat-sen University(中山大学);Nankai University(南开大学);Shanghai AI Laboratory(上海人工智能实验室)
本文研究潜在 manifold 组织对扩散模型生成质量的影响,提出 PAE 显式构建潜在 manifold,提升训练效率和生成质量,达到新状态的 gFID 1.03。
2026-05-08 cs.CV
Jeffrey's prior sampling of deep sigmoidal networks
Cornell University(康奈尔大学)
神经网络已经被证明具有揭示数据中的低维结构的显着能力:可能的重建图像的空间在图像空间中形成简化的模型流形。我们通过分析深度信念网络和使用蒙特卡洛采样的堆叠去噪自动编码器学习的流形来直接探索这个想法。模型流形形成了一个只有轻微拉长的超球,实际重建数据主要出现在流形的边界上。结合本文的结果,我们讨论了高维流形的采样问题以及最近的工作[M。Transtrum,G. Hart和P.Qiu,提交(2014)]讨论了高维几何和模型简化之间的关系。
2017-05-25 cond-mat.dis-nn cs.CV
Deep Manifold Transformation for Nonlinear Dimensionality Reduction
Westlake University(西湖大学)
基于流形学习的编码器在数据挖掘的非线性降维(NLDR)中发挥着重要作用。然而,现有的方法通常不能保持数据的几何、拓扑和/或分布结构。在本文中,我们提出了一个深度流形学习框架,称为深度流形变换(DMT),用于无监督NLDR和嵌入学习。DMT通过使用跨层局部几何保持(LGP)约束来增强深度神经网络。LGP约束构成了深度流形学习的损失,并作为NLDR网络训练的几何正则化器。对合成数据和真实数据的大量实验表明,DMT网络在保留数据结构方面优于现有领先的基于流形的NLDR方法。
2021-05-03 cs.CV cs.HC cs.LG
Building Deep Networks on Grassmann Manifolds
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
学习格拉斯曼流形上的表示在相当多的视觉识别任务中很受欢迎。为了在格拉斯曼流形上实现深度学习,本文通过将欧几里德网络范式推广到格拉斯曼流形,提出了一种深度网络架构。特别是,我们设计满秩映射层将输入格拉斯曼数据转换为更理想的数据,利用重新正交归一化层将结果矩阵归一化,研究投影池层以降低格拉斯曼背景下的模型复杂度,并设计投影映射层以尊重格拉斯曼几何,同时实现正则输出层的欧几里得形式。为了训练格拉斯曼网络,我们利用随机梯度下降设置流形上的连接权重,并研究了矩阵推广的反向传播更新的结构化数据。对三个视觉识别任务的评估表明,我们的格拉斯曼网络具有明显的优势,现有的格拉斯曼学习方法,并取得了与国家的最先进的方法相媲美的结果。
2018-01-29 cs.CV
Deep manifold-to-manifold transforming network for action recognition
Southeast University(东南大学);Nanjing University of Science and Technology(南京理工大学)
对称正定(SPD)矩阵(例如,协方差、图拉普拉斯算子等)被广泛用于空间或时间域的关系建模。然而,SPD矩阵理论上嵌入黎曼流形。本文提出了一种端到端的深度流形到流形转换网络(DMT-Net),它可以使SPD矩阵从一个黎曼流形流向另一个更具判别力的黎曼流形。为了学习表征空间和时间依赖性的区分性SPD特征,我们专门在流形上开发了三个新层:(i)局部SPD卷积层,(ii)非线性SPD激活层,以及(iii)黎曼保留递归层。SPD属性通过所有层保持,而不需要任何奇异值分解(SVD),这通常是在现有的方法中使用的昂贵的计算成本。此外,对角化SPD层被设计为有效地计算分类任务的最终度量。为了评估我们提出的方法,我们进行了大量的实验上的任务的动作识别,输入信号普遍建模为SPD矩阵。实验结果表明,我们的DMT网络是更有竞争力的国家的最先进的。
2017-09-30 cs.CV
Joint Manifold Learning and Optimal Transport for Dynamic Imaging
University of Twente(特文特大学)
本文提出联合图像流形低维潜在表示与OT时间先验的动态成像框架,通过约束三者一致性同时利用多时间序列信息并弥补时间点不足。
2025-05-17 cs.CV eess.IV
ManifoldNet: A Deep Network Framework for Manifold-valued Data
University of Florida(佛罗里达大学)
深度神经网络已经成为许多任务的主要工作机器,这些任务涉及在科学和工程的各种应用中从数据中学习。传统上,这些网络的输入位于向量空间中,并且网络内采用的操作在向量空间上被很好地定义。近年来,由于传感技术的进步,直接或间接获取流形值数据集已成为可能。示例包括但不限于来自汽车、无人机等上的全向相机的数据,合成孔径雷达成像、扩散磁共振成像、弹性成像和医学成像领域中的电导成像等。因此,需要推广深度神经网络,以处理驻留在弯曲流形上的输入数据,其中向量空间操作不是自然容许的。在本文中,我们提出了一个新的理论框架,推广广泛流行的卷积神经网络(CNN)的高维流形值数据输入。我们称这些网络为ManifoldNets。在ManifoldNets中,对驻留在黎曼流形上的数据的卷积运算是通过给定数据的加权Fréchet平均值(wFM)的可证明收敛的递归计算来实现的,其中权重构成要学习的卷积掩码。此外,我们证明了所提出的wFM层实现了收缩映射,因此ManifoldNet不需要标准CNN中使用的非线性ReLU单元。我们目前的实验,使用ManifoldNet框架,通过计算自然驻留在格拉斯曼的主要线性子空间来实现降维。实验结果证明了ManifoldNets在分类和重建精度方面的有效性。
2018-09-20 cs.CV
Deep Spherical Manifold Gaussian Kernel for Unsupervised Domain Adaptation
Lehigh University(理海大学)
无监督领域自适应是一种有效的解决领域迁移问题的方法。现有的基于流形的方法要么基于传统的模型,要么主要依赖于格拉斯曼流形,通过最小化两个区域的单个协方差矩阵的差异。此外,现有的伪标签算法在对齐两个域之间的条件分布时没有充分考虑伪标签的质量。在这项工作中,提出了一个深球形流形高斯核(DSGK)框架,将源和目标子空间映射到一个球形流形,并通过嵌入提取的特征和高斯核来减少它们之间的差异。为了对齐条件分布,我们进一步开发了一个简单到困难的伪标签细化过程,以提高伪标签的质量,然后减少分类球面流形高斯核测地线损失。大量的实验结果表明,DSGK优于最先进的方法,特别是在具有挑战性的跨领域学习任务。
2021-05-05 cs.CV
DIMAL: Deep Isometric Manifold Learning Using Sparse Geodesic Sampling
Technion - Israel Institute Of Technology(以色列理工学院)
本文探索了一种完全无监督的深度学习方法,用于计算距离保持映射,为某类流形生成低维嵌入。我们使用暹罗配置训练一个神经网络,以解决最小二乘多维缩放的问题,生成地图,近似保持测地距离。通过仅使用几个地标进行训练,与类似的非参数对应物相比,我们显示了等距映射的显着改进的局部和非局部泛化。重要的是,深度学习框架与多维缩放目标的结合使网络架构的数值分析能够帮助理解其表示能力。这为深度学习的普遍性提供了几何视角。
2018-11-13 cs.CV
Learning Low-dimensional Manifolds for Scoring of Tissue Microarray Images
UMass Dartmouth(马萨诸塞大学达特茅斯分校);Worcester Polytechnic Institute(伍斯特理工学院);Dali University(大理大学)
组织微阵列(TMA)图像已成为癌症研究和生物标志物验证的重要高通量工具。努力致力于进一步提高TACOMA的准确性,TACOMA是一种先进的TMA图像自动评分算法。一个主要的进步是由于deepTacoma,一个算法,它结合了适当的深度表示的一个组的性质。受半监督学习和深度学习的最新进展的启发,我们提出mfTacoma在TMA图像评分的背景下学习替代的深度表示。特别是,mfTacoma学习低维流形,这是高维数据中常见的潜在结构。深度表示学习和流形学习通常需要大量数据。通过将流形的深度表示编码为正则化特征,mfTacoma有效地利用了由于小数据而可能粗糙的流形信息。我们的实验表明,流形的深度特征优于两种替代方案--通过主成分分析或利用群属性的线性流形的深度特征。
2021-02-22 cs.AI cs.CV cs.LG
Momo: Monocular Motion Estimation on Manifolds
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
关于车辆位置的知识对于自动驾驶是不可或缺的。为了应用全局定位方法,必须知道可以从视觉里程计获得的姿态先验。先验知识的质量和鲁棒性决定了定位的成功。Momo是一种单目帧到帧运动估计方法,为此目的提供高质量的视觉里程计。通过考虑车辆的运动模型,姿态先验的可靠性和准确性显着提高。我们表明,特别是在低结构的环境中,莫莫优于最先进的。此外,该方法的设计,使多个摄像机有或没有重叠可以集成。对KITTI数据集和适当的多相机数据集的评估表明,即使只有100- 300个特征匹配,先验估计也具有高精度和实时性。
2017-08-01 cs.CV
The Local Dimension of Deep Manifold
Huazhong University of Science and Technology(华中科技大学);Shanghai Jiaotong University(上海交通大学);Cornell University(康奈尔大学)
基于我们的观察,即卷积层的全连接层或单个特征图的奇异值存在显著下降,并且级联特征向量的维度几乎等于每个特征图上的维度之和,我们提出了奇异值分解(SVD)的方法来估计一个典型的卷积神经网络VGG 19的深度流形的尺寸。我们从ImageNet中选择三个类别,即波斯猫,集装箱船和火山,并通过目标图像的切空间确定深层流形的局部维数。通过几种增强方法,我们发现高斯噪声方法更接近于固有维度,因为通过向图像添加随机噪声,我们正在任意维度上移动,并且当增强图像的特征矩阵的秩不增加时,我们非常接近流形的局部维度。我们还根据每个maxpooling层的切空间估计深流形的维数。我们的研究结果表明,不同类别的维度彼此接近,并且沿着卷积层和全连接层快速下降。此外,我们还表明Conv 5层内的维度迅速下降。我们的工作为深层神经网络的内在结构提供了新的见解,并有助于揭示深层神经网络黑匣子的内部组织。
2017-11-05 cs.CV
Deep Manifold Embedding for Hyperspectral Image Classification
National Innovation Institute of Defense Technology, Chinese Academy of Military Science(中国军事科学院国防科技创新研究院);National University of Defense Technology(国防科技大学)
深度学习方法在高光谱图像分类中发挥着越来越重要的作用。然而,一般的深度学习方法主要利用样本本身的信息或样本之间的成对信息,而忽略了整个数据内在的数据结构。为了解决这个问题,这项工作开发了一种新的深流形嵌入方法(DMEM)的高光谱图像分类。首先,图像中的每个类被建模为一个特定的非线性流形,测地线距离被用来衡量样本之间的相关性。然后,基于层次聚类,可以捕获的数据的流形结构,每个非线性数据流形可以分为几个子类。最后,考虑到每个子类的分布和不同子类之间的相关性,构造了DMEM,以保持数据流形上的估计测地线距离之间的学习不同样本的低维特征。在三个真实高光谱图像数据集上的实验证明了该方法的有效性。
2021-03-27 cs.CV eess.IV
DEFRAG: Deep Euclidean Feature Representations through Adaptation on the Grassmann Manifold
Rochester Institute of Technology(罗切斯特理工学院)
我们提出了一种训练深度网络的新技术,其目标是获得存在于欧几里得空间中并表现出强聚类行为的特征表示。我们所期望的特征表示有三个特点:它们可以使用标准的欧几里得距离度量进行比较,来自同一类的样本紧密聚类,来自不同类的样本分离良好。然而,大多数深度网络并不强制执行这样的特征表示。DEFRAG训练技术包括两个步骤:首先,通过基于Silhouette聚类度量的辅助损失函数来鼓励良好的特征聚类行为。然后将特征空间收缩到Grassmann流形上,以保证L_2范数形成相似性度量。DEFRAG技术在标准分类数据集上实现了最先进的结果,使用相对较小的网络架构,参数明显少于许多标准网络。
2018-06-20 cs.CV
Multi-modal Face Pose Estimation with Multi-task Manifold Deep Learning
Hangzhou Dianzi University(杭州电子科技大学);Xiamen University of Technology(厦门理工学院)
人脸姿态估计的目的是利用二维图像估计出人脸的注视方向或头部姿态。它提供了一些非常重要的信息,如交际手势,显著性检测等,近年来引起了广泛的关注。然而,由于复杂的背景,各种方向和人脸外观的可见性是具有挑战性的。因此,人脸图像的描述性表示并将其映射到姿势是至关重要的。在本文中,我们利用多模态数据,并提出了一种新的人脸姿态估计方法,使用一种新的深度学习框架命名为多任务流形深度学习$M^2DL$。它基于改进的深度神经网络的特征提取和多任务学习的多模态映射关系。在提出的基于深度学习的框架中,流形正则卷积层(MRCL)通过学习神经元输出之间的关系来改进传统卷积层。此外,在所提出的映射关系学习方法中,不同的模式的人脸表示自然地结合起来,学习从人脸图像到姿态的映射函数。通过这种方式,改进了多任务计算映射模型。在三个具有挑战性的基准数据集DPOSE、HPID和BKHPD上的实验结果证明了$M^2DL$的出色性能。
2017-12-18 cs.CV
Histopathology Image Classification using Deep Manifold Contrastive Learning
Korea University(高丽大学)
针对对比学习中余弦距离在非线性特征流形上表示数据点距离的局限性,提出利用测地距离作为相似性度量的深度流形对比学习方法,并结合基于测地距离的特征聚类降低计算开销,在组织病理学全切片图像分类任务上优于现有方法。
2023-06-26 cs.CV
Geometric deep learning on graphs and manifolds using mixture model CNNs
USI Lugano(卢加诺大学);Nnaisense;Tel Aviv University(特拉维夫大学);Intel Perceptual Computing(英特尔感知计算)
深度学习在多个领域取得了显著的性能突破,最显著的是语音识别、自然语言处理和计算机视觉。特别地,卷积神经网络(CNN)架构目前在各种图像分析任务(诸如目标检测和识别)上产生最先进的性能。到目前为止,大多数深度学习研究都集中在处理1D、2D或3D欧几里得结构的数据,如声学信号、图像或视频。最近,人们对几何深度学习越来越感兴趣,试图将深度学习方法推广到非欧几里德结构化数据,如图和流形,具有来自网络分析、计算社会科学或计算机图形学领域的各种应用。在本文中,我们提出了一个统一的框架,允许将CNN架构推广到非欧几里德域(图和流形),并学习局部,静态和组合任务特定的功能。我们表明,以前在文献中提出的各种非欧几里德CNN方法可以被认为是我们的框架的特定实例。我们测试所提出的方法从图像,图形和3D形状分析领域的标准任务,并表明它始终优于以前的方法。
2016-12-06 cs.CV
Deep Manifold Learning for Dynamic MR Imaging
Research Center for Medical AI, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院医学人工智能研究中心);Shenzhen College of Advanced Technology, University of Chinese Academy of Sciences(中国科学院大学深圳先进技术学院);Paul C. Lauterbur Research Center for Biomedical Imaging, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院保罗·C·劳特伯生物医学成像研究中心);The State University of New York(纽约州立大学)
目的:在非线性流形上开发一种深度学习方法,以探索动态信号的时间冗余,从而从高度欠采样的测量结果中重建心脏MRI数据。方法:将心脏MR图像重建建模为基于低秩张量流形优化的一般压缩感知(CS)。设计了非线性流形来表征动态信号的时间相关性。迭代过程可以通过求解流形上的优化模型来获得,包括梯度计算、梯度到切空间的投影以及切空间到流形的收缩。流形上的迭代过程展开为神经网络,称为流形网络。使用具有回顾性心电图(ECG)门控分段bSSFP序列的体内数据训练流形网络。结果如下:在高加速度下的实验结果表明,与压缩感知(CS)方法k-t SLR和两种最先进的基于深度学习的方法DC-CNN和CRNN相比,所提出的方法可以获得改进的重建。结论:这项工作是第一次研究展开流形上的优化神经网络。具体而言,所设计的低秩流形为低秩先验在动态MR成像中的应用提供了一条新的技术路线。
2021-03-09 cs.CV eess.IV
Motion Generation Review: Exploring Deep Learning for Lifelike Animation with Manifold
Beijing Institute of Technology(北京理工大学);Zhengzhou Academy Of Intelligent Technology(郑州智能技术研究院);School of Optics and Photonics, Beijing Institute of Technology(北京理工大学光电学院);Beijing Engineering Research Center of Mixed Reality and Advanced Display(北京市混合现实与先进显示工程技术研究中心)
本文综述了流形学习在人体运动生成中的应用,探讨了从非结构化数据提取流形的方法及其在生成逼真动画中的优势与未来方向。
2024-12-12 cs.CV cs.GR cs.HC
Deep Hough-Transform Line Priors
Delft University of Technology(代尔夫特理工大学)
经典的线段检测工作是基于知识的;它使用精心设计的几何先验,使用图像梯度,像素分组或Hough变换变量。相反,当前的深度学习方法通过在大型手动注释数据集上训练深度网络来消除所有先验知识并取代先验知识。在这里,我们通过构建基于经典知识的先验知识来减少对标记数据的依赖,同时使用深度网络来学习特征。我们通过可训练的Hough变换块将线先验添加到深度网络中。Hough变换提供关于全局线参数化的先验知识,而卷积层可以学习局部梯度状线特征。在Wireframe(ShanghaiTech)和York Urban数据集上,我们证明了添加先验知识可以提高数据效率,因为不再需要从数据中学习线先验。关键词:霍夫变换;全局直线先验;线段检测。
2020-07-18 cs.CV
Deep Regression on Manifolds: A 3D Rotation Case Study
NAVER LABS Europe(NAVER欧洲实验室)
许多机器学习问题涉及在非欧几里德流形上回归变量-例如离散概率分布或对象的6D姿态。通过基于梯度的学习来解决这些问题的一种方法是使用可微函数,该函数将欧几里得空间的任意输入映射到流形上。在本文中,我们建立了一套理想的性质,这样的映射,特别是突出的重要性,前图像的连接性/凸性。我们说明了这些属性与3D旋转的案例研究。通过各种任务的理论考虑和方法实验,我们回顾了3D旋转空间上的各种可微映射,并推测其局部线性的重要性。我们表明,一个映射的基础上的Procrustes正交归一化一般表现最好的映射考虑,但旋转矢量表示可能也是合适的,当限制到小角度。
2021-10-12 cs.CV
Manifold Matching via Deep Metric Learning for Generative Modeling
Microsoft(微软);University of Delaware(特拉华大学)
我们提出了一个流形匹配方法生成模型,其中包括一个分布生成器(或数据生成器)和一个度量生成器。在我们的框架中,我们将真实数据集视为嵌入高维欧氏空间中的流形。分布生成器的目的是生成遵循围绕真实数据流形凝聚的某种分布的样本。它是通过匹配两组点使用其几何形状描述符,如质心和$p$ -直径,与学习的距离度量;度量生成器利用真实数据和生成的样本来学习距离度量,该距离度量接近真实数据流形上的一些内在测地线距离。所产生的距离度量进一步用于流形匹配。这两个网络在训练过程中同时学习。我们将该方法应用于无监督和监督学习任务:在无条件图像生成任务中,与现有的生成模型相比,该方法获得了有竞争力的结果;在超分辨率任务中,我们将该框架结合到基于感知的模型中,并通过生成具有更自然纹理的样本来提高视觉质量。实验和分析证明了该框架的可行性和有效性。
2021-08-26 cs.CV
Deep Image Prototype Learning with Geometric Heat-Kernel Priors
Yale School of Medicine(耶鲁大学医学院);University of Virginia(弗吉尼亚大学);Harvard Medical School(哈佛医学院)
提出一种流形锚定变分框架,利用几何感知EM算法选择热核加权潜图上的图中心点作为原型,确保原型在流形上,并通过Dirichlet能量正则化保持潜空间几何平滑,在心脏瘢痕和脑MRI基准上取得最高精度和清晰原型。
2026-06-23 cs.CV eess.IV
Deep Manifold Traversal: Changing Labels with Convolutional Features
Cornell University(康奈尔大学);Washington University in St. Louis(华盛顿大学圣路易斯分校)
计算机视觉中的许多任务可以被转换为“标签改变”问题,其中目标是对图像的外观或图像中的某个主题进行语义改变,以便改变类别成员。虽然已经为一些标签更换应用开发了成功的特定任务方法,但迄今为止还不存在通用方法。出于这一动机,我们提出了深流形遍历,一种以最一般的形式解决问题的方法:它首先近似自然图像的流形,然后沿着远离源类和目标类的遍历路径变形测试图像,同时始终保持在流形附近。由此产生的算法是令人惊讶的有效和通用的。它完全是数据驱动的,只需要一组来自所需源和目标域的示例图像。我们在高度多样化的标签更改任务上演示了深流形遍历:改变个人的外观(年龄和头发颜色),改变户外图像的季节,以及将城市天际线转换为夜间。
2016-03-17 cs.CV cs.LG stat.ML
Manifold Regularized Deep Neural Networks using Adversarial Examples
Seoul National University(首尔国立大学)
使用深度神经网络学习有意义的表示涉及设计高效的训练方案和结构良好的网络。目前,具有动量和dropout的随机梯度下降方法是最流行的训练协议之一。在此基础上,更先进的方法(即,Maxout和批量归一化),但大多数仍然遭受由小扰动引起的性能下降,也称为对抗性示例。为了解决这个问题,我们提出了流形正则化网络(MRnet),该网络利用一种新的训练目标函数,最大限度地减少样本的多层嵌入结果与对抗结果之间的差异。我们的实验结果表明,MRnet对对抗性示例更具弹性,并有助于我们推广流形上的表示。此外,结合MRnet和dropout使我们能够在三个著名的基准测试中实现有竞争力的分类性能:MNIST,CIFAR-10和SVHN。
2016-01-14 cs.CV cs.LG
DeepDiffusion: Unsupervised Learning of Retrieval-adapted Representations via Diffusion-based Ranking on Latent Feature Manifold
University of Yamanashi(山梨大学)
特征表示的无监督学习对于分析大量没有语义标签的多媒体数据是一个具有挑战性的重要问题。最近提出的基于神经网络的无监督学习方法已经成功地获得了适合于多媒体数据分类的特征。然而,无监督学习的特征表示适应于基于内容的匹配,比较,或检索的多媒体数据还没有得到很好的探索。为了获得这样的检索适应功能,我们引入了结合扩散距离的特点流形与神经网络为基础的无监督特征学习的想法。这个想法被实现为一种称为DeepDiffusion(DD)的新算法。DD同时优化两个组件,一个是由深度神经网络嵌入的特征,另一个是利用潜在特征流形上的扩散的距离度量。DD依赖于其损失函数,而不是编码器架构。因此,它可以应用于不同的多媒体数据类型与它们各自的编码器架构。使用3D形状和2D图像的实验评估证明了DD算法的多功能性和高精度。代码可在https://github.com/takahikof/DeepDiffusion上获得
2022-11-14 cs.CV cs.IR
Beyond Deep Residual Learning for Image Restoration: Persistent Homology-Guided Manifold Simplification
Bio Imaging Signal Processing Lab Korea Ad. Inst. of Science & Technology (KAIST)(韩国科学技术院生物影像信号处理实验室)
最新的深度学习方法在各种图像复原任务中的表现优于最先进的信号处理方法。然而,如果图像包含许多模式和结构,这些CNN的性能仍然较差。为了解决这个问题,在这里,我们提出了一种新的特征空间深度残差学习算法,优于现有的残差学习。的主要思想是源于观察到的性能的学习算法可以得到改善,如果输入和/或标签流形可以通过一个解析映射到一个特征空间的拓扑更简单。我们使用去噪实验和NTIRE单图像超分辨率(SISR)竞争进行的大量数值研究表明,所提出的特征空间残差学习优于现有的最先进的方法。此外,我们的算法在NTIRE竞赛中排名第三,与排名第一的团队相比,计算时间快了5-10倍。源代码可在https://github.com/iorism/CNN.git上获得
2017-06-08 cs.CV
Using Deep Image Prior to Assist Variational Selective Segmentation Deep Learning Algorithms
University of Liverpool(利物浦大学);Liverpool University Hospitals(利物浦大学医院)
变分分割算法需要以正则化项的形式施加先验,以强制解决方案的平滑性。最近,在Deep Image Prior的工作中表明,模型中的显式正则化可以被删除,并由神经网络架构捕获的隐式正则化取代。Deep Image Prior方法具有竞争力,但仅针对一个特定图像进行定制,无法预测未来的图像。我们建议将Deep Image Prior的思想融入到更传统的学习算法中,使我们能够使用Deep Image Prior提供的隐式正则化,但仍然能够预测未来的图像。
2021-12-01 cs.CV eess.IV
Manifold Regularization for Locally Stable Deep Neural Networks
CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT(麻省理工学院)
我们应用流形正则化的概念来开发新的正则化技术,用于训练局部稳定的深度神经网络。我们的正则化器基于图拉普拉斯算子的稀疏化,当数据在高维中稀疏时,这种稀疏化具有很高的概率,这在深度学习中很常见。从经验上讲,我们的网络在不同的扰动模型中表现出稳定性,包括$\ell_2$,$\ell_\infty$和基于Wasserstein的扰动;特别是,我们在CIFAR-10上实现了40%的对抗精度,对抗使用大小为$ε= 8/255$的$\ell_\infty$扰动的自适应PGD攻击,并且在相同的扰动模型中,最先进的验证精度为21%。此外,我们的技术是有效的,产生的开销与通过网络的两个额外的并行转发相同。
2020-09-22 cs.CV cs.LG cs.NE
Zero-Shot Scene Reconstruction from Single Images with Deep Prior Assembly
Tsinghua University(清华大学);Wayne State University(韦恩州立大学)
本文提出深度先验组装框架,通过零样本方式组合大型模型的多种深度先验,并引入位姿、尺度与遮挡解析方法,实现单图像场景重建,无需任务特定训练,在多个数据集上优于现有方法。
2024-10-21 cs.CV
Piecewise-Linear Manifolds for Deep Metric Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出用分段线性流形近似高维数据流形以估计数据点相似度,并引入代理建模提升无监督深度度量学习性能,在零样本图像检索基准上优于现有方法。
2024-03-22 cs.AI cs.CV cs.LG
DreamNet: A Deep Riemannian Network based on SPD Manifold Learning for Visual Classification
Jiangnan University(江南大学);University of Surrey(萨里大学)
基于图像集的视觉分类方法已经取得了显着的性能,通过在对称正定(SPD)流形上的非奇异协方差矩阵的图像集的特征。为了更好地适应复杂的视觉场景,最近研究了几种用于SPD矩阵非线性处理的黎曼网络(RiemNets)。然而,有必要问一下,是否可以通过简单地增加RiemNets的深度来实现更高的准确性。答案似乎是否定的,因为更深的RiemNet往往会失去泛化能力。为了探索这个问题的可能解决方案,我们提出了一个新的架构SPD矩阵学习。具体来说,为了丰富深度表示,我们采用SPDNet [1]作为主干,尾部构建了一个堆栈式黎曼自动编码器(SRAE)。相关联的重构误差项可以使SRAE和每个RAE的嵌入函数成为近似的恒等映射,这有助于防止统计信息的退化。然后,我们插入几个具有快捷连接的剩余块,以增强SRAE的表示能力,并简化更深层次网络的训练。实验证据表明,我们的梦网可以实现更高的准确性与网络的深度增加。
2022-06-16 cs.CV
MaGNET: Uniform Sampling from Deep Generative Network Manifolds Without Retraining
Rice University(莱斯大学)
深度生成网络(DGN)广泛应用于生成对抗网络(GANs)、变分自编码器(VAE)及其变体中,以近似数据流形和分布。然而,由于成本或收集的方便性,训练样本通常以非均匀的方式分布在流形上。例如,CelebA数据集包含很大一部分笑脸。当从训练的DGN中采样时,这些不一致将被再现,这并不总是优选的,例如,用于公平性或数据增强。作为回应,我们开发了MaGNET,这是一种新颖的、理论上有动机的潜在空间采样器,适用于任何预先训练的DGN,它可以产生均匀分布在学习流形上的样本。我们在各种数据集和DGN上进行了一系列实验,例如,对于在FFHQ数据集上训练的最先进的StyleGAN2,通过MaGNET进行的均匀采样将分布精度和召回率提高了4.1\% \& 3.0\%,并将性别偏见降低了41.2\%,而无需标签或重新训练。由于均匀分布并不意味着均匀的语义分布,我们还分别探讨了如何生成的样本的语义属性在MAGNET采样的变化。
2022-01-21 cs.CV cs.LG
Combinatorial Network-Based Manifold Topological Deep Learning for Image Analysis
Auburn University(奥本大学);Michigan State University(密歇根州立大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);University of Georgia(佐治亚大学)
针对医学图像分析中几何与拓扑结构建模难题,提出CNMTDL框架,结合Hodge分解与组合注意力机制,在MedMNIST v2六个数据集上验证了其有效性。
2026-09-23 cs.CV q-bio.BM
Deep Efficient Continuous Manifold Learning for Time Series Modeling
Korea University(高丽大学)
针对对称正定矩阵结合深度学习时优化难、计算成本高的问题,提出基于微分同胚映射的高效深度连续流形学习框架,整合流形常微分方程与门控循环网络,在多类时间序列任务上性能优于现有方法。
2023-10-06 cs.CV cs.LG
CT Image Reconstruction in a Low Dimensional Manifold
GE Healthcare Technologies(通用电气医疗技术公司)
正则化方法是X射线CT图像重建中常用的方法。不同的正则化方法反映了图像不同先验知识的特征。在最近的工作中,一种新的正则化方法称为低维流形模型(LDMM)的研究,以表征低维补丁流形结构的自然图像,其中流形维数表征图像的结构信息。本文提出了一种基于CT图像低维流形先验知识的CT图像重建方法。使用GE诊所的临床原始投影数据,我们进行了CT图像重建之间的比较,所提出的方法,同时代数重建技术(SART)与全变差(TV)正则化,和滤波反投影(FBP)方法。实验结果表明,该方法能够成功地恢复出目标的结构细节,并获得比电视的FBP和SART更高的空间分辨率和对比度分辨率。
2017-04-16 cs.CV physics.med-ph
PrivateMail: Supervised Manifold Learning of Deep Features With Differential Privacy for Image Retrieval
Massachusetts Institute of Technology(麻省理工学院)
差分隐私提供了强有力的保证,例如在后处理下的不可变隐私。因此,它通常被视为在分散和孤立的数据上学习的解决方案。这项工作的重点是监督流形学习,这是一种可以为目标用例生成微调流形的范例。我们的贡献是双重的。1)我们提出了一种新的差分私有方法\textit{PrivateMail}的监督流形学习,第一个同类我们的知识。2)我们为我们的实验用例提供了一种新的私有几何嵌入方案。我们实验私人的“基于内容的图像检索”-嵌入和查询图像的最近邻居在一个私人的方式-并显示广泛的隐私效用权衡的结果,以及我们的方法的计算效率和实用性。
2021-10-05 cs.CR cs.CV cs.DB
DDIPNet and DDIPNet+: Discriminant Deep Image Prior Networks for Remote Sensing Image Classification
S\ a o Paulo State University - UNESP Department of Computing Bauru, SP - Brazil
遥感图像分类的研究对城市规划和农业等人类日常工作具有重要影响。如今,技术的快速进步和许多高质量的遥感图像的可用性创造了可靠的自动化方法的需求。当前的论文提出了两种用于图像分类目的的基于深度学习的新架构,即,Discriminant Deep Image Prior Network和Discriminant Deep Image Prior Network+,结合了Deep Image Prior和Triplet Networks学习策略。在三个著名的遥感图像数据集上进行的实验取得了最先进的结果,证明了使用深度图像先验进行遥感图像分类的有效性。
2022-12-20 cs.CV cs.LG
Learning to Select Features with Manifold Deep Unfolding PCA
Shanghai University(上海大学);Sun Yat-sen University(中山大学)
无监督特征选择(UFS)在图像处理和模式识别中具有重要意义。然而,现有的基于模型的方法通常依赖手动调整的超参数,而基于深度学习的方法通常需要大量训练数据。为解决这些问题,本文提出一种高效的流形深度展开特征选择网络(MDUFS-Net)。从技术角度而言,我们首先将$\ell_{2,0}$范数融入经典主成分分析(PCA)框架,随后将基于交替方向乘子法(ADMM)的迭代算法展开为端到端可训练网络,从而实现自动参数学习。此外,我们开发了一种流形优化策略以提升数值鲁棒性。在此基础上,我们进一步引入$\ell_{0}$范数,将MDUFS-Net扩展为增强变体MDUFS-Net+,以获取更具判别力的特征表示。大量实验验证,所提出的MDUFS-Net和MDUFS-Net+在UFS任务中优于现有最优方法,且在聚类任务中表现出色。我们的代码可在https://github.com/xianchaoxiu/MDUFS获取。
2026-10-14 cs.CV cs.LG
The Riemannian Geometry of Deep Generative Models
University of Utah(犹他大学);IBM Research AI(IBM人工智能研究院)
深度生成模型学习从低维潜在空间到高维数据空间的映射。在一定的正则性条件下,这些模型参数化数据空间中的非线性流形。在本文中,我们研究这些生成流形的黎曼几何。首先,我们开发了高效的算法计算测地线曲线,它提供了一个内在的概念点之间的距离流形。其次,我们开发了一个算法的平行平移的切向量沿路径上的流形。我们展示了如何并行翻译可以用来生成类比,即,以将一个数据点中的改变传送到另一个数据点的语义上类似的改变。我们在真实图像数据上的实验表明,深度生成模型学习的流形虽然是非线性的,但令人惊讶地接近零曲率。实际的含义是,在潜在的空间中的线性路径密切近似的测地线上生成的流形。然而,对这种现象的进一步调查是必要的,以确定是否有其他架构或数据集,其中曲率发挥更突出的作用。我们相信,使用本文开发的工具探索深层生成模型的黎曼几何,将是理解这些模型学习的高维非线性空间的重要一步。
2017-11-21 cs.CV cs.LG stat.ML
Topology and geometry of data manifold in deep learning
HSE University(高等经济大学)
尽管深度学习在应用于各个领域方面取得了重大进展,但解释深度学习模型的内部过程仍然是一个重要而开放的问题。本文的目的是描述和充实神经网络学习过程的几何和拓扑视图。我们的注意力集中在神经网络的内部表示和不同层上的数据流形的拓扑结构和几何形状的动态变化上。我们还提出了一种基于拓扑描述符的神经网络泛化能力评估方法。在本文中,我们使用拓扑数据分析和内在维数的概念,我们提出了一个广泛的实验,不同的数据集和不同配置的卷积神经网络架构。此外,我们考虑了人脸识别系统中分类任务和欺骗攻击中对抗攻击的几何问题。我们的工作是通过计算机视觉的例子对可解释和可解释的人工智能的重要领域的发展做出的贡献。
2022-04-19 cs.CV cs.LG math.AT
Deep Priors for Video Quality Prediction
Indian Institute of Technology Mandi(印度理工大学曼迪分校)
本文提出一种基于深度视频先验的完全盲视频质量评估算法,利用单对视频学习先验,通过恢复能力度量失真,无需标签数据,在LCC和SROCC上优于现有无监督方法。
2024-11-05 cs.CV eess.IV
The Spectral Bias of the Deep Image Prior
Amazon(亚马逊);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
Ulyanov等人提出的“深度图像先验”是神经网络的一个有趣特性:卷积编码器-解码器网络可以用作自然图像的先验。网络架构隐含地引入了偏差;如果我们训练模型将白噪声映射到受损图像,则该偏差会引导模型在拟合受损区域之前拟合真实图像。本文探讨了为什么深度图像先验有助于对自然图像进行去噪。我们提出了一种新的方法来分析深度图像先验优化生成的轨迹,并证明:(i)编码器-解码器的卷积层将图像的频率分量解耦,以不同的速率学习每个分量(ii)模型首先拟合较低的频率,使早期停止表现为低通滤波器。实验研究了Cheng等人的扩展,该扩展表明在初始化时,深度图像先验等价于平稳高斯过程。
2019-12-18 cs.CV cs.LG
Deep Active Learning with Manifold-preserving Trajectory Sampling
The University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);HPE(慧与科技);Chaitanya Bharathi Institute of Technology(查塔亚巴拉蒂技术学院)
针对深度主动学习中已标注数据占比低导致的选择偏差问题,本文提出流形保持轨迹采样(MPTS)方法,通过MMD分布映射使特征空间更准确表示流形,并在视觉与非视觉基准数据集上验证了其优越性。
2024-10-21 cs.AI cs.CV
Deep Manifold Hashing: A Divide-and-Conquer Approach for Semi-Paired Unsupervised Cross-Modal Retrieval
Huazhong University of Science and Technology(华中科技大学);Research Institute of Huazhong University of Science and Technology in Shenzhen(华中科技大学深圳研究院);Deeproute Co. Ltd(元戎启行有限公司);Southern University of Science and Technology(南方科技大学);Guizhou Normal University(贵州师范大学)
将数据投影为二进制代码的散列在跨模态检索中显示出非凡的才能,这是由于其低存储使用率和高查询速度。尽管它们在某些场景下取得了经验性的成功,但现有的跨模态哈希方法通常在不存在具有大量标记信息的完全配对数据时无法跨越模态间隙。为了克服这个缺点,在分治策略的激励下,我们提出了深度流形哈希(DMH),一种将半成对无监督跨模态检索问题划分为三个子问题并为每个子问题构建一个简单而有效的模型的新方法。具体地,第一模型被构造用于通过基于流形学习补充半配对数据来获得模态不变特征,而第二模型和第三模型的目的分别是学习哈希码和哈希函数。在三个基准上的大量实验表明,与最先进的完全配对和半配对无监督跨模态哈希方法相比,我们的DMH具有优越性。
2022-09-26 cs.AI cs.CV
Dynamic imaging using motion-compensated smoothness regularization on manifolds (MoCo-SToRM)
The University of Iowa(爱荷华大学);University of Wisconsin at Madison(威斯康星大学麦迪逊分校)
我们介绍了一种用于运动补偿动态MRI的无监督深度流形学习算法。我们假设自由呼吸的肺MRI数据集中的运动场存在于流形上。每个时刻的运动场被建模为深度生成模型的输出,由捕获时间变化性的低维时变潜在向量驱动。使用上述运动场将每个时刻的图像建模为图像模板的变形版本。模板、深度生成器的参数和潜在向量是以无监督的方式从k-t空间数据中学习的。流形运动模型作为一个正则化器,使联合估计的运动场和图像从几个径向辐条/帧适定性。该算法的实用性证明在运动补偿的高分辨率肺MRI的背景下。
2021-11-21 cs.CV eess.IV
Model-based free-breathing cardiac MRI reconstruction using deep learned \& STORM priors: MoDL-STORM
The University of Iowa(爱荷华大学)
我们引入了一个基于模型的重建框架,具有深度学习(DL)和流形上的平滑正则化(STORM)先验,以从高度欠采样的测量中恢复自由呼吸和非门控(FBU)心脏MRI。DL先验使我们能够利用局部相关性,而STORM先验使我们能够利用受试者依赖的广泛的非局部相似性。我们引入了一种新的基于模型的公式,允许无缝集成的深度学习方法与现有的先验信息,目前的深度学习算法是不能够的。实验结果表明,这项工作在加速FBU心脏MRI的初步潜力。
2018-07-10 cs.CV cs.LG stat.ML
Current Source Localization Using Deep Prior with Depth Weighting
Kobe University(神户大学);Chiba University(千叶大学)
提出了一种基于深度先验的神经元电流源定位方法,该方法利用卷积网络表示电流源的更复杂的先验分布。深度先验被认为是一种不需要使用训练数据进行学习的无监督学习方法,并且随机初始化的神经网络用于使用单个观察来更新源位置。在我们以前的工作中,已经提出了一种基于深度先验的大脑中的电流源定位方法,但性能与传统方法(如sLORETA)的性能几乎不一样。为了改进基于Deep-Prior的方法,本文在Deep-Prior中引入了电流源的深度权值,深度权值相当于给表面电流分配更多的惩罚。对模拟脑磁图数据进行的电流源估计实验证实了该方法的有效性。
2022-03-26 cs.CV cs.LG eess.SP
Disconnected Manifold Learning for Generative Adversarial Networks
Rutgers University(罗格斯大学);Verisk Analytics(Verisk分析公司)
自然图像可能位于不相交流形的并集上,而不是一个全局连接的流形上,这可能会给常见的生成对抗网络(GANs)的训练带来一些困难。在这项工作中,我们首先证明了单生成器GANs无法正确地对不连通流形上支持的分布进行建模,并研究了样本质量、模式丢弃和局部收敛如何受到影响。接下来,我们将展示如何使用一组生成器来解决这个问题,为这种多生成器GANs的成功提供新的见解。最后,我们解释了所造成的严重问题,考虑一个固定的先验以上的发电机的集合,并提出了一种新的方法来学习的先验和推断所需的发电机数量没有任何监督。我们提出的修改可以应用于任何其他GAN模型之上,以实现对不连通流形上支持的分布的学习。我们进行了几个实验来说明GANs的上述缺点,其在实践中的后果,以及我们提出的修改在缓解这些问题方面的有效性。
2019-01-10 cs.CV cs.LG stat.ML
The Intrinsic Manifolds of Radiological Images and their Role in Deep Learning
Duke University(杜克大学)
流形假设是深度学习成功背后的核心机制,因此理解图像数据的内在流形结构是研究神经网络如何从数据中学习的核心。内在的数据集流形和它们之间的关系,学习难度最近开始研究自然图像的共同领域,但很少有这样的研究已经尝试放射图像。我们在这里解决这个问题。首先,我们比较了放射图像和自然图像的固有流形维度。我们还研究了在广泛的数据集的内在维度和泛化能力之间的关系。我们的分析表明,自然图像数据集通常具有比放射图像更高的固有维数。然而,对于医学图像,泛化能力和内在维度之间的关系要强得多,这可以解释为放射图像具有更难学习的内在特征。这些结果为直觉提供了一个更有原则的基础,即放射图像比机器学习研究中常见的自然图像数据集更难应用深度学习。我们认为,而不是直接应用模型开发的自然图像的放射成像领域,更应该注意开发架构和算法,更适合这个领域的具体特点。我们的论文中所展示的研究,展示了这些特征以及与自然图像的差异,是朝着这个方向迈出的重要的第一步。
2022-07-06 cs.CV cs.LG eess.IV
Deep neural networks architectures from the perspective of manifold learning
Higher School of Economics(高等经济大学)
本文利用TDA与持续同调分形维数,从流形几何和拓扑角度比较CNN与Transformer在CV、NLP任务中的层内表示变化,以推进可解释AI。
2023-06-06 cs.AI cs.CV cs.LG