Manifold Regularization for Memory-Efficient Training of Deep Neural Networks
University of Rochester（罗切斯特大学）；FLXAI
本文提出一种利用归纳偏置网络设计和逐层流形正则化目标提升传统神经网络训练内存效率的框架，在CIFAR-10和CIFAR-100上验证了其性能与泛化优势，并可与现有压缩方法结合进一步节省内存。
2023-05-26 cs.CV cs.LG stat.ML
Deep Optimal Transport for Domain Adaptation on SPD Manifolds
College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）；Université Paris-Saclay, Inria, CEA, Palaiseau, France（巴黎-萨克雷大学，法国国家信息与自动化技术研究所，法国原子能委员会，Palaiseau）
本文提出一种结合最优传输与SPD流形几何的域自适应框架，在三个跨会话脑机接口数据集上验证其能有效减少分布差异并优于基线方法。
2025-05-08 cs.AI cs.LG eess.SP
Deep Manifold Learning with Graph Mining
Northwestern Polytechnical University（西北工业大学）
无可否认，图卷积网络（GCN）在社交网络、引文网络等图数据集上取得了优异的结果，然而，在这些框架中用作决策层的softmax通常通过梯度下降进行数千次迭代来优化。此外，由于决策层忽略了图节点的内部分布，可能会导致在标签支持较少的半监督学习中性能不佳。为了解决上述问题，我们提出了一种新的图深度模型与非梯度决策层的图挖掘。首先，流形学习与标签局部结构保持相结合，捕捉节点的拓扑信息。此外，由于非梯度性质，封闭形式的解决方案，实现作为决策层的GCN。特别地，针对该图模型设计了联合优化方法，极大地加快了模型的收敛速度。最后，大量的实验表明，所提出的模型已经达到了最先进的性能相比，目前的模型。
2022-07-18 cs.AI cs.LG
Horizontal Flows and Manifold Stochastics in Geometric Deep Learning
University of Copenhagen（哥本哈根大学）；Technion – Israel Institute of Technology（以色列理工学院）
我们在几何深度学习中引入了两种构造：1）以连续的方式在流形上传输方向相关的卷积滤波器，从而定义一个自然结合完整性旋转效应的卷积算子; 2）通过对以加权扩散平均值为中心的流形值随机变量进行采样，允许对流形卷积层进行有效评估。这两种方法都受到流形上的随机学和几何统计学的启发，并提供了随机方法的例子-这里是水平框架束流和非线性桥梁采样方案，可以用于几何深度学习。我们概述了这两种方法的理论基础，讨论了它们与欧几里得深度网络和几何深度学习中现有方法的关系，并建立了所提出的构造的重要属性。
2021-05-31 cs.LG stat.ML
Manifold Adaptive Multiple Kernel K-Means for Clustering
Shanxi University（山西大学）
基于k-means的多核方法旨在整合一组核来提高核k-means聚类的性能。然而，我们观察到，大多数现有的多核k-means方法利用内核内的非线性关系，而多核空间之间的局部流形结构没有得到充分考虑。在本文中，我们采用流形自适应核，而不是原来的核，集成核的局部流形结构。因此，诱导的多重流形自适应核不仅反映了非线性关系，而且还反映了局部流形结构。然后，我们在多核k-means聚类框架内执行多核聚类。它已被验证，所提出的方法优于几个国家的最先进的基线方法对各种数据集。
2020-09-30 cs.LG stat.ML
McTorch, a manifold optimization library for deep learning
Microsoft（微软）；The University of Electro-Communications（电气通信大学）
在本文中，我们介绍了McTorch，这是一个用于深度学习的流形优化库，它扩展了PyTorch。它旨在为希望在深度学习应用程序中使用多种约束的用户降低障碍，即，当参数被约束为位于流形上时。这些约束包括流行的正交性和秩约束，并且最近已在深度学习的许多应用中使用。McTorch遵循PyTorch的架构，并简化了流形定义和优化器，即，一旦添加了新的歧管，它就可以与任何现有的优化器一起使用，反之亦然。McTorch可在https://github.com/mctorch上获得。
2018-10-04 cs.AI cs.LG stat.ML
Deep Manifold Transformation for Nonlinear Dimensionality Reduction
Westlake University（西湖大学）
基于流形学习的编码器在数据挖掘的非线性降维（NLDR）中发挥着重要作用。然而，现有的方法通常不能保持数据的几何、拓扑和/或分布结构。在本文中，我们提出了一个深度流形学习框架，称为深度流形变换（DMT），用于无监督NLDR和嵌入学习。DMT通过使用跨层局部几何保持（LGP）约束来增强深度神经网络。LGP约束构成了深度流形学习的损失，并作为NLDR网络训练的几何正则化器。对合成数据和真实数据的大量实验表明，DMT网络在保留数据结构方面优于现有领先的基于流形的NLDR方法。
2021-05-03 cs.CV cs.HC cs.LG
Efficient Representation of Low-Dimensional Manifolds using Deep Networks
Weizmann Institute of Science（魏茨曼科学研究所）；University of Maryland（马里兰大学）
我们考虑深度神经网络表示位于高维空间中的低维流形附近的数据的能力。我们证明，深度网络可以有效地提取这些数据的内在低维坐标。我们首先证明了深度网络的前两层可以精确地嵌入位于单调链（一种特殊类型的分段线性流形）上的点，将它们映射到低维欧氏空间。值得注意的是，网络可以使用几乎最佳数量的参数来做到这一点。我们还表明，该网络的项目附近的点到流形上，然后嵌入他们几乎没有错误。然后，我们将这些结果推广到更一般的流形。
2016-02-15 cs.LG cs.NE stat.ML
Intrinsic and extrinsic deep learning on manifolds
University of Notre Dame（圣母大学）；Inha University（仁荷大学）；Purdue University（普渡大学）
我们提出了外在和内在的深度神经网络架构作为流形上深度学习的一般框架。具体而言，外部深度神经网络（eDNN）通过利用从流形到其在欧几里得空间中的图像的等变嵌入来保留流形上的几何特征。此外，内在深度神经网络（iDNN）通过相对于黎曼结构的指数和对数映射来合并流形的底层内在几何。因此，我们证明了eDNN和iDNN的经验风险最小化器（ERM）的经验风险收敛于最优速率。总的来说，eDNN框架简单且易于计算，而iDNN框架准确且快速收敛。为了展示我们的框架的实用程序，各种模拟研究和真实数据分析都使用eDNN和iDNN。
2023-02-16 cs.LG stat.ME stat.ML
Multiple Flat Projections for Cross-manifold Clustering
Inner Mongolia University（内蒙古大学）；Hainan University（海南大学）；Zhijiang College, Zhejiang University of Technology（浙江工业大学之江学院）；China Agriculture University（中国农业大学）
交叉流形聚类是一个比较困难的问题，许多传统的聚类方法都因为交叉流形结构而失败。在本文中，我们提出了一个多平面投影聚类（MFPC）来处理跨流形聚类问题。在我们的MFPC中，给定的样本被投影到多个子空间中，以发现隐流形的全局结构。因此，交叉流形簇与各种投影不同。此外，我们的MFPC扩展到非线性流形聚类通过内核技巧，以处理更复杂的跨流形聚类。提出了一种递推算法，解决了MFPC中的一系列非凸矩阵优化问题。综合实验表明，该算法对交叉流形结构有较好的处理效果。此外，在基准数据集上的实验结果表明，我们的MFPC的优秀性能相比，一些国家的最先进的聚类方法。
2020-02-17 cs.LG stat.ML
N2D: (Not Too) Deep Clustering via Clustering the Local Manifold of an Autoencoded Embedding
University of Bristol（布里斯托大学）
深度聚类已经越来越多地显示出优于传统的浅聚类算法。深度聚类算法通常将表示学习与深度神经网络相结合以实现此性能，通常优化聚类和非聚类损失。在这种情况下，自动编码器通常与聚类网络连接，并且最终的聚类由自动编码器和聚类网络共同学习。相反，我们建议学习自动编码的嵌入，然后进一步搜索底层流形。为了简单起见，我们使用浅聚类算法对其进行聚类，而不是更深的网络。我们在原始数据和自动编码嵌入上研究了一些局部和全局流形学习方法，得出的结论是，我们框架中的UMAP最能找到嵌入中最具聚类性的流形，这表明自动编码嵌入上的局部流形学习对于发现更高质量的发现聚类是有效的。我们在一系列图像和时间序列数据集上定量显示，我们的方法与最新的深度聚类算法相比具有竞争力的性能，包括在几个方面优于当前最先进的算法。我们假设，这些结果显示了一个有前途的研究方向，深度聚类。代码可以在https://github.com/rymc/n2d上找到
2020-06-30 cs.LG stat.ML
Residual Deep Gaussian Processes on Manifolds
University of Edinburgh（爱丁堡大学）
提出流形上的残差深度高斯过程，通过流形到流形隐藏层建模复杂流形数据，提升预测与不确定性校准，并适用于贝叶斯优化。
2025-02-27 cs.LG stat.ML
Data Interpolations in Deep Generative Models under Non-Simply-Connected Manifold Topology
Seoul National University（首尔国立大学）
利用深度生成模型学习数据流形结构的显著能力，最近的一些研究提出了一种基于学习的数据流形上的测地线曲线的几何数据插值方法。然而，由于模型和数据集之间的拓扑差异，这种插值方法通常会产生较差的结果。该模型定义了一个简单连接的流形族，而数据集通常包含断开的区域或孔，使它们成为非简单连接的。为了补偿这种差异，我们提出了一种新的密度正则化，使插值路径绕过低概率密度表示的孔。我们证实，我们的方法提供了一致的更好的插值结果与现实世界的图像数据集的实验。
2019-01-20 cs.LG stat.ML
Robust Multiple Manifolds Structure Learning
University of Southern California（南加州大学）；Institute for Robotics and Intelligent Systems（机器人与智能系统研究院）
提出了一种鲁棒多流形结构学习（RMMSL）方案，在多个低内在维流形假设下鲁棒地估计数据结构。在局部学习阶段，RMMSL通过加权低秩矩阵分解有效地估计局部切空间。在全局学习阶段，我们提出了一种基于局部结构学习结果的鲁棒流形聚类方法。提出的聚类方法的目的是通过引入一种新的曲线水平相似性函数，以获得最平坦的流形簇。我们的方法进行评估和比较，国家的最先进的方法对合成数据，手写数字图像，人体运动捕捉数据和摩托车视频。我们证明了所提出的方法的有效性，它产生更高的聚类精度，并产生有前途的结果，具有挑战性的任务，人体运动分割和运动流学习视频。
2012-06-18 cs.LG stat.ML
Geometric Understanding of Deep Learning
Dalian University of Technology（大连理工大学）；Harvard University（哈佛大学）
深度学习是许多机器学习任务的主流技术，包括图像识别、机器翻译、语音识别等，它在各个领域都优于传统方法，并取得了巨大的成功。不幸的是，对它如何工作的理解仍然不清楚。为深度学习奠定理论基础具有重要意义。在这项工作中，我们给出了一个几何视图来理解深度学习：我们证明了成功的基本原理是数据中的流形结构，即自然高维数据集中在低维流形附近，深度学习学习流形及其概率分布。我们进一步引入了深度神经网络的校正线性复杂度的概念来衡量其学习能力，描述学习难度的嵌入流形的校正线性复杂度。然后，我们证明了对于任何具有固定架构的深度神经网络，都存在一个网络无法学习的流形。最后，我们建议应用最优质量运输理论来控制潜在空间中的概率分布。
2018-05-31 cs.LG stat.ML
Fortified Networks: Improving the Robustness of Deep Networks by Modeling the Manifold of Hidden Representations
Senior CIFAR Fellow
深度网络在各种重要任务中取得了令人印象深刻的成果。然而，一个已知的弱点是，当对与训练分布不同的数据进行评估时，即使这些差异非常小，也无法表现良好，就像对抗性示例一样。我们提出了强化网络，这是对现有网络的一种简单转换，它通过识别隐藏状态何时脱离数据流形来强化深层网络中的隐藏层，并将这些隐藏状态映射回网络性能良好的数据流形部分。我们的主要贡献是证明强化这些隐藏状态可以提高深度网络的鲁棒性，我们的实验（i）证明了在黑盒和白盒威胁模型中对标准对抗性攻击的鲁棒性有所提高;（ii）表明我们的改进主要不是由于梯度掩蔽问题，以及（iii）显示了在隐藏层而不是输入空间中进行这种强化的优势。
2018-04-07 cs.LG stat.ML
Deep Manifold Traversal: Changing Labels with Convolutional Features
Cornell University（康奈尔大学）；Washington University in St. Louis（华盛顿大学圣路易斯分校）
计算机视觉中的许多任务可以被转换为“标签改变”问题，其中目标是对图像的外观或图像中的某个主题进行语义改变，以便改变类别成员。虽然已经为一些标签更换应用开发了成功的特定任务方法，但迄今为止还不存在通用方法。出于这一动机，我们提出了深流形遍历，一种以最一般的形式解决问题的方法：它首先近似自然图像的流形，然后沿着远离源类和目标类的遍历路径变形测试图像，同时始终保持在流形附近。由此产生的算法是令人惊讶的有效和通用的。它完全是数据驱动的，只需要一组来自所需源和目标域的示例图像。我们在高度多样化的标签更改任务上演示了深流形遍历：改变个人的外观（年龄和头发颜色），改变户外图像的季节，以及将城市天际线转换为夜间。
2016-03-17 cs.CV cs.LG stat.ML
Geometry-Aware Deep Congruence Networks for Manifold Learning in Cross-Subject Motor Imagery
Department of Biotechnology（生物技术系）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Department of Data Science and Artificial Intelligence（数据科学与人工智能系）
针对跨主体运动想象解码难题，提出几何感知一致性变换及三个互补模型，既作流形对齐模块又作端到端判别架构评估，实验表明该方法能提升转导解码性能，有效减轻脑电图解码中主体间差异。
2026-07-10 cs.LG stat.ML
Diagnosing and Fixing Manifold Overfitting in Deep Generative Models
Layer 6 AI
基于可能性或显式的深度生成模型使用神经网络来构建灵活的高维密度。这个公式直接与流形假设相矛盾，流形假设认为观测数据位于嵌入高维环境空间的低维流形上。在本文中，我们研究了在这种维度不匹配的情况下，最大似然训练的病理。我们正式证明，退化的最优实现，其中流形本身的学习，但不是它的分布，我们称之为流形过拟合的现象。我们提出了一类两步的程序，包括一个降维步骤，其次是最大似然密度估计，并证明他们恢复的数据生成分布在非参数制度，从而避免歧管过拟合。我们还表明，这些程序使密度估计的流形上学习的隐式模型，如生成对抗网络，从而解决了这些模型的一个主要缺点。最近提出的几种方法是我们的两步程序的实例;因此，我们统一，扩展，并在理论上证明了一大类模型。
2022-11-28 cs.AI cs.LG stat.ME
Manifold Regularization for Locally Stable Deep Neural Networks
CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT（麻省理工学院）
我们应用流形正则化的概念来开发新的正则化技术，用于训练局部稳定的深度神经网络。我们的正则化器基于图拉普拉斯算子的稀疏化，当数据在高维中稀疏时，这种稀疏化具有很高的概率，这在深度学习中很常见。从经验上讲，我们的网络在不同的扰动模型中表现出稳定性，包括$\ell_2$，$\ell_\infty$和基于Wasserstein的扰动;特别是，我们在CIFAR-10上实现了40%的对抗精度，对抗使用大小为$ε= 8/255$的$\ell_\infty$扰动的自适应PGD攻击，并且在相同的扰动模型中，最先进的验证精度为21%。此外，我们的技术是有效的，产生的开销与通过网络的两个额外的并行转发相同。
2020-09-22 cs.CV cs.LG cs.NE
Markov-Lipschitz Deep Learning
AI Lab, School of Engineering, Westlake University（西湖大学工程学院人工智能实验室）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
我们提出了一个新的框架，称为马尔可夫-Lipschitz深度学习（MLDL），以解决几何退化引起的崩溃，扭曲，或交叉在基于向量的神经网络变换基于流形的表示学习和流形数据生成。一个先验约束，称为局部等距平滑（LIS），施加跨层和编码成马尔可夫随机场（MRF）-吉布斯分布。这导致了最好的解决方案，局部几何形状的保护和鲁棒性的测量局部几何失真和局部双Lipschitz连续性。因此，逐层向量变换被增强为行为良好的、LIS约束的度量同胚。大量的实验、比较和消融研究表明，MLDL在流形学习和流形数据生成方面具有显著的优势。MLDL足够通用，可以增强任何基于向量变换的网络。该代码可在https://github.com/westlake-cairi/Markov-Lipschitz-Deep-Learning上获得。
2020-09-30 cs.LG stat.ML
Graph based manifold regularized deep neural networks for automatic speech recognition
McGill University（麦吉尔大学）；Google Inc.（谷歌公司）
近年来，深度神经网络（DNN）已成功应用于各种声学建模任务。这些包括DNN在判别特征提取或混合声学建模场景中的应用。尽管在这一领域取得了快速进展，但在训练DNN方面仍然存在许多挑战。本文提出了一种使用基于流形学习的正则化框架来训练DNN的有效方法。在这个框架中，网络的参数进行了优化，以保持语音特征向量之间基于流形的关系，同时最大限度地减少网络输出和目标之间的损失。这是通过将基于流形的局部约束纳入DNN的客观标准来实现的。经验证据表明，训练一个网络与流形约束保持在网络的隐藏层的结构紧凑性。在基于隐马尔可夫模型（HMM）的语音识别中，流形正则化被应用于训练瓶颈DNN的特征提取。实验在Aurora-2语音数字和Aurora-4读新闻大词汇量连续语音识别任务上进行。性能通过这些任务的字错误率（WER）来衡量。结果表明，流形正则化DNN导致WER相对于标准DNN减少高达37%。
2016-06-19 cs.CL cs.LG stat.ML
On Deep Generative Models for Approximation and Estimation of Distributions on Manifolds
Georgia Institute of Technology（佐治亚理工学院）；Princeton University（普林斯顿大学）
生成网络在分布学习方面取得了巨大的经验性成功。许多现有的实验已经证明，生成网络可以从低维的易于样本分布生成高维复杂数据。然而，这一现象不能被现有的理论所证明。广泛持有的流形假设推测，真实世界的数据集，如自然图像和信号，表现出低维的几何结构。在本文中，我们考虑这样的低维数据结构，假设数据分布支持低维流形。我们证明了Wasserstein-1损失下生成网络的统计保证。我们表明，Wasserstein-1损失收敛到零，在一个快速的速度取决于内在的尺寸，而不是周围的数据尺寸。我们的理论利用了数据集中的低维几何结构，并证明了生成网络的实用能力。我们不需要对数据分布进行平滑假设，这在实践中是可取的。
2023-02-25 cs.LG stat.ML
Manifold Oblique Random Forests: Towards Closing the Gap on Convolutional Deep Networks
Johns Hopkins University（约翰斯·霍普金斯大学）
决策森林（Forests），特别是随机森林和梯度提升树，与许多监督学习场景中的其他方法相比，已经证明了最先进的准确性。特别是，森林在表格数据中占主导地位的其他方法，也就是说，当特征空间是非结构化的，使得信号对特征索引的排列是不变的。然而，在位于流形上的结构化数据（如图像、文本和语音）中，深度网络（Network），特别是卷积深度网络（ConvNets）往往优于森林。我们推测，至少部分原因是网络的输入不仅仅是特征量，还有它们的索引。相比之下，朴素森林实现无法显式地考虑特征索引。最近提出的森林方法表明，森林，对于每个节点，隐式采样随机矩阵从一些特定的分布。这些森林，像某些类别的网络一样，通过将特征空间划分为对应于线性函数的凸多面体来学习。我们建立在这种方法的基础上，并表明，人们可以选择分布在一个流形感知的方式，将功能本地化。我们展示了经验性能的数据，其功能生活在三个不同的流形：一个环面，图像和时间序列。此外，我们在多变量模拟环境中证明了其优势，并且在预测癫痫患者的手术结果和从非运动脑区域的原始立体定向EEG数据预测运动方向方面也显示出优越性。在所有的模拟和真实数据中，流形斜随机森林（MORF）算法优于忽略特征空间结构的方法，并挑战了ConvNets的性能。此外，MORF运行速度快，并保持可解释性和理论的理由。
2022-09-05 cs.LG stat.ML
Estimation of a regression function on a manifold by fully connected deep neural networks
考虑了独立同分布数据的回归函数的估计问题。相对于预测变量的分布积分的$L_2$误差用作误差标准。针对光滑回归函数，分析了基于具有ReLU激活函数的深度神经网络的全连通空间的最小二乘估计收敛速率。它示出的情况下，预测变量的分布集中在一个流形上，这些估计实现的收敛速率，这取决于流形的尺寸，而不是预测变量的组件的数量。
2021-07-20 math.ST stat.ML stat.TH
The Riemannian Geometry of Deep Generative Models
University of Utah（犹他大学）；IBM Research AI（IBM人工智能研究院）
深度生成模型学习从低维潜在空间到高维数据空间的映射。在一定的正则性条件下，这些模型参数化数据空间中的非线性流形。在本文中，我们研究这些生成流形的黎曼几何。首先，我们开发了高效的算法计算测地线曲线，它提供了一个内在的概念点之间的距离流形。其次，我们开发了一个算法的平行平移的切向量沿路径上的流形。我们展示了如何并行翻译可以用来生成类比，即，以将一个数据点中的改变传送到另一个数据点的语义上类似的改变。我们在真实图像数据上的实验表明，深度生成模型学习的流形虽然是非线性的，但令人惊讶地接近零曲率。实际的含义是，在潜在的空间中的线性路径密切近似的测地线上生成的流形。然而，对这种现象的进一步调查是必要的，以确定是否有其他架构或数据集，其中曲率发挥更突出的作用。我们相信，使用本文开发的工具探索深层生成模型的黎曼几何，将是理解这些模型学习的高维非线性空间的重要一步。
2017-11-21 cs.CV cs.LG stat.ML
Deep Unsupervised Clustering Using Mixture of Autoencoders
University of Michigan（密歇根大学）；Technicolor（特艺集团）；Adobe（Adobe公司）
无监督聚类是机器学习中最基本的挑战之一。一个流行的假设是，数据是从一个低维非线性流形的联合产生的，因此聚类的方法是识别和分离这些流形。在本文中，我们提出了一种新的方法来解决这个问题，通过使用混合的自动编码器。我们的模型由两部分组成：1）一个自动编码器的集合，其中每个自动编码器学习一组相似对象的底层流形，以及2）混合分配神经网络，它将来自自动编码器的级联潜在向量作为输入并推断集群上的分布。通过联合优化这两个部分，我们同时将数据分配给集群并学习每个集群的底层流形。
2017-12-26 cs.LG stat.ML
An Ensemble-Based Deep Framework for Estimating Thermo-Chemical State Variables from Flamelet Generated Manifolds
University at Buffalo（布法罗大学）；Data Intensive Studies Center（数据密集型研究中心）；Tufts University（塔夫茨大学）
湍流燃烧流的完整计算包括两个独立的步骤：将反应动力学映射到低维流形，并在计算流体动力学运行期间查找此近似流形以估计热化学状态变量。在我们之前的工作中，我们表明，使用深度架构来联合学习这两个步骤，而不是单独学习，与基准相比，在估计源能量（一个关键状态变量）方面的准确性提高了73%，并且可以集成到DNS湍流燃烧框架中。在它们的自然形式中，这种深层架构不允许对感兴趣的量进行不确定性量化：源能量和关键物种源项。在本文中，我们扩展了这样的架构，特别是ChemTab，通过引入深度集成来近似感兴趣的量的后验分布。我们研究了两种策略，创建这些合奏模型：一个保持小火焰的起源信息（Flamelet策略）和一个忽略的起源，并认为所有的数据独立（点策略）。为了训练这些模型，我们使用由GRI-Mech 3.0甲烷机制生成的小火焰数据，该机制由53种化学物质和325个反应组成。我们的研究结果表明，火焰策略是优越的绝对预测误差的数量的利益，但依赖于类型的火焰用于训练合奏。点策略最适合捕捉感兴趣的量的变化，与火焰类型无关。我们的结论是，总体而言，ChemTab深合奏允许更准确地表示源能源和关键物种源项，相比没有这些修改的模型。
2022-11-25 cs.LG stat.ML
Unsupervised Co-Learning on $\mathcal{G}$-Manifolds Across Irreducible Representations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Chicago（芝加哥大学）
我们介绍了一种新的共同学习的流形自然配备了一个组的行动，最近的发展动态学习流形从附加的纤维束结构的动机。我们利用表示理论的机制，规范关联多个独立的向量束在一个共同的基础流形，这提供了多个视图的几何基础流形。这些纤维束之间的一致性为通过在变换群的不可约表示之间人为创建的冗余来执行无监督流形共同学习提供了一个共同的基础。我们证明了所提出的算法范例，通过大幅提高强大的最近邻搜索和社区发现旋转不变的冷冻电子显微镜图像分析的有效性。
2019-12-09 cs.LG stat.ML
Deep Generative Models through the Lens of the Manifold Hypothesis: A Survey and New Connections
Layer 6 AI
本文首次从流形假设视角综述深度生成模型，证明高维似然数值不稳定性不可避免，并揭示基于自编码器表示的DGMs近似最小化Wasserstein距离，解释了潜在扩散模型的优越性。
2024-09-25 cs.AI cs.LG stat.ML
Multiple Manifold Clustering Using Curvature Constrained Path
University of California, San Diego（加州大学圣迭戈分校）
多个曲面的聚类问题是一项具有挑战性的任务，特别是当曲面相交时。Isomap等可用方法无法捕捉交叉点附近表面的真实形状，并导致不正确的聚类。Isomap算法使用点之间的最短路径。最短路径算法的主要缺点是缺乏曲率约束，导致不同表面上的点之间存在路径。在本文中，我们通过对Isomap中使用的最短路径算法施加曲率约束来解决这个问题。该算法随机选择几个界标节点，然后检查每个界标节点和邻域图中的每个其他节点之间是否存在曲率约束路径。我们为每个点构建一个二进制特征向量，其中每个条目表示该点与特定地标的连接。然后，二进制特征向量可以作为传统的聚类算法，如层次聚类的输入。我们将我们的方法应用于模拟和一些真实的数据集，并显示，它执行最好的方法，如K-流形和谱多流形聚类。
2018-12-04 cs.LG stat.ML
Relationship between manifold smoothness and adversarial vulnerability in deep learning with local errors
School of Physics, Sun Yat-sen University（中山大学物理学院）
人工神经网络可以实现令人印象深刻的性能，甚至在某些特定任务中超过人类。然而，与生物大脑不同的是，人工神经网络在各种对抗攻击下，会受到感官输入的微小扰动。因此，有必要研究对抗性脆弱性的根源。在这里，我们建立了隐藏表示的几何结构（流形视角）与深度网络的泛化能力之间的基本关系。为此，我们选择了一个由局部误差训练的深度神经网络，然后通过流形维数，流形光滑性和泛化能力来分析训练网络的涌现特性。为了探索对抗性示例的效果，我们考虑了独立高斯噪声攻击和快速梯度符号方法（FGSM）攻击。我们的研究表明，一个高的泛化精度需要一个相对较快的幂律衰减的隐藏表示的特征谱。在高斯攻击下，推广精度与幂律指数之间的关系是单调的，而在FGSM攻击下，观察到一个非单调的行为。我们的实证研究提供了一个最终的机制解释下的对抗性攻击对抗攻击的脆弱性的路线。
2020-12-23 cond-mat.dis-nn cs.LG cs.NE
Deep Learning Approach for Matrix Completion Using Manifold Learning
矩阵完备化由于其在各个研究领域的广泛应用而受到了广泛的关注和研究。现有的矩阵补全方法只考虑数据矩阵中元素之间的非线性（或线性）关系，而忽略了潜在的线性（或非线性）关系。本文提出了一种新的数据矩阵隐变量模型，该模型是线性和非线性模型的组合，并设计了一种新的基于深度神经网络的矩阵补全算法，以解决数据矩阵元素之间的线性和非线性关系。所提出的方法包括两个分支。第一个分支学习列的潜在表示，并通过一系列隐藏的神经网络层重建部分观察矩阵的列。第二个分支对行执行相同的操作。此外，基于多任务学习原理，我们强制这两个分支一起工作，并引入一种新的正则化技术来减少过度拟合。更具体地，数据的缺失条目被恢复为主要任务，并且流形学习被执行为辅助任务。辅助任务约束网络的权重，因此它可以被视为正则化器，从而改进主任务并减少过拟合。在合成数据和实际数据上的实验结果验证了该方法与现有的矩阵补全方法相比的有效性。
2020-12-11 cs.LG stat.ML
Evaluating the Disentanglement of Deep Generative Models through Manifold Topology
Stanford University（斯坦福大学）
学习解纠缠表示被认为是提高生成模型的泛化性、鲁棒性和可解释性的基本任务。然而，测量解纠缠一直具有挑战性和不一致性，通常依赖于特定的外部模型或特定于特定的数据集。为了解决这个问题，我们提出了一种方法来量化解纠缠，只使用生成模型，通过测量学习表示中的条件子流形的拓扑相似性。这种方法展示了无监督和监督的变体。为了说明我们方法的有效性和适用性，我们在多个数据集上对几个最先进的模型进行了经验评估。我们发现，我们的方法排名模型类似于现有的方法。我们在https://github.com/stanfordmlgroup/disentanglement上公开我们的代码。
2021-03-17 cs.CV cs.LG stat.ML
Max-Affine Spline Insights into Deep Generative Networks
Rice University（莱斯大学）；UTLN（土伦大学）
我们将一大类生成深度网络（GDN）与样条算子连接起来，以获得它们的属性，限制和新的机会。通过对生成流形的特征空间划分、维数和棱角性的刻画，将流形维数和逼近误差与样本量联系起来。每个区域的流形仿射子空间定义了一个局部坐标基，我们提供了必要和充分的条件，这些基向量与解纠缠。我们还推导出映射到生成的流形上的输出概率密度的潜在空间密度，这使得计算关键的统计数据，如香农熵。这一发现也使计算的GDN的可能性，这提供了一个新的机制，模型比较，以及提供一个质量测量（生成）的样本下学习的分布。我们证明了低熵和/或多峰分布如何不自然地由DGN建模，并且是训练不稳定性的原因。
2020-02-26 cs.CG cs.CV cs.LG
Multi-view Vector-valued Manifold Regularization for Multi-label Image Classification
Peking University（北京大学）；University of Technology, Sydney（悉尼科技大学）；Nanyang Technological University（南洋理工大学）
在计算机视觉中，用于分类的图像数据集自然与多个标签相关联，并由多个视图组成，因为每个图像可能包含多个对象（例如行人，自行车和树木），并通过多个视觉特征（例如颜色，纹理和形状）进行适当表征。当前可用的工具忽略标签关系或视图互补。受向量值函数成功构造矩阵值核来探索输出空间中的多标签结构的启发，我们引入多视图向量值流形正则化（MV $\mathbf{^3}$ MR）来集成多个特征。MV $\mathbf{^3}$ MR利用不同特征的互补性，在流形正则化的主题下发现不同特征所共有的紧支撑的内在局部几何。我们在两个具有挑战性但流行的数据集PASCAL VOC' 07（VOC）和MIR Flickr（MIR）上进行了广泛的实验，并验证了所提出的MV $\mathbf{^3}$ MR用于图像分类的有效性。
2019-04-08 cs.CV cs.LG stat.ML
Statistical Neurodynamics of Deep Networks: Geometry of Signal Spaces
RIKEN CBS（理化学研究所CBS）；AIST（产业技术综合研究所）；Araya Co.（Araya公司）
统计神经动力学研究随机连接的神经网络的宏观行为。我们考虑一个深层前馈网络，其中输入信号逐层处理。输入信号的流形被嵌入到下一层的高维流形中作为弯曲的子流形，只要神经元的数量大于输入的数量。我们展示了嵌入流形的几何特征，证明了流形局部各向同性地扩大或收缩，使得它总是共形地嵌入。我们研究了嵌入流形的曲率。标量曲率收敛到一个常数或慢慢发散到无穷大。两个信号之间的距离也会改变，最终收敛到一个稳定的固定值，前提是一层中的神经元数量和层数都趋于无穷大。这就引起了一个问题，因为当我们考虑输入空间中的曲线时，它被映射为分形性质的连续曲线，但我们的理论矛盾地表明，曲线最终收敛到一组离散的等距点。在现实中，神经元和层的数量是有限的，因此，预计有限尺寸效应会导致我们的理论与现实之间的差异。我们需要进一步研究这些差异，以了解它们对信息处理的影响。
2018-08-22 cond-mat.dis-nn cs.LG stat.ML
Topological Singularity Detection at Multiple Scales
Helmholtz Munich（亥姆霍兹慕尼黑中心）；Technical University of Munich（慕尼黑工业大学）
针对真实数据存在非流形奇点易导致机器学习出错的问题，提出一种多尺度拓扑框架，通过量化局部本征维与生成欧几里得性得分检测奇点，可捕捉图像的奇异结构与局部几何复杂度。
2023-06-14 cs.AI cs.LG math.AT
Deep Learning the EEG Manifold for Phonological Categorization from Active Thoughts
University of British Columbia（不列颠哥伦比亚大学）
语音相关的脑机接口（BCI）的主要目的是为有语言障碍的人找到一种替代的语音交流途径。作为从活跃思想中完全解码想象语音的一步，我们提出了一个BCI系统，用于利用基于深度学习的分层特征提取方案对语音类别进行独立于主体的分类。为了更好地捕捉高维脑电（EEG）数据的复杂表示，我们将EEG电极的联合变异性计算到通道互协方差矩阵中。然后，我们使用混合深度神经网络策略提取矩阵内编码的时空信息。我们的模型框架由卷积神经网络（CNN）、长短期网络（LSTM）和深度自动编码器组成。我们对各个网络进行分层训练，在最后的梯度提升分类步骤中输入它们的组合输出。我们最好的模型在五个不同的二进制分类任务中实现了77.9%的平均准确率，比以前的方法显著提高了22.5%。正如我们也显示视觉上，我们的工作表明，语音图像EEG具有显着的判别信息负责自然语音合成的预期发音运动。
2019-04-08 cs.CL cs.LG cs.SD
Latent common manifold learning with alternating diffusion: analysis and applications
Technion - Israel Institute of Technology（以色列理工学院）；Duke University（杜克大学）；National Center for Theoretical Sciences（国家理论科学中心）
本文提出基于交替扩散的潜在共同流形模型，用于多模态数据融合，分析其理论基础并展示在多个应用中的实验结果。
2017-08-03 cs.DS cs.NA math.NA
