Generative Model Inversion Through the Lens of the Manifold Hypothesis
TMLR Group, Department of Computer Science, Hong Kong Baptist University(香港 Baptist 大学计算机科学系);Sydney AI Centre, The University of Sydney(悉尼大学人工智能中心);School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系);McCombs School of Business, The University of Texas at Austin(德克萨斯大学奥斯汀分校麦科姆斯商学院)
本研究从流形假设出发,揭示生成式模型反演攻击的有效性源于梯度向生成器流形的隐式去噪,并提出训练目标与免训练方法增强对齐,以提升攻击性能。
2025-09-24 cs.LG
Convergence of denoising diffusion models under the manifold hypothesis
CNRS(法国国家科学研究中心);PSL University(巴黎文理研究大学);ENS(巴黎高等师范学院)
本文首次在目标分布支撑于低维流形或为经验分布的一般设定下,建立去噪扩散模型的收敛性理论,并给出一阶Wasserstein距离的定量界。
2023-05-29 cs.LG math.PR stat.ML
The Manifold Hypothesis for Gradient-Based Explanations
University of Tübingen(蒂宾根大学);Tübingen AI Center(蒂宾根人工智能中心)
本研究提出基于梯度的解释算法的感知一致性与特征归因和数据流形切空间的对齐度相关的假设,通过多数据集实验验证该假设,并发现主流事后方法、对抗训练可提升对齐度,为解释算法优化提供方向。
2024-07-15 cs.CV cs.LG
Bracketing Uncertainty in Clustering Under the Manifold Hypothesis
Yale University(耶鲁大学);IE University(IE大学)
针对流形假设下聚类数不确定性问题,提出基于流形的聚类方法,通过几何权衡形式化不确定性区间,量化而非强制解决聚类数模糊性。
2026-09-17 cs.LG q-bio.QM stat.ML
When Scores Learn Geometry: Rate Separations under the Manifold Hypothesis
本文提出分数学习数据流形而非完整分布的观点,揭示小σ regime下流形信息强于分布信息,推动几何学习范式转变,通过扩散模型、流形均匀分布和贝叶斯逆问题验证理论。
2026-03-16 cs.LG stat.ML
Provably Learning Diffusion Models under the Manifold Hypothesis: Collapse and Refine
RIKEN AIP & The Institute of Statistical Mathematics(日本理化学研究所AIP及统计数学研究所);University of Sydney(悉尼大学);Agency for Science, Technology and Research & The Institute of Statistical Mathematics(科技研究局及统计数学研究所);The University of Tokyo(东京大学);Nanyang Technological University(南洋理工大学);The Institute of Statistical Mathematics(统计数学研究所)
本文在流形假设下研究扩散模型的学习问题,提出了一种由得分函数几何特性驱动的坍缩与细化机制,并通过Score-induced Latent Diffusion模型验证了其理论预测,证明样本复杂性依赖于内在维度而非外在维度。
2026-11-09 cs.AI cs.LG
Riemannian Langevin Dynamics: Strong Convergence of Geometric Euler-Maruyama Scheme
The University of Tokyo(东京大学);RIKEN Center for AIP(理化学研究所人工智能研究中心)
本文研究了Riemannian流形上SDEs的几何EM方案,证明其强收敛性,并应用该方案获得流形上采样的Wasserstein界。
2026-03-04 cs.LG cs.NA math.NA
Beyond the Manifold Hypothesis: Hybrid Spectral Parameterizations for Flow Matching
本文分析流匹配中不同预测目标性能差异的根源,提出跨时间与协方差方向自适应的谱混合参数化,证明其对高斯数据最优,并在多种架构下显著加速优化且几乎不增加训练成本。
2026-09-29 cs.LG
Manifold Hypothesis in Data Analysis: Double Geometrically-Probabilistic Approach to Manifold Dimension Estimation
流形假设指出,高维空间中的数据点实际上位于低得多的维度的流形附近。在许多情况下,这一假设得到了经验验证,并用于增强无监督和半监督学习。在这里,我们提出了新的方法来检查流形假设和基本流形维数估计。为了做到这一点,我们同时使用两种非常不同的方法-一种是几何方法,另一种是概率方法-并检查它们是否给出相同的结果。我们的几何方法是一个众所周知的盒计数算法Minkowski维数计算稀疏数据的修改。概率方法是新的。虽然它利用了标准的最近邻距离,但它与以前在这种情况下使用的方法不同。该方法具有鲁棒性强、速度快、数据预处理简单等优点。在真实数据集上的实验表明,基于两种方法相结合的方法是强大和有效的。
2021-07-08 cs.LG stat.ML
Heuristic Framework for Multi-Scale Testing of the Multi-Manifold Hypothesis
Worcester Polytechnic Institute(伍斯特理工学院);Rutgers University(罗格斯大学);Princeton University(普林斯顿大学);Amherst College(阿默斯特学院)
在分析经验数据时,我们经常发现全局线性模型高估了所需的参数数量。在这种情况下,我们可能会问数据是否位于或靠近一个流形或一组流形(所谓的多重流形),其维数比周围空间低。这个问题可以被表述为一个(多)多方面的假设。这种内在的多尺度特征的识别是数据分析和表示的基石,并且已经引起了大量关于流形学习的工作。在这项工作中,我们回顾了多尺度数据分析和内在维度的关键结果,然后引入了一个启发式的,多尺度的框架来测试多流形假设。我们的方法实现了一组样条插值流形构造方差为基础的内在尺寸的假设检验。该工作流程适用于经验数据分析,正如我们在两个用例中所展示的那样。
2018-07-01 cs.LG stat.ML
Verifying the Union of Manifolds Hypothesis for Image Data
University of Waterloo(滑铁卢大学);Layer 6 AI(Layer 6人工智能公司)
深度学习在学习高维数据的低维表示方面取得了巨大的成功。如果在感兴趣的数据中没有隐藏的低维结构,这种成功是不可能的;这种存在是由流形假设假定的,该假设指出数据位于低内在维度的未知流形上。在本文中,我们认为,这一假设并没有正确地捕捉到通常存在于图像数据中的低维结构。假设数据位于单个流形上意味着内在维度在整个数据空间中是相同的,并且不允许该空间的子区域具有不同数量的变化因子。为了解决这个问题,我们考虑流形假设的联合,它指出数据位于不同内在维度的流形的不相交的联合上。我们在常用的图像数据集上实证验证了这一假设,发现观察到的数据确实位于一个不连通的集合上,并且内在维度不是恒定的。我们还提供了对流形联合假设在深度学习中的影响的见解,包括监督和无监督,表明设计具有这种结构的归纳偏差的模型可以提高分类和生成建模任务的性能。我们的代码可在https://github.com/layer6ai-labs/UoMH上获得。
2023-03-02 cs.AI cs.LG stat.ML
Hardness of Learning Neural Networks under the Manifold Hypothesis
John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院);Harvard College, Harvard University(哈佛大学哈佛学院)
本文研究了流形假设下神经网络学习的困难性,证明了有界曲率输入流形下学习困难,而对流形体积的额外假设可保证可学习性,并探讨了现实数据的中间机制。
2024-06-03 cs.LG math.DG stat.ML
Statistical exploration of the Manifold Hypothesis
University of Bristol(布里斯托大学);University of Edinburgh(爱丁堡大学)
该研究提出潜在度量模型,从统计层面解释流形假设广泛成立的原因,并基于该模型推导了低假设条件下、借助图分析算法探索高维数据几何结构与生成机制的流程。
2025-03-21 cs.LG stat.ME stat.ML
Independent Mechanism Analysis and the Manifold Hypothesis
Columbia University(哥伦比亚大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Cambridge(剑桥大学)
本研究将独立机制分析扩展到观测数量多于潜在成分且数据位于高维流形的情形,证明其仍可规避不可识别性问题,并给出IMA原则在随机方向选择下高概率近似成立的严格统计解释。
2023-12-20 cs.LG stat.ML
On Manifold Hypothesis: Hypersurface Submanifold Embedding Using Osculating Hyperspheres
考虑欧几里德空间$\mathbb{R}^d$中的一组$n$数据点。这个集合在机器学习和数据科学中被称为数据集。流形假设指出数据集以高概率位于低维子流形上。所有的降维和流形学习方法都有流形假设的前提。在本文中,我们表明,数据集位于嵌入的超曲面子流形是局部$(d-1)$维。因此,我们证明了流形假设至少对嵌入维数$d-1$成立。利用金字塔结构中的归纳法,我们还将嵌入维数扩展到更低的嵌入维数,以证明流形假设对嵌入维数$\{1, 2, \dots, d-1\}$的有效性。为了嵌入超曲面,我们首先构造数据的$d$最近邻图。对于每一点,我们用它的邻居拟合一个密切超球面$S^{d-1}$,其中这个超球面密切于一个假设的超曲面。然后,利用外科手术理论,对密切超球进行外科手术,得到$n$超帽。我们使用部分超圆柱体将超帽彼此连接。通过连接所有部分,嵌入超曲面被获得为这些元素的不交并。讨论了嵌入超曲面的几何特征,如有界性、拓扑性、光滑性、有界性、可定向性、紧性和内射性。对数据的线性和结构也作了一些讨论。本文是几个科学领域的交叉,包括机器学习,微分几何和代数拓扑。
2022-02-03 cs.LG math.AT math.DG
Empirical Hypothesis Space Reduction
NEC corporation(日本电气股份有限公司);RIKEN AIP(理化学研究所AIP)
选择合适的正则化系数是正则化经验风险最小化问题的关键。现有的理论方法试图确定的系数,以正规化的经验目标是真正的目标的上限,均匀的假设空间。然而,这样的方法被认为是过于保守的,特别是在具有大假设空间的高维设置中。事实上,基于方差的正则化中现有的泛化误差界是$O(\sqrt{d \log n/n})$,其中$d$是假设空间的维度,因此收敛所需的样本数量相对于$d$线性增加。本文提出了一种计算正则化系数的算法,该算法能加快泛化误差$O(\sqrt{\log n/n})$的收敛速度,且其首项与维数$d$无关。这种不依赖于假设空间大小的更快收敛是通过经验假设空间缩减来实现的,经验假设空间缩减以高概率成功地缩减了假设空间,而不会丢失真正的最优解。统一的上界计算减少空间,然后,使加速收敛的泛化误差。
2019-09-04 cs.LG stat.ML
Fast Mixing of Multi-Scale Langevin Dynamics under the Manifold Hypothesis
MIT(麻省理工学院);IBM Research(IBM研究院);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
最近,图像生成任务备受关注。特别是,最近的经验成功的马尔可夫链蒙特卡罗(MCMC)技术的朗之万动力学已经促使了一些理论上的进步,尽管如此,一些突出的问题仍然存在。首先,朗之万动力学在非凸景观上以非常高的维度运行;在最坏的情况下,由于非凸优化的NP-硬度,人们认为朗之万动力学在维度上仅以时间指数混合。在这项工作中,我们演示了如何流形假设允许混合时间的相当大的减少,从指数的环境维度,仅取决于(小得多)的内在维度的数据。其次,采样空间的高维数严重损害了Langevin Dynamics的性能;我们利用多尺度方法来帮助改善这个问题,并观察到这种多分辨率算法允许在生成图像质量和计算费用之间进行权衡。
2020-06-22 cs.LG stat.ML
On a convergence property of a geometrical algorithm for statistical manifolds
National Institute of Advanced Industrial Science and Technology(国立先进工业科学技术研究所);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The Institute of Statistical Mathematics(统计数学研究所);Waseda University(早稻田大学)
在本文中,我们研究了一个几何投影算法的统计推断。该算法是基于勾股关系,它是衍生的自由,以及表示自由,这是有用的非参数的情况下。我们推导出一个学习率的界,以保证局部收敛。在m-混合和e-混合估计问题的特殊情况下,我们计算了具体形式的界,可以很容易地在实践中使用。
2019-09-27 cs.LG stat.ML
Minimax Rates and Improved Spectral Convergence for Multi-Manifold Clustering
University of Utah(犹他大学);University of Wisconsin Madison(威斯康星大学麦迪逊分校)
该研究针对多流形混合分布数据,建立了张量化拉普拉斯-贝尔特拉米算子特征对估计的极小极大率,提出的流形无关图拉普拉斯估计器改进了谱收敛速率,数值实验验证了理论结果。
2026-10-14 cs.LG stat.ML
Fast Convergence of Langevin Dynamics on Manifold: Geodesics meet Log-Sobolev
SUTD(新加坡科技设计大学);Princeton(普林斯顿大学);UC Irvine(加州大学欧文分校)
采样是一个基本的,可以说是非常重要的任务,在机器学习中有许多应用。一种从高维分布$e^{-f}$中对某个函数$f$进行采样的方法是朗之万算法(LA)。最近,即使在$f$是非凸的情况下,LA的快速收敛也取得了很多进展,特别是[53],[39],其中前一篇论文关注$\mathbb{R}^n$中定义的函数$f$,后一篇论文关注具有流形结构的对称性(如矩阵完成型目标)的函数。我们的工作推广了[53]的结果,其中$f$定义在流形$M$上而不是$\mathbb{R}^n$上。从技术的角度来看,我们表明,KL减少的几何速率时,分布$e^{-f}$满足一个log-Sobolev不等式$M$。
2020-12-06 cs.LG stat.ML
Convergence of Manifold Filter-Combine Networks
本文提出流形滤波-组合网络(MFCNs)作为流形神经网络的统一框架,并给出基于稀疏图近似的高维点云实现方法,证明了该方法在数据点趋于无穷时收敛到连续极限。
2024-10-18 cs.LG eess.SP stat.ML
Local convergence of simultaneous min-max algorithms to differential equilibrium on Riemannian manifold
Université de Toulouse, INP, IRIT(图卢兹大学,法国国家理工学院,IRIT研究所)
本文研究了黎曼流形上零和微分博弈的极小极大算法,分析了 $τ$-GDA 和 $τ$-SGA 到微分均衡的局部收敛性,并证明 $τ$-SGA 在特定条件下收敛更快,数值实验验证了其能改进正交 Wasserstein GANs 的训练。
2025-03-01 cs.LG math.OC stat.ML
Curvature-Dependant Global Convergence Rates for Optimization on Manifolds of Bounded Geometry
我们给出了定义在1-有界几何流形上的弱凸函数的最优化问题的曲率依赖的收敛速度,通过黎曼梯度下降和动态平凡化算法.为了做到这一点,我们给出了一个更严格的限制的范数的海森的黎曼指数比以前已知的。我们计算这些边界显式的一些流形中常用的优化文献,如特殊的正交群和真正的格拉斯曼。一路上,我们提出了自包含的证明完全一般的指数映射的微分范数和某些余弦不等式的流形上,这是常用的流形上的优化。
2020-08-06 cs.NA math.DG math.NA
A Convergence Rate for Manifold Neural Networks
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Boise State University(博伊西州立大学)
该研究在已有流形神经网络采样点趋于无穷时收敛至连续极限的结论基础上,确立了依赖流形本征维度、与环境维度无关的收敛速率,并分析了网络深度、每层滤波器数对速率的影响。
2023-07-20 cs.LG cs.NA eess.SP
Accelerated Stochastic Quasi-Newton Optimization on Riemann Manifolds
Ohio State University(俄亥俄州立大学)
我们提出了一个L-BFGS优化算法在黎曼流形使用小批量随机方差减少技术的快速收敛与恒定的步长,而不诉诸线搜索方法设计,以满足沃尔夫条件。给出了流形上强凸函数的一个新的收敛性证明,并讨论了非凸函数的收敛性。我们讨论了几种方法来获得用于计算梯度与逆Hessian的乘积的校正对,并实证地证明了它们在计算对称正定矩阵的Karcher均值和大规模数据矩阵的前导特征值的合成实验中的使用。我们将我们的方法与VR-PCA进行了比较,对于后一个实验,以及两种情况下的黎曼SVRG,并在一系列数据集上显示了强收敛结果。
2017-05-22 cs.LG math.DG math.OC
Convergence of graph Dirichlet energies and graph Laplacians on intersecting manifolds of varying dimensions
University of Würzburg(维尔茨堡大学);Carnegie Mellon University(卡内基梅隆大学)
针对不同内在维数相交流形并集,论文证明归一化图 Dirichlet 能量可同时适应各维数并发生 Γ-收敛与谱收敛,而未归一化能量仅反映最高维流形。
2026-10-09 math.AP math.SP stat.ML
Strong uniform convergence of Laplacians of random geometric and directed kNN graphs on compact manifolds
考虑从$\mathbb{R}^m$的光滑紧致$d$维子流形$\mathcal{M}$上的类$\mathcal{C}^2$的密度$p$独立采样的$n$点,并考虑根据转移核$K$访问这些点的随机游走的生成元。研究了当$n$趋于无穷大时,该算子几乎处处一致收敛性.这项工作扩展了过去15年的已知结果。特别地,我们的结果不要求核$K$是连续的,这涵盖了遍历$k$ NN-随机图和几何图的情形,并给出了收敛速度.随机游走生成器和极限算子之间的距离被分成几个项:一个与大数定律相关的统计项,用浓度工具处理,一个近似项,我们用微分几何的工具控制。详细讨论了$k$ NN拉普拉斯算子的收敛性。
2022-12-20 math.PR stat.ML
Convergence Rate of Riemannian Hamiltonian Monte Carlo and Faster Polytope Volume Computation
我们给出了第一个严格的证明的收敛性的黎曼哈密顿蒙特卡罗,一般(和实用)的方法抽样吉布斯分布。我们的分析表明,收敛速度是有界的自然光滑参数的一个相关联的黎曼流形。然后,我们应用的方法与流形定义的对数障碍函数的问题(1)均匀采样的多面体和(2)计算其体积,后者通过扩展高斯冷却的流形设置。在这两种情况下,所需的总步骤数是O^{*}(mn^{ \frac{2}{3} }),提高了现有技术。我们分析的一个关键成分是证明流形上吉布斯分布的KLS猜想的模拟。
2017-10-17 cs.DS math.FA stat.ML