An Empirical Bayes Approach to Shrinkage Estimation on the Manifold of Symmetric Positive-Definite Matrices
James-Stein估计量是多元正态均值的估计量,在平方误差损失下优于极大似然估计量(MLE)。最初的工作激发了人们对开发各种问题的收缩估计器的极大兴趣。然而,流形值数据的收缩估计的研究很少。本文给出了定义在$N \times N$对称正定矩阵流形上的对数正态分布参数的收缩估计。对于这个流形,我们选择对数欧几里德度量作为它的黎曼度量,因为它易于计算并且在应用中被广泛使用。通过在损失函数中使用对数欧几里德距离,我们导出了一个解析形式的收缩估计,并证明了它在一个大类估计中是渐近最优的,包括MLE,这是数据的样本Fréchet均值。我们通过几个模拟数据实验证明了所提出的收缩估计的性能。此外,我们应用收缩估计进行统计推断扩散磁共振成像问题。
2020-10-27 math.ST stat.TH
Manifold Learning Using Kernel Density Estimation and Local Principal Components Analysis
我们考虑的问题,恢复$d-$维流形$\mathcal{M} \subset \mathbb{R}^n$时,提供了无噪声的样本从$\mathcal{M}$。存在许多算法(例如,Isomap),在实践中用于拟合流形,从而降低给定数据集的维数。理想情况下,$\mathcal{M}$的估计值$\mathcal{M}_\mathrm{put}$应该是具有一定光滑度的实际流形;此外,在给定足够大的样本的情况下,$\mathcal{M}_\mathrm{put}$应该在Hausdorff距离上任意接近$\mathcal{M}$。一般来说,现有的流形学习算法不符合这些标准。February man,Mitter和Narayanan(2016)开发了一种算法,其输出可证明是流形。关键思想是定义一个近似平方距离函数(asdf)到$\mathcal{M}$。然后,$\mathcal{M}_\mathrm{put}$由点的集合给出,其中asdf的梯度与asdf的Hessian的最大$n - d$特征向量所张成的子空间正交。只要asdf满足一定的正则性条件,$\mathcal{M}_\mathrm{put}$就是一个在豪斯多夫距离上任意接近$\mathcal{M}$的流形。在本文中,我们定义了两个asdfs,可以计算出的数据,并表明它们满足所需的正则性条件。第一个asdf是基于核密度估计,第二个是基于估计的…
2017-09-11 math.ST stat.ML stat.TH
Fast, asymptotically efficient, recursive estimation in a Riemannian manifold
黎曼流形中的随机优化问题,特别是黎曼随机梯度法,近年来引起了人们的广泛关注。目前的工作适用于随机优化的统计参数,属于黎曼流形的递归估计的任务。粗略地说,这项任务相当于统计发散函数的随机最小化。下面的问题被认为是:如何获得快速,渐近有效的,递归估计,使用黎曼随机优化算法与减少步长?在解决这一问题时,介绍了几个有独创性的结果。首先,在没有任何凸性假设的发散函数,它被证明,与一个适当的步长选择,算法计算递归估计,实现快速的非渐近收敛速率。其次,通过采用一种新的线性化技术,证明了这些递推估计的渐近正态性。第三,它被证明,当Fisher信息度量用于指导算法,这些递归估计达到最佳的渐近收敛速率,在这个意义上,他们成为渐近有效的。这些结果,而相对熟悉的欧几里德的背景下,在这里制定和证明的第一次,在黎曼的背景下。此外,他们示出了一个数值应用程序的递归估计的椭圆轮廓分布。
2018-08-13 math.ST stat.TH
Conditional Diffusion Models are Minimax-Optimal and Manifold-Adaptive for Conditional Distribution Estimation
本文研究条件前向-后向扩散模型在条件分布估计中的理论性质,证明其在总变差度量下达到极小极大最优收敛速度,并进一步证明当数据与协变量均具有低维流形结构时,模型能自适应两种流形,使误差界仅取决于内在维数。
2024-09-30 math.ST stat.TH
Minimax Estimation of Distances on a Surface and Minimax Manifold Learning in the Isometric-to-Convex Setting
University of California, San Diego(加州大学圣地亚哥分校)
本研究针对光滑子流形内蕴距离估计问题,证明通过曲面重构可实现极小极大最优性并采用切向Delaunay复形构建网格,同时提出在重构曲面计算距离的Isomap变体,对等距流形学习问题具有极小极大最优性。
2023-10-03 cs.LG math.ST stat.ML
Lie PCA: Density estimation for symmetric manifolds
University of North Carolina Wilmington(北卡罗来纳大学威尔明顿分校);The Ohio State University(俄亥俄州立大学);Translational Data Analytics Institute, The Ohio State University(俄亥俄州立大学转化数据分析研究所);Western Washington University(西华盛顿大学)
我们介绍了一个扩展的局部主成分分析学习对称流形。特别地,我们使用谱方法来近似对应于基础流形的对称群的李代数。我们推导出我们的方法的样本复杂性的各种流形,然后将其应用到各种数据集,以提高密度估计。
2020-09-13 cs.LG math.OC stat.ML
Normalizing Flows on Riemannian Manifolds
Google DeepMind(谷歌DeepMind)
考虑黎曼流形上的密度估计问题。流形上的密度估计在流体力学、光学和等离子体物理中有许多应用,并且经常出现在处理角度变量(例如用于蛋白质折叠、机器人肢体、基因表达)和一般方向统计中。尽管有大量的算法可用于在欧氏空间$\mathbf{R}^n$中的密度估计,这些算法可以扩展到大的n(例如归一化流,核方法和变分近似),但这些方法中的大多数并不立即适用于更一般的黎曼流形中的密度估计。我们重新审视与同胚相关的技术,从微分几何投影密度的子流形,并使用它来推广的思想规范化流更一般的黎曼流形。由此产生的算法是可扩展的,简单的实现和自动微分适合使用。我们展示了具体的例子,这种方法的n-球$\mathbf{S}^n$。
2016-11-09 cs.AI math.ST stat.ML
Joint Manifold Learning and Density Estimation Using Normalizing Flows
University of Tehran(德黑兰大学)
基于流形假设,真实世界的数据通常位于低维流形上,而作为基于可能性的生成模型的归一化流由于其结构约束而无法找到该流形。因此,出现了一个有趣的问题:$\textit{"Can we find sub-manifold(s) of data in normalizing flows and estimate the density of the data on the sub-manifold(s)?"}$。在本文中,我们介绍了两种方法,即每像素惩罚对数似然和分层训练,回答上述问题。我们提出了一种单步方法,用于联合流形学习和密度估计,通过将流归一化为流形和非流形部分而获得的变换空间进行分离。这是通过用于学习数据的子流形的每像素惩罚似然函数完成的。规范化流假设转换后的数据是高斯化的,但这种强加的假设不一定是真的,特别是在高维中。为了解决这个问题,采用分层训练方法来改善子流形上的密度估计。结果验证了所提出的方法的优越性,同时流形学习和密度估计使用归一化流生成的图像质量和似然性。
2022-06-07 cs.LG stat.ML
Minimax Rate of Distribution Estimation on Unknown Submanifold under Adversarial Losses
从高维低维结构数据中进行统计推断的研究近年来引起了人们的广泛关注。在机器学习中,深度生成建模方法通过从底层分布创建新样本来隐式地估计复杂对象的分布,并且在生成合成的逼真图像和文本方面取得了巨大成功。这些方法中的关键步骤是提取潜在特征或表示(编码),这些特征或表示可用于准确重建原始数据(解码)。换句话说,低维流形结构被隐含地假设并用于分布建模和估计。为了理解低维流形结构在生成建模中的好处,我们建立了一个通用的极小极大框架,用于在对抗损失下对未知子流形进行分布估计,并对目标分布和流形进行适当的平滑假设。所建立的极大极小率阐明了各种问题特征,包括数据的内在维数和目标分布和流形的平滑程度,如何影响高维分布估计的基本限制。为了证明极大极小上界,我们构建了一个估计的基础上的混合本地拟合生成模型,这是出于从微分几何的单位分解技术,是必要的,以涵盖的情况下,底层的数据流形不承认一个全球参数化。我们还提出了一个数据驱动的自适应估计,同时达到在一个对数因子的最佳速率在一个大的集合的分布类。
2022-02-18 math.ST stat.TH
Nonparametric Estimation of Means on Hilbert Manifolds and Extrinsic Analysis of Mean Shapes of Contours
针对高层次数字图像分析中非参数推断问题,提出了一种基于Hilbert流形的非参数数据分析方法,重点研究了在这种样本空间上的概率分布.为了对这些方法进行推断,我们从功能数据分析中引入邻域假设的概念,并推导出单样本检验。然后,我们考虑分析的形状轮廓躺在平面上。通过将这些形状的相应样本空间(Hilbert流形)嵌入到Hilbert Schmidt算子空间中,我们可以定义平面轮廓的外平均形状及其样本类似物。我们适用于这个问题的一般方法,同时考虑到利用数字成像数据时所面临的计算限制。比较了另一种轮廓形状分析方法的计算量。
2013-02-08 math.ST stat.CO stat.ME
Minimax Boundary Estimation and Estimation with Boundary
我们得到了具有(可能)非空边界$\partial M$的$d$维子流形$M \subset \mathbb{R}^D$的Hausdorff估计的非渐近极大极小界.该模型重新统一和扩展了最流行的$\mathcal{C}^2$型集估计模型:流形无边界,全维域。我们考虑了流形$M$本身的估计和它的边界$\partial M$(如果非空)的估计。给定$n$样本,如果$\partial M = \emptyset$,则极小极大率为$O\bigl((\log n/n)^{2/d}\bigr)$阶,如果$\partial M \neq \emptyset$,则极小极大率为$O\bigl((\log n/n)^{2/(d+1)}\bigr)$阶,直至对数因子。在这个过程中,我们开发了一个Voronoi为基础的程序,允许识别足够的点$O\bigl((\log n/n)^{2/(d+1)}\bigr)$ -接近$\partial M$重建它。
2023-03-10 math.ST stat.TH
Density estimation on smooth manifolds with normalizing flows
Technical University of Denmark(丹麦技术大学)
我们提出了一个框架,学习拓扑非平凡流形上的概率分布,利用规范化流。目前的方法主要集中在与欧几里得空间同胚的流形上,在学习的模型上强制强结构先验,或者使用不容易扩展到高维的操作。相比之下,我们的方法通过将多个局部模型“粘合”在一起来学习数据流形上的分布,从而定义数据流形的开放覆盖。我们证明了我们的方法对已知流形的合成数据的效率,以及未知拓扑的高维流形,其中我们的方法具有更好的样本效率和竞争力或优越的性能对基线在一些任务。
2022-07-09 cs.LG stat.ML
Manifold Density Estimation via Generalized Dequantization
Yale University(耶鲁大学);York University(约克大学)
密度估计是描述给定观测值分布的一种重要方法。许多现有的研究密度估计的情况下,其中的数据位于欧几里德空间集中。然而,某些类型的数据不能很好地建模,假设它们的底层几何是欧几里得的。相反,将此类数据建模为位于具有某种已知结构的{ \it流形}上可能是有用的。例如,某些类型的数据可能已知位于球体的表面上。研究了流形上密度的估计问题。我们提出了一种方法,灵感来自文献的“反量化”,我们解释通过镜头的坐标变换的环境欧几里德空间和光滑的感兴趣的流形。使用规范化流的方法,我们将这种方法应用到光滑流形结构的去量化,以模拟球体,环面和正交群上的密度。
2021-07-09 cs.LG stat.ML
Tractable Density Estimation on Learned Manifolds with Conformal Embedding Flows
Layer 6 AI
规范化流是生成模型,其通过从简单的基础分布到复杂的目标分布的可逆变换来提供易处理的密度估计。然而,这种技术不能直接对未知低维流形上支持的数据进行建模,这在现实世界的领域(如图像数据)中很常见。最近试图弥补这一局限性,引入了几何复杂性,击败了规范化流的核心好处:精确的密度估计。我们恢复这个好处与共形嵌入流,一个框架,用于设计流,学习流形与易处理的密度。我们认为,组成一个标准的流与可训练的共形嵌入是最自然的方式来建模流形支持的数据。为此,我们提出了一系列的共形构建块,并将它们应用于实验与合成和现实世界的数据,以证明流量可以模拟流形支持的分布,而不会牺牲易于处理的可能性。
2021-11-11 cs.LG stat.ML
Flows for simultaneous manifold learning and density estimation
New York University(纽约大学)
我们引入流形学习流(M流),一类新的生成模型,同时学习数据流形以及该流形上的易处理的概率密度。结合规范化流、GANs、自动编码器和基于能量的模型的各个方面,它们有可能更忠实地表示具有流形结构的数据集,并提供降维、去噪和分布外检测的处理。我们认为,为什么这样的模型不应该单独训练的极大似然,并提出了一个新的训练算法,分离流形和密度更新。在一系列实验中,我们展示了M-flow如何学习数据流形,并允许比环境数据空间中的标准流更好的推理。
2020-11-13 cs.LG stat.ML
NeuroPMD: Neural Fields for Density Estimation on Product Manifolds
Department of Statistics, University of South Carolina(统计学系,南卡罗来纳大学);Department of Biostatistics, Yale University(生物统计学系,耶鲁大学);Department of Statistics and Operations Research, University of North Carolina at Chapel Hill(统计学与运筹学系,北卡罗来纳大学教堂山分校)
NeuroPMD通过神经场方法在乘积流形上实现高效的密度估计,有效克服了高维数据中的维度诅咒和收敛问题。
2025-12-30 cs.LG stat.ML
Maximum Likelihood Estimation of Nonnegative Trigonometric Sum Models Using a Newton-like Algorithm on Manifolds
针对参数空间位于超球面表面的 NNTS 循环分布模型,本文提出一种流形上的类 Newton 高效算法,用于求解其参数的最大似然估计。
2010-10-28 stat.CO
Density estimation on low-dimensional manifolds: an inflation-deflation approach
University of Bern(伯尔尼大学);Department of Physiology(生理学系);Bern, Switzerland(瑞士伯尔尼(注:根据要求,地址信息不应提取为机构,此处仅作原文保留说明))
标准化流是基于神经网络的通用密度估计器。然而,这种普适性是有限的:密度的支撑需要与欧几里得空间同构。在本文中,我们提出了一种新的方法来克服这一限制,而不牺牲通用性。所提出的方法通过在正常空间中添加噪声来膨胀数据流形,在这个膨胀的流形上训练NF,最后,收缩学习的密度。我们的主要结果提供了充分条件的流形和具体的选择噪声下,相应的估计是准确的。我们的方法具有与NF相同的计算复杂性,并且不需要计算逆流。我们还表明,如果嵌入维数远大于流形维数,正常空间中的噪声可以很好地近似高斯噪声。这允许使用我们的方法近似任意密度未知流形上的流形尺寸是已知的。
2022-02-01 cs.LG stat.ML
Geodesic Distance Estimation with Spherelets
许多统计和机器学习方法依赖于数据点之间的成对距离。距离度量的选择对这些过程的性能具有根本性影响,从而引发了关于如何适当计算距离的问题。当数据点是实值向量时,到目前为止最常见的选择是欧几里得距离。这篇文章的重点是如何更好地计算距离的问题,考虑到数据的内在几何,假设数据集中在一个未知的子空间或流形附近。适当的几何距离对应于沿着流形的最短路径的长度,这是测地线距离。当流形未知时,精确地近似测地线距离是具有挑战性的。当前的算法要么是高度复杂的,并且因此常常不切实际地实现,要么是基于可能具有不足的准确度的简单局部线性逼近和最短路径算法。我们提出了一个简单和一般的替代方案,它使用的领域,或sphetroquets,局部近似未知的子空间,从而估计通过路径的球面上的测地线距离。理论的发展显示出较低的误差,许多流形,在聚类,条件密度估计和平均回归的应用。通过多个仿真实例和实际数据集支持了这一结论。
2020-04-17 math.ST stat.ML stat.TH
Score Matching for Truncated Density Estimation on a Manifold
针对截断数据的密度估计问题,本文将截断得分匹配方法扩展到带边界的黎曼流形,在球面分布模拟实验和美国极端风暴实际场景中均取得优于朴素最大似然估计的效果。
2024-04-12 stat.ME stat.ML
Density Estimation on Compact Manifolds under Intrinsic Spectral Block Variation
ESSEC Business School(欧洲高等商业学院);HSE University(莫斯科国立高等经济学院)
该研究针对紧致连通黎曼流形上的非参数密度估计,提出内在谱块变分模型,构造坐标无关的块收缩估计器与块惩罚指数谱筛,建立相关风险界,得到尊重几何且与特征基无关的稀疏密度估计理论。
2026-08-14 math.FA math.ST stat.TH
Measure estimation on a manifold explored by a diffusion process
本文研究了通过扩散过程在流形上估计平稳测度的问题,证明了在不同条件下,利用生成元和密度正则性可获得更优的估计速率。
2025-10-13 math.PR math.ST stat.TH
Harmonic Map Regression: Rate-Optimal Nonparametric Estimation on Manifolds with Topological Recovery
University at Buffalo(布法罗大学)
本文提出调和映射回归方法,通过狄利克雷能量惩罚实现流形上非参数估计,揭示拓扑恢复现象,推导出Sobolev阶s的最小最大速率,并在多个流形上验证理论有效性。
2026-04-10 math.ST stat.ME stat.TH
Local Linear Regression on Manifolds and its Geometric Interpretation
National Taiwan University(国立台湾大学);Princeton University(普林斯顿大学)
针对高维数据位于未知低维非线性流形上的情况,提出直接降维至流形本征维数并在切平面估计上执行局部线性回归(LLR)的方法,同时分析其几何意义并用于流形学习。
2012-07-30 cs.NA math.NA math.ST
Neural Implicit Manifold Learning for Topology-Aware Density Estimation
Layer 6 AI(Layer 6人工智能公司)
针对现有生成模型难以准确学习复杂拓扑流形上分布的问题,本文提出将流形建模为神经网络的零点集,并用约束能量模型和约束朗之万动力学进行训练与采样,实验表明该方法优于前推模型。
2023-12-21 cs.LG stat.ML
Minimax Rates and Improved Spectral Convergence for Multi-Manifold Clustering
University of Utah(犹他大学);University of Wisconsin Madison(威斯康星大学麦迪逊分校)
该研究针对多流形混合分布数据,建立了张量化拉普拉斯-贝尔特拉米算子特征对估计的极小极大率,提出的流形无关图拉普拉斯估计器改进了谱收敛速率,数值实验验证了理论结果。
2026-10-14 cs.LG stat.ML
Principal Manifold Flows
规范化流使用双射变换将一组独立的潜在变量映射到它们的样本。尽管样本和潜变量之间存在确切的对应关系,但它们之间的高层关系还没有得到很好的理解。在本文中,我们使用主流形来描述流的几何结构,并使用轮廓来理解潜变量和样本之间的关系。我们引入了一类新的规范化流,称为主流形流(PF),其轮廓是其主要的流形,和一个变种内射流(iPF),这是更有效的训练比定期内射流。PF可以使用任何流架构来构造,用正则化的极大似然目标来训练,并且可以在它们的所有主要流形上执行密度估计。在我们的实验中,我们表明PF和iPF能够学习各种数据集上的主要流形。此外,我们表明,PFs可以执行密度估计的数据,躺在一个流形上的可变维度,这是不可能与现有的规范化流程。
2022-02-14 cs.LG stat.ML
Intrinsic minimum average variance estimation for sufficient dimension reduction with symmetric positive definite matrices and beyond
本文研究了响应值为对称正定矩阵的充分降维问题。我们提出的内在最小平均方差估计方法和内在外积梯度方法,充分利用响应所在的黎曼流形的几何结构。我们提出的算法,我们新开发的方法下的对数欧几里德度量和对数Cholesky度量。这两个度量中的每一个都与一个阿贝尔李群结构相关联,该结构将我们在流形上定义的模型转换为欧几里得模型。所提出的方法,然后进一步推广到一般的黎曼流形。我们建立了严格的渐近结果,包括收敛速度和渐近正态性。我们还开发了一个交叉验证算法的结构维度的估计与理论保证全面的模拟研究和应用程序的纽约出租车网络数据进行显示所提出的方法的优越性。
2023-02-25 stat.ME
Minimax Rates for the Estimation of Eigenpairs of Weighted Laplace-Beltrami Operators on Manifolds
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);The University of Utah(犹他大学)
本文研究了流形上椭圆算子特征对估计的极小化极大速率,证明在 $H^1(M)$ 意义下逼近特征对的速率为 $n^{-2/(d+4)}$,并指出图拉普拉斯算子特征对在稍强正则性下可达到匹配该下界的逼近误差,从而在更强范数和一致收敛性上扩展现有图学习理论。
2025-05-30 cs.LG math.AP stat.ML
Diagnosing and Fixing Manifold Overfitting in Deep Generative Models
Layer 6 AI
基于可能性或显式的深度生成模型使用神经网络来构建灵活的高维密度。这个公式直接与流形假设相矛盾,流形假设认为观测数据位于嵌入高维环境空间的低维流形上。在本文中,我们研究了在这种维度不匹配的情况下,最大似然训练的病理。我们正式证明,退化的最优实现,其中流形本身的学习,但不是它的分布,我们称之为流形过拟合的现象。我们提出了一类两步的程序,包括一个降维步骤,其次是最大似然密度估计,并证明他们恢复的数据生成分布在非参数制度,从而避免歧管过拟合。我们还表明,这些程序使密度估计的流形上学习的隐式模型,如生成对抗网络,从而解决了这些模型的一个主要缺点。最近提出的几种方法是我们的两步程序的实例;因此,我们统一,扩展,并在理论上证明了一大类模型。
2022-11-28 cs.AI cs.LG stat.ME
Adversarial Manifold Estimation
研究了在$\mathbb{R}^n$中估计$d$维子流形的统计查询复杂度.我们提出了一个纯粹的几何算法称为流形传播,减少了问题的三个自然的几何例程:投影,切空间估计,和点检测。然后,我们提供这些几何例程的SQ框架中的建设。给定一个对抗$\mathrm{STAT}(τ)$预言机和一个目标Hausdorff距离精度$\varepsilon = Ω(τ^{2 / (d + 1)})$,所得到的SQ流形重构算法具有查询复杂度$O(n \operatorname{polylog}(n) \varepsilon^{-d / 2})$,证明了该算法是近最优的.在这个过程中,我们建立了一般度量空间中SQ的低秩矩阵完备化结果和随机SQ估计的下界。
2022-10-12 math.ST stat.TH
Structure-adaptive manifold estimation
我们考虑一个问题的流形估计噪声观测。许多流形学习过程通过在小邻域上的加权平均来局部逼近流形。然而,在存在大噪声的情况下,分配的权重变得如此损坏,以至于平均估计显示出非常差的性能。我们提出了一个结构自适应的过程,同时重建一个光滑流形和估计投影的点云到这个流形上。所提出的方法迭代地细化每个步骤的权重,使用在以前的步骤中获得的结构信息。经过几次迭代,我们获得了接近“预言”的权重,因此即使在存在相对较大的噪声的情况下,最终的估计也几乎是有效的。在我们的理论研究中,我们建立了紧的下限和上界证明渐近最优的方法下的Hausdorff损失的流形估计,提供的噪声退化到零足够快。
2022-02-04 math.ST stat.ML stat.TH
Conformal geometry of statistical manifold with application to sequential estimation
我们提出了一种分析序贯估计过程的几何方法。它基于Okamoto,Amari和Takeuchi(1991)提出的二阶有效序贯估计的设计原理。通过引入对偶共形曲率量,阐明了序贯估计的协方差最小化的条件。这些条件进一步推广到多维曲指数族。然后,通过使用典型的统计模型,冯Mises-Fisher和双曲面模型的理论结果进行数值检验。
2011-02-17 math.ST stat.TH
Non-Asymptotic Rates for Manifold, Tangent Space, and Curvature Estimation
给定一个在子流形$M \subset \mathbb{R}^D$上的$n$ -样本,我们导出了切空间$T\_X M$、第第二基本型$II\_X^M$和子流形$M$的最优估计率。我们引入了一类与H{<$}类似的$\mathcal{C}^k$ -子流形lder类。建议的估计是基于本地多项式,并允许同时处理的三个问题的利害关系。当基点$X$是随机的时,使用Assouad引理的条件版本导出极大极小下界.
2018-02-05 math.ST stat.TH
Minimax adaptive estimation in manifold inference
我们专注于流形估计的问题:给定一组采样的观察接近一些未知的子流形$M$,一个想要恢复信息的几何$M$。到目前为止,已经提出的Minimax估计都依赖于一些参数的先验知识,这些参数量化了生成样本的潜在分布(如其密度的界限),而这些参数在实践中是未知的。我们对此事的贡献是双重的:首先,我们引入了一个单参数族的流形估计$(\hat{M}_t)_{t\geq 0}$的基础上局部版本的凸包,并表明,对于一些选择$t$,相应的估计是极小极大的一类模型的$C^2$流形介绍[Genovese等人,Hausdorff损失下的流形估计和奇异反褶积]。其次,我们提出了一个完全的数据驱动的选择程序的参数$t$,导致这类模型的极大极小自适应流形估计。这个选择过程实际上允许我们恢复观测集和$M$之间的Hausdorff距离,因此可以在其他设置中用作尺度参数,例如切空间估计。
2021-10-26 cs.CG math.ST stat.TH
A geometrically motivated parametric model in manifold estimation,
流形估计的一般目的是用统计方法在${\mathbb R}^d$上(用$m\leq d$)重建一个$m$维紧致流形$S$或估计与$S$的几何性质有关的一些相关量.我们将假设样本数据由从围绕$S$的带上随机选择的点到$(d-1)$维流形$S$的距离给出,具有$d=2$和$d=3$。本文的重点是表明,如果$S$属于一个广泛的类紧集(我们称之为\it集与多项式体积\rm),所提出的统计模型导致一个相对简单的参数制定。在这种设置中,标准方法(矩量法,最大似然法)可以用来估计一些有趣的几何参数,包括曲率和欧拉示性数。我们将特别关注$S$的$(d-1)$维边界测度(在闵可夫斯基意义上)的估计。然而,事实证明,估计问题并不简单,因为标准估计量表现出明显的病态行为:虽然它们是一致的和渐近正态的,但它们的期望值是无限的。这一事实的理论和实践后果进行了详细讨论。
2014-11-12 math.ST stat.TH
Estimation of a regression function on a manifold by fully connected deep neural networks
考虑了独立同分布数据的回归函数的估计问题。相对于预测变量的分布积分的$L_2$误差用作误差标准。针对光滑回归函数,分析了基于具有ReLU激活函数的深度神经网络的全连通空间的最小二乘估计收敛速率。它示出的情况下,预测变量的分布集中在一个流形上,这些估计实现的收敛速率,这取决于流形的尺寸,而不是预测变量的组件的数量。
2021-07-20 math.ST stat.ML stat.TH
Manifold estimation and singular deconvolution under Hausdorff loss
Carnegie Mellon University(卡内基梅隆大学);Sapienza University of Rome(罗马第一大学)
我们发现下和上界的风险估计一个流形的Hausdorff距离下几个模型。我们还表明,流形估计和奇异测度反卷积问题之间有密切的联系。
2012-06-05 cs.LG math.ST stat.ML
Principal Manifold Estimation with Riemannian Templates
Florida State University(佛罗里达州立大学)
本文提出了一种理论框架,用于从高维空间中的点云中恢复潜在低维流形,支持一般非欧几里得拓扑的流形,并通过Sobolev空间理论证明了方法的正确性与一致性,同时提供了新的复杂度选择方法。
2026-11-10 math.ST stat.TH
A parameter estimation method based on random slow manifolds
针对慢-快随机动力系统,提出了一种参数估计方法,该系统通常只有慢分量是可观测的。通过只使用慢分量上的观测值,在随机慢流形上对慢系统进行处理,估计系统参数。这为随机动力系统的参数量化提供了降维的好处。通过一个实例说明了该方法的有效性,并验证了基于降维慢系统的参数估计器是原慢-快随机动力系统参数估计器的一个很好的逼近。
2013-03-19 math.DS math.ST stat.TH
A Bayesian approach to the estimation of maps between riemannian manifolds
设Θ是嵌入欧几里得空间中的光滑紧致无边界定向流形,γ是到黎曼流形Λ中的光滑映射。未知状态θ \in Θ通过X=θ+ε观测,其中ε>0是小参数,ε是高斯白噪声。对于给定的Θ上的光滑先验和映射γ的光滑估计量g,我们导出了相关贝叶斯风险的二阶渐近展开。计算涉及到底层空间Θ和Λ的几何,特别是分部积分公式。利用这一结果,基于调和映射和次椭圆微分算子的现代理论,得到了γ的二阶Minimax估计.
2008-03-25 math.ST stat.TH
A robust algorithm for template curve estimation based on manifold embedding
本文考虑的问题,找到一个有意义的模板函数,代表一个样本的曲线的共同模式。为了解决这个问题,一种新的算法的基础上的等距特征映射(Isomap)算法的鲁棒版本的开发。假设函数数据位于一个具有未知底层结构的内在低维光滑流形上,我们提出了一个测地线距离的近似。这种近似用于计算相应的经验Fréchet中值函数,它提供了模板函数的内在估计。与Isomap方法不同,该算法具有无参数和易于使用的优点。与其他方法的比较,模拟和真实数据集,表明该算法工作良好,优于这些方法。
2013-06-14 math.ST stat.TH
Non-Parametric Estimation of Manifolds from Noisy Data
Yale University(耶鲁大学);The Hebrew University of Jerusalem(希伯来大学)
在数据驱动的应用程序中,一个常见的现象是高维数据具有较低的内在维度,至少在局部是这样。在这项工作中,我们考虑的问题,估计一个$d$维子流形的$\mathbb{R}^D$从一个有限的噪声样本集。假设数据是从$\mathcal{M}\in \mathcal{C}^k$的一个管状邻域中均匀采样的,我们提出了一个算法,从管状邻域中取一个点$r$并输出$\hat p_n\in \mathbb{R}^D$,以及$\widehat{T_{\hat p_n}\mathcal{M}}$格拉斯曼$Gr(d, D)$中的一个元素.我们证明,作为样本数$n\to\infty$的点$\hat p_n$收敛到$p\in \mathcal{M}$和$\widehat{T_{\hat p_n}\mathcal{M}}$收敛到$T_p\mathcal{M}$(在该点的切空间)以高概率。此外,我们表明,估计产生的$n^{-\frac{k}{2k + d}}$的点估计和$n^{-\frac{k-1}{2k + d}}$的切线空间的估计的渐近收敛速度。已知这些速率对于函数估计的情况是最优的。
2021-07-19 cs.LG math.ST stat.TH
Manifold-Based Signal Recovery and Parameter Estimation from Compressive Measurements
最近出现了一个被称为压缩感知(CS)的领域,以帮助解决捕获和处理高维信号和数据集的日益增长的挑战。CS利用了令人惊讶的事实,即稀疏信号中包含的信息可以保留在该信号的少量压缩(或随机)线性测量中。已经建立了强有力的理论保证的精度,稀疏或近稀疏的信号可以从嘈杂的压缩测量恢复。在本文中,我们解决类似的问题,在不同的建模框架的上下文中。而不是稀疏模型,我们专注于广泛的类流形模型,这可能会出现在参数和非参数信号的家庭。最近的结果有关的测量空间内的流形的稳定嵌入的基础上,我们建立了确定性和概率的$\ell_2$基于流形的信号恢复和参数估计从噪声压缩测量的实例最优边界。与基于稀疏性的CS的类似结果一致,我们得出结论,在概率环境中可能有更强的界限。我们的工作支持了越来越多的经验证据,即基于流形的模型可以在压缩信号处理中以高精度使用。
2010-02-05 math.ST stat.ML stat.TH
Universally consistent estimation of the reach
集合$M \subset \mathbb R^d$的可达性,当$M$是流形时也称为条件数,是由费德勒在1959年引入的。范围是几何测度论、集合估计、流形学习等领域的核心概念。我们引入了一个普遍的相合估计的范围,只是假设的范围是积极的。在一个额外的假设下,我们提供了收敛速度。我们还表明,它是不可能的,以确定有限样本的基础上,如果达到的支持密度是零或没有。我们提供了一个小的模拟研究和偏差校正方法的情况下,当$M$是一个流形。
2022-11-22 math.ST stat.TH
Regression on manifolds: Estimation of the exterior derivative
预测因子的共线性和近共线性在进行回归时会造成困难。在这些情况下,变量选择变得站不住脚,因为数学问题的存在和数值稳定性的回归系数,和解释的系数是模糊的,因为梯度没有定义。利用微分几何解释,其中的回归系数被解释为一个函数的外导数的估计,我们开发了一种新的方法来做回归的存在共线性。我们的正则化方案可以改善估计误差,它可以很容易地修改,包括拉索型正则化。这些估计器还具有对“大$p$、小$n$“上下文的单扩张。
2011-03-08 math.ST stat.TH
A bayesian approach to the estimation of maps between riemannian manifolds, II: examples
设M是嵌入欧几里得空间E中的光滑紧无边界定向流形,f是M到黎曼流形N的光滑映射.通过X=x+su观察到M中的未知状态x,其中s>0是小参数,u是高斯白噪声。对于给定的M上的平滑先验和映射f的平滑估计量g,我们已经推导出相关贝叶斯风险的二阶渐近展开(参见arXiv:0705.2540)。在本文中,我们将这种技术应用到各种例子。第二部分研究等式约束回归问题的一阶条件。在我们之前的论文中使用的几何工具自然适用于这些回归问题。
2009-08-18 math.DG math.ST stat.CO
Smoothness Estimation for Whittle-Matérn Processes on Closed Riemannian Manifolds
本文在闭黎曼流形上证明,无论底层过程是否为高斯过程,均可通过高斯似然最大值点一致估计Whittle-Matérn过程的光滑度参数,并将测度等价现象推广至非高斯情形。
2025-06-05 math.ST stat.TH
Tangent Space and Dimension Estimation with the Wasserstein Distance
University of Oxford(牛津大学)
本文为从光滑紧致子流形附近采样数据估计流形维度与切空间的问题,基于局部PCA给出了高置信度下所需样本量的严格显式界,并利用Wasserstein距离处理噪声非均匀分布。
2023-09-25 cs.LG math.ST stat.TH
Estimation of Local Geometric Structure on Manifolds from Noisy Data
本文研究从噪声样本中估计流形上点的投影及其切空间,提出一种基于管状邻域均匀采样的算法,并证明点估计和切空间估计分别以 $n^{-\frac{k}{2k+d}}$ 和 $n^{-\frac{k-1}{2k+d}}$ 的速率高概率收敛。
2025-03-10 math.ST stat.TH
Invariant Bayesian estimation on manifolds
对于在微分流形Γ中取值的连续参数γ的最大后验概率(MAP)和最小均方误差(MMSE)估计,经常有一个有充分根据的批评,即它们对于Γ的任意"重新参数化“不是不变的。本文阐明了围绕这个问题的问题,指出坐标不变性,这是一个数学定义良好的问题的必要条件之间的差异,和同构不变性,这是一个实质性的问题,然后提供了一个解决方案。我们首先证明了在Γ上存在度量结构可以用来定义坐标不变的MAP和MMSE估计,并且我们认为这是进行的自然方式。然后我们讨论了Γ上度量结构的选择。通过在贝叶斯框架内施加一个自然的不变性标准,我们表明,这种选择本质上是独特的。它不一定对应于坐标的选择。在完全先验无知的情况下,当使用Jeffreys先验时,不变MAP估计减少到最大似然估计。不变MAP估计与最小消息长度(MML)估计一致,但在其推导中没有使用离散化或近似。
2005-06-15 math.ST stat.TH
Manifold Hypothesis: Conditional Certificates and Consistent Intrinsic Dimension Estimation
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文在未知高斯噪声下研究流形假设,提出条件证书方法,改进维数估计的样本条件,并证明一致维数估计,实验验证了方法的有效性。
2026-10-19 math.PR math.ST stat.TH
Multivariate Bayesian function estimation
本文研究了以紧致黎曼流形为区域的多元非参数回归问题的贝叶斯方法。就后者而言,流形的基本几何形状在多元非参数回归函数上诱导了某些对称性。贝叶斯方法,然后允许一个将层次贝叶斯方法直接到谱结构,从而提供了一个自适应的多变量贝叶斯函数估计。也可以扩散掉一些先验信息,其中极限情况是流形上的平滑样条。这与光滑样条解在多元非参数回归问题中获得极小极大收敛速率的结果一起,为Bayes估计提供了良好的频率论性质。天文学的应用也包括在内。
2006-03-06 math.ST stat.TH
Autoregressive Processes on Riemannian Manifolds
King’s College London(伦敦国王学院);Kuwait University(科威特大学)
提出黎曼自回归模型(R-AR(1)),将经典离散时间随机过程推广到流形值数据,通过Fréchet均值和自回归参数控制平稳性与遍历性,并建立依赖样本的强相合估计理论。
2026-09-22 math.PR math.ST stat.TH