Fun with Flags: Robust Principal Directions via Flag Manifolds
University of Valencia（瓦伦西亚大学）；Imperial College London（伦敦帝国学院）
本文提出基于线性子空间旗流形的统一PCA框架，将鲁棒、对偶及tangent-PCA形式化为旗上优化，并给出收敛求解器，提升流形数据上的离群点鲁棒性。
2024-08-04 cs.CV cs.LG math.DG
Robust Autoencoders for Collective Corruption Removal
University of Minnesota（明尼苏达大学）；University of Minnesota Duluth（明尼苏达大学德卢斯分校）
鲁棒PCA是在存在稀疏腐败或罕见离群值的情况下学习线性子空间的标准工具。如何鲁棒地学习流形，这些流形是自然数据（如图像）的更真实的模型？最近有几次尝试将鲁棒PCA推广到流形设置。在本文中，我们提出了$\ell_1$ -和缩放不变的$\ell_1/\ell_2$ -鲁棒的自动编码器，基于一个令人惊讶的紧凑公式，该公式建立在深度自动编码器执行流形学习的直觉上。我们在几个标准图像数据集上证明，在没有干净图像进行训练的情况下，所提出的方法在集体消除稀疏腐败方面显着优于所有以前的方法。此外，我们还表明，学习的流形结构可以有效地推广到看不见的数据样本。
2023-03-06 cs.AI cs.CV cs.LG
Manifold-Aware Diffusion-Augmented Contrastive Learning for Noise-Robust Biosignal Representation
Computer Science \& Engineering Department Egypt-Japan University of Science \& Technology (E-JUST) New Borg El Arab, Alexandria, Egypt Email
本文提出面向流形的扩散增强对比学习框架，用于提升生物信号在噪声下的鲁棒性表示，实验显示其在心房颤动检测任务中达到0.9741的AUROC值。
2025-11-27 cs.AI cs.LG eess.SP
Multiscale Dictionary Learning: Non-Asymptotic Bounds and Robustness
高维数据集被低维结构很好地近似。在过去的十年中，这种经验观察激发了对检测，测量和建模技术的研究，以利用这些低维内在结构，从而对高维统计，机器学习和信号处理产生了许多影响。流形学习（其中低维结构是流形）和字典学习（其中低维结构是来自有限字典的向量的稀疏线性组合的集合）是该领域中两个突出的理论和计算框架。尽管它们表面上的区别，最近推出的几何多分辨率分析（GMRA）提供了一个强大的，计算效率高，多尺度的程序，同时学习流形和字典。在这项工作中，我们证明了非渐近概率界的近似误差的GMRA为丰富的一类数据生成的统计模型，包括“嘈杂”的流形，从而建立理论的鲁棒性的程序和确认经验观察。特别是，如果一个数据集聚集在一个低维流形附近，我们的结果表明，GMRA的近似误差是完全独立的环境尺寸。因此，我们的工作建立GMRA作为一个可证明的快速算法的字典学习近似和稀疏性的保证。我们包括几个数值实验证实这些理论结果，我们的理论框架提供了新的工具，用于评估行为的流形学习和字典学习程序上的一大类有趣的模型。
2015-12-13 math.ST stat.TH
Manifold Adaptive Multiple Kernel K-Means for Clustering
Shanxi University（山西大学）
基于k-means的多核方法旨在整合一组核来提高核k-means聚类的性能。然而，我们观察到，大多数现有的多核k-means方法利用内核内的非线性关系，而多核空间之间的局部流形结构没有得到充分考虑。在本文中，我们采用流形自适应核，而不是原来的核，集成核的局部流形结构。因此，诱导的多重流形自适应核不仅反映了非线性关系，而且还反映了局部流形结构。然后，我们在多核k-means聚类框架内执行多核聚类。它已被验证，所提出的方法优于几个国家的最先进的基线方法对各种数据集。
2020-09-30 cs.LG stat.ML
Multiple Flat Projections for Cross-manifold Clustering
Inner Mongolia University（内蒙古大学）；Hainan University（海南大学）；Zhijiang College, Zhejiang University of Technology（浙江工业大学之江学院）；China Agriculture University（中国农业大学）
交叉流形聚类是一个比较困难的问题，许多传统的聚类方法都因为交叉流形结构而失败。在本文中，我们提出了一个多平面投影聚类（MFPC）来处理跨流形聚类问题。在我们的MFPC中，给定的样本被投影到多个子空间中，以发现隐流形的全局结构。因此，交叉流形簇与各种投影不同。此外，我们的MFPC扩展到非线性流形聚类通过内核技巧，以处理更复杂的跨流形聚类。提出了一种递推算法，解决了MFPC中的一系列非凸矩阵优化问题。综合实验表明，该算法对交叉流形结构有较好的处理效果。此外，在基准数据集上的实验结果表明，我们的MFPC的优秀性能相比，一些国家的最先进的聚类方法。
2020-02-17 cs.LG stat.ML
Robust Multi-Manifold Clustering via Simplex Paths
University of Utah（犹他大学）
本文提出一种基于单纯形图和最大角路径距离（LAPD）的多流形聚类几何方法，具有准线性复杂度，对噪声和曲率鲁棒且优于现有算法。
2025-07-14 cs.LG stat.ML
Doubly Robust Off-Policy Learning on Low-Dimensional Manifolds by Deep Neural Networks
Georgia Tech（佐治亚理工学院）
因果推理探索行为与结果奖励之间的因果关系。最近深度学习在因果推理方面取得了显著的成绩，但现有的统计理论不能很好地解释这种经验上的成功，特别是当协变量是高维的时候。因果推理中的大多数理论结果是渐近的，受到维数灾难的影响，并且只适用于有限作用场景。为了弥合理论与实践之间的差距，本文研究了基于深度神经网络的双重鲁棒离策略学习。当协变量位于一个低维流形上，我们证明了非渐近遗憾界，这取决于流形的内在维度收敛速度快。我们的结果涵盖了有限和连续的行动方案。我们的理论表明，深度神经网络能够适应协变量的低维几何结构，并部分解释了深度学习在因果推理方面的成功。
2020-11-03 cs.LG stat.ML
Fortified Networks: Improving the Robustness of Deep Networks by Modeling the Manifold of Hidden Representations
Senior CIFAR Fellow
深度网络在各种重要任务中取得了令人印象深刻的成果。然而，一个已知的弱点是，当对与训练分布不同的数据进行评估时，即使这些差异非常小，也无法表现良好，就像对抗性示例一样。我们提出了强化网络，这是对现有网络的一种简单转换，它通过识别隐藏状态何时脱离数据流形来强化深层网络中的隐藏层，并将这些隐藏状态映射回网络性能良好的数据流形部分。我们的主要贡献是证明强化这些隐藏状态可以提高深度网络的鲁棒性，我们的实验（i）证明了在黑盒和白盒威胁模型中对标准对抗性攻击的鲁棒性有所提高;（ii）表明我们的改进主要不是由于梯度掩蔽问题，以及（iii）显示了在隐藏层而不是输入空间中进行这种强化的优势。
2018-04-07 cs.LG stat.ML
Disentangling Adversarial Robustness and Generalization
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Tübingen（图宾根大学）
获得对对抗性示例具有鲁棒性并具有良好泛化能力的深度网络是一个开放性问题。最近的一个假设甚至指出，稳健和准确的模型都是不可能的，即，对抗鲁棒性和泛化是相互冲突的目标。为了澄清鲁棒性和泛化之间的关系，我们假设一个底层的，低维的数据流形，并表明：1。经常对抗的例子离开流形; 2.对抗性的例子约束到流形，即，流形上对抗的例子，存在; 3.流形上对抗性示例是泛化误差，并且流形上对抗性训练促进泛化; 4.规则的鲁棒性和通用性不一定是相互矛盾的目标。这些假设意味着稳健和准确的模型都是可能的。然而，不同的模型（架构，培训策略等）可以表现出不同的鲁棒性和泛化特性。为了证实我们的主张，我们提出了广泛的实验合成数据（与已知的流形），以及EMNIST，时尚MNIST和CelebA。
2019-04-10 cs.CR cs.CV cs.LG
Which Models have Perceptually-Aligned Gradients? An Explanation via Off-Manifold Robustness
Harvard University（哈佛大学）；University of Tübingen（蒂宾根大学）
该研究针对鲁棒视觉模型的感知对齐梯度机制不明的问题，通过流形外鲁棒性首次给出理论解释，验证了多种鲁棒训练模型的符合度，并划分出三种影响感知对齐与准确率的鲁棒性状态。
2024-03-11 cs.CV cs.LG
Design a Metric Robust to Complicated High Dimensional Noise for Efficient Manifold Denoising
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
提出基于landmark diffusion和optimal shrinkage的高效流形去噪器，适用于复杂高维噪声与紧致流形设定，并在模拟和真实数据集上与现有算法进行系统比较。
2024-01-08 cs.LG stat.AP stat.ML
Adversarial Vulnerability as a Consequence of On-Manifold Inseparibility
Purdue University（普渡大学）；Michigan State University（密歇根州立大学）
该研究揭示对抗脆弱性源于流形上不可分性与一阶优化器病态导致的流形外方向收敛差，提出用二阶方法提升鲁棒性，实验验证了效果并指出批归一化会阻碍该增益。
2024-10-09 cs.LG stat.ML
Unsupervised Co-Learning on $\mathcal{G}$-Manifolds Across Irreducible Representations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Chicago（芝加哥大学）
我们介绍了一种新的共同学习的流形自然配备了一个组的行动，最近的发展动态学习流形从附加的纤维束结构的动机。我们利用表示理论的机制，规范关联多个独立的向量束在一个共同的基础流形，这提供了多个视图的几何基础流形。这些纤维束之间的一致性为通过在变换群的不可约表示之间人为创建的冗余来执行无监督流形共同学习提供了一个共同的基础。我们证明了所提出的算法范例，通过大幅提高强大的最近邻搜索和社区发现旋转不变的冷冻电子显微镜图像分析的有效性。
2019-12-09 cs.LG stat.ML
SSMBA: Self-Supervised Manifold Based Data Augmentation for Improving Out-of-Domain Robustness
University of Toronto（多伦多大学）；Vector Institute；New York University（纽约大学）
在训练域上表现良好的模型通常无法推广到域外（OOD）示例。数据增强是一种常用的防止过拟合和提高面向对象方法泛化能力的方法。然而，在自然语言中，很难生成停留在底层数据流形上的新示例。我们介绍SMBA，一个数据增强方法，用于生成合成的训练样本，通过使用一对腐败和重建功能随机移动的数据流形。我们研究了SMBA在自然语言领域的应用，利用流形假设来重建带掩码的语言模型的损坏文本。在3个任务和9个数据集的鲁棒性基准测试实验中，SMBA在域内和OOD数据上始终优于现有的数据增强方法和基线模型，在OOD Amazon评论上获得了0.8%的准确率，在OOD MNLI上获得了1.8%的准确率，在域内IWSLT 14德语-英语上获得了1.4 BLEU。
2020-10-04 cs.CL cs.LG stat.ML
Multiple Manifold Clustering Using Curvature Constrained Path
University of California, San Diego（加州大学圣迭戈分校）
多个曲面的聚类问题是一项具有挑战性的任务，特别是当曲面相交时。Isomap等可用方法无法捕捉交叉点附近表面的真实形状，并导致不正确的聚类。Isomap算法使用点之间的最短路径。最短路径算法的主要缺点是缺乏曲率约束，导致不同表面上的点之间存在路径。在本文中，我们通过对Isomap中使用的最短路径算法施加曲率约束来解决这个问题。该算法随机选择几个界标节点，然后检查每个界标节点和邻域图中的每个其他节点之间是否存在曲率约束路径。我们为每个点构建一个二进制特征向量，其中每个条目表示该点与特定地标的连接。然后，二进制特征向量可以作为传统的聚类算法，如层次聚类的输入。我们将我们的方法应用于模拟和一些真实的数据集，并显示，它执行最好的方法，如K-流形和谱多流形聚类。
2018-12-04 cs.LG stat.ML
S-Isomap++: Multi Manifold Learning from Streaming Data
State University of New York at Buffalo（纽约州立大学布法罗分校）
基于流形学习的方法已被广泛用于非线性降维（NLDR）。然而，在许多实际设置中，由于所涉及的高计算复杂性，处理流数据的需要对于这样的方法是一个挑战。此外，大多数方法都是在假设输入数据是从嵌入在高维空间中的单个流形中采样的情况下操作的。我们提出了一种方法，当观察到的数据是从多个流形或不规则采样从一个单一的流形流NLDR。我们表明，现有的NLDR方法，如Isomap，在这种情况下失败，主要是因为它们依赖于光滑性和连续性的基础流形，这是违反了本文探讨的情况。然而，所提出的算法能够在存在多个且可能相交的流形的情况下有效地学习，同时允许输入数据作为大量流到达。
2018-03-17 cs.LG stat.ML
Understanding Adversarial Robustness Against On-manifold Adversarial Examples
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Tencent AI Lab（腾讯人工智能实验室）
深度神经网络（DNN）被证明容易受到对抗性示例的影响。经过良好训练的模型可以通过向原始数据添加小扰动来轻松攻击。对抗样本存在的假设之一是离流形假设：对抗样本位于数据流形之外。然而，最近的研究表明，流形上的对抗性例子也存在。在本文中，我们重新审视了非流形假设，并想研究一个问题：在什么水平上的神经网络对对抗攻击的性能差，由于流形上的对抗性的例子？由于真实的数据流形在实践中是未知的，我们考虑真实和合成数据集上的两个近似流形对抗示例。在真实的数据集上，我们证明了在标准训练和对抗训练模型上，流形上的对抗示例比流形外的对抗示例具有更高的攻击率。在合成数据集上，理论上，我们证明了流形上的对抗性示例是强大的，但对抗性训练专注于流形外方向，忽略了流形上的对抗性示例。此外，我们提供的分析表明，从理论上推导出的属性也可以在实践中观察到。我们的分析表明，流形上的对抗性样本是重要的，我们应该更多地关注流形上的对抗性样本来训练鲁棒模型。
2022-10-02 cs.CR cs.LG
Data Augmentation with Manifold Exploring Geometric Transformations for Increased Performance and Robustness
Technische Universität München（慕尼黑工业大学）；Ludwig-Maximilian-University, Munich（慕尼黑大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Computer Aided Medical Procedures, Technische Universität München（慕尼黑工业大学计算机辅助医疗程序（此处按要求取到大学级别，原机构名中的部门名称保留以明确归属））；Department of Child and Adolescent Psychiatry, Psychosomatic and Psychotherapy, Ludwig-Maximilian-University, Munich（慕尼黑大学儿童青少年精神病学、心身医学与心理治疗系（此处按要求取到大学级别，原机构名中的部门名称保留以明确归属））；Computer Aided Medical Procedures, Johns Hopkins University（约翰斯·霍普金斯大学计算机辅助医疗程序（此处按要求取到大学级别，原机构名中的部门名称保留以明确归属））
在本文中，我们提出了一种新的增强技术，不仅提高了深度神经网络在干净测试数据上的性能，而且还显着提高了它们对仿射和投影随机变换的鲁棒性。受ManiFool的启发，增强是通过线搜索流形探索方法执行的，该方法学习导致图像错误分类的仿射几何变换，同时确保它与训练数据保持在同一个流形上。这种增强方法使用位于两类之间流形边界上的图像填充任何训练数据集，并最大化网络在训练期间暴露的方差。我们的方法进行了彻底的评估，从有限的数据细粒度的皮肤病变分类的挑战性任务，乳腺肿瘤的乳房X线照片分类。与传统的增强方法相比，与生成对抗网络合成的图像相比，我们的方法不仅达到了最先进的性能，而且显着提高了网络的鲁棒性。
2019-01-14 cs.LG eess.IV stat.ML
Charting the Right Manifold: Manifold Mixup for Few-shot Learning
Adobe（奥多比）；IIT Hyderabad（印度理工学院海得拉巴分校）
少样本学习算法的目标是学习模型参数，能够适应看不见的类的帮助下，只有少数标记的例子。最近的正则化技术- Manifold Mixup专注于学习通用表示，对数据分布的微小变化具有鲁棒性。由于少样本学习的目标与鲁棒的表示学习密切相关，因此我们在此问题设置中研究流形混淆。自监督学习是另一种仅使用数据的固有结构来学习语义上有意义的特征的技术。本文研究了使用自监督和正则化技术学习相关特征流形对Few-Shot任务的作用。我们观察到，通过自监督技术丰富的特征流形的正则化，与流形混合显着提高了少样本学习性能。我们表明，我们提出的方法S2 M2在标准少样本学习数据集（如CIFAR-FS，CUB，mini-ImageNet和tiered-ImageNet）上的准确率比目前最先进的准确率高出3- 8%。通过大量的实验，我们表明，使用我们的方法学习的功能推广到复杂的Few-Shot评估任务，跨领域的情况下，对数据分布的轻微变化是强大的。
2020-01-18 cs.CV cs.LG stat.ML
LAAT: Locally Aligned Ant Technique for discovering multiple faint low dimensional structures of varying density
University of Groningen（格罗宁根大学）；Universidad Técnica Federico Santa María（费德里科·圣玛丽亚理工大学）；Korea Astronomy and Space Science Institute（韩国天文与空间科学研究所）；Ghent University（根特大学）；University of Birmingham（伯明翰大学）
简化和聚类通常被用作许多复杂机器学习任务的预备步骤。噪声和异常值的存在会降低这种预处理的性能，从而极大地损害后续分析。在流形学习中，一些研究表明，当密度大大高于噪声所表现出的密度时，可以去除背景噪声或靠近结构的噪声。然而，在许多应用中，包括天文数据集，密度随着隐藏在噪声背景中的流形而变化。基于蚁群算法的思想，提出了一种新的噪声背景下的流形提取方法。与现有的随机游走解决方案相比，我们的技术捕获了与流形的主要方向局部对齐的点。此外，我们的经验表明，蚂蚁信息素的生物启发配方加强了这种行为，使其能够恢复嵌入在非常嘈杂的数据云中的多个流形。在几个合成和真实的数据集，包括一个N-体模拟的宇宙体积的算法性能相比，国家的最先进的方法，用于降低噪声的歧管检测和聚类证明。
2022-06-12 cs.LG stat.ML
RIE-SenseNet: Riemannian Manifold Embedding of Multi-Source Industrial Sensor Signals for Robust Pattern Recognition
Shandong Jianzhu University（山东建筑大学）；Southern University of Science and Technology（南方科技大学）；Fuxi AI Lab（复羲人工智能实验室）；Zhejiang Lab（浙江实验室）
RIE-SenseNet 提出将多源工业传感器信号嵌入黎曼流形，结合双曲几何序列建模与流形数据增强，在模式识别中取得超过90%的F1分数，显著优于CNN和Transformer基线。
2025-05-09 cs.LG
Robust Geodesic Regression
Seoul National University（首尔大学）
研究了黎曼流形上数据的稳健回归问题。测地线回归是将线性回归推广到具有流形值因变量和一个或多个实值自变量的设置。现有的测地线回归工作使用平方和误差来找到解决方案，但在经典的欧几里德的情况下，最小二乘法是高度敏感的离群值。在本文中，我们使用M-型估计，包括$L_1$，Huber和Tukey双权估计，进行稳健测地回归，并描述如何计算后两者的调整参数。我们还表明，在紧凑的对称空间，所有的M型估计是极大似然估计，并认为整体的优越性的$L_1$估计的$L_2$和Huber估计的高维流形和Tukey biwight估计紧凑的高维流形。数值例子的结果，包括真实的神经影像数据的分析，证明了所提出的方法有前途的经验性质。
2022-01-25 cs.LG stat.ME stat.ML
Hard-label Manifolds: Unexpected Advantages of Query Efficiency for Finding On-manifold Adversarial Examples
Florida Institute for Cyber Security (FICS) Research, University of Florida（佛罗里达大学）；IBM Research（IBM研究院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Air Force Research Laboratory（空军研究实验室）
设计对对抗性样本鲁棒的深度网络仍然是一个悬而未决的问题。同样，最近对图像分类模型的零阶硬标签攻击已经显示出与其一阶梯度级替代方案相当的性能。最近在梯度水平设置中表明，常规对抗性示例离开数据流形，而它们在流形上的对应物实际上是泛化误差。在本文中，我们认为，查询效率在零阶设置连接到对手的遍历通过数据流形。为了解释这种行为，我们提出了一个信息理论的论点的基础上嘈杂的流形距离预言机，通过对手的梯度估计泄漏流形信息。通过流形梯度互信息的数值实验，我们表明这种行为作为一个函数的有效问题的维数和训练点的数量。在现实世界的数据集和使用降维的多个零阶攻击中，我们观察到相同的普遍行为，以产生更接近数据流形的样本。这导致歧管距离测量值减少了两倍，而不管模型的鲁棒性如何。我们的研究结果表明，考虑流形梯度互信息，从而为未来更好的鲁棒模型设计提供信息，并避免敏感数据流形的泄漏。
2021-03-04 cs.LG
Riemannian Change Point Detection on Manifolds with Robust Centroid Estimation
Universit\'e de Lorraine, CNRS, CRAN, France Conservatoire National des Arts et M\'etiers, CEDRIC, France Universit\'e C\ ote d'Azur, CNRS, OCA, France
针对流时间序列非参数变点检测问题，提出基于M估计理论的流形鲁棒质心方法，通过比较Karcher均值与Huber函数质心定义检验统计量，结合随机黎曼优化算法，在模拟和真实数据上验证了其优越性能。
2025-08-25 cs.LG eess.SP
Robust Manifold Nonnegative Tucker Factorization for Tensor Data Representation
Northwestern Polytechnical University（西北工业大学）
非负Tucker因子分解（NTF）最小化原始数据与其低秩近似之间的欧氏距离或Kullback-Leibler散度，而这种低秩近似经常遭受严重的破坏或离群值，并且忽略了数据的流形结构。特别是，NTF遭受旋转模糊性，其解决方案与旋转变换和不旋转变换是同样的意义上产生的最大似然。在本文中，我们提出了三个鲁棒流形NTF算法处理离群值，结合结构知识的离群值。他们首先应用半二次优化算法将问题转化为一般的加权NTF，其中权重受离群值的影响。然后，我们引入了相关熵诱导度量，Huber函数和Cauchy函数的权重，分别处理野值。最后，我们引入了流形正则化来克服NTF的旋转模糊性。我们已经比较了所提出的方法与一些代表性的参考文献，涵盖了各种现实世界的图像数据库上的NTF的主要分支。实验结果表明，该方法的有效性下的两个评价指标（准确性和nmi）。
2022-11-08 cs.AI cs.LG
Approximate Manifold Defense Against Multiple Adversarial Perturbations
National University of Singapore（新加坡国立大学）
针对对抗攻击的现有防御通常针对特定的扰动类型进行定制。使用对抗性训练来防御多种类型的扰动，需要在每个训练步骤中使用来自不同扰动类型的昂贵的对抗性示例。相比之下，基于流形的防御采用生成网络将输入样本投影到干净的数据流形上。这种方法消除了生成昂贵的对抗性示例的需要，同时实现了对多种扰动类型的鲁棒性。然而，这种方法的成功依赖于生成网络是否能够捕获完整的干净数据流形，这对于复杂的输入域仍然是一个悬而未决的问题。在这项工作中，我们设计了一个近似流形防御机制，称为RBF-CNN，用于图像分类。我们使用RBF层来学习小图像块的密度，而不是捕获完整的数据流形。RBF-CNN还利用重建层来减轻任何微小的对抗性扰动。此外，将我们提出的重建过程用于训练提高了我们的RBF-CNN模型的对抗鲁棒性。在MNIST和CIFAR-10数据集上的实验结果表明，RBF-CNN对多种扰动具有鲁棒性，而无需昂贵的对抗训练。
2020-10-15 cs.CR cs.CV cs.LG
Generalized Robust Adaptive-Bandwidth Multi-View Manifold Learning in High Dimensions with Noise
Department of Statistics, University of California, Davis（加州大学戴维斯分校统计系）；Amazon（亚马逊）；Courant Institute of Mathematical Sciences, New York University, New York, 10012, NY, USA（纽约大学Courant数学科学研究所）
本文提出GRAB-MDM框架，通过视图依赖的自适应带宽策略，在高维噪声环境下实现稳健的多视图流形学习。
2026-02-11 cs.LG math.ST stat.ML
Deep Networks and the Multiple Manifold Problem
Columbia University（哥伦比亚大学）；Harvard University（哈佛大学）
我们研究了多流形问题，这是一个基于机器视觉应用的二进制分类任务，其中训练了一个深度全连接神经网络来分离单位球面的两个低维子流形。我们提供了一个分析的一维情况下，证明了一个简单的流形配置，当网络深度$L$是大的相对于某些几何和统计属性的数据，网络宽度$n$增长作为一个足够大的多项式在$L$，和i.i.d.流形样本在$L$中是多项式的，随机初始化梯度下降快速学习以高概率完美地分类两个流形。我们的分析在实际模型问题的背景下展示了深度和宽度的具体好处：深度作为拟合资源，较大的深度对应于更平滑的网络，可以更容易地分离类流形，宽度作为统计资源，使随机初始化的网络及其梯度集中。讨论的中心是神经切核及其在训练过参数化神经网络的非渐近分析中的作用;对于这篇文献，我们贡献了深度全连接网络的神经切核的本质上最优的集中率，需要宽度$n \gtrsim L\,\mathrm{poly}(d_0)$以在单位球$\mathbb{S}^{n_0-1}$的$d_0$维子流形上实现初始核的均匀集中，和一个非渐近框架，用于建立在NTK制度与结构化数据训练的网络泛化。证明大量使用鞅集中度来最佳地处理初始随机网络各层之间的统计依赖性。这种方法应该是用于建立其他网络架构的类似结果。
2021-05-06 cs.LG math.OC stat.ML
Multi-view Vector-valued Manifold Regularization for Multi-label Image Classification
Peking University（北京大学）；University of Technology, Sydney（悉尼科技大学）；Nanyang Technological University（南洋理工大学）
在计算机视觉中，用于分类的图像数据集自然与多个标签相关联，并由多个视图组成，因为每个图像可能包含多个对象（例如行人，自行车和树木），并通过多个视觉特征（例如颜色，纹理和形状）进行适当表征。当前可用的工具忽略标签关系或视图互补。受向量值函数成功构造矩阵值核来探索输出空间中的多标签结构的启发，我们引入多视图向量值流形正则化（MV $\mathbf{^3}$ MR）来集成多个特征。MV $\mathbf{^3}$ MR利用不同特征的互补性，在流形正则化的主题下发现不同特征所共有的紧支撑的内在局部几何。我们在两个具有挑战性但流行的数据集PASCAL VOC' 07（VOC）和MIR Flickr（MIR）上进行了广泛的实验，并验证了所提出的MV $\mathbf{^3}$ MR用于图像分类的有效性。
2019-04-08 cs.CV cs.LG stat.ML
Retrieval-Augmented Convolutional Neural Networks for Improved Robustness against Adversarial Examples
New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究）；CIFAR（加拿大高级研究所（CIFAR））
我们提出了一个检索增强卷积网络，并建议训练它与本地混合，最近提出的混合算法的一种新的变体。所提出的结合卷积网络和现成检索引擎的混合架构旨在减轻非流形对抗性示例的不利影响，而所提出的局部混淆通过明确鼓励分类器在数据流形上局部线性行为来解决流形上的问题。我们对所提出的方法在三个数据集-CIFAR-10，SVHN和ImageNet-上针对五种现成的对抗攻击的评估表明，与香草卷积网络相比，鲁棒性有所提高。
2018-02-26 cs.LG
Robust Inference of Manifold Density and Geometry by Doubly Stochastic Scaling
Yale University（耶鲁大学）；Duke University（杜克大学）
本文研究高斯核的双重随机归一化，在高维异方差噪声下建立其集中性误差界，并据此提出鲁棒密度估计、噪声与信号幅度估计及图拉普拉斯归一化方法，在模拟和单细胞RNA测序数据中验证了其鲁棒性。
2023-07-11 cs.LG math.ST stat.ML
MimicGAN: Robust Projection onto Image Manifolds with Corruption Mimicking
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
在过去的几年里，生成对抗网络（GANs）极大地提高了我们表示和参数化高维非线性图像流形的能力。因此，它们已被广泛应用于各种应用，从具有挑战性的逆问题（如图像完成）到异常检测和对抗性防御等问题。在许多这些应用程序中反复出现的主题是将图像观察投影到生成器推断的流形上的概念。在这种情况下，投影梯度下降（PGD）是最流行的方法，它基本上优化了一个潜在的向量，最大限度地减少生成的图像和给定的观察之间的差异。然而，PGD是一种脆弱的优化技术，当观察被破坏或甚至被少量扰动时，它无法识别正确的投影（或潜在向量）。这种损坏在现实世界中很常见，例如野外图像带有未知的作物，旋转，丢失像素或其他类型的非线性分布偏移，这些偏移会破坏当前的编码方法，使下游应用程序无法使用。为了解决这个问题，我们提出了腐败模仿-一个新的强大的投影技术，利用代理网络近似未知的腐败直接在测试时，而不需要额外的监督或数据增强。所提出的方法在各种腐败下比PGD和其他竞争方法更鲁棒，从而使GANs能够在现实世界的应用中更有效地使用。更重要的是，我们证明了我们的方法在几个基于GAN的应用程序中产生了最先进的性能-异常检测，领域自适应和对抗性防御，这些都受益于准确的投影。
2020-04-30 cs.CV cs.LG stat.ML
CMP: Robust Whole-Body Tracking for Loco-Manipulation via Competence Manifold Projection
本文提出CMP方法，通过能力流形投影提升移动操纵中对抗分布外输入的鲁棒性，实验显示在典型OoD场景中生存率提升达10倍，且跟踪精度损失低于10%。
2026-10-14 cs.AI cs.LG cs.RO
Orthogonal Uncertainty Representation of Data Manifold for Robust Long-Tailed Learning
Xidian University（西安电子科技大学）
针对长尾学习中模型鲁棒性存在长尾现象的问题，提出特征嵌入的正交不确定性表示（OUR）及端到端训练策略，无需额外数据生成，显著提升鲁棒性并兼容其他方法。
2023-10-16 cs.AI cs.LG
Bi-stochastically normalized graph Laplacian: convergence to manifold Laplacian and robustness to outlier noise
Duke University（杜克大学）；Yale University（耶鲁大学）
本文证明双随机归一化图拉普拉斯算子收敛于流形拉普拉斯算子，给出速率，并证明其对离群噪声的鲁棒性，提出近似归一化方法保持一致性。
2024-07-17 cs.LG math.ST stat.ML
The Robust Manifold Defense: Adversarial Training using Generative Models
UT Austin（德克萨斯大学奥斯汀分校）；MIT EECS（麻省理工学院电子工程与计算机科学系）
我们提出了一种新的攻击类型，为图像分类器寻找对抗性的例子。我们的方法利用spatial，即深度神经网络，其输入空间是低维的，其输出范围近似于感兴趣的图像集。生成器可以是GANs的生成器或VAE的解码器。我们攻击的关键思想是搜索潜在代码对，以找到生成具有不同分类器输出的附近图像的代码对。我们认为，我们的攻击比搜索真实图像的扰动更强。此外，我们证明了我们更强的攻击可以用于将Defense-GAN的准确率降低到3%，解决了Athalye等人的著名论文中的一个公开问题。我们将我们的攻击与正常的对抗训练相结合，以获得最强大的已知MNIST分类器，显着提高了对抗PGD攻击的最新技术水平。我们的公式涉及到解决一个最小-最大问题，其中最小玩家设置分类器的参数，最大玩家运行我们的攻击，因此正在搜索搜索引擎的{ \em低维}输入空间中的对抗性示例。所有代码和型号均可在\url{https://github.com/ajiljalal/manifold-defense.git}上获得
2019-07-10 cs.CR cs.CV cs.LG
Topological Singularity Detection at Multiple Scales
Helmholtz Munich（亥姆霍兹慕尼黑中心）；Technical University of Munich（慕尼黑工业大学）
针对真实数据存在非流形奇点易导致机器学习出错的问题，提出一种多尺度拓扑框架，通过量化局部本征维与生成欧几里得性得分检测奇点，可捕捉图像的奇异结构与局部几何复杂度。
2023-06-14 cs.AI cs.LG math.AT
Averaging Stochastic Gradient Descent on Riemannian Manifolds
University of California Berkeley（加州大学伯克利分校）；INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们考虑定义在黎曼流形$\mathcal{M}$上的函数的极小化问题，该问题只能通过其梯度的无偏估计来获得。我们开发了一个几何框架来转换一个序列的缓慢收敛的迭代产生的随机梯度下降（SGD）$\mathcal{M}$的一个强大的和快速的$O(1/n)$收敛速度的平均序列。然后，我们提出了一个应用程序，我们的框架，大地强凸（可能欧几里德非凸）的问题。最后，我们演示了这些想法如何适用于流$k$ -PCA的情况下，我们展示了如何加速缓慢的随机功率方法（不需要本征间隙的知识）到一个强大的算法，实现最佳的收敛速度。
2018-06-08 cs.LG math.OC stat.ML
MPNet: A Robust and Efficient Manifold Pooling Network for Multi-Rhythm EEG Signal Decoding
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Guangxi Normal University（广西师范大学）
MPNet通过流形池化层有效降低计算成本，实现多节奏EEG信号的高效解码，在两个公开数据集上达到最佳性能，运行速度比传统模型快10倍。
2026-04-11 cs.HC cs.LG eess.SP
FlatManifold: Robust Continual Learning under Severe Label Noise and Domain Shifts via Intrinsic Manifold Flattening
Department of Mechanical Engineering, Faculty of Engineering, University of Fukui（日本福井大学工学部机械工学科）
针对非平稳流环境下强未校准标签噪声与非线性域偏移共存的挑战，提出FlatManifold框架，通过流形扁平化实现鲁棒持续学习，大幅优于基线方法。
2026-07-07 cs.LG
ARMOR: Manifold-Oriented Training for Adversarially Robust Aerial Object Detection under Data Scarcity
Georgia Institute of Technology（佐治亚理工学院）；Khalifa University（哈利法大学）；Technology Innovation Institute（技术创新研究院）
ARMOR 是一种面向流形的新型防御方法，通过掩码图像背景、在目标上注入随机补丁，在数据稀缺时提升航拍目标检测器的对抗鲁棒性，维持强干净性能且优于现有最优防御。
2026-09-09 cs.CR cs.CV cs.LG
Learning Robust Features with Incremental Auto-Encoders
Institute of Artificial Intelligence, Zhejiang University（浙江大学人工智能研究所）
自动学习特征，特别是鲁棒特征，在机器学习界引起了广泛的关注。在本文中，我们提出了一种新的方法来学习非线性鲁棒特征，利用数据流形结构。我们首先遵循行业常用的技巧，即通过人为损坏的数据学习鲁棒特征，这些数据是带有手动注入噪音的训练样本。遵循自动编码器的思想，我们首先假设特征应该包含大量信息，以便从其损坏的副本中很好地重建输入。然而，仅仅从其噪声副本中重建干净的输入可能会使特征空间中的数据流形具有噪声。为了解决这个问题，我们提出了一种新的方法，称为增量自动编码器，迭代去噪提取的功能。我们假设噪声流形结构是由扩散过程引起的。因此，我们逆转这个特定的扩散过程，以进一步收缩这个嘈杂的流形，这导致模型参数的增量优化。此外，我们表明这些学习的非线性特征可以堆叠成一个层次结构的功能。在真实数据集上的实验结果表明，该方法可以取得更好的分类性能。
2017-05-26 cs.CV cs.LG
LapDDPM: Spectral Perturbation Diffusion for Robust Single-Cell Manifold Generation
Department of Computer Science, University of Geneva, Geneva, Switzerland（日内瓦大学计算机科学系）
针对scRNA-seq数据生成难、鲁棒性不足的问题，提出融合图表示与分数扩散模型、结合谱对抗扰动的LapDDPM，在多数据集上实现高保真的细胞类型特异性样本生成，为下游生物应用提供新工具。
2026-09-28 cs.AI cs.LG q-bio.BM
Combining Wasserstein-1 and Wasserstein-2 proximals: robust manifold learning via well-posed generative flows
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文通过结合Wasserstein-1与Wasserstein-2近端算子正则化f-散度，构建适定的连续时间生成流，以稳健学习低维流形上的分布，并通过对抗训练实现高维图像生成。
2024-07-16 cs.LG stat.CO stat.ME
Manifold embedding data-driven mechanics
Columbia University（哥伦比亚大学）
本文介绍了一种新的数据驱动方法，该方法利用可逆神经网络生成的流形嵌入来提高有限数据下无本构律模拟的鲁棒性、效率和准确性。我们通过训练一个深度神经网络来实现这一点，将数据从本构流形全局映射到一个低维的欧几里得向量空间。因此，我们建立了映射的欧几里得向量空间的范数和流形的度量之间的关系，并导致一个物理上更一致的距离概念的材料数据。这种处理反过来使我们能够绕过昂贵的组合优化，这可能会显着加快无模型模拟时，数据是丰富的，高维度。同时，嵌入的学习也提高了算法在数据稀疏或参数空间分布不均匀时的鲁棒性。数值实验证明和测量的流形嵌入技术在不同情况下的性能。从所提出的方法和那些通过经典的能量范数得到的结果进行了比较。
2021-12-18 cs.LG
Manifold Diffusion Fields
Apple（苹果公司）
本文提出 Manifold Diffusion Fields（MDF），利用 Laplace-Beltrami 特征函数构建内蕴坐标，在非欧几里得流形上学习连续函数的扩散模型，并在多类科学任务中提升生成多样性与保真度。
2024-01-20 cs.LG
Robust Graph Condensation via Classification Complexity Mitigation
SKLCCSE, School of Computer Science and Engineering, Beihang University（北京航空航天大学信息与电子技术学院）；Laboratory for Foundations of Computer Science, University of Edinburgh（爱丁堡大学计算机科学基础实验室）；Key Lab of Education Blockchain and Intelligent Technology, Guangxi Normal University（广西师范大学教育区块链与智能技术重点实验室）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学光荣人工智能学院）；Department of Computer Science, University of Illinois, Chicago（伊利诺伊大学芝加哥分校计算机科学系）
本文提出MRGC框架，通过引入流形约束模块，提升图压缩在对抗攻击下的鲁棒性。
2025-11-22 cs.AI cs.LG
Conformal Generative Modeling on Triangulated Surfaces
California Institute of Technology（加州理工学院）
我们提出了共形生成建模，生成建模的框架近似离散三角形网格的2D表面。我们的方法利用离散共形几何的进步，开发一个简单的流形（如球体）的源三角形网格到目标三角形网格的映射。在考虑了网格离散化引起的误差之后，我们可以使用为简单流形开发的任何生成式建模方法作为即插即用的子例程。我们在多个复杂流形和多个生成式建模子程序上展示了我们的框架，我们表明我们的方法可以从样本中学习网格上分布的良好估计，并且还可以同时从同一底层流形的多个不同网格中学习。
2023-03-17 cs.CG cs.LG
FlowPath: Learning Data-Driven Manifolds with Invertible Flows for Robust Irregularly-sampled Time Series Classification
Medical & Imaging Informatics (MII) Group, University of California, Los Angeles (UCLA), CA, USA（加州大学洛杉矶分校医学与影像信息学组）；Department of Industrial Engineering, Ulsan National Institute of Science and Technology (UNIST), Republic of Korea（韩国蔚山科学技术院工业工程系）；Artificial Intelligence Graduate School, Ulsan National Institute of Science and Technology (UNIST), Republic of Korea（韩国蔚山科学技术院人工智能研究生院）
FlowPath通过可逆神经流学习控制路径的几何结构，提升不规则采样时间序列分类的鲁棒性，实验表明其在18个基准数据集和实际案例中均优于传统方法。
2026-07-02 cs.AI cs.LG
Generalization of Graph Neural Networks is Robust to Model Mismatch
University of Pennsylvania（宾夕法尼亚大学）；Massachusetts Institute of Technology（麻省理工学院）
本文分析几何图GNN在训练与测试流形模型失配下的泛化界，证明其对节点特征和边扰动具有鲁棒性，并揭示节点数、流形维度、失配程度及高频分辨能力的影响。
2024-09-10 cs.LG eess.SP
MIND: Decoupling Model-Induced Label Noise via Latent Manifold Disentanglement
State Key Laboratory of Novel Software Technology, Nanjing University, Nanjing 210023, China（新型软件技术国家重点实验室，南京大学，南京210023，中国）
MIND通过潜在流形解耦技术解决模型诱导标签噪声问题，通过动态投影样本到潜在结构聚类，提升噪声识别能力，验证了其在复杂基准测试中的优越性。
2026-05-15 cs.CV cs.LG
When and how can inexact generative models still sample from the data manifold?
The University of Chicago（芝加哥大学）
本文研究动态生成模型中生成样本沿数据分布支撑集移动而不偏离的支撑集鲁棒性现象，通过动力系统方法证明 top Lyapunov vectors 与数据流形边界切空间对齐是导致该鲁棒性的充分条件，且适用于多种生成模型。
2025-08-11 cs.LG math.DS math.PR
