Disentangled Representation Learning with Transmitted Information Bottleneck
State Grid Shaanxi Electric Power Company Ltd.（国家电网陕西省电力公司）；State Grid Corporation of China（国家电网有限公司）；University of Science and Technology of China（中国科学技术大学）
针对解耦表示学习中压缩导致性能下降、解耦约束优化复杂的问题，提出基于传输信息瓶颈的DisTIB目标函数，通过变分推断实现可优化估计，理论证明其最优解耦能力，实验验证了其在下游任务上的有效性。
2024-08-14 cs.CV cs.LG
Multi-Rank Sparse and Functional PCA: Manifold Optimization and Iterative Deflation Techniques
Rice University（莱斯大学）
我们考虑的问题，估计多个主成分使用最近提出的稀疏和功能主成分分析（SFPCA）估计。首先，我们提出了一个扩展的SFPCA估计几个主成分同时使用流形优化技术来执行正交约束。虽然有效，这种方法是计算负担，所以我们也考虑迭代放气的方法，利用现有的快速算法的秩一SFPCA。我们表明，替代紧缩方案可以更有效地从数据中提取信号，从而提高后续组件的估计。最后，我们比较了我们的流形优化和紧缩技术的性能在正交性不成立的情况下，发现它们仍然导致显着提高性能。
2019-10-10 cs.LG stat.CO stat.ML
Manopt, a Matlab toolbox for optimization on manifolds
Université catholique de Louvain（鲁汶天主教大学）；Université de Liège（列日大学）
流形上的优化是非线性优化中发展迅速的一个分支。它的重点是问题的光滑几何的搜索空间可以利用设计有效的数值算法。特别是，流形上的优化非常适合处理秩和正交性约束。这种结构化约束在机器学习应用中普遍存在，包括低秩矩阵完备化、传感器网络定位、摄像机网络配准、独立分量分析、度量学习、降维等。Manopt工具箱（可在www.manopt.org上获得）是一个用户友好的文档化软件，致力于简化最先进的黎曼优化算法的实验。我们的目标特别是在我们的领域外的从业人员。
2013-08-23 cs.LG cs.MS math.OC
FlexCausal: Flexible Causal Disentanglement via Structural Flow Priors and Manifold-Aware Interventions
Southeast University, Jiangsu, China（东南大学）
FlexCausal 通过结构流先验和 manifold 意识干预，实现更灵活的因果解构表示学习，提升生成质量与因果结构对应精度。
2026-01-29 cs.LG
MANGO: Learning Disentangled Image Transformation Manifolds with Grouped Operators
Georgia Institute of Technology（佐治亚理工学院）
针对现有流形自编码器学习图像变换时算子不解耦且训练成本高的问题，提出MANGO方法，通过分组算子在不同潜在子空间学习解耦变换，支持自定义变换类型，实现组合变换并带来100倍加速。
2025-04-20 cs.CV cs.LG eess.IV
Robust PCA by Manifold Optimization
鲁棒PCA是一种广泛使用的统计过程，用于恢复具有严重损坏的观测值的底层低秩矩阵。本文将鲁棒PCA问题视为低秩矩阵流形上的非凸优化问题，提出了两种基于流形优化的鲁棒PCA算法。结果表明，与一个适当的设计初始化，所提出的算法是保证收敛到底层的低秩矩阵线性。与基于低秩矩阵Burer-Monterio分解的算法相比，该算法在理论上降低了对低秩矩阵条件数的依赖性.仿真和实际数据的例子证实了我们的方法的竞争力。
2017-09-01 stat.CO stat.ML
Reducing Class-wise Confusion for Incremental Learning with Disentangled Manifolds
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Haihe Laboratory of Information Technology Application Innovation (Haihe Lab of ITAI)（海河信息技术应用创新实验室）
针对类别增量学习中因表征能力不足、特征重叠导致的类别混淆问题，提出带混淆感知潜在空间分离损失的CREATE分类器，通过学习各类别解耦流形提升性能，在多数据集上较最优方法最高提升5.41%。
2025-03-22 cs.LG
Learning disentangled representations via product manifold projection
Sapienza, University of Rome（罗马大学）；Università della Svizzera italiana（瑞士意大利语区大学）
我们提出了一种新的方法来解开一组给定的观测值的变化的生成因素。我们的方法建立在这样的想法，即（未知的）低维流形的数据空间的基础上，可以明确地建模为一个产品的子流形。这种解纠缠的定义产生了一种新的弱监督算法，用于恢复数据背后的未知解释因素。在训练时，我们的算法只需要对非独立同分布。其元素共享至少一个可能是多维的变异生成因子的数据样本。我们不需要了解这些变换的性质，也不对每个子空间的性质做任何限制性假设。我们的方法很容易实现，并可以成功地应用到不同类型的数据（从图像到3D表面）进行任意变换。除了标准的合成基准，我们展示了我们的方法在具有挑战性的现实世界中的应用，在那里我们与最先进的国家相比，毫不逊色。
2021-10-03 cs.LG
Accelerated Algorithms for Convex and Non-Convex Optimization on Manifolds
University of Notre Dame（圣母大学）；University of Rochester（罗切斯特大学）；University of Hong Kong（香港大学）；Duke University（杜克大学）
我们提出了一个通用的计划，解决凸和非凸流形上的优化问题。其中心思想是，通过增加一个倍数的平方收缩距离的目标函数的问题，我们“凸”的目标函数，并解决了一系列的凸子问题的优化过程。流形上优化的关键挑战之一是难以验证目标函数的复杂性，例如，目标函数是凸的还是非凸的，以及非凸的程度。我们所提出的算法适应目标函数的复杂程度。我们表明，当目标函数是凸的，该算法可证明收敛到最优，并导致加速收敛。当目标函数为非凸时，算法将收敛到一个稳定点。我们提出的方法统一的见解Nesterov的原始想法，加速梯度下降算法的最新发展，在欧几里德空间的优化算法。我们展示了我们的算法在几个流形优化任务上的实用性，例如估计球体上的内在和外在Fréchet均值以及应用于Netflix评级数据集的Grassmann流形的低秩矩阵分解。
2020-10-18 cs.LG math.OC stat.CO
Parameterized Temporal Extrapolation of PDEs via Disentangled Latent Dynamics Manifold Fusion
National Center for Applied Mathematics, Tianjin University（应用数学国家中心，天津大学）
本文提出DLDMF框架，通过解耦空间、时间和参数，利用连续时间潜在方法和动态流形融合机制，提升参数泛化和时间外推的稳定性与准确性。
2026-07-16 cs.LG
Analyzing Generative Models by Manifold Entropic Metrics
Heidelberg University（海德堡大学）
本文提出一组基于独立机制原理的信息论评估指标，用于客观量化生成模型表征的解耦程度，并在EMNIST上比较归一化流与β-VAE，揭示了不同架构和训练过程收敛到解耦表征的归纳偏置排序。
2025-04-07 cs.LG stat.ML
Towards Disentangled Preference Optimization Dynamics: Suppress the Loser, Preserve the Winner
South China University of Technology（南方科技大学）；Columbia University（哥伦比亚大学）；University of Waterloo（滑铁卢大学）
本文提出奖励校准方法，通过解耦带宽条件实现压制失败者并保留胜利者的优化动态，提升了下游性能。
2026-07-24 cs.AI cs.LG
A Revisit of Total Correlation in Disentangled Variational Auto-Encoder with Partial Disentanglement
Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
针对完全解耦VAE对潜在成分独立性约束过强的问题，提出PDisVAE框架，将总相关性推广为偏相关以支持分组独立，并在合成与真实数据上验证其灵活性和有效性。
2025-02-04 cs.LG q-bio.NC
Visual Disentangled Diffusion Autoencoders: Scalable Counterfactual Generation for Foundation Models
Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）
DiDAE通过解耦字典学习和扩散自编码器实现高效无梯度反事实生成，提升基础模型的鲁棒性和下游任务表现。
2026-01-29 cs.LG
Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring
University of Science and Technology of China (USTC)（中国科学技术大学）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）
属性倾斜阻碍了现有联邦学习（FL）框架在客户端之间的优化方向一致，从而导致性能下降和收敛不稳定。其核心问题在于：1）非因果的、仅局部有效的领域特定属性被无意地混入到全局聚集中。2)纠缠属性的单阶段优化不能同时满足两个冲突的目标，即，泛化和个性化。为了解决这些问题，我们提出了解纠缠联邦学习（DFL），将特定领域和交叉不变的属性分解为两个互补的分支，由提出的交替局部全局优化独立训练。重要的是，收敛性分析证明，FL系统可以稳定收敛，即使不完整的客户端模型参与全球聚合，这大大扩展了FL的应用范围。大量的实验验证，DFL促进FL更高的性能，更好的解释性，更快的收敛速度，相比SOTA FL方法在手动合成和现实的属性偏斜数据集。
2022-06-14 cs.AI cs.LG
Compositional Generalization via Forced Rendering of Disentangled Latents
Massachusetts Institute of Technology（麻省理工学院）；University of Cambridge（剑桥大学）；NTT Research（NTT研究）
本研究通过二维高斯凸起生成任务，发现标准生成模型在OOD区域因重新纠缠潜在表示而失败，而强制将解缠因子渲染到像素空间可实现高效稳健的组合泛化。
2025-05-24 cs.AI cs.LG stat.ML
C$^2$VAE: Gaussian Copula-based VAE Differing Disentangled from Coupled Representations with Contrastive Posterior
University of Technology Sydney（悉尼科技大学）；Macquarie University（麦考瑞大学）
提出自监督 C²VAE，通过 TC 分解、神经 Gaussian Copula 与对比后验分类器联合区分并强化解耦表示，同时改善训练稳定性和重建—表示权衡。
2023-09-23 cs.CV cs.LG stat.ML
Disentangled and Distilled Encoder for Out-of-Distribution Reasoning with Rademacher Guarantees
School of Computer Science and Engineering（计算机科学与工程学院）；Nanyang Technological University（南洋理工大学）；Energy Research Institute（能源研究研究所）
本文提出了解耦压缩编码器框架，通过约束优化保持解耦性，以减少模型大小用于资源受限设备的分布外推理。
2025-12-11 cs.LG
DiPO: Disentangled Perplexity Policy Optimization for Fine-grained Exploration-Exploitation Trade-Off
East China Normal University（东华师范大学）；Ant Group（蚂蚁集团）；Shanghai Innovation Institute（上海创新研究院）；Xiamen University（厦门大学）
本文提出 DiPO 方法，通过解耦 perplexity 空间来优化探索与利用的平衡，提升 LLM 在数学推理和函数调用任务中的性能。
2026-04-15 cs.LG
WeLa-VAE: Learning Alternative Disentangled Representations Using Weak Labels
Institute of Informatics and Telecommunications（信息与通信研究所）
在没有监督或归纳偏见的情况下学习分解的表征，往往会导致不可解释或不受欢迎的表征。另一方面，严格的监督要求详细了解真正的生成因素，这并不总是可能的。在本文中，我们认为弱监管的高层次的标签，不被认为是明确相关的地面真相因素。这样的标签虽然更容易获得，但也可以用作算法的归纳偏差，以学习更多可解释或替代的解纠缠表示。为此，我们提出了WeLa-VAE，一个变分推理框架，其中观测和标签共享相同的潜变量，这涉及到修改的变分下限和总相关正则化的最大化。我们的方法是TCVAE的推广，只增加了一个额外的超参数。我们在笛卡尔坐标生成的数据集上进行了实验，结果表明，在TCVAE学习因子分解的笛卡尔表示时，考虑到距离和角度的弱标签，WeLa-VAE能够学习并解开极坐标表示。这是在不需要细化标签或必须调整层数、优化参数或总相关超参数的情况下实现的。
2020-08-22 cs.AI cs.LG stat.ML
Encoder-Powered Generative Adversarial Networks
Seoul National University（首尔国立大学）
我们提出了一个编码器驱动的生成对抗网络（EncGAN），它能够学习数据的多流形结构和抽象特征。与传统的基于解码器的GANs不同，EncGAN使用编码器对流形结构进行建模，并反转编码器以生成数据。这种独特的方案使所提出的模型能够从平滑结构建模中排除离散特征，并在不受断开阻碍的情况下学习多流形数据。此外，由于EncGAN需要单个潜在空间来承载所有流形的信息，因此它构建了潜在空间中流形之间共享的抽象特征。为了有效的计算，我们使用一个简单的正则化器来制定EncGAN，并在数学上证明了它的有效性。我们还通过实验证明，EncGAN成功地学习了MNIST，3D-chair和UT-Zap 50 k数据集的多流形结构和抽象特征。我们的分析表明，即使源数据偏离训练分布，学习的抽象特征也会被解开，并进行良好的风格转换。
2019-06-03 cs.LG stat.ML
Evaluating the Disentanglement of Deep Generative Models through Manifold Topology
Stanford University（斯坦福大学）
学习解纠缠表示被认为是提高生成模型的泛化性、鲁棒性和可解释性的基本任务。然而，测量解纠缠一直具有挑战性和不一致性，通常依赖于特定的外部模型或特定于特定的数据集。为了解决这个问题，我们提出了一种方法来量化解纠缠，只使用生成模型，通过测量学习表示中的条件子流形的拓扑相似性。这种方法展示了无监督和监督的变体。为了说明我们方法的有效性和适用性，我们在多个数据集上对几个最先进的模型进行了经验评估。我们发现，我们的方法排名模型类似于现有的方法。我们在https://github.com/stanfordmlgroup/disentanglement上公开我们的代码。
2021-03-17 cs.CV cs.LG stat.ML
DisPositioNet: Disentangled Pose and Identity in Semantic Image Manipulation
Technical University of Munich（慕尼黑工业大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Google（谷歌）；Johns Hopkins University（约翰斯·霍普金斯大学）
场景中对象及其关系的图形表示（称为场景图）提供了精确且可辨别的接口，以通过修改图中的节点或边来操纵场景。虽然现有的作品已经显示出有希望的结果，在修改对象的位置和姿态，场景操作往往会导致失去一些视觉特性，如外观或身份的对象。在这项工作中，我们提出了DisPositioNet，这是一种模型，它以自我监督的方式使用场景图学习每个对象的解纠缠表示，用于图像操作任务。我们的框架使解纠缠的变化的潜在嵌入，以及在图中的特征表示。除了由于姿态和身份等特征的分解而产生更逼真的图像外，我们的方法还利用中间特征中的概率采样来在对象替换或添加任务中生成更多样化的图像。我们的实验结果表明，在两个公共基准上，在模型的隐流形中解开特征表示在定性和定量上优于以前的工作。项目页面：https://scenegenie.github.io/DispositioNet/
2022-11-10 cs.AI cs.CV cs.LG
Disentangled Relational Representations for Explaining and Learning from Demonstration
University of Edinburgh（爱丁堡大学）
示教学习是人类用户指导机器人行为的有效方法。然而，对于大多数具有实际意义的重要任务来说，有效的示教学习在很大程度上取决于所选奖励/成本和政策结构中的归纳偏差。我们解决的情况下，这种归纳偏见来自与人类用户的交流。我们提出了一种方法，在该方法中，学习代理利用高参数变分神经模型的信息瓶颈层，辅助损失条款，以地面抽象概念，如空间关系。这些概念在自然语言指令中被引用，并在智能体从世界接收的高维感觉输入流中表现出来。我们评估了学习模型在真实感合成环境中的潜在空间的属性，特别是专注于研究其对下游任务的可用性。此外，通过一系列受控桌面操作实验，我们证明了学习的流形可以用于地面演示作为符号计划，然后可以在PR 2机器人上执行。
2019-10-06 cs.LG cs.RO
Riemannian Optimization on Relaxed Indicator Matrix Manifold
School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能、光学与电子学院（iOPEN））
本文提出松弛指示矩阵流形（RIM manifold）以解决指示矩阵优化的NP难问题，并开发了复杂度为O(n)的黎曼优化工具箱，在图像去噪和Ratio Cut聚类中优于现有方法。
2025-04-11 cs.LG stat.ML
CLIP-PAE: Projection-Augmentation Embedding to Extract Relevant Features for a Disentangled, Interpretable, and Controllable Text-Guided Face Manipulation
University of Cambridge（剑桥大学）
针对CLIP联合空间中文本与图像嵌入差异导致的文本引导图像编辑伪影多、解耦性等不足，提出投影增强嵌入PAE作为优化目标，可集成到各类CLIP编辑算法中，在人脸编辑任务上实现了更优的解耦、可解释与可控效果及顶尖性能。
2025-09-02 cs.AI cs.CV cs.LG
DPO Unchained: Your Training Algorithm is Secretly Disentangled in Human Choice Theory (and its Loss' Convexity is Dispensable)
Google Research（谷歌研究）；Google DeepMind（谷歌DeepMind）；Work done while at Google DeepMind（在谷歌深Mind的工作）；CEE-M, Univ Montpellier, CNRS, INRAE, Institut Agro（CEE-M，蒙彼利埃大学，CNRS，INRAE，农业研究所）
本文揭示了DPO与人类选择理论的深层联系，证明其损失函数凸性并非必需，并扩展了非凸损失、任意人类选择模型嵌入等新特性。
2026-06-23 cs.AI cs.CL cs.LG
Efficient Riemannian Optimization on the Stiefel Manifold via the Cayley Transform
School of EECS（EECS学院）；Oregon State University（俄勒冈州立大学）
在深度学习中，对参数矩阵严格执行正交规范性约束已显示出优势。这相当于Stiefel流形上的黎曼优化，然而，这在计算上是昂贵的。为了解决这一挑战，我们提出了两个主要的贡献：（1）一个新的有效的收缩映射的基础上迭代凯莱变换的优化更新，和（2）一个隐式的矢量传输机制的基础上的组合的投影的动量和凯莱变换的Stiefel流形。我们指定两个新的优化算法：凯莱SGD与动量，和凯莱亚当的Stiefel流形。从理论上分析了Cayley SGD的收敛性。我们对CNN训练的实验表明，这两种算法：（a）相对于强制CNN参数正交性的现有方法，每次迭代使用更少的运行时间;（b）实现比基线SGD和ADAM算法更快的收敛速度，而不影响CNN的性能。Cayley SGD和Cayley ADAM也被证明可以减少优化RNN中酉转移矩阵的训练时间。
2020-02-04 cs.LG stat.ML
Disentangled Dynamic Graph Deep Generation
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；George Mason University（乔治梅森大学）
图的深度生成模型在不断增加的领域中表现出有前途的性能，例如分子设计（即原子图）和蛋白质结构预测（即，氨基酸图）。现有的工作通常集中在静态而不是动态图，这实际上是非常重要的应用，如蛋白质折叠，分子反应，和人类的流动性。将现有的深度生成模型从静态扩展到动态图是一项具有挑战性的任务，这需要处理静态和动态特征的分解以及节点和边模式之间的相互作用。在这里，本文提出了一个新的框架的因式分解的深度生成模型，以实现可解释的动态图生成。提出了各种生成模型来表征节点、边、静态和动态因素之间的条件独立性。然后，变分优化策略以及动态图解码器提出了新设计的因式分解变分自编码器和递归图解卷积的基础上。在多个数据集上的实验证明了该模型的有效性。
2021-01-20 cs.LG cs.SI
Manifold Optimization for Gaussian Mixture Models
University of Tehran（德黑兰大学）；Massachusetts Institute of Technology（麻省理工学院）
本文对高斯混合模型的参数估计进行了新的研究。特别是，我们建议使用\emph{Riemannian manifold optimization}作为一个强大的对手，期望最大化（EM）。然而，对流形优化的开箱即用的调用会失败：它收敛到相同的解，但速度要慢得多。从流形凸性的直觉驱动下，我们提出了一个reparamerization，具有显着的经验后果。它使流形优化不仅匹配EM-一个非常令人鼓舞的结果本身给予不良记录的非线性规划方法对EM到目前为止-但也优于EM在许多实际设置中，同时显示少得多的变化，在运行时间。我们进一步强调了流形优化的优势，开发了一个稍微调整的流形LBFGS方法，证明比现有的流形优化工具更具竞争力和可靠性。我们希望我们的结果鼓励更广泛地考虑参数估计问题的流形优化。
2015-06-25 cs.LG math.OC stat.ML
A Framework for Bilevel Optimization on Riemannian Manifolds
RIKEN AIP（理化学研究所人工智能项目）；Microsoft（微软公司）；University of Tokyo（东京大学）
本研究提出黎曼流形上的双层优化框架，设计流形超梯度估计策略并分析误差，给出超梯度下降算法的收敛与复杂度分析，拓展至随机场景并结合一般收缩，经多应用验证有效。
2024-11-02 cs.LG math.OC stat.ML
McTorch, a manifold optimization library for deep learning
Microsoft（微软）；The University of Electro-Communications（电气通信大学）
在本文中，我们介绍了McTorch，这是一个用于深度学习的流形优化库，它扩展了PyTorch。它旨在为希望在深度学习应用程序中使用多种约束的用户降低障碍，即，当参数被约束为位于流形上时。这些约束包括流行的正交性和秩约束，并且最近已在深度学习的许多应用中使用。McTorch遵循PyTorch的架构，并简化了流形定义和优化器，即，一旦添加了新的歧管，它就可以与任何现有的优化器一起使用，反之亦然。McTorch可在https://github.com/mctorch上获得。
2018-10-04 cs.AI cs.LG stat.ML
DiA-gnostic VLVAE: Disentangled Alignment-Constrained Vision Language Variational AutoEncoder for Robust Radiology Reporting with Missing Modalities
本文提出DiA-gnostic VLVAE，通过基于MoE的视觉语言变分自编码器解耦共享与模态特定特征，并结合约束优化与紧凑LLaMA-X解码器，在缺失模态下实现鲁棒且高效的放射学报告生成，在IU X-Ray和MIMIC-CXR上显著优于现有方法。
2025-11-08 cs.AI cs.CV cs.LG
Semi-supervised Pathology Segmentation with Disentangled Representations
University of Edinburgh（爱丁堡大学）；University of California（加利福尼亚大学）；Cedars-Sinai Medical Center（西达赛奈医疗中心）；University of Essex（埃塞克斯大学）；The Alan Turing Institute（艾伦·图灵研究所）
自动病理分割仍然是临床实践中有价值的诊断工具。然而，收集训练数据是一项挑战。半监督方法通过结合标记和未标记的数据可以提供数据稀缺的解决方案。半监督学习的方法依赖于重建目标（作为自我监督目标），其以联合方式学习任务的合适表示。在这里，我们提出了解剖-病理解缠网络（APD-Net），这是一种病理分割模型，首次尝试联合学习：解剖，模态和病理的解缠。该模型以半监督的方式进行训练，新的重建损失直接旨在改善具有有限注释的病理分割。此外，提出了一种联合优化策略，以充分利用可用的注释。我们评估我们的方法与两个私人心肌梗死分割数据集与LGE-MRI扫描。APD-Net可以使用很少的注释执行病理分割，在不同的监督量下保持性能，并优于相关的深度学习方法。
2020-09-05 cs.CV cs.LG eess.IV
Disentangling Generative Factors of Physical Fields Using Variational Autoencoders
University of Michigan（密歇根大学）
在计算物理中，以无监督的方式从高维数据场提取生成参数的能力是非常期望的但尚未实现的目标。这项工作探讨了使用变分自编码器（VAE）的非线性降维的具体目标{ \em解开}的低维潜变量，以确定独立的物理参数，产生的数据。解纠缠分解是可解释的，并且可以被转移到各种任务，包括生成建模、设计优化和概率降阶建模。这项工作的一个主要重点是使用VAE表征解纠缠，同时最小限度地修改经典的VAE损失函数（即证据下限），以保持高的重建精度。损失景观的特点是过度正规化的局部极小值，其中所需的解决方案。我们说明解纠缠和纠缠表示并列学习潜在的分布和真正的生成因素模型多孔流问题之间的比较。分层先验被示出，以促进解开表示的学习。当使用旋转不变先验进行训练时，正则化损失不受潜在旋转的影响，因此学习非旋转不变先验有助于捕获生成因子的属性，改善解纠缠。最后，它表明，半监督学习-完成标记少量的样本（$O(1\%)$）-结果在准确的解开潜在的表示，可以始终学习。
2021-11-15 cs.LG physics.comp-ph
Pymanopt: A Python Toolbox for Optimization on Manifolds using Automatic Differentiation
University College London（伦敦大学学院）；RWTH Aachen University（亚琛工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
流形上的优化（英语：Optimization on manifold）是一类优化目标函数的方法，在某种意义上说，满足约束的点的集合允许可微流形的结构。虽然许多优化问题的描述的形式，微分几何的技术性和繁琐的计算导数构成了一个显着的障碍，用这些方法进行实验。我们介绍Pymanopt（可在https://pymanopt.github.io上获得），这是一个用Python实现的流形优化工具箱，与Manopt Matlab工具箱类似，它实现了几种流形几何和优化算法。此外，我们通过使用自动微分来计算衍生信息，进一步降低了用户的障碍，节省了用户的时间，并使他们免受潜在的计算和实施错误的影响。
2016-09-08 cs.LG cs.MS math.OC
Envisioning Beyond the Few: Disentangled Semantics and Primitives for Few-Shot Atypical Layout-to-Image Generation
State Key Laboratory of Virtual Reality Technology and Systems（虚拟现实技术与系统国家重点实验室）；School of Computer Science and Engineering（计算机科学与工程学院）；Qingdao Research Institute, Beihang University, China（北京航空航天大学青岛研究所，中国）
针对少样本非典型布局到图像生成中表示碎片化问题，提出通过语义锚定和基元注入解耦语义与视觉细节，实现鲁棒少样本适应。
2026-05-29 cs.AI cs.CV cs.LG
Comparing the latent space of generative models
University of Bologna（博洛尼亚大学）
潜在向量生成模型的潜在空间中的数据点的不同编码可能会导致数据背后的变化的不同解释因素的或多或少的有效和分离的表征。最近有许多工作致力于探索特定模型的潜在空间，主要集中在研究特征如何被解开，以及如何在可见空间中找到产生所需数据变化的轨迹，在这项工作中，我们解决了比较不同模型的潜在空间的更普遍的问题，寻找它们之间的转换。我们将调查局限于熟悉的和大量研究的情况下，生成模型的数据流形的人脸。本文中报告的令人惊讶的初步结果是（假设模型没有被教导或明确设想以不同的方式行事），一个简单的线性映射足以从一个潜在空间传递到另一个潜在空间，同时保留大部分信息。
2022-07-14 cs.LG cs.NE
Extrinsic Bayesian Optimizations on Manifolds
University of Notre Dame（圣母大学）；University of Glasgow（格拉斯哥大学）
我们提出了一个外贝叶斯优化（eBO）框架一般最优化问题流形上。贝叶斯优化算法通过采用高斯过程来构建目标函数的替代，并通过导出获取函数来量化该替代中的不确定性。该获取函数表示基于高斯过程的内核的改进概率，其引导优化过程中的搜索。流形上贝叶斯优化算法设计的关键挑战在于构造一般流形上高斯过程的有效协方差核的困难。我们的方法是采用外部高斯过程，首先嵌入到一些高维欧几里得空间通过等变嵌入的流形，然后构建一个有效的协方差嵌入后的图像流形上的内核。这导致了有效的和可扩展的算法优化复流形。仿真研究和实际数据分析表明，我们的eBO框架的效用，通过应用eBO的各种流形上的最优化问题，如球，格拉斯曼，和流形的正定矩阵。
2022-12-29 cs.LG math.OC
A Survey of Geometric Optimization for Deep Learning: From Euclidean Space to Riemannian Manifold
East China Normal University（华东师范大学）
尽管深度学习（DL）在复杂的人工智能（AI）任务中取得了成功，但它存在各种臭名昭著的问题（例如，特征冗余和消失或爆炸梯度），因为更新欧几里德空间中的参数不能完全利用解空间的几何结构。作为一种有前途的替代解决方案，基于黎曼的DL使用几何优化来更新黎曼流形上的参数，并可以利用底层的几何信息。因此，本文提出了一个全面的调查应用几何优化DL。本文首先介绍了几何优化的基本过程，包括各种几何优化器和黎曼流形的一些概念。随后，本文研究了几何优化在不同DL网络中的应用，例如，卷积神经网络、递归神经网络、迁移学习和最优传输。此外，还讨论了实现流形优化的典型公共工具箱。最后，本文对不同深度几何优化方法在图像识别场景下的性能进行了比较。
2023-02-16 cs.LG
Rotated Manifold Optimization for Low-Rank Adaptation
ETH Zurich（苏黎世联邦理工学院）；Microsoft Research Cambridge（微软研究院剑桥分院）
本文提出一种融入规范对称性的LoRA优化器，将全参数矩阵优化器扩展到固定秩流形，通过旋转基归一化实现，收敛更快且下游性能更优。
2026-09-29 cs.LG
Partial Least Square Regression via Three-factor SVD-type Manifold Optimization for EEG Decoding
Southern University of Science and Technology（南方科技大学）
偏最小二乘回归（PLSR）是一种广泛使用的统计模型，用来揭示自变量和因变量中潜在因素之间的线性关系。然而，传统的求解PLSR模型的方法通常是基于欧氏空间的，容易陷入局部极小。为此，我们提出了一种新的方法来解决偏最小二乘回归，命名为PLSR通过优化双格拉斯曼流形（PLSRbiGr）。具体地说，我们首先利用定义在bi-Grassmann流形上的互协方差矩阵的三因子SVD型分解，将正交约束优化问题转化为bi-Grassmann流形上的无约束优化问题，然后结合矩阵缩放的黎曼预处理来调节每次迭代中的黎曼度量。PLSRbiGr的验证与各种实验解码运动想象（MI）和稳态视觉诱发电位（SSVEP）任务的EEG信号。实验结果表明，PLSRbiGr优于竞争算法在多个EEG解码任务，这将大大有助于小样本数据学习。
2022-08-15 cs.LG
Manifold optimization for non-linear optimal transport problems
Microsoft（微软）；Vayve Technologies（维威科技）；Waseda University（早稻田大学）
最优运输（OT）最近在机器学习中引起了广泛的兴趣。它允许定义新的概率测度之间的距离，这在几个应用程序中已经显示出了希望。在这项工作中，我们讨论了如何计算方法一般的非线性OT问题的框架内的黎曼流形优化。其基础是双随机矩阵流形（及其推广）。尽管流形几何不是新的，但令人惊讶的是，它对解决一般非线性OT问题的有用性并不受欢迎。为此，我们专门讨论优化相关的成分，允许利用几何的搜索空间光滑黎曼流形上的OT问题建模。我们还讨论了扩展，我们重用开发的优化成分。我们提供基于流形优化的最优运输（MOT）存储库，其中包含在Python和Matlab中解决OT问题时有用的代码。代码可在\url{https://github.com/SatyadevNtv/MOT}上获得。
2021-10-08 cs.LG math.OC
Optimization on the Oblique Manifold for Sparse Simplex Constraints via Multiplicative Updates
University of Bari Aldo Moro（巴里阿尔多莫罗大学）；University of Southampton（南安普顿大学）
针对低秩稀疏单纯形约束优化问题，提出一种基于斜流形几何的黎曼梯度下降方法，通过乘法更新严格保持约束，实验验证其优于欧氏和黎曼方法。
2026-09-29 cs.LG math.OC
Scalable Font Reconstruction with Dual Latent Manifolds
Carnegie Mellon University（卡内基梅隆大学）；Northeastern University（东北大学）；Google Research（谷歌研究院）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们提出了一个深度生成模型，通过学习字体样式和字符形状的解纠缠流形来执行排版分析和字体重建。与以前的方法相比，我们的方法使我们能够大规模地扩展我们可以有效建模的字符类型的数量。具体来说，我们推断单独的潜在变量表示字符和字体通过一对推理网络，作为输入集的字形，要么都共享一个字符类型，或属于同一种字体。这种设计使我们的模型能够泛化到在训练时没有观察到的字符，这是一项重要的任务，因为大多数字体都相对稀疏。我们还提出了一种新的损失，该损失是从先前的工作中改编而来的，该工作使用投影空间中的自适应分布来测量可能性，从而在不需要重复的情况下产生更自然的图像。我们评估的任务上的字体重建在各种数据集代表多种语言的字符类型，并比较有利的现代风格传输系统，根据自动和手动评估的指标。
2021-09-10 cs.CL cs.CV cs.LG
Projection-free nonconvex stochastic optimization on Riemannian manifolds
Princeton University（普林斯顿大学）；MIT（麻省理工学院）
本文研究了黎曼流形上光滑函数约束优化的随机无投影方法，而超出参数域的附加约束是流形。具体来说，我们引入随机黎曼Frank-Wolfe方法的非凸和测地线凸问题。我们提出了纯随机最优化和有限和问题的算法。对于后者，我们开发方差减少的方法，包括最近提出的蜘蛛技术的黎曼适应。对于所有的设置，我们恢复收敛速度，是最有名的速度为他们的欧几里德同行。最后，我们讨论了两个经典任务的应用：计算的Karcher平均值的正定矩阵和Wasserstein重心多元正态分布。对于这两个任务，随机Fw方法产生最先进的经验性能。
2021-04-03 cs.LG math.OC
Learning-Rate-Free Stochastic Optimization over Riemannian Manifolds
Lancaster University（兰卡斯特大学）
针对黎曼流形随机优化中学习率需手动调优的挑战，本文提出无学习率优化算法，提供了最优的高概率收敛保证，并在数值实验中展现出与依赖学习率算法相竞争的性能。
2024-06-04 cs.LG math.OC
Mano: Restriking Manifold Optimization for LLM Training
xLeaF Lab, The Hong Kong University of Science and Technology (Guangzhou)（xLeaF实验室，香港科学与技术大学（广州））
Mano是一种新颖高效的流形优化器，通过创新投影和约束方法，在训练大语言模型时显著优于AdamW和Muon。
2026-01-30 cs.AI cs.LG
tensorflow-riemopt: A Library for Optimization on Riemannian Manifolds
Microsoft（微软）
tensorflow-riemopt是一个用于在流形上进行优化的Python库，支持TensorFlow中的几何机器学习应用。
2025-12-17 cs.CG cs.LG cs.MS
Finite-Time Analysis of Stochastic Nonconvex Nonsmooth Optimization on the Riemannian Manifolds
Northeastern University（东北大学）；Tsinghua University（清华大学）
本文针对黎曼流形上的非光滑非凸随机优化，提出RO2NC算法及其零阶版本，首次给出有限时间样本复杂度$O(ε^{-3}δ^{-1})$，匹配欧氏最优，并获数值验证。
2025-10-24 cs.LG math.OC
Riemannian optimization with a preconditioning scheme on the generalized Stiefel manifold
Tel Aviv University（特拉维夫大学）
广义Stiefel流形（及其乘积）上的最优化问题在科学和工程中是普遍存在的。例如，在计算科学中，它们出现在对称（广义）本征值问题、非线性本征值问题和电子结构计算中，仅举几个问题。在统计学和机器学习中，它们出现在各种降维技术中，例如典型相关分析。在深度学习中，正则化和改进的稳定性可以通过将某些层约束为具有属于Stiefel流形的参数矩阵来获得。广义Stiefel流形上的问题可以通过黎曼优化的工具来解决。然而，使用标准的几何组件的广义Stiefel流形有两个可能的缺点：计算一些几何组件可能过于昂贵，在某些情况下收敛可能会相当慢。这两个缺点都可以使用称为黎曼预处理的技术来解决，该技术相当于使用由在约束流形上定义黎曼度量的预处理器导出的几何分量。在本文中，我们开发的几何组件进行黎曼优化的广义Stiefel流形上配备了一个非标准的度量，并从理论和数值上说明使用这些组件和黎曼预处理的效果，解决最优化问题的广义Stiefel流形。
2022-11-15 cs.DS cs.LG cs.NA
Disentanglement Learning via Topology
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
本文提出 TopDis 多尺度可微拓扑损失，通过优化数据流形遍历的拓扑相似性实现无监督解耦表示学习，并在相关因子和 GAN 方向发现中验证其效果。
2024-06-05 cs.AI cs.IT cs.LG
Learning the Solution Manifold in Optimization and Its Application in Motion Planning
Kyushu Institute of Technology（九州工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）
优化是解决广泛领域问题的重要组成部分。理想情况下，目标函数应设计为使得解是唯一的，并且优化问题可以稳定地求解。然而，在实际应用中所使用的目标函数通常是非凸的，有时甚至有无穷多个解。为了解决这个问题，我们建议在优化中学习解决方案流形。我们训练一个以潜变量为条件的模型，使该模型代表一组无限的解。在我们的框架中，我们减少了这个问题的密度估计，通过使用重要性采样，和潜在的代表性的解决方案是学习最大化的变分下界。我们将该算法应用于运动规划问题，其中涉及高维参数的优化。实验结果表明，该算法可以学习的解决方案的流形，和训练的模型表示一个无限集的同伦运动规划问题的解决方案。
2020-07-24 cs.AI cs.LG cs.RO
Differential Evolution for Grassmann Manifold Optimization: A Projection Approach
Baruch College（巴鲁克学院）
针对格拉斯曼流形上非凸多模态优化问题，提出基于QR分解投影的差分进化算法，实现全局搜索并保持流形可行性，为经典黎曼方法提供几何感知的替代方案。
2025-03-27 cs.CV cs.LG cs.NE
