On the utility and protection of optimization with differential privacy and classic regularization techniques
Politecnico di Milano（米兰理工大学）
如今，深度学习模型的所有者和开发人员必须考虑其训练数据的严格隐私保护规则，通常是众包和保留敏感信息。如今，最广泛采用的实施深度学习模型隐私保证的方法依赖于实施差分隐私的优化技术。根据文献，这种方法已被证明是一个成功的防御几个模型的隐私攻击，但其缺点是一个模型的性能大幅下降。在这项工作中，我们比较了差分私有随机梯度下降（DP-SGD）算法对标准的优化实践与正则化技术的有效性。我们分析了所得到的模型的效用，训练性能，以及对学习模型的隶属推理和模型反演攻击的有效性。最后，我们讨论了差分隐私的缺陷和局限性，并实证证明了往往优越的隐私保护性能的dropout和l2-正则化。
2022-09-07 cs.AI cs.CR cs.LG
Geometric Regularization in Mixture-of-Experts: The Disconnect Between Weights and Activations
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
该研究发现正交损失无法有效提升混合专家模型的专家多样性及性能，揭示了权重与激活正交性之间的脱节问题。
2026-01-01 cs.AI cs.LG
Gradient-based bilevel optimization for multi-penalty Ridge regression through matrix differential calculus
IDSIA Dalle Molle Institute for Artificial Intelligence（IDSIA 达莱·莫勒人工智能研究所）；USI-SUPSI（提契诺大学-瑞士南部应用科学与艺术大学）
本文针对每个输入变量关联不同正则化超参数的l2正则化线性回归问题，提出基于矩阵微分计算解析求解交叉验证准则梯度的双层优化方法，并引入防过拟合策略，数值实验证明其优于LASSO等方法且计算高效。
2023-11-23 cs.LG stat.ML
Implicit energy regularization of neural ordinary-differential-equation control
University of California, Los Angeles（加州大学洛杉矶分校）；ETH Zurich（苏黎世联邦理工学院）
虽然动力系统的最优控制问题可以在变分学的框架内进行表述，但复杂系统的最优控制问题的求解在分析和计算上往往是困难的。在这封信中，我们提出了一个通用的神经常微分方程控制（NODEC）框架与隐式能量正则化，并使用它来获得神经网络生成的控制信号，可以转向动态系统在预定义的时间内所需的目标状态。我们展示了NODEC学习控制信号的能力，这些信号非常类似于由相应的最优控制框架发现的控制能量和偏离所需的目标状态。我们的研究结果表明，NODEC能够解决广泛的控制和优化问题，包括那些分析上难以解决的问题。
2021-03-11 cs.LG physics.soc-ph
Implicit Geometric Regularization for Learning Shapes
Weizmann Institute of Science（魏茨曼科学研究所）
将形状表示为神经网络的水平集最近已被证明对于不同的形状分析和重建任务是有用的。到目前为止，这样的表示是使用：（i）预先计算的隐式形状表示;或（ii）在神经水平集上明确定义的损失函数。在本文中，我们提供了一个新的范式，用于直接从原始数据计算高保真隐式神经表征（即，点云，具有或不具有法线信息）。我们观察到，一个相当简单的损失函数，鼓励神经网络在输入点云上消失，并具有单位范数梯度，具有隐式几何正则化属性，有利于光滑和自然的零水平集表面，避免坏的零损失解决方案。我们提供了一个理论分析的线性情况下，这个属性，并表明，在实践中，我们的方法导致国家的最先进的隐式神经表示与以前的方法相比，具有更高层次的细节和保真度。
2020-07-09 cs.CV cs.GR cs.LG
Thermodynamically Optimal Regularization under Information-Geometric Constraints
Université Gustave Eiffel（法国埃菲尔大学）；LASTIG（LASTIG研究所）；IGN-ENSG（国家地理信息学院）
本文提出热力学最优正则化理论，结合信息几何和热力学原理，为机器学习正则化提供新的理论基础。
2026-01-24 cs.CV cs.LG
Geometric Value Iteration: Dynamic Error-Aware KL Regularization for Reinforcement Learning
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
最近关于熵正则化强化学习（RL）方法的文献的繁荣表明，Kullback-Leibler（KL）正则化通过在温和的假设下消除错误而为RL算法带来优势。然而，现有的分析集中在固定的正则化与一个恒定的权重系数，并没有考虑的情况下，允许系数动态变化。本文研究了动态系数格式，给出了其第一渐近误差界。基于动态系数误差界，我们提出了一种有效的方案来调整系数根据误差的大小，有利于更强大的学习。为了补充这一发展，我们提出了一种新的算法，几何值迭代（GVI），具有动态的错误感知KL系数设计的目的是减轻错误对性能的影响。我们的实验表明，GVI可以有效地利用学习速度和鲁棒性之间的平衡，均匀平均一个常数KL系数。GVI和深度网络的组合即使在没有目标网络的情况下也表现出稳定的学习行为，其中具有恒定KL系数的算法将大幅振荡甚至无法收敛。
2021-10-05 cs.LG
Ricci flow regularization in latent spaces for the forward learning of partial differential equations
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出基于流形的机器学习编码器-解码器方法，通过里奇流演化潜在空间来学习时间动态，特别是偏微分方程。方法通过参数化潜在流形并模拟物理约束下的里奇流，实现低维表示学习及对抗鲁棒性。
2026-06-08 cs.LG stat.ML
Jacobian Regularization Stabilizes Long-Term Integration of Neural Differential Equations
LOCEAN, Sorbonne University, Paris, France（洛cean，索邦大学，巴黎，法国）；ANGE team, INRIA, Paris, France（ANGE团队，法国国家信息与自动化技术研究所，巴黎，法国）；LJLL, Sorbonne University, Paris, France（LJLL，索邦大学，巴黎，法国）
通过正则化神经微分方程的雅可比行列式方向导数，提升长期积分稳定性，适用于已知和未知动力学情况。
2026-02-04 cs.LG
Only Bayes should learn a manifold (on the estimation of differential geometric structure from data)
Technical University of Denmark（丹麦技术大学）；Section for Cognitive Systems（认知系统部）
我们研究了嵌入在高维欧氏空间中的数据流形的微分几何结构的学习。我们首先分析了基于核的算法，并表明在通常的正则化下，非概率方法不能恢复微分几何结构，而是找到大多数线性流形或空间配备了传送。为了正确地学习微分几何结构，非概率方法必须应用强制大梯度的正则化，这违背了常识。我们重复概率方法的分析，发现在合理的先验下，几何结构可以恢复。充分利用恢复的结构，但是，需要发展的随机扩展经典黎曼几何。我们在这方面采取了早期步骤。最后，我们将分析部分扩展到基于神经网络的现代模型，从而突出了当前深度生成模型的几何和概率缺陷。
2019-09-26 cs.LG stat.ML
Implicit geometric regularization in flow matching via density weighted Stein operators
The Institute of Statistical Mathematics（统计数学研究所）
提出γ-流匹配（γ-FM），通过动态密度加权策略隐式正则化高维空间中的回归几何，改善向量场平滑性和采样效率。
2026-05-24 cs.LG stat.ML
Efficient PINNs via Multi-Head Unimodular Regularization of the Solutions Space
本文提出多头训练与幺模正则化相结合的PINNs框架，通过学习解的一般空间并促进迁移学习，显著提升非线性、耦合及多尺度微分方程求解效率。
2025-08-27 cs.AI cs.LG hep-th
Continuum Dropout for Neural Differential Equations
针对神经微分方程难以应用Dropout而易过拟合的问题，本文基于交替更新过程提出通用正则化技术Continuum Dropout，可提升模型泛化能力、量化预测不确定性，在多类任务上性能优于现有正则化方法。
2025-11-18 cs.LG stat.ML
Disentangled Deep Autoencoding Regularization for Robust Image Classification
Shanghai Jiao Tong University（上海交通大学）；NEC Labs America - Princeton（美国电气通信技术公司美国研究院 - 普林斯顿）；Princeton University（普林斯顿大学）
尽管在机器学习方面取得了革命性的成功，但最近发现深度卷积神经网络容易受到对抗攻击的攻击，并且难以推广到具有相当大的几何变换的新测试图像。受最近神经科学发现的启发，揭示了灵长类动物的大脑使用解纠缠的形状和外观表示进行对象识别，我们提出了一个通用的解纠缠的深度自编码正则化框架，可以很容易地应用于任何基于深度嵌入的分类模型，以提高深度神经网络的鲁棒性。我们的框架有效地学习了解纠缠的外观代码和几何代码，用于鲁棒的图像分类，这是第一个基于解纠缠的方法防御对抗攻击，并补充标准的防御方法。在几个基准数据集上的大量实验表明，我们提出的正则化框架利用解纠缠嵌入显著优于传统的非正则化卷积神经网络用于图像分类，对对抗攻击和推广到新的测试数据的鲁棒性。
2019-02-27 cs.CV cs.LG stat.ML
Diverse via bounded Agreement: Geometric Regularization for Multimodal Fusion
Department of Informatics University of Bern（伯尔尼大学信息学院）；College of Computing and Data Science Nanyang Technological University（南洋理工大学计算机与数据科学学院）；School of Software Engineering Xi’an Jiaotong University（西安交通大学软件工程学院）
提出一种轻量级即插即用的几何正则化框架，通过有界一致性原则在保持模态特异多样性的同时约束跨模态漂移，提升多模态融合性能。
2026-09-01 cs.CV cs.LG
Distribution learning via neural differential equations: minimal energy regularization and approximation theory
Massachusetts Institute of Technology（麻省理工学院）；Heidelberg University（海德堡大学）
本文研究用神经常微分方程逼近概率分布，证明直线插值可由最小能量正则化速度场实现，并给出速度场范数的显式多项式上界及深度神经网络规模与逼近精度的显式关系。
2025-02-06 cs.LG math.CA stat.ME
Deep Clustering with Incomplete Noisy Pairwise Annotations: A Geometric Regularization Approach
Oregon State University（俄勒冈州立大学）
本文针对深度约束聚类中标注噪声问题，先分析逻辑DCC损失的理论性质，再提出基于几何因子分析的损失函数，在未知标注混淆下仍可证明地识别数据成员身份，并在多个数据集上验证有效性。
2023-05-30 cs.LG
Higher-Order Regularization Learning on Hypergraphs
University of California Los Angeles（加州大学洛杉矶分校）；University of Warwick（沃里克大学）
本文提出高阶超图学习方法，通过理论分析和实验验证，展示了其在不同学习场景中的有效性与鲁棒性。
2025-11-24 cs.LG math.ST stat.TH
Jacobian-Adaptive Weighting for Stability: Enhancing Long-term Rollout of Neural Partial Differential Equation Solvers via Spatially-Adaptive Regularization
University of Hiroshima（广岛大学）
提出Jacobian-自适应加权稳定性方法，通过空间异方差不确定性建模实现自适应正则化，在平滑区域强制收缩抑制噪声，在奇异特征附近放松约束保留梯度，实现短时记忆高效训练达到长时基线精度。
2026-06-23 cs.AI cs.LG physics.comp-ph
Differential Spectral Damping Gap Adaptive Regularization for Ill-Conditioned Kernel Methods
Indian Institute of Technology Patna（印度理工学院帕特纳分校）；Sopra Banking Software India（索普拉银行软件印度公司）
针对核方法中病态矩阵的特征值指数衰减问题，提出微分谱阻尼（DSD）正则化方法，基于Davis-Kahan定理自适应惩罚局部特征间隙，在真实数据集上分类准确率提升最高达10.4个百分点。
2026-06-23 cs.LG
Geometric Regularization for Long-Tailed Semi-Supervised Learning via Gaussian Feature Bridges
University of Warwick（华威大学）；Wuhan University（武汉大学）；Emory University（埃默里大学）；Peking University（北京大学）；Zhejiang University（浙江大学）
本研究针对长尾半监督学习的标签分布失衡与伪标签噪声问题，提出高斯桥一致性框架及BridgeMix策略，经基准实验验证可有效提升长尾类性能且具备良好可扩展性。
2026-08-24 cs.LG
