SHAP scores fail pervasively even when Lipschitz succeeds
Univ. Toulouse（图卢兹大学）；ICREA（加泰罗尼亚研究与高级研究院）；Univ. Lleida（莱里达大学）
本文证明SHAP分数在Boolean分类器、回归模型、满足Lipschitz连续性及任意可微的回归模型中普遍存在误导性问题，回应了对其局限性的批评。
2024-12-18 cs.AI cs.LG
Near-optimal Delta-convex Estimation of Lipschitz Functions
G&G
本文针对从噪声观测中估计未知Lipschitz函数的问题，提出一种扩展最大仿射方法的算法。通过非线性特征扩展等技术，在随机设计设置下达到极小极大收敛速度。算法集成多种机制，还能适应凸形状受限回归，实验显示其性能优于其他理论方法。
2026-07-13 cs.LG stat.ML
Safe Approximate Dynamic Programming Via Kernelized Lipschitz Estimation
Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；Purdue University（普渡大学）；Georgia Institute of Technology（佐治亚理工学院）
我们开发了一种方法，通过近似动态规划（ADP）技术获得安全的初始策略，用于强化学习的不确定系统与离散时间动态演化。我们采用核化Lipschitz估计和半定规划计算可容许的初始控制策略，可证明的高概率。这样的容许控制器，使安全的初始化和约束的强制执行，同时提供指数稳定的闭环系统的平衡。
2019-07-03 cs.LG cs.SY eess.SY
A Closed-Form Formula for Consistent Lipschitz Regression on Metric Spaces with Sparse Neural Network Realizations
针对深度神经网络缺乏闭式解与凸优化目标的问题，提出度量空间上未知Lipschitz函数的两阶段闭式重构公式$\hat{f}$，给出高概率一致恢复保证，证明其在函数空间、参数空间及前向传播三方面的最优性，可由稀疏ReLU网络精确实现。
2026-09-04 cs.LG stat.ML
Non-parametric Binary regression in metric spaces with KL loss
我们提出了一个非参数变量的二元回归，其中的假设是正规化的Lipschitz函数采取度量空间[0，1]和损失是对数。这种设置提出了新的计算和统计挑战。在计算方面，我们基于内点方法推导出一种新的高效优化算法;一个有吸引力的特点是它是无参数的（即，不需要调整更新步长）。在统计方面，基于覆盖数和Rademacher技术，无界损失函数提出了经典推广边界的问题。我们绕过这个挑战，通过自适应截断的方法，并提出了一个下界，表明截断是，在某种意义上说，必要的。
2020-10-19 cs.LG
Understanding Overfitting in Adversarial Training via Kernel Regression
本文在再生核希尔伯特空间中建立对抗训练与噪声数据增强的极限公式，证明缺乏适当正则化时二者比标准核回归更易过拟合，而适当正则化可使其获得更小的泛化误差和Lipschitz常数。
2023-04-19 cs.LG math.ST stat.ML
Global linear convergence of Newton's method without strong-convexity or Lipschitz gradients
EPFL（洛桑联邦理工学院）
我们表明，牛顿的方法全局收敛的目标函数的Hessian是稳定的线性速率。这类问题包括许多不是强凸的函数，例如逻辑回归。我们的线性收敛结果是（i）仿射不变的，并且即使（ii）使用近似Hessian，并且如果子问题（iii）仅近似求解，也保持不变。因此，我们从理论上证明了牛顿的方法优于一阶方法，这将只实现一个次线性$O(1/t^2)$率在类似的条件下。
2018-06-01 cs.LG math.OC stat.ML
Variational bridge constructs for approximate Gaussian process regression
University of Sheffield（谢菲尔德大学）；Department of Computer Science（计算机科学系）；Sheffield, UK（英国谢菲尔德）
本文介绍了一种近似高斯过程回归的方法，将问题表示为随机微分方程，并利用变分推理来近似解。的近似值进行比较，与完整的GP回归和生成的路径被证明是无法区分的GP样本。我们表明，该方法很容易扩展到非线性动力学和讨论的扩展，该方法可以很容易地应用。
2019-01-07 cs.LG stat.ML
Metric spaces of walks and Lipschitz duality on graphs
本文通过引入加权度量研究图上行走的度量结构，建立邻近度的表示公式与显式构造，并利用Lipschitz函数扩展为网络结构上的Lipschitz回归和强化学习提供稳健方法。
2025-08-27 cs.LG math.FA
Algorithms for Lipschitz Learning on Graphs
Yale University（耶鲁大学）
我们开发快速算法解决回归问题的图形，其中一个给定的值的函数在某些顶点，必须找到其最平滑的可能扩展到所有顶点。我们计算的扩张是绝对最小Lipschitz扩张，并且是$p$ -Laplacian正则化的大$p$的极限。我们提出了一个算法，计算一个最小的Lipschitz扩展在期望的线性时间，和一个算法，计算一个绝对最小的Lipschitz扩展在期望的时间$\widetilde{O} (m n)$。后一种算法的变体在实践中似乎运行得更快。这些扩展特别适合正则化：我们可以在多项式时间内对给定值执行$l_{0}$正则化，并在时间$\widetilde{O} (m^{3/2})$内对初始函数值和图边权重执行$l_{1}$正则化。
2015-06-30 cs.DS cs.LG math.MG
On the Approximation of Bi-Lipschitz Maps by Invertible Neural Networks
The Chinese University of Hong Kong（香港中文大学）；Rutgers University（罗格斯大学）
本文分析基于耦合的 INN 对紧域上双 Lipschitz 映射的正、逆映射同时逼近能力，并结合模型约简、PCA 与 INN 提出无限维情形的逼近方法及误差分析，数值验证其可用于参数化二阶椭圆问题解算子。
2023-08-18 cs.LG cs.NA math.NA
Bi-Lipschitz Ansatz for Anti-Symmetric Functions
Duke University（杜克大学）
针对现有反对称函数近似模型的高复杂度或不连续性缺陷，本文提出两种双利普希茨相关的反对称近似方案，实现低复杂度的连续通用近似，且参数数量可定量界定，初步实验显示性能更优。
2026-08-05 cs.LG math.CA quant-ph
Conditional Uncorrelation and Efficient Non-approximate Subset Selection in Sparse Regression
Xi’an Jiaotong University（西安交通大学）；State Key Laboratory of Management and Control for Complex Systems（复杂系统管理与控制国家重点实验室）
给定$m$ $d$ -维响应变量和$n$ $d$ -维预测变量，稀疏回归为线性近似$1\leq k \leq d-1$的每个响应变量找到最多$k$预测变量.稀疏回归中的关键问题是子集选择，这通常具有很高的计算代价。近年来，提出了许多改进的近似子集选择方法。然而，非近似的子集选择方法却很少受到关注，而这对于数据分析中的许多问题是非常必要的。本文从相关性的角度考虑稀疏回归问题，给出了条件不相关性的计算公式。在此基础上，提出了一种有效的非近似子集选择方法，该方法不需要计算回归方程中的任何系数。通过该方法，稀疏回归中每个候选子集的计算复杂性从$O(\frac{1}{6}{k^3}+mk^2+mkd)$降低到$O(\frac{1}{6}{k^3}+\frac{1}{2}mk^2)$。由于维数$d$一般为观测或实验的个数且足够大，因此该方法可以大大提高非近似子集选择的效率。
2020-11-24 cs.LG stat.ML
Deep Gaussian Processes for Regression using Approximate Expectation Propagation
University of Cambridge（剑桥大学）；Universidad Autónoma de Madrid（马德里自治大学）；Harvard University（哈佛大学）
深度高斯过程（DGP）是高斯过程（GP）的多层分层概括，形式上等价于具有多个无限宽隐藏层的神经网络。DGP是非参数概率模型，因此可以说更灵活，具有更大的概括能力，并提供比其他深度模型更好的校准不确定性估计。本文提出了一种新的近似贝叶斯学习方案，使DGP首次被应用到一系列中到大规模的回归问题。新方法使用近似的期望传播过程和一种新的和有效的扩展的概率反向传播算法的学习。我们评估的非线性回归的新方法在11个现实世界的数据集，表明它总是优于GP回归，几乎总是优于国家的最先进的确定性和基于采样的近似推理方法贝叶斯神经网络。作为一个副产品，这项工作提供了一个全面的分析六个近似贝叶斯方法训练神经网络。
2016-02-12 cs.LG stat.ML
Approximate cross-validation formula for Bayesian linear regression
Tokyo Institute of Technology（东京工业大学）；Hiroshima University（广岛大学）
交叉验证（CV）是一种基于给定数据集评估统计模型/学习系统能力的技术。尽管其广泛的适用性，相当沉重的计算成本可以阻止其使用的系统规模的增长。为了解决贝叶斯线性回归的情况下，这个困难，我们开发了一个公式，用于估计留一法CV误差近似没有实际执行CV。开发的公式的有用性进行了测试的统计力学分析的合成模型。这一点也通过应用于真实世界的超新星数据集得到了证实。
2016-10-25 cs.LG stat.ML
Piecewise Linear Regression via a Difference of Convex Functions
Boston University（波士顿大学）
我们提出了一种新的分段线性回归方法，利用拟合的凸函数（DC函数）的数据的差异。这些是函数$f$，其可以表示为用于凸函数$ϕ_1, ϕ_2$的选择的差$ϕ_1 - ϕ_2$。该方法通过估计分段线性凸函数，以类似于最大仿射回归的方式进行，其差近似于数据。的功能的选择是正规化的一个新的控制类的DC功能，控制的$\ell_\infty$ Lipschitz常数的估计。由此产生的方法可以有效地实现通过二次规划，即使在高维度，并显示有接近极大极小的统计风险。我们经验验证的方法，表明它是实际可实现的，并具有可比的性能，现有的回归/分类方法对现实世界的数据集。
2020-11-13 cs.LG stat.ML
Lazily Adapted Constant Kinky Inference for Nonparametric Regression and Model-Reference Adaptive Control
Dept. of Engineering Science University of Oxford, UK（工程科学系 奥克斯福德大学 英国）
本文提出了一种惰性适应的常数Kinky推断方法，用于非参数回归和模型参考自适应控制，通过在线估计Hölder常数并建立强通用逼近保证，展示了在密集数据下学习任意连续函数的能力。
2021-03-10 cs.AI cs.LG cs.SY
CLIP: Cheap Lipschitz Training of Neural Networks
Friedrich-Alexander University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
尽管近年来深度神经网络（DNN）取得了巨大成功，但大多数神经网络在稳定性方面仍然缺乏数学保证。例如，DNN容易受到小的甚至不可感知的输入扰动（所谓的对抗性示例）的影响，这可能导致错误的预测。这种不稳定性在影响人类健康和安全的应用中可能具有严重的后果，例如，生物医学成像或自动驾驶。虽然限制神经网络的Lipschitz常数可以提高稳定性，但大多数方法依赖于限制每层的Lipschitz常数，这对实际Lipschitz常数给出了较差的界限。在本文中，我们研究了一种变分正则化方法命名为CLIP控制的Lipschitz常数的神经网络，它可以很容易地集成到训练过程。我们从数学上分析了所提出的模型，特别是讨论了所选择的正则化参数对网络输出的影响。最后，我们数值评估我们的方法上的非线性回归问题和MNIST和时尚MNIST分类数据库，并比较我们的结果与权重正则化方法。
2022-10-31 cs.LG math.OC stat.ML
Fair Regression: Quantitative Definitions and Reduction-based Algorithms
Microsoft Research（微软研究院）；University of Minnesota（明尼苏达大学）
在本文中，我们研究了一个真实值的目标，如风险评分或累犯率的预测，同时保证一个受保护的属性，如性别或种族的公平性的定量概念。我们称这类问题为\emph{fair regression}。我们提出了两个公平性概念下的公平回归的一般方案：（1）统计奇偶性，要求预测在统计上独立于受保护的属性，以及（2）有界组损失，要求仅限于任何受保护的组的预测误差保持在某个预定水平以下。虽然我们只研究这两个公平性概念，但我们的方案适用于任意Lipschitz连续损失，因此它们包括最小二乘回归，逻辑回归，分位数回归和许多其他任务。我们的计划只需要访问标准的风险最小化算法（如标准分类或最小二乘回归），同时提供理论保证所获得的解决方案的最优性和公平性。除了分析我们的计划的理论属性，我们经验证明他们的能力，发现公平性-准确性边界的几个标准数据集。
2019-05-30 cs.LG stat.ML
Robustness of Bayesian Pool-based Active Learning Against Prior Misspecification
National University of Singapore（新加坡国立大学）；Queensland University of Technology（昆士兰科技大学）
我们研究的鲁棒性主动学习（AL）算法对以前的误指定：算法是否达到类似的性能使用扰动前相比，使用真正的先验。在最大覆盖设置的平均和最坏情况下，我们证明了所有$α$近似算法都是鲁棒的（即，接近$α$ -近似），如果效用在先验中是Lipschitz连续的。我们进一步表明，鲁棒性可能无法实现，如果效用是非Lipschitz。这表明，如果需要鲁棒性，我们应该为AL使用Lipschitz实用程序。对于最小成本设置，我们还可以获得近似AL算法的鲁棒性结果。我们的研究结果意味着，许多常用的AL算法是强大的扰动先验知识。然后，我们提出了使用混合物之前，以减轻问题的先验误指定。我们分析了均匀混合先验的鲁棒性，并通过实验表明，它在实践中表现得相当好。
2016-03-30 cs.LG stat.ML
System Identification Through Lipschitz Regularized Deep Neural Networks
Worcester Polytechnic Institute（伍斯特理工学院）；University of Bologna（博洛尼亚大学）
在本文中，我们使用神经网络学习控制方程的数据。具体来说，我们重建的右手边的常微分方程系统$\dot{x}(t) = f(t, x(t))$直接从观察到的均匀时间采样数据使用神经网络。与其他基于神经网络的方法相比，我们增加了一个Lipschitz正则化项，我们的损失函数。在合成示例中，我们凭经验观察到，与非正则化模型相比，这种正则化导致更平滑的近似函数和更好的泛化特性，无论是在轨迹数据还是非轨迹数据上，特别是在存在噪声的情况下。与稀疏回归方法相比，由于神经网络是通用的逼近器，我们不需要任何关于ODE系统的先验知识。由于该模型是以组件方式应用的，因此它可以处理任何维度的系统，使其可用于真实世界的数据。
2020-09-07 cs.LG cs.NA math.DS
Using Non-Lipschitz Signum-based Functions for Distributed Optimization and Machine Learning: Trade-off Between Con-vergence Rate and Optimality Gap
Semnan University（塞姆南大学）；Oregon State University（俄勒冈州立大学）；Kazan Federal University（喀山联邦大学）；Sharif University of Technology（谢里夫理工大学）
本文针对分布式机器学习中收敛速率慢的问题，研究非利普希茨符号函数在分布式优化中的应用，发现其可加快收敛但会产生大最优性间隙，成果推进了相关分布式算法讨论。
2026-08-04 cs.LG cs.SY eess.SP
Efficient Sampling in POMDPs with Lipschitz Bandits for Motion Planning in Continuous Spaces
FZI Research Center for Information Technology（FZI信息技术研究中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
不确定性下的决策过程可以看作是一个部分可观测的马尔可夫决策过程（POMDP）。寻找POMDPs的精确解通常在计算上是难以处理的，但是该解可以通过基于采样的方法来近似。这些基于采样的POMDP求解器依赖于多臂强盗（MAB）算法，该算法假设不同动作的结果是不相关的。在某些应用中，如连续空间中的运动规划，类似的动作会产生类似的结果。在本文中，我们利用MAB启发式算法的变体，对行动结果进行Lipschitz连续性假设，以提高基于采样的规划方法的效率。我们证明了这种方法的有效性的背景下，自动驾驶的运动规划。
2021-06-08 cs.LG cs.RO
Nonlinear Robust Filtering of Sampled-Data Dynamical Systems
GE Global Research（GE全球研究）；University of Alberta（阿尔伯塔大学）
本文研究了具有和不具有精确离散时间模型的非线性采样数据系统的鲁棒滤波问题，提出了一种基于线性矩阵不等式的方法来设计鲁棒H∞观测器，并针对两种系统类型进行了分析，证明了观测器的收敛性，并通过欧拉近似离散时间模型证明了实际收敛性，同时通过最大化可允许的Lipschitz常数来保证对非线性不确定性的鲁棒性。
2018-12-23 cs.LG cs.SY eess.SY
Byzantine-Resilient Stochastic Gradient Descent for Distributed Learning: A Lipschitz-Inspired Coordinate-wise Median Approach
Iowa State University（爱荷华州立大学）
在这项工作中，我们考虑分布式学习中基于随机梯度下降（SGD）的分布式算法的弹性与潜在的拜占庭攻击者，谁可以发送任意信息到参数服务器，以破坏训练过程。为此，我们提出了一个新的Lipschitz启发的坐标明智的中位数方法（LICM-SGD），以减轻拜占庭攻击。我们证明了我们的LICM-SGD算法可以抵抗多达一半的拜占庭攻击者，同时在非凸设置中几乎肯定会收敛到一个固定区域。此外，我们的LICM-SGD方法不需要关于攻击者数量和Lipschitz常数的任何信息，这使得它对实际实现具有吸引力。此外，我们的LICM-SGD方法享有最佳的$O(md)$计算时间复杂度的意义上，时间复杂度是相同的标准SGD下没有攻击。我们进行了大量的实验，以表明我们的LICM-SGD算法在使用MNIST和CIFAR-10数据集训练多类逻辑回归和卷积神经网络方面始终优于现有方法。在我们的实验中，LICM-SGD还实现了更快的运行时间，这要归功于它的低计算时间复杂度。
2019-09-10 cs.DC cs.LG stat.ML
Sparse Approximate Solutions to Max-Plus Equations with Application to Multivariate Convex Regression
National Technical University of Athens（雅典国家技术大学）；University of Pennsylvania（宾夕法尼亚大学）
在这项工作中，我们研究的问题，找到近似，最小支撑集，解决矩阵最大-加方程，我们称之为稀疏近似解。我们展示了如何可以有效地获得这样的解决方案，并在多项式时间的任何$\ell_p$近似误差。基于这些结果，我们提出了一种新的方法，凸多元函数的分段线性拟合，最优性保证的模型参数和近似最小数量的仿射区域。
2020-12-21 cs.LG math.OC math.RA
F-measure Maximizing Logistic Regression
Doshisha University（同志社大学）；Tokyo University of Science（东京理科大学）
本文针对逻辑回归在不平衡数据上偏向多数类的问题，提出基于近似相对 F-measure 的加权逻辑回归算法，实验证明其能有效提升分类性能。
2019-05-07 cs.LG stat.ME stat.ML
Sketching for Principal Component Regression
Tel Aviv University（特拉维夫大学）
主成分回归（PCR）是正则化线性回归的一种有效方法。虽然概念上简单，但PCR的直接实现具有较高的计算成本，因此在使用大规模数据进行学习时是不合适的。在本文中，我们提出了用于计算近似PCR解的有效算法，这些算法一方面是真实PCR解的高质量近似（当被视为约束最优化问题的最小化者时），另一方面考虑严格的风险边界（当被视为统计估计量时）。特别地，我们提出了一个输入稀疏时间近似PCR算法。我们还考虑在流模型中计算近似PCR和内核PCR。实验结果表明，我们所提出的方法的优异性能。
2019-03-07 cs.DS cs.LG cs.NA
On the Convergence of Irregular Sampling in Reproducing Kernel Hilbert Spaces
Universität Hamburg（汉堡大学）
本文分析再生核希尔伯特空间中不规则采样算法的收敛性，在极简假设下推导核回归的逼近性质、RKHS范数误差估计及紧域一致收敛新结果，并给出Lipschitz和Hölder连续核的收敛速率。
2025-04-18 cs.LG cs.NA math.NA
A non-asymptotic distributional theory of approximate message passing for sparse and robust regression
The Chinese University of Hong Kong（香港中文大学）；University of Pennsylvania（宾夕法尼亚大学）
本文针对稀疏与稳健回归，首次建立了可容纳多项式迭代次数的AMP有限样本非渐近分布理论，改进了高斯近似精度并增强了Lasso与稳健M-估计器的分布刻画。
2024-01-08 cs.IT cs.LG eess.SP
