A regression model with a hidden logistic process for signal parametrization
French National Institute for Transport and Safety Research (INRETS)(法国国家运输与安全研究所(INRETS));Compiègne University of Technology(贡比涅技术大学)
提出了一种新的信号参数化方法,它包括一个特定的回归模型,其中包含一个离散的隐逻辑斯谛过程。通过专用期望最大化(EM)算法执行的极大似然方法估计模型参数。在期望最大化算法的内循环中,隐逻辑过程的参数使用多类迭代重加权最小二乘(IRLS)算法来估计。使用模拟和真实数据的实验研究表明,所提出的方法具有良好的性能。
2013-12-25 cs.LG stat.ME stat.ML
Functional Mixture Discriminant Analysis with hidden process regression for curve classification
Institut Universitaire de France(法兰西大学研究院)
我们提出了一种新的基于混合模型的判别分析方法的功能数据使用一个特定的隐藏过程回归模型。该方法允许拟合灵活的曲线模型,以每一类复杂形状的曲线呈现政权的变化。通过使用专用的期望最大化(EM)算法,最大化每个类的数据对数似然来学习模型参数。仿真数据与其他方法的比较表明,所提出的方法提供了更好的结果。
2013-12-25 cs.LG stat.ME stat.ML
Exploring Hidden Semantics in Neural Networks with Symbolic Regression
China University of Petroleum-Beijing(中国石油大学(北京));University of Wisconsin Milwaukee(威斯康星大学密尔沃基分校)
最近的许多研究集中在发展机制来解释神经网络(NN)的黑箱行为。然而,很少有工作已经做了提取潜在的隐藏语义(数学表示)的神经网络。一个简洁和明确的数学表示的神经网络模型可以提高其行为的理解和解释。为了满足这一需求,我们提出了一种新的符号回归方法神经工程(称为SRNet)发现的数学表达式的NN。SRNet创建了一个笛卡尔遗传编程(NNCGP)来表示NN中单个层的隐藏语义。然后,它利用多染色体NNCGP来表示NN的所有层的隐藏语义。该方法使用(1+ $λ$)进化策略(称为MNNCGP-ES)来提取神经网络中所有层的最终数学表达式。在12个符号回归基准和5个分类基准上的实验表明,SRNet不仅能够揭示神经网络各层之间的复杂关系,而且能够提取整个神经网络的数学表示。与LIME和MAPLE相比,SRNet具有更高的插值精度,并且倾向于逼近实际数据集上的真实模型。
2022-04-22 cs.LG cs.NE
Hidden States as Value Gradients: The Pontryagin Structure of Recurrent Policies
Donders Institute for Brain, Cognition and Behaviour(脑、认知与行为研究所);Radboud University(拉德堡德大学)
本文提出通过将隐藏状态与最优控制中的庞特里亚金最小原理联系起来,设计出能解释内部动态的强化学习策略,提升连续控制政策的鲁棒性。
2026-09-29 cs.LG
A regression model with a hidden logistic process for feature extraction from time series
提出了一种从时间序列中提取特征的新方法。这种方法包括一个特定的回归模型,其中包含一个离散的隐藏逻辑过程。通过专用期望最大化(EM)算法执行的极大似然方法估计模型参数。在期望最大化算法的内循环中,隐逻辑过程的参数使用多类迭代重加权最小二乘(IRLS)算法来估计。一个分段回归算法及其迭代变量也被认为是比较。使用模拟和真实数据的实验研究表明,所提出的方法具有良好的性能。
2013-12-25 cs.LG math.ST stat.ME
A hidden process regression model for functional data description. Application to curve discrimination
INRETS(法国国家运输与安全研究所);Compiègne University of Technology(贡比涅技术大学);French National Institute for Transport and Safety Research (INRETS)(法国国家运输与安全研究所(INRETS))
本文提出了一种新的功能数据描述方法。它包括一个回归模型与离散隐藏的逻辑过程,适用于建模曲线突然或平滑政权的变化。通过专用的期望最大化(EM)算法在极大似然框架中估计模型参数。从建议的生成模型,曲线的歧视规则,使用最大后验规则。所提出的模型进行评估,使用模拟曲线和现实世界中获得的曲线在铁路道岔操作,通过执行与分段回归方法的曲线建模和分类方面的比较。
2013-12-25 cs.LG stat.ME stat.ML
Gradient Descent Converges Linearly for Logistic Regression on Separable Data
Google Research(谷歌研究院);Yahoo! Research(雅虎研究院)
本文证明了在可分数据上,使用可变学习率的梯度下降法能保证 Logistic Regression 损失线性收敛,并改善了稀疏 Logistic Regression 的稀疏度-误差权衡。
2023-06-26 cs.LG
Comparing the Moore-Penrose Pseudoinverse and Gradient Descent for Solving Linear Regression Problems: A Performance Analysis
University of Pittsburgh(匹兹堡大学)
本文比较了求解线性回归问题的Moore-Penrose伪逆与梯度下降法,分析了两者在计算时间、数值稳定性和预测准确性方面的表现,为选择直接精确解或迭代近似解提供实用指导。
2025-05-29 cs.LG
Instance-Based Uncertainty Estimation for Gradient-Boosted Regression Trees
University of Oregon(俄勒冈大学)
回归树(GBRT)是解决表格回归问题的一种非常流行的方法,但它不能提供不确定性的估计。我们提出了基于实例的不确定性估计的回归树(IBUG),一个简单的方法扩展任何GBRT点预测产生概率预测。IBUG使用$k$最近的训练实例计算预测周围的非参数分布,其中距离是用树集成内核测量的。IBUG的运行时间取决于集合中每个叶子上的训练样本的数量,并且可以通过采样树或训练实例来改进。从经验上讲,我们发现IBUG在22个基准回归数据集上实现了类似或更好的性能。我们还发现,IBUG可以通过使用不同的基础GBRT模型来实现改进的概率性能,并且可以比竞争方法更灵活地建模预测的后验分布。我们还发现,以前的方法在某些数据集上的概率校准较差,这可以使用在验证数据上调整的标量因子来缓解。源代码可在https://www.github.com/jjbrophy47/ibug上获得。
2022-10-10 cs.LG
Gradient Boosting With Piece-Wise Linear Regression Trees
Tsinghua University(清华大学);Institute for Interdisciplinary Information Sciences(交叉信息研究院)
梯度提升决策树(GBDT)是一种非常成功的集成学习算法,广泛应用于各种应用。最近,GBDT训练算法和实现的几个变体已经在一些非常流行的开源工具包中设计和大量优化,包括XGBoost,LightGBM和CatBoost。在本文中,我们表明,通过使用更复杂的基础学习器,可以进一步提高GBDT的准确性和效率。具体来说,我们扩展了梯度提升,使用分段线性回归树(PL树),而不是分段常数回归树,作为基本学习器。我们表明PL树可以加速GBDT的收敛,提高精度。我们还提出了一些优化技巧,以大大减少PL树的训练时间,而几乎不牺牲准确性。此外,我们提出了几种实现技术,以加快我们的算法在现代计算机体系结构与强大的单指令多数据(SIMD)并行。实验结果表明,GBDT与PL树可以提供非常有竞争力的测试精度相当或更少的训练时间。
2019-06-25 cs.LG
Multinomial Logistic Regression Algorithms via Quadratic Gradient
多项逻辑回归,也被称为多类逻辑回归和softmax回归,是一种基本的分类方法,将二元逻辑回归推广到多类问题。最近的工作提出了一种更快的梯度称为$\texttt{quadratic gradient}$,可以加速二元逻辑回归的训练,并提出了一个增强的Nesterov的加速梯度(NAG)方法的二元逻辑回归。在本文中,我们将这项工作扩展到多类逻辑回归,并提出了一个增强的自适应梯度算法(Adagrad),可以加速原来的Adagrad方法。我们在一些多类问题数据集上测试了增强的NAG方法和增强的Adagrad方法。实验结果表明,这两种增强方法的收敛速度分别比原来的。
2023-03-29 cs.LG math.OC
Global optimality of softmax policy gradient with single hidden layer neural networks in the mean-field regime
Duke University(杜克大学)
研究了具有softmax策略和非线性函数逼近的无限期折扣马尔可夫决策过程的策略优化问题,该非线性函数逼近采用策略梯度算法训练.我们专注于平均场机制中的训练动态,例如建模,宽单隐层神经网络的行为,通过熵正则化鼓励探索。这些模型的动力学被建立为参数空间中分布的Wasserstein梯度流。在较温和的初始化条件下,我们进一步证明了该动力学不动点的全局最优性。
2020-10-22 cs.LG stat.ML
On the rate of convergence of fully connected very deep neural network regression estimates
Technische Universität Darmstadt(达姆施塔特工业大学)
非参数回归的最新结果表明,深度学习,即,具有许多隐藏层的神经网络估计能够在对回归函数的结构进行适当限制的情况下规避所谓的维数灾难。这些结果中使用的神经网络的一个关键特征是,它们的网络架构具有进一步的约束,即网络稀疏性。在本文中,我们证明了我们也可以得到类似的结果,最小二乘估计基于简单的全连接神经网络与ReLU激活函数。这里,或者每个隐藏层的神经元的数量是固定的,并且对于趋于无穷大的样本量,隐藏层的数量趋于无穷快,或者隐藏层的数量由样本量中的某个对数因子限制,并且对于趋于无穷大的样本量,每个隐藏层的神经元的数量趋于无穷快。证明是基于新的近似结果有关深神经网络。
2020-09-29 cs.LG math.ST stat.ML
Learning One-hidden-layer ReLU Networks via Gradient Descent
University of Virginia(弗吉尼亚大学)
研究了带修正线性单元(ReLU)激活函数的单隐层神经网络的学习问题,其中输入来自标准高斯分布,输出来自带噪声的教师网络.我们基于经验风险最小化理论分析了梯度下降法训练此类神经网络的性能,并提供了算法相关的保证。特别是,我们证明了张量初始化,然后梯度下降可以收敛到地面实况参数的线性速率到一些统计误差。据我们所知,这是第一个描述具有多个神经元的单隐藏层ReLU网络实际学习的恢复保证的工作。数值实验验证了我们的理论结果。
2018-06-20 cs.LG stat.ML
Multi-gauge Hydrological Variational Data Assimilation: Regionalization Learning with Spatial Gradients using Multilayer Perceptron and Bayesian-Guided Multivariate Regression
INRAE(法国国家农业食品与环境研究院);Aix-Marseille Université(艾克斯-马赛大学);Institut de Mécanique des Fluides de Toulouse (IMFT)(图卢兹流体力学研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心)
本文提出一种面向高分辨率水文模型的无缝区域化学习方法,通过多层感知机或贝叶斯引导的多元回归构建区域传递函数,并结合变分数据同化与多测站空间梯度优化,解决无测站水道洪水参数估计难题。
2023-07-04 cs.LG
Privacy-Preserving Logistic Regression Training with A Faster Gradient Variant
提出一种名为二次梯度的梯度变体,用于加速隐私保护逻辑回归训练,并在同态加密场景下仅需四次迭代即可达到可比性能。
2026-07-14 cs.CR cs.LG
Joint segmentation of multivariate time series with hidden process regression for human activity recognition
Université de Toulon(土伦大学);Aix Marseille Université(艾克斯-马赛大学);ENSAM(国立高等工程技术学院);University Paris-Est Créteil (UPEC)(巴黎东克雷泰伊大学(UPEC));IFSTTAR(法国交通与安全科学技术研究所)
人类活动识别问题是理解和预测人类行为的核心,特别是在对人类的辅助服务的前景中,例如健康监测,幸福,安全,因此,越来越需要建立能够考虑人类活动随时间变化的精确模型(动态模型)而不是静态模型,静态模型在这样的动态背景下可能具有一些限制。在本文中,活动识别的问题进行了分析,通过分割的多维时间序列的加速度测量数据在三维空间中使用的身体佩戴加速度传感器。所提出的自动时间分割模型是一个特定的统计潜在的过程模型,它假设所观察到的加速序列是由隐藏的(未观察到的)活动序列。更具体地说,所提出的方法基于一个特定的多元回归模型,该模型包含一个隐藏的离散逻辑过程,该过程控制着随着时间的推移从一种活动切换到另一种活动。该模型是在无监督的情况下通过专用的期望最大化(EM)算法最大化数据对数似然来学习的。我们将其应用于现实世界中的自动人类活动识别问题,并通过与其他方法(包括著名的监督静态分类器和标准隐马尔可夫模型(HMM))进行比较来评估其性能。所得到的结果是非常令人鼓舞的,并表明,所提出的方法是相当有竞争力的,即使它在一个完全无监督的方式工作,不需要一个特征提取预处理步骤。
2013-12-25 cs.LG stat.ML
Model-based functional mixture discriminant analysis with hidden process regression for curve classification
Université de Toulon(土伦大学);Aix Marseille Université(艾克斯-马赛大学);ENSAM(国立高等工程技术学院);Institut Universitaire de France(法国大学研究院);IFSTTAR(法国交通与安全科学技术研究所)
在本文中,我们研究的建模和分类的功能数据呈现政权随时间的变化。我们提出了一种新的基于模型的功能混合判别分析方法的基础上,一个特定的隐藏过程回归模型,管理政权随时间的变化。我们的方法是特别适合于处理复杂形状的曲线类的问题,其中每个类是潜在的几个子类组成,并处理每个同质子类内的政权变化。该模型通过混合模型公式明确地集成了每类曲线的异质性,并且通过隐藏的逻辑过程在每个子类内改变政权。每一类复杂形状的曲线是由有限数量的同质集群,他们中的每一个被分解成几个政权。通过使用专用的期望最大化(EM)算法最大化数据对数似然来学习每个类的模型参数。比较与替代曲线分类方法,包括功能线性判别分析和功能混合判别分析与多项式回归混合物和样条回归混合物。模拟数据和实际数据的实验结果表明,该方法在判别力方面优于其他方法,并显着提高了曲线的逼近。
2013-12-25 cs.LG math.ST stat.ME
Semi-supervised structured output prediction by local linear regression and sub-gradient descent
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Vanderbilt University(范德堡大学);Suning Commerce R&D Center USA, Inc(苏宁美国研发中心);Beijing Jiaotong University(北京交通大学);New York University Abu Dhabi(纽约大学阿布扎比分校);National Time Service Center, Chinese Academy of Sciences(中国科学院国家授时中心);Graduate University of Chinese Academy of Sciences(中国科学院研究生院)
提出了一种基于局部线性回归的半监督结构化输出预测方法。现有的半监督结构化输出预测方法针对数据集中的所有数据点学习一个全局预测器,忽略了数据集局部分布的差异及其对结构化输出预测的影响。为了解决这个问题,我们提出了共同学习缺失的结构化输出和不同数据点邻域的局部预测。使用局部线性回归策略,在每个数据点的邻域中,我们建议通过最小化预测器的复杂性和结构化预测损失的上界来学习局部线性预测器。最小化问题是解决子梯度下降算法。我们在两个基准数据集上进行了实验,结果表明了所提出的方法的优点。
2016-08-16 cs.LG
An Unsupervised Approach for Automatic Activity Recognition based on Hidden Markov Model Regression
University Paris-Est Créteil (UPEC)(巴黎东克雷泰伊大学);University Sud Toulon-Var(南土伦瓦尔大学);University Paris-Est(巴黎东大学);IFSTTAR(法国交通发展与网络科学研究院)
使用有监督的机器学习方法来从身体上可穿戴加速度计识别人类活动通常需要大量的标记数据。当地面真相信息不可用,太昂贵,耗时或难以收集时,人们必须依赖于无监督的方法。本文提出了一种新的无监督的方法,从使用惯性可穿戴传感器测量的原始加速度数据的人体活动识别。所提出的方法是基于联合分割的多维时间序列使用隐马尔可夫模型(HMM)在多元回归的背景下。该模型是在无监督框架中使用期望最大化(EM)算法学习的,其中不需要活动标签。所提出的方法考虑到数据的顺序出现。因此,它适用于时间加速度数据,以准确地检测活动。它允许对人类活动进行分割和分类。实验结果表明,相对于标准的监督和无监督分类方法,所提出的方法的效率
2013-12-25 cs.CV cs.LG stat.ML
Learning Combinations of Sigmoids Through Gradient Estimation
Northeastern University(东北大学);Stanford University(斯坦福大学)
提出了一种新的隐变量回归模型参数学习方法。简而言之,我们在一组随机点上估计回归函数的梯度,并对估计的梯度进行聚类。聚类的中心被用作隐藏单元的参数的估计。我们证明这种方法通过研究一个玩具模型,其中的回归函数是一个线性组合的S形。我们证明,确实估计的梯度集中周围的隐藏单元的参数向量,并提供所需的样本的数量上的非渐近界。据我们所知,没有类似的保证已被证明为线性组合的S形。
2018-01-17 cs.LG stat.ML
The Directional Bias Helps Stochastic Gradient Descent to Generalize in Kernel Regression Models
本文研究了非参数统计中的随机梯度下降(SGD)算法:特别是核回归。SGD的方向偏差属性,这是已知的线性回归设置,推广到核回归。更具体地说,我们证明了SGD与温和的退火步长收敛沿的方向对应的最大特征值的革兰氏矩阵的特征向量。此外,具有中等或小步长的梯度下降(GD)沿着对应于最小特征值的方向收敛。这些事实被称为方向偏差属性;它们可以解释SGD计算的估计量如何比GD计算的估计量具有潜在的更小的泛化误差。我们的理论的应用证明了模拟研究和案例研究,是基于FashionMNIST数据集。
2022-04-29 cs.LG stat.ML
Bayesian Uncertainty and Expected Gradient Length -- Regression: Two Sides Of The Same Coin?
Mercedes-Benz Research and Development India(梅赛德斯-奔驰印度研发中心)
主动学习算法选择数据的子集进行注释,以在预算范围内最大化模型性能。一种这样的算法是预期梯度长度,顾名思义,它使用采样过程中每个示例引起的近似梯度。虽然预期梯度长度已成功用于分类和回归,但回归公式仍然是直观驱动的。因此,我们的理论贡献包括推导这个公式,从而支持实验证据。随后,我们证明了回归中的期望梯度长度等价于贝叶斯不确定性。如果某些假设是不可行的,我们的算法贡献(EGL++)近似的合奏与一个单一的确定性网络的效果。而不是计算每个输入的多个可能的推断,我们利用以前注释的样本来量化以前的标签是真实标签的概率。这种方法使我们能够将预期的梯度长度扩展到一个新的任务:人体姿态估计。我们在两个人体姿态数据集(MPII和LSP/LSPET)上进行了实验验证,突出了EGL++与不同的主动学习算法用于人体姿态估计的可解释性和竞争力。
2021-10-22 cs.CV cs.LG
Stochastic Gradient Descent Meets Distribution Regression
Technical University Berlin(柏林工业大学)
随机梯度下降(SGD)提供了一种简单而有效的方法来解决广泛的机器学习问题。在这里,我们专注于分布回归(DR),涉及两个阶段的抽样:首先,我们从概率测度回归到实值响应。其次,我们从这些分布中抽取袋子,利用它们来解决整体回归问题。最近,DR已解决了应用核岭回归和这种方法的学习特性很好地理解。然而,没有什么是已知的SGD的两阶段抽样问题的学习特性。我们填补了这一空白,并提供理论保证的性能SGD DR。我们的界限是最佳的最小最大意义下的标准假设。
2021-03-05 cs.LG stat.ML
Learning One-hidden-layer neural networks via Provable Gradient Descent with Random Initialization
尽管深度学习已经在许多应用中显示出其强大的性能,但神经网络背后的数学原理仍然是神秘的。在本文中,我们考虑的问题,学习一个隐藏层神经网络与二次激活。我们专注于下参数化政权的隐藏单元的数量小于输入的尺寸。我们将建议通过一个可证明的基于梯度的随机初始化方法来解决这个问题。对于非凸神经网络的训练问题,我们揭示了梯度下降迭代能够在几次迭代内进入一个局部区域,该区域具有强凸性和光滑性,然后可以证明以接近最优样本复杂度的线性速率收敛到全局最优模型.我们通过各种实验进一步证实了我们的理论发现。
2019-07-16 cs.IT cs.LG math.IT
Gradient Boosted Binary Histogram Ensemble for Large-scale Regression
University of Twente(特文特大学);Renmin University of China(中国人民大学);Peking University(北京大学)
在本文中,我们提出了一个梯度提升算法的大规模回归问题称为\textit{Gradient Boosted Binary Histogram Ensemble}(GBBHE)的基础上二进制直方图分区和集成学习。从理论的角度来看,通过假设目标函数的Hölder连续性,我们建立了GBBHE在空间$C^{0,α}$和$C^{1,0}$中的统计收敛速度,其中基本学习器的收敛速度的下限证明了提升的优势。此外,在$C^{1,0}$空间中,我们证明了使用集成回归器作为基学习器可以减少迭代次数以达到快速收敛速度,从而提高了计算效率。在实验中,与其他国家的最先进的算法,如梯度提升回归树(GBRT),Breiman的森林,和基于核的方法相比,我们的GBBHE算法表现出良好的性能与更少的运行时间在大规模数据集上。
2021-06-03 cs.LG stat.ML
Robust modal regression with direct log-density derivative estimation
Future University Hakodate(公立函馆未来大学);NEC Corporation(日本电气股份有限公司);Tokyo Institute of Technology(东京工业大学);RIKEN AIP(理化学研究所AIP)
模态回归旨在估计全局模态(即,全局最大值)的条件密度函数的输出变量给定的输入变量,并导致回归方法的鲁棒性对重尾或倾斜的噪音。通常通过最大化模态回归风险(MRR)来估计条件模态。为了应用梯度法进行最大化,基本的挑战是MRR梯度的精确近似,而不是MRR本身。为了克服这一挑战,在本文中,我们采取了一种新的方法,直接近似梯度的MRR。为了近似梯度,我们开发了最小二乘对数密度导数估计器的核化和基于神经网络的版本,该估计器直接近似对数密度的导数而无需密度估计。通过直接逼近MRR梯度,我们首先提出了一种带核的模态回归方法,并基于不动点方法推导出一种新的参数更新规则。然后,从理论上证明了所推导的更新规则具有单调爬山性质的条件模式。此外,我们指出,我们的方法直接逼近梯度是兼容最近复杂的随机梯度方法(例如,Adam),然后提出了另一种基于神经网络的模态回归方法。最后,在各种人工和基准数据集上证明了所提出的方法的优越性能。
2019-10-18 cs.LG stat.ML
Hidden Heroes and Gradient Bloats: Layer-Wise Redundancy Inverts Attribution in Transformers
Department of Computer Science, Fu Foundation School of Engineering and Applied Science, Columbia University, New York, NY, USA(计算机科学系,工程与应用科学基金会学院,哥伦比亚大学,纽约,纽约州,美国)
研究揭示Transformer中梯度归因方法在层间冗余下的系统性失效,早期层的梯度膨胀被高估,晚期层的隐性英雄被低估,导致归因可靠性下降。
2026-05-08 cs.AI cs.CL cs.LG
Wind ramp event prediction with parallelized Gradient Boosted Regression Trees
Indian Institute of Technology(印度理工学院);Deakin University(迪肯大学)
准确预测风变事件对于保证高风能渗透率电力系统的可靠性和稳定性至关重要。本文提出了一种基于分类的方法来估计未来类的风斜坡事件的基础上一定的阈值。提出了一种基于并行化梯度提升回归树的技术,用于准确分类正常和罕见的极端风力发电斜坡事件。该模型已得到验证,使用风力发电数据从国家可再生能源实验室数据库。与几个基准技术的性能比较表明,所提出的技术在优越的分类精度方面的优越性。
2016-10-17 cs.AI cs.LG
Regression Trees Know Calculus
Department of Mathematics and Statistics(数学与统计学系);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文研究回归树在可微函数上的应用,发现可通过树学习库提供的量高效计算被逼近函数的局部梯度,使可微算法工具能应用于树基模型,提升预测分析、不确定性量化等能力。
2025-11-12 cs.LG stat.ML
Targeted stochastic gradient Markov chain Monte Carlo for hidden Markov models with rare latent states
Harvard University(哈佛大学);Duke University(杜克大学);Google(谷歌公司)
针对隐马尔可夫模型中稀有隐状态导致数据不平衡的问题,提出目标子采样(TASS)方法,通过过采样稀有状态观测值并构建权重降低梯度估计方差,显著提升了稀有事件的预测和推断准确性。
2024-07-25 cs.LG stat.ML
Deep symbolic regression: Recovering mathematical expressions from data via risk-seeking policy gradients
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
发现描述数据集的底层数学表达式是人工智能的核心挑战。这是$\textit{symbolic regression}$的问题。尽管最近在训练神经网络以解决复杂任务方面取得了进展,但符号回归的深度学习方法尚未得到充分探索。我们提出了一个框架,通过一个简单的想法利用深度学习进行符号回归:使用大模型搜索小模型的空间。具体来说,我们使用一个递归神经网络发出一个分布在易于处理的数学表达式,并采用一种新的风险寻求策略梯度训练网络,以产生更好的拟合表达式。我们的算法优于几个基线方法(包括Eureqa,符号回归的黄金标准),它能够准确地恢复符号表达式的一系列基准问题,无论有没有添加噪声。更广泛地说,我们的贡献包括一个框架,可以应用于优化层次结构,可变长度的对象下的黑盒性能指标,能够将约束条件在原位,和风险寻求策略梯度制定,优化最佳情况下的性能,而不是预期的性能。
2021-04-05 cs.LG stat.ML
Vertical Symbolic Regression via Deep Policy Gradient
Purdue University(普渡大学)
针对纵向符号回归与深度神经网络直接结合存在的梯度传递等问题,提出基于深度策略梯度的VSR-DPG方法,将符号回归建模为序列决策过程,在多类方程识别基准上性能显著优于现有方法。
2024-02-01 cs.AI cs.LG
Tighter Bounds on the Log Marginal Likelihood of Gaussian Process Regression Using Conjugate Gradients
Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
我们提出了一个下界的高斯过程回归模型的对数边际似然,可以计算没有矩阵分解的完整的内核矩阵。我们表明,近似极大似然学习模型参数最大化我们的下限保留了许多稀疏变分方法的好处,同时减少了偏见引入参数学习。我们的界限的基础是一个更仔细的分析出现在对数边际似然的对数行列式项,以及使用共轭梯度的方法来推导出严格的下界的一项涉及二次型。我们的方法是一个统一的方法依赖于下限最大化(例如变分法)和迭代方法的基础上训练高斯过程的共轭梯度的一步。在实验中,与其他基于共轭梯度的方法相比,我们的模型在相当的训练时间内表现出更好的预测性能。
2021-02-16 cs.LG stat.ML
Exponential Convergence of (Stochastic) Gradient Descent for Separable Logistic Regression
Undergraduate Programme Indian Institute of Science, Bangalore(印度科学研究院布达佩斯分校本科项目);Dept. of Computer Science and Automation Indian Institute of Science, Bangalore(计算机科学与自动化系印度科学研究院布达佩斯分校);Inria, Ecole Normale Supérieure PSL Research University, Paris, France(法国巴黎PSL研究大学埃cole Normale Supérieure与Inria)
本文通过精心设计的步长增长策略,实现了梯度下降和随机梯度下降在可分离逻辑回归中的指数收敛性,无需依赖自适应或线搜索方法。
2026-02-27 cs.LG math.OC
LAIR-Net: Leaky Alignment-Impulse Residual Networks for Tabular Regression
Indian Institute of Technology Guwahati(印度技术学院加瓦哈蒂分校);SAFIR, Sorbonne University Abu Dhabi(阿布扎比索邦大学 SAFIR);Indian Institute of Technology Bombay(印度技术学院孟买分校)
该研究提出用于表格回归的LAIR-Net,通过泄漏残差变换混入浅层锚点,在23个基准数据集上的平均排名优于8个随机网络和12个传统模型,性能与非线性结构及噪声量相关。
2026-10-09 cs.LG stat.ML
Gradient-based bilevel optimization for multi-penalty Ridge regression through matrix differential calculus
IDSIA Dalle Molle Institute for Artificial Intelligence(IDSIA 达莱·莫勒人工智能研究所);USI-SUPSI(提契诺大学-瑞士南部应用科学与艺术大学)
本文针对每个输入变量关联不同正则化超参数的l2正则化线性回归问题,提出基于矩阵微分计算解析求解交叉验证准则梯度的双层优化方法,并引入防过拟合策略,数值实验证明其优于LASSO等方法且计算高效。
2023-11-23 cs.LG stat.ML
Minimalist Regression Network with Reinforced Gradients and Weighted Estimates: a Case Study on Parameters Estimation in Automated Welding
Hiroshi Ishiguro Laboratories (HIL), Advanced Telecommunications Research Institute International (ATR)(石黑浩实验室(HIL),国际电气通信基础技术研究所(ATR))
本文提出了一种最小神经回归网络,它是同时训练的独立相同回归块的集合。此外,它引入了一个新的乘法参数,由给定层的所有神经单元共享,以保持其梯度的质量。此外,它通过学习权重因子来提高其估计精度,该权重因子的数量在每次训练迭代时捕获估计值和实际值之间的冗余。我们选择不同的焊接技术的直接焊接参数的估计,以显示显着改善这些参数的计算,我们的模型相比,在文献中的国家的最先进的技术。此外,我们证明了我们的模型的能力,以保持其性能时,提出了不同的焊接技术的组合数据。这是一个不平凡的结果,在获得一个可扩展的模型,其质量的估计是独立的采用焊接技术。
2016-07-05 cs.LG cs.RO
Gradient tree boosting with random output projections for multi-label classification and multi-output regression
University of Liège(列日大学)
在监督学习的许多应用中,必须联合预测多个分类或回归输出。我们考虑几个扩展的梯度提升来解决这些问题。我们首先提出了一个简单的适应梯度提升利用多个输出回归树作为基本学习者。然后,我们认为,这种方法预计只有在输出完全相关时才是最优的,因为它迫使树基学习器引起的分区被所有输出共享。然后,我们提出了一种新的梯度树提升扩展来专门解决这个问题。在这种新方法的每次迭代中,生长回归树结构以拟合当前残差的单个随机投影,并且该树的预测独立地线性拟合所有输出的当前残差。由于这种线性拟合,该方法可以自动适应任何输出相关结构。用这种方法进行了广泛的实验,以及其他算法的变种,在几个人工和真实的问题。随机投影的输出空间,以提供一个更好的适应不同的输出相关模式,因此在大多数情况下,最好的其他方法的竞争力。由于模型共享,收敛速度也得到了提高,减少了计算时间(或模型的复杂性),以达到特定的精度。
2019-05-18 cs.LG stat.ML
Gradient Aligned Regression via Pairwise Losses
Department of Genetics, Stanford University, CA, USA(遗传学系,斯坦福大学,加州,美国);Department of Computer Science, Texas A\&M University, TX, USA(计算机科学系,德克萨斯A&M大学,德克萨斯州,美国)
针对现有基于潜在特征空间成对正则化的回归方法计算成本高、缺乏理论支撑的问题,提出标签空间的GAR方法,兼具线性复杂度与理论依据,在多数据集上验证了有效性与效率优势。
2025-06-11 cs.AI cs.LG
Gradient and Newton Boosting for Classification and Regression
Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学)
提升算法经常用于应用数据科学和研究。到目前为止,在应用和方法论研究中,通常都没有区分梯度下降或二阶牛顿更新的提升,因此隐含地假设差异是无关紧要的。本文的目的就是要澄清这种情况。特别是,我们提出了梯度和牛顿助推,以及两者的混合变体,在一个统一的框架。我们使用各种数据集和损失函数将这些提升算法与树作为基本学习者进行比较。我们的实验表明,在大多数数据集上,Newton boosting在预测精度方面优于梯度和混合梯度-Newton boosting。我们还提出证据表明,这不是牛顿推进的收敛速度更快的原因。此外,我们还为基于树的牛顿增强引入了一个新的调整参数,该参数是可解释的,并且对于预测准确性很重要。
2020-10-20 cs.LG stat.ML
Spectral Representation for Causal Estimation with Hidden Confounders
Georgia Tech(佐治亚理工学院);Universitat Pompeu Fabra(庞培法布拉大学);UT Austin(德克萨斯大学奥斯汀分校);University College London(伦敦大学学院);Google DeepMind(谷歌DeepMind)
本文提出一种基于条件期望算子奇异值分解与鞍点优化的因果估计方法,用于处理工具变量回归和代理因果学习中的隐藏混杂因素,并在多个基准上取得优于现有方法的效果。
2025-03-10 cs.LG stat.ML
Soft Gradient Boosting with Learnable Feature Transforms for Sequential Regression
Department of Electrical and Electronics Engineering, Bilkent University(电气与电子工程系,比尔肯特大学)
提出一种用于序列回归的软梯度提升框架,在提升过程中联合训练软决策树与可学习的线性特征变换Q,通过端到端优化特征选择与提升过程,有效提升了高维稀疏数据场景下的性能并避免过拟合。
2025-09-16 cs.LG eess.SP
Beyond RMSE and MAE: Introducing EAUC to unmask hidden bias and unfairness in dyadic regression models
LIDIA Group, CITIC, Universidade da Coruña(LIDIA小组、CITIC、科鲁纳大学)
本文指出二元回归模型存在“偏心偏差”导致关键情况下预测劣于随机,因传统 RMSE 无法捕捉此问题,故提出新指标 EAUC 量化偏差并验证其有效性,为系统公平性提供评估方法。
2025-05-28 cs.AI cs.IR cs.LG
Improved Differentially Private Regression via Gradient Boosting
Amazon AWS AI/ML(亚马逊AWS人工智能/机器学习部门);University of Pennsylvania(宾夕法尼亚大学);Columbia University(哥伦比亚大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);Carnegie Mellon University(卡内基梅隆大学)
针对差分隐私平方误差线性回归中现有方法对超参数敏感的问题,提出一种基于梯度提升的新算法,在裁剪阈值固定或竞争算法非隐私优化时均表现更优,并提供理论解释。
2023-05-20 cs.CR cs.LG
Stochastic Gradient Descent for Relational Logistic Regression via Partial Network Crawls
Purdue University(普渡大学)
统计关系学习的研究已经产生了许多从大规模网络数据中学习关系模型的方法。虽然这些方法已成功地应用于各个领域,但它们是在完全数据访问的不切实际的假设下开发的。然而,在实践中,由于专有访问、有限的资源和隐私问题,数据通常通过爬行网络来收集。最近,我们发现,从现有网络爬虫收集的网络样本中计算的关系贝叶斯分类器的参数估计可能非常不准确,并为此类模型开发了一种爬虫感知估计方法(Yang,Ribeiro和Neville,2017)。在这项工作中,我们扩展的方法来学习关系逻辑斯谛回归模型通过随机梯度下降从部分网络爬行,并表明,所提出的方法产生准确的参数估计和置信区间。
2017-08-21 cs.LG stat.ML
Improving SGD convergence by online linear regression of gradients in multiple statistically relevant directions
Jagiellonian University(雅盖隆大学)
深度神经网络通常使用随机梯度下降(SGD)进行训练,该算法使用非常粗略的梯度近似来最小化目标函数,仅对实际梯度进行平均。标准的方法,如动量或ADAM只考虑一个方向,并不试图从极值模型的距离-忽略了有价值的信息,从计算的梯度序列,往往停滞在一些次优的高原。二阶方法可以利用这些错过的机会,然而,除了遭受非常大的成本和数值不稳定性之外,由于忽略曲率的符号(作为Hessian的特征值),其中许多方法会吸引到次优点,如鞍点。无鞍牛顿法是解决这个问题的一个罕见的例子-将鞍吸引力变为排斥力,并被证明可以通过这种方式对最终值提供本质的改进。然而,它忽略了噪声,而建模二阶行为,专注于Krylov子空间的数值原因,并需要昂贵的特征分解。在保持SFN优势的情况下,提出了用于利用这些机会的廉价方式。二阶行为是一阶导数的线性依赖-我们可以用最小二乘线性回归从噪声梯度序列中最佳地估计它,在这里的在线设置中:用旧梯度的弱化权重。统计相关子空间由最近的噪声梯度的PCA建议-在在线设置中,它可以通过缓慢地将所考虑的方向旋转到新的梯度,逐渐用最近的统计相关取代旧的方向来实现。特征分解也可以在线执行:定期执行QR方法的步骤,以保持对角Hessian。在二阶建模子空间之外,我们可以同时执行梯度下降。
2023-03-13 cs.LG stat.ML
Autoencoder based Randomized Learning of Feedforward Neural Networks for Regression
Czestochowa University of Technology(琴希托霍瓦工业大学)
前馈神经网络被广泛用作拟合数据分布的通用预测模型。然而,常见的基于梯度的学习存在许多缺点,使得训练过程效率低下且耗时。替代随机学习不使用梯度,而是随机选择隐藏节点参数。这使得训练过程非常快。然而,随机学习的问题是如何确定随机参数。最近提出的一种方法使用自动编码器进行无监督参数学习。该方法在分类任务上表现出优越的性能。在这项工作中,我们将这种方法应用于回归问题,并且,发现它有一些缺点,我们展示了如何改进它。我们提出了一种学习方法的自动编码器,控制产生的随机权重。我们还提出了如何确定隐藏节点的偏见。我们根据经验将基于自动编码器的学习与最近提出的用于回归的其他随机学习方法进行比较,发现尽管基于自动编码器的学习提出了改进,但它在拟合精度方面并没有优于竞争对手。此外,该方法比其竞争对手复杂得多。
2021-07-04 cs.LG cs.NE
Comparing Classes of Estimators: When does Gradient Descent Beat Ridge Regression in Linear Models?
Amazon(亚马逊);University of Oxford(牛津大学);University of Pennsylvania(宾夕法尼亚大学);Oxford University(牛津大学)
从数据中学习的方法取决于各种类型的调优参数,例如惩罚强度或步长。由于性能可以强烈地依赖于这些参数,重要的是要比较类的估计,通过考虑规定的有限组的调整参数,而不仅仅是特别调整的方法。在这项工作中,我们调查类的方法通过类中最好的方法的相对性能。我们认为,线性回归的核心问题-随机各向同性地面真相-和调查的两个基本方法,梯度下降和岭回归的估计性能。我们揭示了以下现象。(1)对于一般设计,当经验数据协方差阵的特征值衰减缓慢时,常数步长梯度下降优于岭回归,呈指数小于1的幂律。相反,如果特征值衰减迅速,作为幂律指数大于单位或指数,我们表明,岭回归优于梯度下降。(2)对于正交设计,我们计算精确的最小最大最优估计类(实现最小-最大-最小最优性),表明它等价于具有衰减学习率的梯度下降。我们发现次优的岭回归和梯度下降恒定步长。我们的研究结果强调,统计性能可以强烈依赖于调整参数。特别是,虽然最佳调整岭回归是我们设置中的最佳估计器,但当两种方法都只在200多个正则化参数上进行调整时,它可以通过梯度下降的任意/无界量进行优化。
2022-06-12 cs.LG math.OC math.ST
On the Gradient Heterogeneity Dynamics of Adversarially Robust Federated Regression
Columbia University(哥伦比亚大学);University of Copenhagen(哥本哈根大学);Sorbonne Université(索邦大学);Université Paris Cité(巴黎西岱大学);CNRS(法国国家科学研究中心)
本文从统计模型推导联邦回归中梯度异质性的动力学界限,并证明在对抗客户端比例小于1/2时,任何$(f,\kappa)$-鲁棒聚合器经样本预热后仍能收敛。
2026-09-23 cs.LG stat.ML
Time series modeling by a regression approach based on a latent process
Compiègne University of Technology(贡比涅技术大学);French National Institute for Transport and Safety Research (INRETS)(法国国家运输与安全研究所(INRETS))
时间序列用于许多领域,包括金融、工程、经济和生物信息学,通常用于表示测量随时间的变化。然后,可以使用建模技术来给出这种数据的合成表示。提出了一种新的时间序列建模方法。它包括一个回归模型,其中包含一个离散的隐藏逻辑过程,允许平滑或突然激活不同的多项式回归模型。通过专用期望最大化(EM)算法执行的极大似然方法估计模型参数。期望最大化算法的M步使用多类迭代重加权最小二乘(IRLS)算法来估计隐藏的过程参数。为了评估所提出的方法,模拟数据和真实世界的数据进行了实验研究,使用两种替代方法:异方差分段回归模型,使用基于动态规划的全局优化算法,和隐马尔可夫回归模型,其参数估计的鲍姆-韦尔奇算法。最后,在法国铁路基础设施的组件的远程监控的背景下,更特别的开关机制,所提出的方法已被应用到建模和分类的时间序列表示在开关操作过程中获得的条件测量。
2013-12-25 cs.LG math.ST stat.ME
Large Stepsizes Accelerate Gradient Descent for Regularized Logistic Regression
UC Berkeley(加州大学伯克利分校);Inria(法国国家科学与技术研究院);PSL University(巴黎社会科学高等学院);Google DeepMind(谷歌DeepMind)
本文研究了具有线性可分数据的$\ell_2$正则化逻辑斯谛回归的恒定步长梯度下降(GD)问题.经典理论建议小的步长以确保优化目标的单调减少,以$κ$为条件数的$\widetilde{\mathcal{O}}(κ)$步长实现指数收敛。令人惊讶的是,我们表明,这可以加速到$\widetilde{\mathcal{O}}(\sqrtκ)$通过简单地使用一个大的步长-目标的非单调演变。大步长带来的加速扩展到最小化可分离分布的群体风险,改进了最知名的步长上限,以达到接近最优的值。最后,我们描述了GD的局部收敛的最大步长,这也决定了在特殊情况下的全局收敛性。我们的结果扩展了Wu et al.(2024)的分析,从无穷远极小的凸设置到有限极小的强凸情况。
2025-11-03 cs.LG stat.ML
Fast Robust Kernel Regression through Sign Gradient Descent with Early Stopping
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出KRR的等价目标函数,利用 $\ell_\infty$ 和 $\ell_1$ 惩罚项实现鲁棒和稀疏核回归,并将其分别与符号梯度下降和坐标下降的早停解建立联系,提出高效计算方法,在五个数据集上速度快一到两个数量级且不损失精度。
2025-03-07 cs.LG math.OC stat.ME
Quadruply Stochastic Gradient Method for Large Scale Nonlinear Semi-Supervised Ordinal Regression AUC Optimization
Nanjing University of Information Science & Technology(南京信息工程大学);JD Finance America Corporation(京东金融美国公司);University of Western Ontario(西安大略大学);University of Pittsburgh(匹兹堡大学)
半监督有序回归(S $^2$ OR)问题在实际应用中普遍存在,其中只有少数有序样本被标记,而大量样本未被标记.最近的研究表明,在有序回归(OR)问题中,直接优化一致性指数(AUC)比优化传统的出错率可以对数据进行更好的排序。在本文中,我们提出了一个无偏的目标函数的S $^2$或AUC优化的基础上,有序二元分解方法。此外,为了处理大规模的核学习问题,我们提出了一个可扩展的算法称为QS $^3$ ORAO使用双随机梯度(DSG)框架的功能优化。从理论上证明了该方法可以以$O(1/t)$的速度收敛到最优解,其中$t$是随机数据采样的迭代次数。在各种基准数据集和真实世界数据集上的大量实验结果也表明,我们的方法是高效和有效的,同时保持类似的泛化性能。
2019-12-24 cs.LG stat.ML