Perron vector optimization applied to search engines
在过去的几年里,Google的PageRank最优化问题得到了广泛的研究。在这种情况下,排名由随机阵的不变测度给出。在本文中,我们考虑更一般的情况下,排名是由Perron特征向量的非负的,但不一定是随机的,矩阵,以涵盖Kleinberg的HITS算法。我们也给出了Tomlin的HOTS算法的一些结果。问题在于,然后在找到一个最佳的外链策略的设计约束和给定的搜索引擎。我们研究这些问题的放松版本,这意味着我们应该接受加权超链接。我们提供了一个有效的算法计算矩阵的偏导数的标准,使用这个矩阵的低秩属性。我们给出了一个耦合梯度和幂迭代的可扩展算法,并给出了Perron向量最优化问题的局部极小值。我们证明了收敛性考虑它作为一个近似的梯度法。然后,我们表明,最佳的链接策略的HITS和HOTS最优化问题验证阈值属性。我们报告这些搜索引擎最优化问题的真实网络图的片段的数值结果。
2011-11-09 math.OC
Gradient-augmented Supervised Learning of Optimal Feedback Laws Using State-dependent Riccati Equations
University of Verona(维罗纳大学);University of Nottingham(诺丁汉大学)
提出了一种求解大规模非线性镇定问题的有监督学习方法。一个稳定的反馈律是从状态依赖的Riccati方程求解产生的数据集训练的。通过在损失函数中使用梯度信息来丰富训练阶段,所述损失函数通过使用超参数来加权。高维非线性稳定性试验表明,实时顺序的大规模代数Riccati方程的解决方案,可以取代一个适当的训练前馈神经网络。
2021-03-06 cs.LG cs.SY eess.SY
Distributed Stochastic Gradient Method for Non-Convex Problems with Applications in Supervised Learning
在局部目标函数具有Lipschitz连续梯度和Hessian函数的二次连续可微的假设下,提出了一种求解非凸优化问题的分布式随机梯度下降算法.我们提供了充分条件的步长,保证所提出的算法的渐近均方收敛。我们将开发的算法应用到分布式监督学习问题,其中一组网络代理协作训练他们各自的神经网络来识别图像中的手写数字。结果表明,所有代理报告类似的性能,也是一个集中训练的神经网络的性能相媲美。数值结果还表明,所提出的分布式算法允许个别代理识别的数字,即使对应于所有数字的训练数据是不是本地提供给每个代理。
2019-08-19 cs.SY eess.SY math.OC
Low-Order Explicit Hessian Imitation Method for Large-Scale Supervised Machine Learning
Lehigh University(利哈伊大学)
本文提出了一种用于神经网络监督学习训练优化问题的算法,通过辅助损失生成低阶Hessian近似,提升优化效率,实验表明其优于Adam等优化器。
2026-05-07 math.OC
The stochastic multi-gradient algorithm for multi-objective optimization and its application to supervised machine learning
冲突函数的优化在决策制定中至关重要,现实世界的应用经常涉及不确定或未知的数据,导致随机型的多目标最优化(MOO)问题。我们研究了随机多梯度(SMG)方法,作为经典的单目标优化随机梯度法的扩展。在SMG方法的每一次迭代中,通过求解一个二次子问题来计算一个随机多梯度方向,并且证明了即使所有的梯度估计都是无偏的,这个方向也是有偏的。我们建立率计算一个点的帕累托前,类似于已知的随机梯度在凸和强凸的情况下。该分析处理了多梯度中的偏差和限制Pareto点的未知先验权重。SMG方法被构造成用于计算整个Pareto前沿的Pareto前沿型算法。帕累托前沿SMG算法能够鲁棒地确定帕累托前沿的合成测试问题的数量。人们可以将其应用于监督机器学习产生的任何随机MOO问题,我们报告了逻辑二进制分类的结果,其中多个目标对应于不同来源的数据组。
2021-02-05 cs.NA math.NA math.OC
Stochastic Gradients under Nuisances
University of Washington(华盛顿大学)
本文研究目标函数依赖于未知干扰参数的学习问题中随机梯度算法的非渐近收敛性,证明在Neyman正交性等条件下经典算法仍可收敛,并提出近似正交化更新变体以在非正交情形下达到类似收敛率。
2026-05-29 cs.LG math.OC stat.ML
Accelerated nonlinear primal-dual hybrid gradient methods with applications to supervised machine learning
Brown University(布朗大学)
线性原-对偶混合梯度法(PDHG)是一种将具有鞍点结构的凸优化问题分解为更小的子问题的一阶方法。与大多数分裂方法不同,这些子问题通常可以有效地解决,因为它们涉及简单的操作,如矩阵向量乘法或邻近映射,这些操作可以快速进行数值计算。这一优点的代价是,线性PDHG方法需要精确的步长参数的问题在手边,以实现最佳的收敛速度。不幸的是,这些步长参数对于计算大规模最优化问题(例如机器学习中的那些)来说通常是非常昂贵的。这个问题使得简单的线性PDHG方法不适合于此类问题,并且它也被大多数一阶最优化方法所共享。为了解决这个问题,我们介绍了加速非线性PDHG方法,实现了最佳的收敛速度与步长参数,是简单而有效的计算。我们证明了严格的收敛结果,包括结果的强凸或光滑的问题上的无限维自反巴拿赫空间。我们说明了我们的方法的效率上$\ell_{1}$约束逻辑斯谛回归和熵正则化矩阵对策。我们的数值实验表明,非线性PDHG方法是相当快的竞争方法。
2022-04-03 cs.LG math.OC math.ST
Understanding the Role of Adversarial Regularization in Supervised Learning
Space Applications Centre(空间应用中心);Indian Space Research Organization(印度空间研究组织)
尽管许多尝试试图提供对抗性规则化优于单一监督的经验证据,但对这种现象的理论理解仍然难以捉摸。在这项研究中,我们的目标是解决对抗性正则化是否确实在根本层面上比单独监督更好。为了实现这一见解,我们研究了消失梯度问题,渐近迭代复杂性,梯度流和可证明的收敛性,在唯一监督和对抗正则化的背景下。关键因素是理论上的合理性,并得到梯度下降中对抗性加速的经验证据的支持。此外,基于最近引入的基于单位容量的泛化界,我们分析了对抗框架中的泛化误差。在我们观察的指导下,我们对这种方法解释泛化的能力表示怀疑。因此,我们留下开放的问题来探索可以解释对抗学习中泛化行为的新措施。此外,我们在神经嵌入向量空间中观察到一个有趣的现象,同时将对抗学习与单独监督进行对比。
2020-10-01 cs.CV cs.LG math.OC
Supervised learning of analysis-sparsity priors with automatic differentiation
稀疏先验通常用于去噪和图像重建。对于分析型先验,字典定义了可能是稀疏的信号的表示。在大多数情况下,该字典是未知的,并且将通过最小化重构误差从地面实况信号和测量结果对中恢复。这定义了一个分层的最优化问题,它可以被转换为一个双层优化。然而,这个问题是无法解决的,因为字典中的重建及其衍生物没有封闭形式的表达式。然而,重建可以使用前向-后向分裂(FB)算法迭代计算。在本文中,我们近似重建上述FB算法的输出。然后,我们利用自动微分来评估字典中输出的梯度,我们使用投影梯度下降来学习。实验结果表明,该算法成功地从分段常数信号中学习到了一维全变差(TV)字典。对于相同的案例研究,我们建议将搜索限制在0中心列的字典中,这将消除不需要的局部极小值并提高数值稳定性。
2021-12-15 math.OC stat.ML
Expansive Natural Neural Gradient Flows for Energy Minimization
本文提出在深度神经网络映射空间中利用希尔伯特空间度量构造扩张自然梯度流,通过逐步扩大网络结构以逼近理想梯度下降方向,并在监督学习、模型降阶和反问题中验证其能量最小化效果。
2025-07-17 cs.NA math.NA math.OC
Duality between subgradient and conditional gradient methods
INRIA(法国国家信息与自动化研究所);Ecole Normale Supérieure(巴黎高等师范学院)
给定一个凸优化问题及其对偶,有许多可能的一阶算法。在本文中,我们证明了镜像下降算法和推广条件梯度法的算法之间的等价性。这是通过凸对偶完成的,并且特别地意味着对于某些问题,例如对于具有非光滑损失的监督机器学习问题或由非光滑正则化器正则化的问题,原始次梯度方法和对偶条件梯度方法在形式上是等价的。对偶解释导致了一种镜像下降的线搜索形式,以及原始-对偶证书的收敛保证。
2013-10-18 cs.LG math.OC stat.ML
Non-convergence to global minimizers in data driven supervised deep learning: Adam and stochastic gradient descent optimization provably fail to converge to global minimizers in the training of deep neural networks with ReLU activation
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Vietnam Academy of Science and Technology(越南科学技术研究院);Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)深圳大数据研究院)
针对ReLU深度网络训练中SGD类优化器是否高概率收敛至全局极小点的开放问题,本文证明标准、加速及自适应SGD(含Adam等)随网络宽度或深度增加会以趋于1的概率不收敛。
2025-02-15 cs.LG cs.NA math.NA
Ensemble Kalman Inversion: A Derivative-Free Technique For Machine Learning Tasks
California Institute of Technology(加州理工学院)
机器学习的标准概率观点产生了经验风险最小化任务,这些任务通常由随机梯度下降(SGD)及其变体解决。我们提出了一个制定这些任务作为经典的逆或滤波问题,此外,我们提出了一个有效的,无梯度的算法,这些问题的解决方案,使用集合卡尔曼反演(EKI)。我们的方法的应用包括深度神经网络的离线和在线监督学习,以及基于图的半监督学习。EKI过程的本质是基于系综的近似梯度下降,其中导数由系综内的差代替。我们建议几个修改的基本方法,来自经验上成功的prostitics开发的背景下,SGD。数值结果表明,该算法具有广泛的适用性和鲁棒性。
2018-08-10 cs.LG math.OC stat.ML
Tight Nonparametric Convergence Rates for Stochastic Gradient Descent under the Noiseless Linear Model
INRIA(法国国家信息与自动化研究所);Ecole Normale Supérieure(高等师范学校);PSL Research University(巴黎文理研究大学)
在统计监督学习的上下文中,无噪声线性模型假设在随机输出$Y$和随机特征向量$Φ(U)$之间存在确定性线性关系$Y = \langle θ_*, X \rangle$,即输入$U$的潜在非线性变换。在此模型下,我们分析了单遍固定步长随机梯度下降算法对最小二乘风险的收敛性。迭代到最佳$θ_*$的收敛和泛化误差的衰减遵循多项式收敛速率,其指数都取决于最佳$θ_*$和特征向量$Φ(u)$的对数。我们解释了我们的结果在再生核希尔伯特空间框架。作为一个特殊的情况下,我们分析了一个在线算法,用于估计一个真正的功能上的单位间隔从无噪声观察其值在随机采样点的收敛性取决于Sobolev光滑的功能和所选择的内核。最后,我们将我们的分析应用于监督学习设置之外,以获得平均过程的收敛速度(也称为收敛速度)。gossip算法)上的图取决于它的谱维数。
2020-10-27 cs.LG cs.MA math.OC