Kernel Mean Embedding Topology: Weak and Strong Forms for Stochastic Kernels and Implications for Model Learning
Department of Mathematics, Bilkent University（巴勒莫大学数学系）；Department of Mathematics（数学系）；Statistics, Queen's University（皇后大学统计学系）
本文提出一种用于随机核的核均值嵌入拓扑（含弱与强形式），弱形式适用于松弛策略空间并揭示了与 Young 窄拓扑等的等价性质，强形式为模型空间提供拓扑表述并带来鲁棒性与学习理论启示，适用于研究最优性、近似与鲁棒性。
2025-10-31 cs.LG cs.SY eess.SY
Generalization Bounds for Contextual Stochastic Optimization using Kernel Regression
该研究针对上下文随机优化中Nadaraya-Watson核回归有限样本性能保证缺失的问题，推导了球形核估计器的有限样本泛化界、次优界，还得到了最优核带宽并完成样本复杂度分析。
2024-07-15 math.OC
Internal Control of The Transition Kernel for Stochastic Lattice Dynamics
本文研究随机格点动力学中转移核的内部控制问题，通过引入新的几何组合论证为控制建立路径，以在极限下控制动力学方程的转移核。
2024-10-01 math.OC
Multistage Stochastic Optimization via Kernels
Massachusetts Institute of Technology（麻省理工学院）
我们开发了一个非参数的，数据驱动的，易处理的方法来解决多阶段随机最优化问题，其中的决策不影响的不确定性。该框架将决策变量表示为再生核希尔伯特空间的元素，并执行函数随机梯度下降以最小化经验正则化损失。通过将稀疏化技术的基础上的功能子空间投影，我们能够克服计算复杂性，标准的核方法引入的数据大小的增加。我们证明了所提出的方法是渐近最优的多级随机最优化与边信息。在随机库存管理问题的各种计算实验中，{我们的方法在多维设置中表现良好}，并且在数据量较大时仍然易于处理。最后，通过计算库存控制问题的最优损失的下界，我们表明，所提出的方法产生的决策规则具有接近最优的平均性能。
2023-03-11 cs.LG math.OC
Constrained recursive kernel density/regression estimation by stochastic quasi-gradient methods
本文从随机优化视角研究非参数核密度/回归估计，利用随机拟梯度方法构造递归约束估计量，并给出精度、收敛速度及渐近最优参数，特别分析了移动密度/回归情形。
2024-06-24 math.OC math.ST stat.TH
Fast Dual Subgradient Optimization of the Integrated Transportation Distance Between Stochastic Kernels
Rutgers University（罗格斯大学）
针对 Markov 系统随机核间的积分运输距离，提出无需高成本矩阵运算的专用对偶次梯度算法，以快速构造有限离散支撑的近似核，并通过示例验证其实用价值。
2023-12-03 cs.LG math.OC
Gradient flow in the kernel learning problem
本文提出核学习问题中一种典范 Riemannian 梯度流以寻找驻点，并证明在 Gaussian 噪声下其具有连续 Lyapunov 泛函族，可自动消减噪声，同时讨论了与二层神经网络的联系。
2025-06-10 math.DG math.OC
Sparser Kernel Herding with Pairwise Conditional Gradients without Swap Steps
Pairwise Conditional Quantients（PCG）算法是Frank-Wolfe算法的一个强大的扩展，导致特别稀疏的解决方案，这使得PCG非常吸引人的问题，如稀疏信号恢复，稀疏回归和内核放牧。不幸的是，PCG展示了所谓的交换步骤，这些步骤可能无法提供足够的原始进展。这些坏步骤的数量由维度上的函数限定，因此已知的保证不能推广到无限维的情况，而这是内核羊群所需要的。我们提出了一个新的变体的PCG，所谓的混合成对条件一致性（BPCG）。这种新算法不需要任何交换步骤，非常容易实现，并且不需要任何内部梯度对齐过程。如果不发生丢弃阶跃，则BPCG的收敛速度基本上是PCG的收敛速度，并且因此不比PCG差，但是在许多情况下改进并提供新的速度。此外，我们在数值实验中观察到，BPCG的解比PCG的解稀疏得多。我们应用BPCG的内核放牧设置，在那里我们得到很好的正交规则，并提供数值结果证明我们的方法的性能。
2022-02-08 math.OC
A kernel-based stochastic approximation framework for contextual optimization
Fudan University（复旦大学）；State University of New York at Stony Brook（纽约州立大学石溪分校）
提出一种基于核的随机近似框架，解决可微目标函数的情境随机优化问题，仅需系统输出估计，适用于条件期望、条件分位数等情境度量，并证明强收敛性和有限时间性能。
2025-10-28 math.OC
Optimal response for stochastic differential equations by local kernel perturbations
针对由随机微分方程定义的随机动力系统，研究使可观测函数期望变化最大的无穷小核扰动，证明了最优扰动的唯一存在性并给出数值逼近方法。
2025-05-30 math.DS math.OC
Nonparametric Compositional Stochastic Optimization for Risk-Sensitive Kernel Learning
在这项工作中，我们解决了最优化问题，其中目标函数是期望值的非线性函数，即，合成随机强凸规划我们考虑的情况下，决策变量不是向量值，而是属于再生核希尔伯特空间（RKHS），由风险意识的配方监督学习和马尔可夫决策过程定义在连续空间。我们开发了第一个内存高效的随机算法，我们称之为组合在线学习与内核（COLK）。COLK，在其核心的两个时间尺度的随机逼近方法，解决了这样的事实，即（i）成分的期望值的问题不能解决经典的随机梯度由于存在的内部期望;和（ii）RKHS诱导的参数化的复杂性，这是成比例的迭代指数，这是减轻通过greenhouse构造的子空间投影。我们建立了COLK的几乎必然收敛与衰减步长，线性收敛的意思是一个恒定的步长的邻域，以及事实上，它的复杂性是在最坏的有限。使用监督学习的鲁棒公式的实验表明，COLK可靠地收敛，在训练运行中获得一致的性能，从而克服了过拟合。
2020-11-26 math.OC
Global maximum principle for optimal control of stochastic Volterra equations with singular kernels: An infinite dimensional approach
本文针对控制域非凸且具有奇异核的随机Volterra方程最优控制问题，利用尖峰变分技术建立全局最大值原理，并通过无穷维提升和加权L^2空间上的倒向随机发展方程推导伴随方程。
2025-03-10 math.OC math.PR
Reproducing kernel Hilbert spaces and variable metric algorithms in PDE constrained shape optimisation
在本文中，我们研究和比较不同的梯度算法设计的域表达的形状导数。我们的主要重点是检查的有用性的核再生希尔伯特空间的PDE约束形状优化问题。我们表明，径向内核提供了方便的公式的形状梯度，可以有效地用于数值模拟。与径向核相关联的形状梯度取决于所谓的平滑参数，该平滑参数允许在优化过程期间对形状进行平滑调整。此外，该平滑参数可用于修改形状的移动。理论研究结果在一些数值实验中得到了验证。
2016-04-19 math.OC
A Stochastic Gradient Descent Theorem and the Back-Propagation Algorithm
我们建立了一类随机梯度下降的收敛定理，从而得到了反向传播算法的收敛变形
2021-04-01 math.OC
Policy Evaluation in Continuous MDPs with Efficient Kernelized Gradient Temporal Difference
我们考虑无限空间的无限时域折扣马尔可夫判定问题（MDP）的政策评估。我们重新制定这个任务的组合随机规划的函数值的决策变量，属于再生核希尔伯特空间（RKHS）。我们通过一个新的随机准梯度法操作与随机稀疏子空间投影的功能推广来解决这个问题。其结果是梯度时间差分学习的扩展，产生非线性参数化的Bellman评估方程的解的值函数估计。我们的主要贡献是一个内存有效的非参数随机方法，保证准确收敛到Bellman不动点的概率$1$与衰减步长。此外，在步长不变的情况下，我们得到了平均收敛到一个邻域，并且值函数估计具有有限的复杂性。在山车域中，我们观察到更快的收敛到更低的贝尔曼错误的解决方案比现有的方法所需的内存的一小部分。
2020-05-17 math.OC
Accelerated Almost-Sure Convergence Rates for Nonconvex Stochastic Gradient Descent using Stochastic Learning Rates
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Nevada（内华达大学）
大规模的最优化问题要求算法既有效又高效。一个这样的流行和证明算法是随机梯度下降，它使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的学习率由确定性变为随机时的几乎必然收敛率。特别是，它的学习率配备了乘法随机性，产生一个随机学习率计划。理论结果表明，加速几乎必然收敛率的随机梯度下降在一个非凸设置时，使用适当的随机学习率相比，确定性的学习率计划。理论结果得到了经验验证。
2021-11-09 cs.LG math.OC
Feedback Optimal Control for Stochastic Volterra Equations with Completely Monotone Kernels
本文研究了一类具有完全单调核的随机Volterra积分微分问题，其中我们假设当我们引入控制时噪声进入系统.首先，我们将状态方程转化为一个半线性发展方程，可以用半群方法来处理。应用于最优控制提供了其他有趣的结果，并要求生成半群的性质的精确描述。本文的第一个主要结果是证明了相应的Hamilton-Jacobi-Bellman（HJB）方程的温和解的存在性和唯一性。主要的技术要点在于与重新表述的方程相关的Bu关于其初始基准x的可微性。
2011-12-16 math.OC math.PR
Almost Sure Saddle Avoidance of Stochastic Gradient Methods without the Bounded Gradient Assumption
University of Waterloo（滑铁卢大学）；Huazhong University of Science and Technology（华中科技大学）
我们证明了各种随机梯度下降方法，包括随机梯度下降（SGD），随机重球（SHB），和随机Nesterov的加速梯度（SNAG）方法，几乎肯定避免任何严格的鞍流形。据我们所知，这是第一次获得这样的结果SHB和SNAG方法。此外，我们的分析扩展了以前的研究SGD通过消除需要有界梯度的目标函数和均匀有界噪声。相反，我们引入了一个更实际的局部有界性假设的噪声梯度，这是自然满足经验风险最小化问题，通常在神经网络的训练。
2023-02-15 cs.LG math.OC
Approximation to stochastic variance reduced gradient Langevin dynamics by stochastic delay differential equations
研究了Wasserstein-1距离下随机时滞微分方程对随机方差约化梯度Langevin动力系统的弱逼近，得到了一个一致误差界.我们的方法是通过一个精致的Lindeberg原则和Malliavin演算。
2021-12-19 math.OC math.PR
Optimal control of stochastic Volterra integral equations with completely monotone kernels and stochastic differential equations on Hilbert spaces with unbounded control and diffusion operators
Sapienza Università di Roma（罗马大学）；Technische Universität Berlin（柏林工业大学）
本文研究了具有完全单调核的随机Volterra积分方程的最优控制问题，通过马尔可夫提升方法将其转化为Hilbert空间上的随机微分方程问题，并证明了新的平滑性质，从而建立了Hamilton-Jacobi-Bellman方程的弱解存在性和唯一性，以及构造了最优反馈控制。
2026-02-19 math.AP math.OC math.PR
Fast Robust Kernel Regression through Sign Gradient Descent with Early Stopping
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出KRR的等价目标函数，利用 $\ell_\infty$ 和 $\ell_1$ 惩罚项实现鲁棒和稀疏核回归，并将其分别与符号梯度下降和坐标下降的早停解建立联系，提出高效计算方法，在五个数据集上速度快一到两个数量级且不损失精度。
2025-03-07 cs.LG math.OC stat.ME
A note on diffusion limits for stochastic gradient descent
Università di Bologna（博洛尼亚大学）
在机器学习文献中，随机梯度下降最近因其所谓的隐式正则化特性而被广泛讨论。许多试图阐明噪声在随机梯度算法中的作用的理论，已经通过具有高斯噪声的随机微分方程广泛地近似随机梯度下降。我们为这种做法提供了一种新的严格的理论依据，展示了噪声的高斯性如何自然产生。
2022-10-20 cs.LG math.OC math.PR
Stochastic control for a class of nonlinear kernels and applications
考虑一类非线性核的随机控制问题。更确切地说，我们感兴趣的问题包括在优化，在一组可能的非支配概率测度，解决方案的后向随机微分方程（BSDES）。由于倒向随机微分方程是传统（线性）期望的非线性概括，因此这个问题可以理解为非线性期望族的随机控制，或者等价地理解为非线性核的随机控制。我们的第一个主要贡献是证明了一个动态规划原则，这个控制问题在一个抽象的设置，然后我们用它来提供一个半鞅特征的价值函数。接下来，我们探讨我们的结果的几个应用。我们首先得到了二阶倒向随机微分方程的适定性结果（如[86]中所介绍的），它不需要对终端条件和生成元作任何正则性假设。然后，我们证明了一个非线性的选择分解在一个强大的设置，推广最近的结果[71]，然后我们使用它来获得一个超对冲对偶不确定，不完全和非线性金融市场。最后，我们涉及到，在额外的正则性假设下，适当的路径依赖的偏微分方程（PPDE）的黏性解的值函数。
2017-07-27 math.OC math.PR q-fin.MF
Kernel Conjugate Gradient Methods with Random Projections
Zhejiang University（浙江大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文提出并研究了可分Hilbert空间上最小二乘回归问题的随机投影核共轭梯度法。考虑到两种类型的随机投影产生的随机草图和Nyström子采样，我们证明了最佳的统计结果的变体的规范下的算法在一个合适的停止规则。特别是，我们的研究结果表明，如果投影尺寸是成比例的问题的有效尺寸，KCGM与随机草图可以推广到最佳，同时实现了计算优势。作为一个推论，我们得出的经典KCGM在良好的条件下的制度的情况下，目标函数可能不在假设空间中的最佳速率。
2022-07-15 cs.LG math.FA math.OC
A Rate Transfer Method: Convergence Rates in Stochastic Gradient Descent via Stochastic Calculus
Durham University（杜伦大学）
该研究提出速率转移方法，通过随机微积分将SDE的李雅普诺夫估计转化为随机梯度算法的收敛界，可复现经典方法速率并用于新优化算法的收敛速率分析。
2026-10-14 cs.AI cs.LG math.OC
