Distributed Tree Kernels
University of Rome Tor Vergata（罗马第二大学）
在本文中，我们提出了分布式树核（DTK）作为一种新的方法，以减少时间和空间复杂度的树核。使用线性复杂度算法计算树的向量，我们将树片段的特征空间嵌入到低维空间中，其中核计算直接用点积完成。我们发现DTK更快，与树内核相关，并在两个自然语言处理任务中获得统计相似的性能。
2012-06-18 cs.LG stat.ML
On Online Learning in Kernelized Markov Decision Processes
Indian Institute of Science（印度科学学院）
我们开发的算法与低遗憾学习情节马尔可夫决策过程的核近似技术的基础上。该算法的基础上的置信上限（UCB）以及后验或汤普森采样（PSRL）的哲学，并在一般设置的连续状态和动作空间时，真正的未知的过渡动态被假定为具有平滑引起的适当的再生核希尔伯特空间（RKHS）。
2019-11-04 cs.LG stat.ML
An Online Stochastic Kernel Machine for Robust Signal Classification
U.S. Naval Research Laboratory（美国海军研究实验室）
我们提出了一种新的变化的在线内核机，其中我们利用基于共识的优化机制，以指导决策函数的演变从再生核希尔伯特空间，有效地模拟所观察到的平稳过程。
2019-12-16 cs.LG eess.SP stat.ML
Online Learning in Kernelized Markov Decision Processes
Indian Institute of Science（印度科学学院）
我们考虑在线学习在未知的，情节马尔可夫决策过程（MDP）的连续状态和行动的遗憾最小化。我们开发的UCRL和后验采样算法，采用非参数高斯过程先验的状态和动作空间概括的变种。当真正的MDP的过渡和奖励功能的成员相关联的再生核希尔伯特空间的对称PSD内核（频率设置）引起的功能，我们发现，算法享受次线性遗憾界。边界是在显式的核结构参数，即一种新的推广的信息增益度量从核土匪，并突出了过渡和奖励函数结构对学习性能的影响。我们的结果是适用于多维状态和行动空间的复合核结构，并推广的结果，从文献中的核土匪，和自适应控制的参数线性动力系统的二次成本。
2019-01-03 cs.LG stat.ML
Kernel Interpolation for Scalable Online Gaussian Processes
New York University（纽约大学）；Cornell University（康奈尔大学）
高斯过程（GP）为在线设置中的性能提供了黄金标准，例如样本有效控制和黑盒优化，其中我们需要在以顺序方式获取数据时更新后验分布。然而，在已经观察到$n$点之后更新GP后验以适应甚至单个新观察至少会在精确设置中引起$O(n)$计算。我们展示了如何使用结构化内核插值来有效地回收计算恒定时间$O(1)$在线更新的点$n$的数量，同时保留精确的推理。我们展示了我们的方法在一系列在线回归和分类设置，贝叶斯优化，主动采样，以减少疟疾发病率预测的错误的承诺。代码可在https://github.com/wjmaddox/online_gp上获得。
2021-03-02 cs.LG stat.ML
Distributed Online Big Data Classification Using Context Information
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
分布式、在线数据采掘系统的出现是由于需要分析由多个分布式数据源产生的大量相关和高维数据的应用。我们提出了一个分布式的在线数据分类框架，其中的数据是由分布式数据源收集和处理的一组异构的分布式学习者，在线学习，在运行时，如何分类不同的数据流，或者通过使用本地可用的分类功能，或通过帮助彼此分类对方的数据。重要的是，由于数据是在不同的位置收集的，因此将数据发送给另一个学习者进行处理会产生额外的成本，例如延迟，因此只有当从更好的分类中获得的好处超过成本时，这才是有益的。我们建模的问题的联合分类的分布式和异构的学习者从多个数据源作为一个分布式的上下文强盗问题，每个数据的特点是由一个特定的上下文。我们开发了一个分布式的在线学习算法，我们可以证明次线性后悔。与分布式在线数据采掘中的先前工作相比，我们的工作是第一个提供分析遗憾的结果表征所提出的算法的性能。
2013-07-02 cs.LG stat.ML
Random Feature-based Online Multi-kernel Learning in Environments with Unknown Dynamics
University of Minnesota（明尼苏达大学）
基于核的方法在各种非线性学习任务中表现出良好的性能。它们中的大多数依赖于预先选择的内核，其谨慎的选择假定特定于任务的先验信息。特别是当后者不可用时，多核学习由于其从指定的内核字典中选择内核的灵活性而受到欢迎。利用随机特征近似及其最近的正交性促进的变体，本贡献开发了一个可扩展的多核学习计划（称为Raker），以获得所寻求的非线性学习函数“在飞行中”，首先用于静态环境。为了进一步提高在动态环境中的性能，开发了自适应多核学习方案（称为AdaRaker）。AdaRaker不仅考虑了核组合的数据驱动学习，还考虑了未知的动态。性能分析方面的静态和动态的遗憾。AdaRaker能够在具有未知动态的环境中跟踪非线性学习函数，并且具有分析性能保证。合成和真实数据集进行测试，以展示新算法的有效性。
2018-12-28 cs.LG stat.ML
Parsimonious Online Learning with Kernels via Sparse Projections in Function Space
University of Pennsylvania（宾夕法尼亚大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
尽管它们的吸引力，流行的看法是，非参数函数逼近技术不扩展到流数据，由于它们需要的存储量的棘手的增长。为了以内存负担得起的方式解决这个问题，我们提出了一种基于函数随机梯度下降的在线技术，并结合基于贪婪函数子空间投影的监督稀疏化。该方法，称为简约的在线学习与内核（POLK），提供了一个可控的权衡？它的解决方案的准确性和它所需要的内存量之间的关系。我们得出的条件下，生成的函数序列几乎肯定收敛到最优函数，我们建立的内存需求仍然有限。我们评估POLK内核多类逻辑斯谛回归和内核铰链损失分类三个典型的数据集：合成高斯混合模型，MNIST手写数字，和Brodatz纹理数据库。在所有这三个任务中，我们观察到一个有利的权衡目标函数评估，分类性能，和复杂性的非参数回归提取的方法。
2016-12-13 cs.LG stat.ML
Second-Order Kernel Online Convex Optimization with Adaptive Sketching
INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧研究中心）
核在线凸优化（Kernel Online Convex Optimization，KOCO）是一个结合了非参数核模型的表达能力和在线学习的后悔保证的框架。一阶KOCO方法，如函数梯度下降，每次迭代只需要$\mathcal{O}(t)$时间和空间，并且，当损失的唯一信息是它们的凸性时，实现极小极大最优$\mathcal{O}(\sqrt{T})$遗憾。尽管如此，核问题中的许多常见损失，如平方损失、逻辑损失和平方铰链损失，都具有可以利用的更强的曲率。在这种情况下，二阶KOCO方法实现了$\mathcal{O}(\log(\text{Det}(\boldsymbol{K})))$遗憾，我们将其显示为$\mathcal{O}(d_{\text{eff}}\log T)$，其中$d_{\text{eff}}$是问题的有效维度，通常远小于$\mathcal{O}(\sqrt{T})$。二阶方法的主要缺点是其高得多的$\mathcal{O}(t^2)$空间和时间复杂度。在本文中，我们介绍了核在线牛顿步骤（KONS），一个新的二阶KOCO方法，也实现了$\mathcal{O}(d_{\text{eff}}\log T)$遗憾。为了解决二阶方法的计算复杂性，我们引入了一个新的矩阵素描算法的核心矩阵$\boldsymbol{K}_t$，并表明，对于一个选定的参数$γ\leq 1$，我们的素描KONS减…
2017-06-15 cs.LG stat.ML
Ahpatron: A New Budgeted Online Kernel Learning Machine with Tighter Mistake Bound
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）
针对预算在线核学习的错误界问题，提出新型模型Ahpatron，通过基于主动更新感知机AVP的半样本移除投影预算维护机制，实现更紧错误界，性能在同或更小预算下优于现有最优算法。
2023-12-12 cs.LG stat.ML
Distributed Kernel Ridge Regression with Communications
Xi’an Jiaotong University（西安交通大学）；City University of Hong Kong（香港城市大学）
本文在学习理论的框架下研究分布式算法的泛化性能。以分布式核岭回归算法（DKRR）为例，成功地导出了其期望最优学习率，并从理论上给出了局部处理器个数的最优范围。由于理论和实验之间的差距，我们还推导了DKRR的最佳学习率的概率，从本质上反映了DKRR的泛化性能和局限性。此外，我们提出了一种通信策略，以提高DKRR的学习性能，并通过理论评估和数值实验证明了DKRR中通信的力量。
2020-03-27 cs.LG stat.ML
Online learning with kernel losses
UC Berkeley（加州大学伯克利分校）
我们提出了一个广义的对抗线性强盗框架，其中潜在的损失是核函数（与相关的再生核希尔伯特空间），而不是线性函数。我们研究了指数权重算法的一个版本，并将其限制在此设置中。在核的本征衰变的条件下，我们提供了一个尖锐的表征该算法的遗憾。当我们有多项式本征衰减$μ_j \le \mathcal{O}(j^{-β})$时，我们发现遗憾是有界的$\mathcal{R}_n \le \mathcal{O}(n^{β/(2(β-1))})$ ;而在指数本征衰减$μ_j \le \mathcal{O}(e^{-βj })$的假设下，我们得到一个更紧的界的遗憾$\mathcal{R}_n \le \mathcal{O}(n^{1/2}\log(n)^{1/2})$。我们还研究了当潜在损失是核函数时的完全信息设置，并提出了自适应指数权重算法和条件梯度下降算法。
2018-02-27 cs.LG stat.ML
Online Distributed Estimation of Principal Eigenspaces
University of Florida（佛罗里达大学）
主成分分析（PCA）是一种应用广泛的降维技术。本文提出了一种在线分布式主特征空间恢复算法。我们进一步建立它的收敛速度，并显示它如何涉及到分布式计算中使用的节点数，所考虑的数据矩阵的有效秩，以及底层人口协方差阵的频谱中的差距。所提出的算法说明低秩近似和$\boldsymbol{k}$均值聚类任务。数值结果表明，一个显着的计算速度比标准的分布式PCA算法，而不影响学习精度。
2019-05-17 cs.LG stat.ML
Learning Theory of Distributed Regression with Bias Corrected Regularization Kernel Network
Zhejiang University（浙江大学）；Fudan University（复旦大学）；Middle Tennessee State University（中田纳西州立大学）
分布式学习是分析大数据的有效方法。在分布式回归中，一种典型的方法是将大数据划分为多个块，对每个块应用基本回归算法，然后简单地对从这些块中学习的输出函数进行平均。由于平均过程将减少方差，而不是偏差，如果基本回归算法是有偏的，则偏差校正有望改善学习性能。正则化核网络是非线性回归分析的一种有效且广泛应用的方法。在本文中，我们将研究正则化核网络的偏差校正版本。当它被应用到一个单一的数据集，当它被应用为分布式回归的基本算法，我们推导出的误差界。我们表明，在某些适当的条件下，最佳的学习率可以达到在这两种情况下。
2017-08-07 cs.LG stat.ML
Online Pairwise Learning Algorithms with Kernels
State University of New York at Albany（纽约州立大学奥尔巴尼分校）；City University of Hong Kong（香港城市大学）
成对学习通常是指一个学习任务，它涉及到一个损失函数依赖于成对的例子，其中最显着的包括排名，度量学习和AUC最大化。在本文中，我们研究了在再生核Hilbert空间（RKHS）的无约束设置中具有最小二乘损失函数的成对学习的在线算法，我们称之为在线成对学习算法（OPERA）。现有的作品\cite{Kar,Wang}，要求迭代被限制到一个有界域或损失函数是强凸的，OPERA是与一个非强凸的目标函数，并学习目标函数在一个无约束的RKHS。具体地说，我们建立了一个一般定理，保证几乎必然收敛的最后一个OPERA没有任何假设的基础上的分布。在多项式衰减步长的条件下，得到了显式的收敛速度。我们还建立了一个有趣的属性，一个家庭的广泛使用的内核设置成对学习，并说明了上述收敛结果使用这样的内核。我们的方法主要依赖于RKHS的特征，使用其相关的积分算子和概率不等式的随机变量的值在希尔伯特空间。
2015-02-25 cs.LG stat.ML
Wide and Deep Graph Neural Networks with Distributed Online Learning
University of Pennsylvania（宾夕法尼亚大学）；University of California, Berkeley（加州大学伯克利分校）
图神经网络（GNN）从具有自然分布式架构的网络数据中学习表示，使其非常适合分散式学习。通常情况下，这种分散的图支持由于链路故障或拓扑变化而随时间变化。这些变化在GNN训练的图形和测试的图形之间造成了不匹配。在线学习可用于在测试时重新训练GNN，从而克服这个问题。然而，大多数在线算法都是集中式的，并且处理凸问题（GNN很少导致凸问题）。本文提出了宽和深GNN（WD-GNN），一种新的架构，可以很容易地更新与分布式在线学习机制。WD-GNN由两部分组成：宽部分是一组线性图滤波器，深部分是GNN。在训练时，联合架构从数据中学习非线性表示。在测试时，深度部分（非线性）保持不变，而宽部分在线重新训练，导致凸问题。我们得到收敛保证这个在线再培训过程，并进一步提出了一个分散的替代方案。群集机器人群体控制的实验证实了理论和分布式在线学习的建议架构的潜力。
2020-10-24 cs.LG stat.ML
Communication-Efficient Distributed Online Learning with Kernels
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Saarland University（萨尔大学）
我们提出了一个有效的分布式低延迟实时服务的在线学习协议。它扩展了以前提出的协议，以内核化的在线学习者，代表他们的模型的支持向量扩展。虽然这样的学习器通常比线性学习器实现更高的预测性能，但是对于大量的支持向量，传递支持向量扩展变得低效。所提出的扩展允许更大类的在线学习算法-包括那些通过模型压缩来缓解上述问题的算法。此外，我们通过引入一个新的标准，要求通信所遭受的损失有界的质量所提出的协议的特点。
2019-11-28 cs.DC cs.LG stat.ML
Online Multi-Task Learning with Recursive Least Squares and Recursive Kernel Methods
School of Electrical and Computer Engineering, University of Campinas (Unicamp)（坎皮纳斯大学电气与计算机工程学院（Unicamp））
本文提出两种基于递归最小二乘和核方法的在线多任务学习算法，实现二次复杂度递归，并在风速预测中显著提升性能。
2024-03-17 cs.LG stat.ML
Implicit Target Shift in Online Learning: Characterization and Correction
Department of Physics（物理系）；Washington University in St. Louis（圣路易斯华盛顿大学）；Department of Neuroscience（神经科学系）
本文研究了在线学习中目标偏移的本质，提出通过目标修正使在线核学习与离线学习等效，并在图像分类任务中验证了其有效性。
2026-10-06 cs.LG stat.ML
One-shot Distibuted Algorithm for PCA with RBF Kernels
Shanghai Jiao Tong University（上海交通大学）；Institute of Image Processing and Pattern Recognition（图像处理与模式识别研究所）
这封信提出了一个一次性算法的特征分布核PCA。我们的算法的灵感来自样本分布和特征分布的情况之间的双重关系。这种有趣的关系使得有可能建立分布式核PCA的特征分布的情况下，从分布式PCA的思想在样本分布的情况下。在理论部分，我们分析了线性核函数和径向基函数核函数的逼近误差。结果表明，当特征值衰减快时，该算法以较低的通信代价给出了高质量的结果。数值实验也验证了这一结果，表明了该算法在实际应用中的有效性.
2021-04-29 cs.DC cs.LG stat.ML
This paper focuses on online kernel learning over a decentralized network. Each agent in the network receives continuous streaming data locally and works collaboratively to learn a nonlinear prediction function that is globally optimal in the reproducing kernel Hilbert space with respect to the total instantaneous costs of all agents. In order to circumvent the curse of dimensionality issue in traditional online kernel learning, we utilize random feature (RF) mapping to convert the non-parametric kernel learning problem into a fixed-length parametric one in the RF space. We then propose a nove…
2022-08-04 cs.LG
Efficient Online Relative Comparison Kernel Learning
University of Pittsburgh（匹兹堡大学）；Air Force Research Laboratory（空军研究实验室）
从相对比较人类反馈中学习核矩阵是协同过滤、对象检索和搜索应用中的一个重要问题。为了在大量对象上学习内核，现有方法面临显著的可扩展性问题，抑制了这些方法应用于以在线和及时的方式学习内核的设置。在本文中，我们提出了一种新的框架，称为有效的在线相对比较核学习（ERKLE），有效地学习一个大的对象集的相似性在线的方式。我们通过随机梯度下降从相对比较中学习一个内核，一次一个查询响应，利用梯度的稀疏和低秩特性，有效地将内核限制在半正定矩阵的空间中。此外，我们推导出一个被动攻击的在线更新最低限度地满足新的相对比较，以不破坏以前获得的比较的影响。在实验中，我们证明了一个相当大的改进速度，同时获得改善或可比的准确性相比，目前的方法在在线学习设置。
2015-01-12 cs.LG
Budget Online Multiple Kernel Learning
School of Information Systems（信息系统学院）；Singapore Management University（新加坡管理大学）；Institute for Infocomm Research (I2R)（资讯通信研究院（I2R））；A*STAR（新加坡科技研究局）
多核在线学习近年来得到了越来越多的关注，并得到了广泛的应用。对于分类任务，在线多核分类（OMKC），它学习基于核的分类器，通过寻求最佳的线性组合池的单核分类器在在线的时尚，实现了优越的精度和享有极大的灵活性相比，传统的单核分类器。尽管被广泛研究，现有的OMKC算法遭受高的计算成本，由于其无限数量的支持向量。为了克服这个缺点，我们提出了一个新的预算在线多核学习（BOMKL）的框架，并提出了一个新的稀疏被动积极学习执行有效的预算在线学习。具体来说，我们采用了一个简单而有效的Bernoulli采样来决定是否应该将传入的实例添加到当前的支持向量集。通过限制支持向量的数量，我们的方法可以显着加快OMKC，同时保持令人满意的精度，是现有的OMKC算法相媲美。我们从理论上证明了我们的新方法达到了预期的最佳遗憾界，并实证发现，该算法优于各种OMKC算法，可以很容易地扩展到大规模数据集。
2015-11-18 cs.LG
Collaborative Learning in Kernel-based Bandits for Distributed Users
MediaTek Research（联发科研究院）；Cornell University（康奈尔大学）
本文研究分布式客户端在中央服务器协调下的核赌博机协作学习问题，提出基于代理高斯过程模型的算法，证明其遗憾性能达到阶最优，并利用稀疏近似降低通信开销。
2023-04-17 cs.LG stat.ML
Online Kernel based Generative Adversarial Networks
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
在过去五年中，深度学习的重大突破之一是生成对抗网络（GAN），这是一种基于神经网络的生成模型，旨在模拟给定样本数据集的一些底层分布。与许多有监督的问题不同，在这些问题中，人们试图最小化参数的简单目标函数，GAN训练被公式化为一对网络参数上的最小-最大问题。虽然经验上GANs在几个领域取得了令人印象深刻的成功，但研究人员一直对不寻常的训练行为感到困惑，包括循环所谓的模式坍塌。在本文中，我们首先提供了一种定量方法来探索GAN训练中的一些挑战，并以经验的方式展示了这与神经网络的参数性质之间的关系。我们提出了一种新的方法，解决了许多这些问题，依赖于一个基于内核的非参数神经网络，是非常适合在线培训-我们称之为在线基于内核的生成对抗网络（OKGAN）。我们的经验表明，OKGAN减轻了一些训练问题，包括模式坍塌和循环，并且更符合理论保证。在合成数据上，OKGAN在反向KL发散方面的经验表现明显优于其他GAN公式;在MNIST、SVHN和CelebA等经典视觉数据集上，表现出相当的性能。
2020-06-19 cs.LG stat.ML
Online Network Source Optimization with Graph-Kernel MAB
University College London（伦敦大学学院）；EPFL（洛桑联邦理工学院）
本文提出图核多臂老虎机算法 Grab-UCB，通过自适应图字典的稀疏谱表示缓解维度灾难，在线学习大规模网络中的最优源放置，并给出性能保证及计算简化版本 Grab-arm-Light，在累积遗憾、样本效率和计算复杂度上优于离线基线方法。
2023-07-07 cs.LG stat.ML
Online Learning of Whittle Indices for Restless Bandits with Non-Stationary Transition Kernels
Department of ECE, Purdue University（普渡大学电子工程系）
本文研究了面对未知非平稳动态的restless bandits最优资源分配问题，提出滑动窗口在线Whittle策略，在保持计算效率的同时适应时间变化的核。理论分析显示算法在动态 regret 上达到亚线性性能，且通过Bandit-over-Bandit框架处理未知变化预算情况。
2026-04-21 cs.LG stat.ML
Personalized Online Federated Learning with Multiple Kernels
University of California Irvine（加州大学尔湾分校）
本文提出一种基于随机特征近似的可扩展在线联邦多核学习算法，以低通信成本处理客户端数据异构性，并证明每个客户端享有次线性遗憾，实验验证其优于现有方法。
2023-11-09 cs.LG
Very Fast Kernel SVM under Budget Constraints
ENSEA（法国高等电力学院）；Université de Cergy-Pontoise（塞尔吉-蓬图瓦兹大学）；CNRS（法国国家科学研究中心）
在本文中，我们提出了一种快速在线核SVM算法在紧预算约束。我们建议使用LVQ分割输入空间，并在每个聚类中训练一个核SVM。为了允许在线训练，我们建议使用不同的策略限制每个集群的支持向量集的大小。我们在实验中表明，我们的算法能够实现高精度，同时在训练和评估中每秒处理的样本数量非常多。
2016-12-31 cs.LG stat.ML
Generalization Analysis of Online Stochastic Gradient Descent for Overparameterized Two-Layer Neural Networks
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）；Shanghai Key Laboratory for Contempo（上海市现代（暂未完整，按原文提取））
本文在NTK机制下分析过参数化两层神经网络在线SGD的泛化误差，提出统一框架推导最后迭代的尖锐收敛速率，并将网络宽度要求从指数降至多项式，缩小理论与实践的差距。
2026-09-29 cs.LG stat.ML
Multiple Kernel-Based Online Federated Learning
University of Southern California（南加州大学）；Hanyang University（汉阳大学）
在线联邦学习（OFL）是一种新兴的学习框架，边缘节点利用连续的本地数据流进行在线学习，服务器从聚合的本地模型中构造全局模型。在线多核学习（OMKL），使用一组预先选择的P内核，可以是一个很好的候选人OFL框架，因为它提供了一个出色的性能与低复杂性和可扩展性。然而，一个天真的扩展OMKL到OFL框架遭受沉重的通信开销，增长与P线性在本文中，我们提出了一种新的多内核为基础的OFL（MK-OFL）作为一个非平凡的扩展OMKL，这产生了相同的性能的天真的扩展与1/P通信开销减少。我们从理论上证明了MK-OFL实现了最佳次线性遗憾界相比，最好的功能在事后。最后，我们提供了我们的方法在现实世界的数据集上的数值测试，这表明了它的实用性。
2021-02-22 cs.LG
Efficient online learning with kernels for adversarial large scale problems
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们感兴趣的是一个在线学习的框架，该框架具有低维但大规模和潜在的对抗性数据集的内核。我们研究核岭回归的在线变化的计算和理论性能。尽管它的简单性，我们研究的算法是第一个实现最佳遗憾的广泛的内核，每轮复杂度为$n^α$与$α< 2$。我们考虑的算法是基于近似的核与基函数的线性跨度。我们的贡献是双重的：1）对于高斯核，我们建议通过泰勒展开预先（独立于数据）构建基础。对于$d$维输入，我们提供了一个（接近）最优遗憾顺序$O((\log n)^{d+1})$与每轮的时间复杂度和空间复杂度$O((\log n)^{2d})$。这使得该算法是一个合适的选择，尽快$n \gg e^d$，这可能发生在场景中的小尺寸和大规模的数据集; 2）对于一般的核与低有效维数，基函数的更新顺序在数据自适应的方式通过采样Nystr{<$}m点。在这种情况下，我们的算法改进了已知的在线内核回归的计算权衡。
2019-05-29 cs.LG math.ST stat.ML
Graph-Aided Online Multi-Kernel Learning
University of California, Irvine（加州大学欧文分校）
多核学习（MKL）已广泛应用于函数逼近任务。MKL的关键问题是将内核组合到指定的字典中。字典中包含不相关的核会降低MKL的准确性，并增加计算复杂性。为了提高函数逼近的精度，降低计算复杂性，研究了数据驱动的核函数选择方法.具体地说，基于内核之间的相似性，新的框架构造和细化一个图，以帮助选择一个子集的内核。此外，随机特征近似被用来使连续获得的数据的在线实施。理论分析表明，我们提出的算法享有更严格的次线性遗憾界相比，最先进的基于图的在线MKL替代品。在一些真实数据集上的实验也展示了我们新的图形辅助框架的优势。
2021-02-09 cs.LG
Adaptive Distributed Kernel Ridge Regression: A Feasible Distributed Learning Scheme for Data Silos
Xi’an Jiaotong University（西安交通大学）；University of Sydney（悉尼大学）
本文提出自适应分布式核岭回归（AdaDKRR）方案，兼顾参数自主性、隐私与合作必要性，理论证明其性能近似全局最优且优于现有方案，有效应对数据孤岛问题。
2023-09-08 cs.LG stat.ML
Learnability in Online Kernel Selection with Memory Constraint via Data-dependent Regret Analysis
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对带内存约束的在线核选择问题，提出依赖核对齐和竞争假设累积损失的数据依赖上界，构建基于新型缓冲区与专家建议预测归约的算法框架，证明小内存下次线性数据复杂度下可学习，并经实验验证性能。
2025-03-24 cs.LG
Johnson Controls（江森自控）；Iowa State University（爱荷华州立大学）；New York University（纽约大学）
Regret has been widely adopted as the metric of choice for evaluating the performance of online optimization algorithms for distributed, multi-agent systems. However, data/model variations associated with agents can significantly impact decisions and requires consensus among agents. Moreover, most existing works have focused on developing approaches for (either strongly or non-strongly) convex losses, and very few results have been obtained regarding regret bounds in distributed online optimization for general non-convex losses. To address these two issues, we propose a novel composite regret …
2022-09-21 cs.DC cs.LG stat.ML
On the Relationship between Online Gaussian Process Regression and Kernel Least Mean Squares Algorithms
University of Cantabria（坎塔布里亚大学）；CIBER-BBN（西班牙生物医学、生物工程和纳米医学研究中心联盟）；University of Zaragoza（萨拉戈萨大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
研究了在线高斯过程（GP）回归与核最小均方（KLMS）算法之间的关系。虽然后者在在线学习过程中没有存储整个后验分布的能力，但我们发现它们的操作对应于遵循简单参数模型的固定后验协方差的假设。有趣的是，几个著名的KLMS算法对应于该模型的特定情况。概率的观点使我们能够理解他们中的每一个人如何处理不确定性，这可以解释他们的一些表现差异。
2016-09-11 cs.IT cs.LG math.IT
Fujian Institute of Research on the Structure of Matter, Chinese Academy of Sciences（中国科学院福建物质结构研究所）；Tsinghua University（清华大学）
In this paper, sparsification techniques aided online prediction algorithms in a reproducing kernel Hilbert space are studied for nonstationary time series. The online prediction algorithms as usual consist of the selection of kernel structure parameters and the kernel weight vector updating. For structure parameters, the kernel dictionary is selected by some sparsification techniques with online selective modeling criteria, and moreover the kernel covariance matrix is intermittently optimized in the light of the covariance matrix adaptation evolution strategy (CMA-ES). Optimizing the real sym…
2021-08-18 cs.LG eess.SP
An Online Multiple Kernel Parallelizable Learning Scheme
University of Agder（阿格德尔大学）；Simula Metropolitan Center for Digital Engineering（Simula城市数字工程中心）
针对再生核选择难、偏差大的问题，提出可并行的在线多核学习方案，融合单核方法拓展解空间，适用于正则化经验风险最小化凸问题，实验验证其性能优于单核在线方法。
2023-11-06 cs.LG eess.SP
Data-Distributed Weighted Majority and Online Mirror Descent
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们专注于在线学习在多大程度上可以受益于分布式计算的问题。我们专注于设置中，$N$代理在线学习合作，每个代理只能访问自己的数据。我们提出了一个通用的数据分布式在线学习元算法。然后，我们介绍了分布式加权多数和分布式在线镜像下降算法，作为特例。我们表明，使用理论分析和实验，相比于一个单一的代理：给定相同的计算时间，这些分布式算法实现较小的泛化误差，并给予相同的泛化误差，他们可以快$N$倍。
2011-05-11 cs.DC cs.LG
An Online Automatic Modulation Classification Scheme Based on Isolation Distributional Kernel
Nanjing University（南京大学）；Deakin University（迪肯大学）
本文提出首个基于隔离分布核的在线自动调制分类方案，以分布核表示基带信号，在时变信道下实现线性时间复杂度的在线分类，性能优于现有深度学习方法。
2024-10-03 cs.LG
Distributed Online Learning with Multiple Kernels
University of Southern California（南加州大学）；Hanyang University（汉阳大学）
我们考虑的问题，学习一个非线性函数在一个网络的学习者在一个完全分散的方式。另外假设在线学习，其中每个学习者在本地接收连续流数据。这种学习模型被称为完全分布式在线学习（或完全分散式在线联邦学习）。针对该模型，我们提出了一种新的多核学习框架，称为DOMKL。建议的DOMKL是通过利用在线交替方向法的乘数和分布式对冲算法的原则。我们从理论上证明了DOMKL在T个时隙上可以实现最佳的次线性遗憾，这意味着网络中的每个学习者都可以学习一个共同的函数，该函数与事后的最佳函数之间的差距越来越小。我们的分析还表明，DOMKL产生了与最先进的集中式方法相同的渐近性能，同时保持边缘学习器的本地数据。通过对真实数据集的数值测试，我们证明了所提出的DOMKL在各种在线回归和时间序列预测任务上的有效性。
2021-02-26 cs.LG
A Distributed Algorithm for Training Nonlinear Kernel Machines
Microsoft Research（微软研究院）；Microsoft（微软）
本文研究了基于Map-Reduce的非线性核机器的分布式训练问题。我们表明，使用基于梯度的技术解决的基于Nyström近似的解决方案的重新制定非常适合于此，特别是当有必要与大量的基点一起工作时。这种方法的主要优点是：避免计算对应于基点的内核子矩阵的伪逆;计算的分布式部分的简单性和效率;以及，对基点的阶段式添加的友好性。我们在Hadoop上使用AllReduce树实现了该方法，并在一些大型基准数据集上展示了其价值。
2014-05-18 cs.LG
This paper focuses on learning rate analysis of distributed kernel ridge regression for strong mixing sequences. Using a recently developed integral operator approach and a classical covariance inequality for Banach-valued strong mixing sequences, we succeed in deriving optimal learning rate for distributed kernel ridge regression. As a byproduct, we also deduce a sufficient condition for the mixing property to guarantee the optimal learning rates for kernel ridge regression. Our results extend the applicable range of distributed learning from i.i.d. samples to non-i.i.d. sequences.
2021-11-04 cs.DC cs.LG stat.ML
Online nonparametric regression with Sobolev kernels
University of Potsdam（波茨坦大学）；Centre de Recherche INRIA de Paris（法国国家信息与自动化研究所巴黎研究中心）；IRT Saint Exupéry（圣埃克苏佩里技术研究院）；Institut de Mathématiques de Toulouse（图卢兹数学研究所）
在这项工作中，我们调查的变化，在线核岭回归算法的设置$d-$维对抗非参数回归。本文给出了索伯列夫空间类$W_{p}^β(\mathcal{X})$，$p\geq 2, β>\frac{d}{p}$的遗憾上界.最小最大遗憾分析支持的上界，这表明，在情况下$β> \frac{d}{2}$或$p=\infty$，这些利率是（基本上）最优的。最后，我们比较了核岭回归预测器的性能，已知的非参数预测器的遗憾率和计算复杂性，以及在统计（i.i.d.）非参数回归。
2021-07-13 cs.LG math.ST stat.ML
Differentially Private Distributed Online Learning
Huazhong University of Science and Technology（华中科技大学）；Georgia Tech（佐治亚理工学院）
在线学习长期以来一直是机器学习社会的焦点。在大数据时代，要处理大量的数据，单个学习者无法有效地完成这项繁重的任务。因此，在本文中，我们提出了一种新的分布式在线学习算法来解决这个问题。与典型的集中式在线学习器相比，分布式学习器基于本地数据源优化自己的学习参数，并及时与邻居进行通信。然而，通信可能会导致隐私泄露。因此，我们使用差分隐私来保护学习者的隐私，并研究保证差分隐私对分布式在线学习算法效用的影响。此外，通过使用Kakade和Tewari（2009）的结果，我们使用在线学习的遗憾界限来实现分布式场景中离线学习算法的快速收敛速度，这提供了比现有最先进的结果更严格的效用性能。在仿真中，我们证明了差分私有离线学习算法具有较高的方差，但我们可以使用小批量来提高性能。最后，仿真结果表明，我们所提出的定理的分析结果是正确的，我们的私人分布式在线学习算法是一个通用的框架。
2015-06-23 cs.LG
Optimal Rates of Distributed Regression with Imperfect Kernels
University of Jinan（济南大学）；Middle Tennessee State University（中田纳西州立大学）
分布式机器学习系统因其处理大规模数据的高效性而受到越来越多的关注。针对不同的机器学习任务，已经提出了许多分布式框架。在本文中，我们研究了分布式核回归的分治方法。这种方法已被证明是渐近极小极大最优的，如果核是完美的选择，使真正的回归函数位于相关的再生核希尔伯特空间。然而，这通常是不切实际的，因为只能通过先验知识或调整过程来选择的内核很难是完美的。相反，更常见的是，内核足够好，但不完美，在这个意义上，真正的回归可以很好地近似，但不完全位于内核空间。我们证明了分布式核回归在这种情况下仍然可以达到与容量无关的最优速率。为此，我们首先建立了一个通用的框架，允许分析分布式回归与响应加权基础算法的边界上一个单一的数据集，这些算法的错误，提供的误差界已考虑到的影响，无法解释的方差的响应变量。然后，我们执行留一分析的内核岭回归和偏差校正内核岭回归，结合上述框架，使我们能够获得尖锐的误差界和容量独立的最佳速率为相关的分布式内核回归算法。作为彻底分析的副产品，我们还证明了核岭回归可以在无噪声设置中比$N^{-1}$（其中$N$是样本大小）更快地实现速率，据我们所知，这是回归学习中首次观察到的和新颖的。
2020-06-30 cs.DC cs.LG math.ST
Neurally-plausible radial basis kernels using distributed Fourier embeddings
University of Waterloo（滑铁卢大学）
本文研究了在神经合理框架下实现径向基核的常见方法，分析了基于网格细胞样表示的径向基核工作，并证明其具备实现最优径向基核的能力。
2026-05-08 cs.LG q-bio.NC
Online Learning of Noisy Data with Kernels
Università degli Studi di Milano（米兰大学）；The Hebrew University（希伯来大学）
我们研究在线学习时，个别情况下被破坏的adversarially选择的随机噪声。我们假设噪声分布是未知的，并且可以随时间变化，除了具有零均值和有界方差之外没有任何限制。我们的技术依赖于一个家庭的无偏估计的非线性函数，这可能是独立的利益。我们证明了在线梯度下降的一个变体可以学习任何点积中的函数（例如，多项式）或具有任何解析凸损失函数的高斯核空间。我们的变体使用随机估计，需要查询每个实例的噪声副本的随机数，其中该数字的上限很可能是一个常数。允许这样的多个查询是不可避免的：事实上，我们表明，在线学习一般是不可能的，当每个实例只有一个嘈杂的副本可以访问。
2010-05-20 cs.LG
Online Adaptive Kernel Mixing for Gaussian Process Decision Making
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；Arizona State University（亚利桑那州立大学）
本文提出HACK GPs方法，将核选择视为在线专家学习问题，通过AdaHedge更新核权重，在贝叶斯优化、水平集估计和主动学习中实现稳健性能。
2026-09-18 cs.LG
Estimating Bidirectional Causal Effects with Large Scale Online Kernel Learning
Japan Society for the Promotion of Science（日本学术振兴会）
提出一种可扩展的在线核学习框架，结合异方差识别和拟极大似然估计，用于估计存在相互依赖和异方差系统中的双向因果效应，并通过随机傅里叶特征和自适应在线梯度下降实现高效计算。
2026-06-02 cs.LG stat.ME stat.ML
Online Learning with Regularized Kernel for One-class Classification
Indian Institute of Technology Indore（印度理工学院印多尔分校）；Nanyang Technological University（南洋理工大学）
提出了一种基于正则化核的在线学习单类极限学习机分类器，简称在线RK-OC-ELM。基线核超平面模型在单类分类（OCC）的情况下使用正则化ELM方法将整个数据视为单个块进行离线学习。此外，基本的超平面模型适应在本文中的训练样本流的在线方式。两个框架，提出了一种基于边界和重构的在线RKOC-ELM目标检测方法。基于边界框架的单类分类器采用单节点输出结构，分类器努力将所有数据近似为任意实数。然而，基于重构框架的单类分类器是一种自动编码器架构，其中输出节点与输入节点相同，并且分类器努力在输出层重构输入层。这两种框架都采用了基于正则化核ELM的在线学习，并采用了基于一致性的模型选择来选择学习算法参数。在线RK-OC-ELM的性能进行了评估标准的基准数据集，以及人工数据集和现有的国家的最先进的一类分类器的结果进行了比较。结果表明，在线学习的单类分类器是略好或相同的批学习的方法。由于用于所提出的分类器的基本分类器是基于ELM的，因此，所提出的分类器也将继承基本分类器的优点，即，与传统的基于自动编码器的一类分类器相比，它将执行更快的计算。
2018-04-09 cs.LG
Tianjin University（天津大学）
In this paper, we improve the regret bound for online kernel selection under bandit feedback. Previous algorithm enjoys a $O((\Vert f\Vert^2_{\mathcal{H}_i}+1)K^{\frac{1}{3}}T^{\frac{2}{3}})$ expected bound for Lipschitz loss functions. We prove two types of regret bounds improving the previous bound. For smooth loss functions, we propose an algorithm with a $O(U^{\frac{2}{3}}K^{-\frac{1}{3}}(\sum^K_{i=1}L_T(f^\ast_i))^{\frac{2}{3}})$ expected bound where $L_T(f^\ast_i)$ is the cumulative losses of optimal hypothesis in $\mathbb{H}_{i}=\{f\in\mathcal{H}_i:\Vert f\Vert_{\mathcal{H}_i}\leq U\}$.…
2023-03-23 cs.LG
Fast and Extensible Online Multivariate Kernel Density Estimation
INESC ID Lisboa（里斯本高等工程学院信息与决策系统研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Instituto Universitário de Lisboa (ISCTE-IUL)（里斯本大学学院（ISCTE-IUL））
我们提出了xokde++，一个国家的最先进的在线核密度估计方法，保持高斯混合模型输入数据流。该方法遵循最先进的在线密度估计工作，但重新设计了计算效率，数值鲁棒性和可扩展性。我们的方法产生可比的或更好的结果比目前的最先进的，同时实现显着的计算性能增益和改善数值稳定性。使用对角协方差高斯内核，进一步提高性能和稳定性，在一个小的损失建模质量，也进行了探讨。我们的方法是高达40倍的速度，而需要的内存比最接近的最先进的同行少90%。
2016-06-08 cs.CV cs.LG
