Efficient Online Relative Comparison Kernel Learning
University of Pittsburgh（匹兹堡大学）；Air Force Research Laboratory（空军研究实验室）
从相对比较人类反馈中学习核矩阵是协同过滤、对象检索和搜索应用中的一个重要问题。为了在大量对象上学习内核，现有方法面临显著的可扩展性问题，抑制了这些方法应用于以在线和及时的方式学习内核的设置。在本文中，我们提出了一种新的框架，称为有效的在线相对比较核学习（ERKLE），有效地学习一个大的对象集的相似性在线的方式。我们通过随机梯度下降从相对比较中学习一个内核，一次一个查询响应，利用梯度的稀疏和低秩特性，有效地将内核限制在半正定矩阵的空间中。此外，我们推导出一个被动攻击的在线更新最低限度地满足新的相对比较，以不破坏以前获得的比较的影响。在实验中，我们证明了一个相当大的改进速度，同时获得改善或可比的准确性相比，目前的方法在在线学习设置。
2015-01-12 cs.LG
Budget Online Multiple Kernel Learning
School of Information Systems（信息系统学院）；Singapore Management University（新加坡管理大学）；Institute for Infocomm Research (I2R)（资讯通信研究院（I2R））；A*STAR（新加坡科技研究局）
多核在线学习近年来得到了越来越多的关注，并得到了广泛的应用。对于分类任务，在线多核分类（OMKC），它学习基于核的分类器，通过寻求最佳的线性组合池的单核分类器在在线的时尚，实现了优越的精度和享有极大的灵活性相比，传统的单核分类器。尽管被广泛研究，现有的OMKC算法遭受高的计算成本，由于其无限数量的支持向量。为了克服这个缺点，我们提出了一个新的预算在线多核学习（BOMKL）的框架，并提出了一个新的稀疏被动积极学习执行有效的预算在线学习。具体来说，我们采用了一个简单而有效的Bernoulli采样来决定是否应该将传入的实例添加到当前的支持向量集。通过限制支持向量的数量，我们的方法可以显着加快OMKC，同时保持令人满意的精度，是现有的OMKC算法相媲美。我们从理论上证明了我们的新方法达到了预期的最佳遗憾界，并实证发现，该算法优于各种OMKC算法，可以很容易地扩展到大规模数据集。
2015-11-18 cs.LG
Graph-Aided Online Multi-Kernel Learning
University of California, Irvine（加州大学欧文分校）
多核学习（MKL）已广泛应用于函数逼近任务。MKL的关键问题是将内核组合到指定的字典中。字典中包含不相关的核会降低MKL的准确性，并增加计算复杂性。为了提高函数逼近的精度，降低计算复杂性，研究了数据驱动的核函数选择方法.具体地说，基于内核之间的相似性，新的框架构造和细化一个图，以帮助选择一个子集的内核。此外，随机特征近似被用来使连续获得的数据的在线实施。理论分析表明，我们提出的算法享有更严格的次线性遗憾界相比，最先进的基于图的在线MKL替代品。在一些真实数据集上的实验也展示了我们新的图形辅助框架的优势。
2021-02-09 cs.LG
Learnability in Online Kernel Selection with Memory Constraint via Data-dependent Regret Analysis
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）
针对带内存约束的在线核选择问题，提出依赖核对齐和竞争假设累积损失的数据依赖上界，构建基于新型缓冲区与专家建议预测归约的算法框架，证明小内存下次线性数据复杂度下可学习，并经实验验证性能。
2025-03-24 cs.LG
An Online Automatic Modulation Classification Scheme Based on Isolation Distributional Kernel
Nanjing University（南京大学）；Deakin University（迪肯大学）
本文提出首个基于隔离分布核的在线自动调制分类方案，以分布核表示基带信号，在时变信道下实现线性时间复杂度的在线分类，性能优于现有深度学习方法。
2024-10-03 cs.LG
A Distributed Algorithm for Training Nonlinear Kernel Machines
Microsoft Research（微软研究院）；Microsoft（微软）
本文研究了基于Map-Reduce的非线性核机器的分布式训练问题。我们表明，使用基于梯度的技术解决的基于Nyström近似的解决方案的重新制定非常适合于此，特别是当有必要与大量的基点一起工作时。这种方法的主要优点是：避免计算对应于基点的内核子矩阵的伪逆;计算的分布式部分的简单性和效率;以及，对基点的阶段式添加的友好性。我们在Hadoop上使用AllReduce树实现了该方法，并在一些大型基准数据集上展示了其价值。
2014-05-18 cs.LG
Online Learning of Noisy Data with Kernels
Università degli Studi di Milano（米兰大学）；The Hebrew University（希伯来大学）
我们研究在线学习时，个别情况下被破坏的adversarially选择的随机噪声。我们假设噪声分布是未知的，并且可以随时间变化，除了具有零均值和有界方差之外没有任何限制。我们的技术依赖于一个家庭的无偏估计的非线性函数，这可能是独立的利益。我们证明了在线梯度下降的一个变体可以学习任何点积中的函数（例如，多项式）或具有任何解析凸损失函数的高斯核空间。我们的变体使用随机估计，需要查询每个实例的噪声副本的随机数，其中该数字的上限很可能是一个常数。允许这样的多个查询是不可避免的：事实上，我们表明，在线学习一般是不可能的，当每个实例只有一个嘈杂的副本可以访问。
2010-05-20 cs.LG
Online Adaptive Kernel Mixing for Gaussian Process Decision Making
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；Arizona State University（亚利桑那州立大学）
本文提出HACK GPs方法，将核选择视为在线专家学习问题，通过AdaHedge更新核权重，在贝叶斯优化、水平集估计和主动学习中实现稳健性能。
2026-09-18 cs.LG
Online Learning with Regularized Kernel for One-class Classification
Indian Institute of Technology Indore（印度理工学院印多尔分校）；Nanyang Technological University（南洋理工大学）
提出了一种基于正则化核的在线学习单类极限学习机分类器，简称在线RK-OC-ELM。基线核超平面模型在单类分类（OCC）的情况下使用正则化ELM方法将整个数据视为单个块进行离线学习。此外，基本的超平面模型适应在本文中的训练样本流的在线方式。两个框架，提出了一种基于边界和重构的在线RKOC-ELM目标检测方法。基于边界框架的单类分类器采用单节点输出结构，分类器努力将所有数据近似为任意实数。然而，基于重构框架的单类分类器是一种自动编码器架构，其中输出节点与输入节点相同，并且分类器努力在输出层重构输入层。这两种框架都采用了基于正则化核ELM的在线学习，并采用了基于一致性的模型选择来选择学习算法参数。在线RK-OC-ELM的性能进行了评估标准的基准数据集，以及人工数据集和现有的国家的最先进的一类分类器的结果进行了比较。结果表明，在线学习的单类分类器是略好或相同的批学习的方法。由于用于所提出的分类器的基本分类器是基于ELM的，因此，所提出的分类器也将继承基本分类器的优点，即，与传统的基于自动编码器的一类分类器相比，它将执行更快的计算。
2018-04-09 cs.LG
Improved Regret Bounds for Online Kernel Selection under Bandit Feedback
Tianjin University（天津大学）
本文改进了基于强盗反馈的在线核选择的后悔界。该算法对Lipschitz损失函数具有$O((\Vert f\Vert^2_{\mathcal{H}_i}+1)K^{\frac{1}{3}}T^{\frac{2}{3}})$期望界。我们证明了两种类型的遗憾界改进以前的界限。对于光滑损失函数，我们提出了一个算法与$O(U^{\frac{2}{3}}K^{-\frac{1}{3}}(\sum^K_{i=1}L_T(f^\ast_i))^{\frac{2}{3}})$期望界$L_T(f^\ast_i)$是最佳假设的累积损失$\mathbb{H}_{i}=\{f\in\mathcal{H}_i:\Vert f\Vert_{\mathcal{H}_i}\leq U\}$。数据依赖的边界保持以前的最坏情况下的边界，并且如果大多数候选核与数据匹配良好，则该边界较小。对于Lipschitz损失函数，我们提出了一种算法，其$O(U\sqrt{KT}\ln^{\frac{2}{3}}{T})$期望界渐近地改进了先前的界。我们将这两个算法应用到有时间约束的在线核选择中，证明了新的后悔界匹配或改进了以前的$O(\sqrt{T\ln{K}} +\Vert f\Vert^2_{\mathcal{H}_i}\max\{\sqrt{T},\frac{T}{\sqrt{\mathcal{R}}}\})$期望界，其中$\…
2023-03-23 cs.LG
Fast Bounded Online Gradient Descent Algorithms for Scalable Kernel-Based Online Learning
Nanyang Technological University（南洋理工大学）；Michigan State University（密歇根州立大学）
基于内核的在线学习通常在许多在线学习任务中表现出最先进的性能。然而，它有一个主要的缺点，即支持向量的数量是无限的，这使得它不具有可扩展性，不适合大规模数据集的应用。在这项工作中，我们研究的问题，有界核为基础的在线学习，旨在限制支持向量的数量由一个预定义的预算。虽然在文献中已经提出了几种算法，它们既不是计算效率，由于其密集的预算维护策略，也不是有效的，由于使用简单的感知器算法。为了克服这些限制，我们提出了一个框架，有界核为基础的在线学习的基础上在线梯度下降的方法。我们提出了两个有效的算法有界在线梯度下降（BOGD）的可扩展的基于内核的在线学习：（i）BOGD通过维护支持向量使用均匀采样，和（ii）BOGD++通过维护支持向量使用非均匀采样。我们目前的理论分析的遗憾界的算法，并发现有前途的实证性能方面的功效和效率进行比较，几个著名的算法有界核为基础的在线学习大规模数据集。
2012-06-18 cs.LG stat.ML
Isolation Kernel: The X Factor in Efficient and Effective Large Scale Online Kernel Learning
Federation University（联邦大学）；Osaka University（大阪大学）
大规模在线核学习旨在从一系列潜在的无限数据点中逐步构建一个高效且可扩展的基于核的预测模型。目前的一个关键方法集中在如何产生一个近似的有限维特征映射，假设使用的内核具有一个难以处理的维度的特征映射-传统上在基于内核的方法中持有的假设。虽然这种方法可以有效地处理大规模数据集，但由于近似，这种结果是通过牺牲预测精度来实现的。我们提供了一种替代方法，它覆盖了假设，并将所使用的内核置于方法的核心。它专注于创建一个称为隔离内核的内核的精确，稀疏和有限维特征映射。使用这种新方法，实现大规模在线内核学习的上述目标变得非常简单-只需使用隔离内核而不是具有难以处理的维度的特征映射的内核。我们表明，使用隔离核，可以有效地实现大规模在线内核学习，而不会牺牲准确性。
2019-09-24 cs.LG stat.ML
Communication Efficient Distributed Kernel Principal Component Analysis
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）
核主成分分析（KPCA）是一种用于从数据中提取非线性特征的关键机器学习算法。在存在以分布式方式收集的大量高维数据的情况下，将所有这些数据传送到单个数据中心然后执行内核PCA变得非常昂贵。我们能否以分布式和通信高效的方式对整个数据集执行核PCA，同时保持解决方案质量的可证明和强有力的保证？在本文中，我们给出了一个肯定的答案，这个问题通过开发一个通信有效的算法来执行核PCA在分布式设置。该算法是子空间嵌入和自适应采样技术的巧妙结合，我们表明，该算法可以作为输入的任意配置的分布式数据集，并计算一组全球核主成分的相对误差保证独立的特征空间的维数或数据点的总数。特别地，计算$k$主成分时相对误差$ε$超过$s$工作者具有通信成本$\tilde{O}(s ρk/ε+s k^2/ε^3)$字，其中$ρ$是每个数据点中非零条目的平均数量。此外，我们用大规模的真实世界数据集对该算法进行了实验，结果表明，该算法产生了高质量的核PCA解决方案，同时使用的通信比其他方法少得多。
2016-02-13 cs.LG
Lepskii Principle for Distributed Kernel Ridge Regression
School of Management, Xi’an Jiaotong University（西安交通大学管理学院）
针对分布式核岭回归中不共享本地数据时的参数选择难题，提出基于 Lepskii 原理和双重加权平均的自适应 Lep-AdaDKRR，并证明其具备最优学习率与多方面自适应能力。
2024-09-08 cs.LG
Improved Kernel Alignment Regret Bound for Online Kernel Learning
Tianjin University（天津大学）
本文提出改进的在线核学习算法，在Hinge损失下优化核对齐遗憾界，依据特征值衰减率实现更优的遗憾与计算复杂度，并扩展到批量学习提升风险界。
2024-03-13 cs.LG
Online structural kernel selection for mobile health
Harvard University（哈佛大学）；University of Michigan（密歇根大学）
出于对移动健康中高效和个性化学习的需求，我们研究了多任务环境下高斯过程回归的在线核选择问题。为此，我们提出了一种新的生成过程的内核组成。我们的方法表明，内核演变的轨迹可以在用户之间转移，以改善学习，内核本身对于mHealth预测目标是有意义的。
2021-07-21 cs.LG stat.ML
Random feature-based double Vovk-Azoury-Warmuth algorithm for online multi-kernel learning
Institute of Mathematics, Mechanics and Computer Sciences of the Southern Federal University（南联邦大学数学、力学与计算机科学学院）；Regional Scientific and Educational Mathematical Center of the Southern Federal University（南联邦大学区域科学与教育数学中心）
提出用于 RKHS 在线回归的两阶段算法 VAW$^2$，结合随机 Fourier 特征与 VAW 方法构建并组合专家策略，其预期遗憾界为 $O(T^{1/2}\ln T)$，在基准数据集上优于 Raker 和 OMKL-GF 等现有方法。
2025-04-01 cs.LG
An Empirical Study on Budget-Aware Online Kernel Algorithms for Streams of Graphs
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；University of Padova（帕多瓦大学）
核方法被认为是一种有效的在线学习技术。许多方法已经被开发用于当问题施加存储器约束时表示核方法的对偶解决方案的压缩。然而，在文献中没有工作是专门针对流的图形。出于这样一个事实，即许多国家的最先进的图形内核的特征空间表示的大小是相对较小的，因此它是明确可计算的，我们研究是否执行内核算法在特征空间中可以更有效地比经典的对偶方法。我们研究了三种不同的算法和各种战略的预算管理。所提出的方法的效率和功效进行了实验评估相对较大的图形流表现出概念漂移。事实证明，当必须强制执行严格的内存预算约束时，考虑到图内核的当前技术水平，在特征空间中工作不仅仅是双重方法的可行替代方案，无论是在速度还是分类性能方面。
2016-07-20 cs.LG
Kernel t-distributed stochastic neighbor embedding
University Politehnica of Bucharest（布加勒斯特理工大学）；University of Bucharest（布加勒斯特大学）
本文提出 t-SNE 算法的核化版本，通过在高低维空间应用核技巧保留非欧度量下的成对距离，在多个数据集上实现了更清晰的聚类，提升了涉及核方法分类任务的性能。
2023-11-20 cs.LG
Online Distributed Learning Over Networks in RKH Spaces Using Random Fourier Features
University of Athens（雅典大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
我们提出了一种新的扩散计划在线基于核的网络学习。到目前为止，任何在线学习算法的一个主要缺点，在再生核希尔伯特空间（RKHS）中操作，是需要更新越来越多的参数随着时间的迭代演变。除了复杂性之外，这还导致在分布式环境中对通信资源的需求增加。相比之下，所提出的方法使用随机傅立叶特征将解近似为固定大小的向量（比输入空间更大的维度）。这为使用标准的线性组合然后调整技术铺平了道路。据我们所知，这是第一次，一个完整的协议，在RKHS分布式在线学习。并给出了网络后悔的渐近收敛性和有界性条件。仿真实验验证了该方案的有效性。
2017-03-24 cs.LG
An Online Stochastic Kernel Machine for Robust Signal Classification
U.S. Naval Research Laboratory（美国海军研究实验室）
我们提出了一种新的变化的在线内核机，其中我们利用基于共识的优化机制，以指导决策函数的演变从再生核希尔伯特空间，有效地模拟所观察到的平稳过程。
2019-12-16 cs.LG eess.SP stat.ML
Online Kernel Dynamic Mode Decomposition for Streaming Time Series Forecasting with Adaptive Windowing
University of Washington（华盛顿大学）
针对流式数据实时预测中的非平稳与计算限制挑战，提出WORK-DMD方法，结合随机傅里叶特征与在线动态模式分解及滚动窗口Sherman-Morrison更新，实现单次遍历、固定成本的高精度预测，尤其擅长短期预测，为深度学习提供高效替代。
2025-10-17 cs.LG
Online Learning with Multiple Operator-valued Kernels
Aix-Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
我们考虑在在线学习环境中学习向量值函数f的问题。假设函数f位于算子值核的再生希尔伯特空间中。我们描述了两个在线学习f的算法，同时考虑到输出结构。第一个贡献是一个算法，ONORMA，扩展了标准的基于内核的在线学习算法NORMA从标量值到运算符值的设置。我们报告了一个累积误差界，同时适用于分类和回归。然后，我们定义了第二个算法，MONORMA，它解决了预先定义的输出结构在ONORMA顺序学习算子值内核的线性组合的限制。实验结果表明，本文提出的算法具有较好的性能，且计算量小.
2013-11-05 cs.LG stat.ML
Online Distributed Sensor Selection
Caltech（加州理工学院）
传感器网络中的一个关键问题是决定何时查询哪些传感器，以便获得最有用的信息（例如，用于执行准确的预测），受到约束（例如，在功率和带宽上）。在许多应用中，效用函数不是先验已知的，必须从数据中学习，甚至可以随时间变化。此外，大型传感器网络解决集中式优化问题选择传感器是不可行的，因此，我们寻求一个完全分布式的解决方案。在本文中，我们提出了分布式在线贪婪（DOG），一个有效的，分布式的算法，反复选择传感器在线，只接收反馈的效用所选择的传感器。我们证明了非常强大的理论无遗憾的保证，适用于任何时候（未知）的效用函数满足一个自然递减的回报属性称为子模块。我们的算法具有极低的通信要求，并可扩展到大型传感器部署。我们扩展DOG允许观察依赖的传感器选择。我们经验证明了我们的算法在几个现实世界的传感任务的有效性。
2010-05-13 cs.LG
On the Size of the Online Kernel Sparsification Dictionary
IDSIA, USI & SUPSI（IDSIA、瑞士意大利语区大学及瑞士南部应用科学大学）
我们使用一个新的公式来分析通过在线核稀疏化构建的字典的大小，该公式根据协方差算子的特征值来表达核Gram矩阵的预期行列式。使用这个公式，我们能够将字典的基数与协方差算子的本征衰减联系起来。特别是，我们表明，在一定的技术条件下，字典的大小将始终增长的数据点的数量次线性，因此，从所得到的字典构建的内核线性回归是一致的。
2012-06-18 cs.LG stat.ML
Limited Memory Online Gradient Descent for Kernelized Pairwise Learning with Dynamic Averaging
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Jilin University（吉林大学）
针对现有成对学习OGD算法仅适用于线性模型、需样本独立假设的问题，提出基于随机样本与移动平均的轻量级核化OGD算法，结合随机傅里叶特征降核计算复杂度，在多场景下性能更优。
2024-02-02 cs.LG
Structure Parameter Optimized Kernel Based Online Prediction with a Generalized Optimization Strategy for Nonstationary Time Series
Fujian Institute of Research on the Structure of Matter, Chinese Academy of Sciences（中国科学院福建物质结构研究所）；Tsinghua University（清华大学）
本文研究了再生核Hilbert空间中非平稳时间序列的稀疏化辅助在线预测算法。通常的在线预测算法包括核结构参数的选择和核权向量的更新。对于结构参数，采用稀疏化技术和在线选择性建模准则选择核字典，并根据协方差矩阵自适应进化策略（CMA-ES）间歇优化核协方差矩阵。对实对称协方差矩阵进行优化，不仅可以利用输入变量的互相关性提高核结构的灵活性，而且可以部分缓解非平稳时间序列核字典选择带来的预测不确定性。为了充分捕捉预测误差时间序列的潜在动态特征，设计了一种广义优化策略，在多核连接模式下依次构造核字典.广义优化策略提供了一种更独立的方式来构建整个内核连接，这增强了自适应跟踪动态特性变化的能力。数值模拟表明，该方法对非平稳时间序列具有较好的预测性能。
2021-08-18 cs.LG eess.SP
Memory Constraint Online Multitask Classification
Università degli Studi di Milano（米兰大学）
我们调查在线内核算法，同时处理多个分类任务，而一个固定的约束施加在其活动集的大小。我们特别关注的算法设计，可以有效地处理任务的数量是非常高的，任务数据是大规模的问题。引入了两种新的基于投影的算法，以有效地解决这些问题，同时提出了不同的权衡如何管理可用的内存相对于先验信息的学习任务。通过将随机预算感知器和Forgetron算法与多任务内核耦合，设计了理论上合理的预算算法。我们展示了如何从多个任务中学习和保持恒定的内存足迹这两个看似对立的属性可以平衡，以及如何自动照顾不同任务之间的可用空间共享。我们提出并讨论了多任务内核的新见解。实验表明，在线内核多任务算法运行在预算可以有效地解决现实世界中的学习问题，涉及多个任务。
2012-10-01 cs.LG
Distributed Tree Kernels
University of Rome Tor Vergata（罗马第二大学）
在本文中，我们提出了分布式树核（DTK）作为一种新的方法，以减少时间和空间复杂度的树核。使用线性复杂度算法计算树的向量，我们将树片段的特征空间嵌入到低维空间中，其中核计算直接用点积完成。我们发现DTK更快，与树内核相关，并在两个自然语言处理任务中获得统计相似的性能。
2012-06-18 cs.LG stat.ML
On Online Learning in Kernelized Markov Decision Processes
Indian Institute of Science（印度科学学院）
我们开发的算法与低遗憾学习情节马尔可夫决策过程的核近似技术的基础上。该算法的基础上的置信上限（UCB）以及后验或汤普森采样（PSRL）的哲学，并在一般设置的连续状态和动作空间时，真正的未知的过渡动态被假定为具有平滑引起的适当的再生核希尔伯特空间（RKHS）。
2019-11-04 cs.LG stat.ML
An Online Multiple Kernel Parallelizable Learning Scheme
University of Agder（阿格德尔大学）；Simula Metropolitan Center for Digital Engineering（Simula城市数字工程中心）
针对再生核选择难、偏差大的问题，提出可并行的在线多核学习方案，融合单核方法拓展解空间，适用于正则化经验风险最小化凸问题，实验验证其性能优于单核在线方法。
2023-11-06 cs.LG eess.SP
Data-Distributed Weighted Majority and Online Mirror Descent
Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们专注于在线学习在多大程度上可以受益于分布式计算的问题。我们专注于设置中，$N$代理在线学习合作，每个代理只能访问自己的数据。我们提出了一个通用的数据分布式在线学习元算法。然后，我们介绍了分布式加权多数和分布式在线镜像下降算法，作为特例。我们表明，使用理论分析和实验，相比于一个单一的代理：给定相同的计算时间，这些分布式算法实现较小的泛化误差，并给予相同的泛化误差，他们可以快$N$倍。
2011-05-11 cs.DC cs.LG
Online Learning in Kernelized Markov Decision Processes
Indian Institute of Science（印度科学学院）
我们考虑在线学习在未知的，情节马尔可夫决策过程（MDP）的连续状态和行动的遗憾最小化。我们开发的UCRL和后验采样算法，采用非参数高斯过程先验的状态和动作空间概括的变种。当真正的MDP的过渡和奖励功能的成员相关联的再生核希尔伯特空间的对称PSD内核（频率设置）引起的功能，我们发现，算法享受次线性遗憾界。边界是在显式的核结构参数，即一种新的推广的信息增益度量从核土匪，并突出了过渡和奖励函数结构对学习性能的影响。我们的结果是适用于多维状态和行动空间的复合核结构，并推广的结果，从文献中的核土匪，和自适应控制的参数线性动力系统的二次成本。
2019-01-03 cs.LG stat.ML
Neurally-plausible radial basis kernels using distributed Fourier embeddings
University of Waterloo（滑铁卢大学）
本文研究了在神经合理框架下实现径向基核的常见方法，分析了基于网格细胞样表示的径向基核工作，并证明其具备实现最优径向基核的能力。
2026-05-08 cs.LG q-bio.NC
Kernel Interpolation for Scalable Online Gaussian Processes
New York University（纽约大学）；Cornell University（康奈尔大学）
高斯过程（GP）为在线设置中的性能提供了黄金标准，例如样本有效控制和黑盒优化，其中我们需要在以顺序方式获取数据时更新后验分布。然而，在已经观察到$n$点之后更新GP后验以适应甚至单个新观察至少会在精确设置中引起$O(n)$计算。我们展示了如何使用结构化内核插值来有效地回收计算恒定时间$O(1)$在线更新的点$n$的数量，同时保留精确的推理。我们展示了我们的方法在一系列在线回归和分类设置，贝叶斯优化，主动采样，以减少疟疾发病率预测的错误的承诺。代码可在https://github.com/wjmaddox/online_gp上获得。
2021-03-02 cs.LG stat.ML
Fast and Extensible Online Multivariate Kernel Density Estimation
INESC ID Lisboa（里斯本高等工程学院信息与决策系统研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；Instituto Universitário de Lisboa (ISCTE-IUL)（里斯本大学学院（ISCTE-IUL））
我们提出了xokde++，一个国家的最先进的在线核密度估计方法，保持高斯混合模型输入数据流。该方法遵循最先进的在线密度估计工作，但重新设计了计算效率，数值鲁棒性和可扩展性。我们的方法产生可比的或更好的结果比目前的最先进的，同时实现显着的计算性能增益和改善数值稳定性。使用对角协方差高斯内核，进一步提高性能和稳定性，在一个小的损失建模质量，也进行了探讨。我们的方法是高达40倍的速度，而需要的内存比最接近的最先进的同行少90%。
2016-06-08 cs.CV cs.LG
Online Attentive Kernel-Based Temporal Difference Learning
Jiangsu Key Laboratory of Big Data Security & Intelligent Processing, Nanjing University of Posts and Telecommunications（南京邮电大学江苏省大数据安全与智能处理重点实验室）；National Engineering Laboratory for Agri-product Quality Traceability, Beijing Technology and Business University（北京工商大学农产品质量安全追溯技术及应用国家工程实验室）；State Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Jiangsu Key Lab of Image and Video Understanding for Social Security, School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院江苏省社会安全图像与视频理解重点实验室）
随着现实世界中不确定性的增加，在线强化学习（RL）由于其快速学习能力和提高数据效率而受到越来越多的关注。然而，在线RL经常遭受复杂的价值函数近似（VFA）和灾难性干扰，这使得深度神经网络难以应用于完全在线设置中的在线RL算法。因此，一个更简单和更适应的方法来评估价值函数与基于核的模型。稀疏表示在处理干扰方面更优越，这表明与当前的稀疏表示方法相比，竞争性稀疏表示应该是可学习的，非先验的，非截断的和显式的。在稀疏表示的学习过程中，利用注意力机制来表征稀疏化程度，并在核函数的基础上引入光滑注意函数.在本文中，我们提出了一个在线的基于核的时间差分（OAKTD）算法使用两个时标优化，并提供我们所提出的算法的收敛性分析。实验评估表明，OAKTD优于几个在线基于内核的时间差（OKTD）学习算法，除了时间差（TD）学习算法与瓷砖编码的公共山地车，Acrobot，CartPole和水坑世界任务。
2022-01-22 cs.AI cs.LG
Distributed Online Big Data Classification Using Context Information
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
分布式、在线数据采掘系统的出现是由于需要分析由多个分布式数据源产生的大量相关和高维数据的应用。我们提出了一个分布式的在线数据分类框架，其中的数据是由分布式数据源收集和处理的一组异构的分布式学习者，在线学习，在运行时，如何分类不同的数据流，或者通过使用本地可用的分类功能，或通过帮助彼此分类对方的数据。重要的是，由于数据是在不同的位置收集的，因此将数据发送给另一个学习者进行处理会产生额外的成本，例如延迟，因此只有当从更好的分类中获得的好处超过成本时，这才是有益的。我们建模的问题的联合分类的分布式和异构的学习者从多个数据源作为一个分布式的上下文强盗问题，每个数据的特点是由一个特定的上下文。我们开发了一个分布式的在线学习算法，我们可以证明次线性后悔。与分布式在线数据采掘中的先前工作相比，我们的工作是第一个提供分析遗憾的结果表征所提出的算法的性能。
2013-07-02 cs.LG stat.ML
Dynamic and Distributed Online Convex Optimization for Demand Response of Commercial Buildings
University of California, Berkeley（加州大学伯克利分校）
本文将在线分布式加权对偶平均（DWDA）算法[1]的遗憾分析扩展到动态设置，并为分布式在线凸优化（OCO）算法提供了迄今为止已知的关于时间范围的最紧动态遗憾界。我们的界限是线性的连续最优值之间的累积差异，并不显着依赖于时间范围。我们使用动态在线DWDA（D-ODWDA），制定了一个性能保证的分布式在线需求响应方法的供热，通风和空调（HVAC）系统的商业建筑。我们展示了我们的方法在数值模拟的快速时间尺度的需求响应的性能，并获得需求响应的决定，密切再现集中的最优。
2020-04-17 cs.LG math.OC
Communication-Efficient Distributed Online Learning with Kernels
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Saarland University（萨尔大学）
我们提出了一个有效的分布式低延迟实时服务的在线学习协议。它扩展了以前提出的协议，以内核化的在线学习者，代表他们的模型的支持向量扩展。虽然这样的学习器通常比线性学习器实现更高的预测性能，但是对于大量的支持向量，传递支持向量扩展变得低效。所提出的扩展允许更大类的在线学习算法-包括那些通过模型压缩来缓解上述问题的算法。此外，我们通过引入一个新的标准，要求通信所遭受的损失有界的质量所提出的协议的特点。
2019-11-28 cs.DC cs.LG stat.ML
Random Feature-based Online Multi-kernel Learning in Environments with Unknown Dynamics
University of Minnesota（明尼苏达大学）
基于核的方法在各种非线性学习任务中表现出良好的性能。它们中的大多数依赖于预先选择的内核，其谨慎的选择假定特定于任务的先验信息。特别是当后者不可用时，多核学习由于其从指定的内核字典中选择内核的灵活性而受到欢迎。利用随机特征近似及其最近的正交性促进的变体，本贡献开发了一个可扩展的多核学习计划（称为Raker），以获得所寻求的非线性学习函数“在飞行中”，首先用于静态环境。为了进一步提高在动态环境中的性能，开发了自适应多核学习方案（称为AdaRaker）。AdaRaker不仅考虑了核组合的数据驱动学习，还考虑了未知的动态。性能分析方面的静态和动态的遗憾。AdaRaker能够在具有未知动态的环境中跟踪非线性学习函数，并且具有分析性能保证。合成和真实数据集进行测试，以展示新算法的有效性。
2018-12-28 cs.LG stat.ML
Parsimonious Online Learning with Kernels via Sparse Projections in Function Space
University of Pennsylvania（宾夕法尼亚大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
尽管它们的吸引力，流行的看法是，非参数函数逼近技术不扩展到流数据，由于它们需要的存储量的棘手的增长。为了以内存负担得起的方式解决这个问题，我们提出了一种基于函数随机梯度下降的在线技术，并结合基于贪婪函数子空间投影的监督稀疏化。该方法，称为简约的在线学习与内核（POLK），提供了一个可控的权衡？它的解决方案的准确性和它所需要的内存量之间的关系。我们得出的条件下，生成的函数序列几乎肯定收敛到最优函数，我们建立的内存需求仍然有限。我们评估POLK内核多类逻辑斯谛回归和内核铰链损失分类三个典型的数据集：合成高斯混合模型，MNIST手写数字，和Brodatz纹理数据库。在所有这三个任务中，我们观察到一个有利的权衡目标函数评估，分类性能，和复杂性的非参数回归提取的方法。
2016-12-13 cs.LG stat.ML
Second-Order Kernel Online Convex Optimization with Adaptive Sketching
INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧研究中心）
核在线凸优化（Kernel Online Convex Optimization，KOCO）是一个结合了非参数核模型的表达能力和在线学习的后悔保证的框架。一阶KOCO方法，如函数梯度下降，每次迭代只需要$\mathcal{O}(t)$时间和空间，并且，当损失的唯一信息是它们的凸性时，实现极小极大最优$\mathcal{O}(\sqrt{T})$遗憾。尽管如此，核问题中的许多常见损失，如平方损失、逻辑损失和平方铰链损失，都具有可以利用的更强的曲率。在这种情况下，二阶KOCO方法实现了$\mathcal{O}(\log(\text{Det}(\boldsymbol{K})))$遗憾，我们将其显示为$\mathcal{O}(d_{\text{eff}}\log T)$，其中$d_{\text{eff}}$是问题的有效维度，通常远小于$\mathcal{O}(\sqrt{T})$。二阶方法的主要缺点是其高得多的$\mathcal{O}(t^2)$空间和时间复杂度。在本文中，我们介绍了核在线牛顿步骤（KONS），一个新的二阶KOCO方法，也实现了$\mathcal{O}(d_{\text{eff}}\log T)$遗憾。为了解决二阶方法的计算复杂性，我们引入了一个新的矩阵素描算法的核心矩阵$\boldsymbol{K}_t$，并表明，对于一个选定的参数$γ\leq 1$，我们的素描KONS减…
2017-06-15 cs.LG stat.ML
Ahpatron: A New Budgeted Online Kernel Learning Machine with Tighter Mistake Bound
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）
针对预算在线核学习的错误界问题，提出新型模型Ahpatron，通过基于主动更新感知机AVP的半样本移除投影预算维护机制，实现更紧错误界，性能在同或更小预算下优于现有最优算法。
2023-12-12 cs.LG stat.ML
Robust Distributed Online Prediction
Microsoft Research（微软研究院）
在线预测的标准模型是通过单个处理器对输入进行串行处理。然而，在大规模在线预测问题中，输入以高速率到达，越来越常见的必要性是将计算分布在多个处理器上。一个不平凡的挑战是设计分布式算法在线预测，保持良好的遗憾保证。在\cite{DMB}中，我们提出了DMB算法，这是一个通用的框架，可以将任何串行的基于梯度的在线预测算法转换为分布式算法。而且，对于光滑凸损失函数和随机输入，它的后悔保证是渐近最优的。另一方面，它对分布式环境中常见的许多类型的故障都很脆弱。在这篇配套论文中，我们提出了DMB算法的变体，它对许多类型的网络故障有弹性，并能容忍计算节点的不同性能。
2010-12-07 cs.LG math.OC
One-shot Distibuted Algorithm for PCA with RBF Kernels
Shanghai Jiao Tong University（上海交通大学）；Institute of Image Processing and Pattern Recognition（图像处理与模式识别研究所）
这封信提出了一个一次性算法的特征分布核PCA。我们的算法的灵感来自样本分布和特征分布的情况之间的双重关系。这种有趣的关系使得有可能建立分布式核PCA的特征分布的情况下，从分布式PCA的思想在样本分布的情况下。在理论部分，我们分析了线性核函数和径向基函数核函数的逼近误差。结果表明，当特征值衰减快时，该算法以较低的通信代价给出了高质量的结果。数值实验也验证了这一结果，表明了该算法在实际应用中的有效性.
2021-04-29 cs.DC cs.LG stat.ML
A Survey on Distributed Online Optimization and Game
Tongji University（同济大学）；Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究院）；Nanyang Technological University（南洋理工大学）；Harvard University（哈佛大学）
分布式在线优化和博弈在过去十年中得到了越来越多的研究，主要是由于其在传感器网络，机器人（例如，分布式目标跟踪和编队控制）、智能电网、深度学习等等。在这些问题中，有一个可以合作的代理网络（即，分布式在线优化）或非协作（即，网络游戏，通过信息交流。在动态甚至对抗环境中，每个代理的局部成本函数往往是时变的。每一次，决策必须由每个代理人根据手头的历史信息做出，而不知道成本函数的未来信息。对于这些问题，目前还缺乏一个全面的调查。本文旨在从问题设置、通信、计算、算法和性能的角度对分布式在线优化和博弈进行全面的概述。此外，还讨论了一些潜在的未来发展方向。
2023-01-21 cs.LG math.OC
online and lightweight kernel-based approximated policy iteration for dynamic p-norm linear adaptive filtering
Tokyo Institute of Technology（东京工业大学）
本文介绍了一种解决问题的动态选择（在线）的“最优”的p-范数，以打击在线性自适应滤波离群值的概率密度函数没有任何知识的离群值。建议的在线和数据驱动的框架是建立在基于内核的强化学习（KBRL）。为此，在再生核Hilbert空间（RKHS）上引入了新的Bellman映射.这些映射不需要任何关于马尔可夫决策过程的转移概率的知识，并且相对于底层的希尔伯特范数是非扩张的。建议贝尔曼映射的不动点集被用来建立一个近似的策略迭代（API）框架的问题在手。为了解决RKHS中的“维数灾难”，利用随机傅立叶特征来限制API的计算复杂性。对几种异常情况下的合成数据进行的数值测试表明，所提出的API框架比几种非RL和KBRL方案具有更好的性能。
2022-10-21 cs.LG eess.SP
Asynchronous Distributed Gaussian Process Regression for Online Learning and Dynamical Systems: Complementary Document
Technical University of Munich (TUM)（慕尼黑工业大学）；School of Computation, Information and Technology (CIT)（计算、信息与技术学院）
本文为异步分布式高斯过程回归用于在线学习与动力系统的论文提供补充说明。
2024-12-16 cs.LG cs.SY eess.SY
Distributed Kernel Ridge Regression with Communications
Xi’an Jiaotong University（西安交通大学）；City University of Hong Kong（香港城市大学）
本文在学习理论的框架下研究分布式算法的泛化性能。以分布式核岭回归算法（DKRR）为例，成功地导出了其期望最优学习率，并从理论上给出了局部处理器个数的最优范围。由于理论和实验之间的差距，我们还推导了DKRR的最佳学习率的概率，从本质上反映了DKRR的泛化性能和局限性。此外，我们提出了一种通信策略，以提高DKRR的学习性能，并通过理论评估和数值实验证明了DKRR中通信的力量。
2020-03-27 cs.LG stat.ML
Online learning with kernel losses
UC Berkeley（加州大学伯克利分校）
我们提出了一个广义的对抗线性强盗框架，其中潜在的损失是核函数（与相关的再生核希尔伯特空间），而不是线性函数。我们研究了指数权重算法的一个版本，并将其限制在此设置中。在核的本征衰变的条件下，我们提供了一个尖锐的表征该算法的遗憾。当我们有多项式本征衰减$μ_j \le \mathcal{O}(j^{-β})$时，我们发现遗憾是有界的$\mathcal{R}_n \le \mathcal{O}(n^{β/(2(β-1))})$ ;而在指数本征衰减$μ_j \le \mathcal{O}(e^{-βj })$的假设下，我们得到一个更紧的界的遗憾$\mathcal{R}_n \le \mathcal{O}(n^{1/2}\log(n)^{1/2})$。我们还研究了当潜在损失是核函数时的完全信息设置，并提出了自适应指数权重算法和条件梯度下降算法。
2018-02-27 cs.LG stat.ML
Efficient online learning with kernels for adversarial large scale problems
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们感兴趣的是一个在线学习的框架，该框架具有低维但大规模和潜在的对抗性数据集的内核。我们研究核岭回归的在线变化的计算和理论性能。尽管它的简单性，我们研究的算法是第一个实现最佳遗憾的广泛的内核，每轮复杂度为$n^α$与$α< 2$。我们考虑的算法是基于近似的核与基函数的线性跨度。我们的贡献是双重的：1）对于高斯核，我们建议通过泰勒展开预先（独立于数据）构建基础。对于$d$维输入，我们提供了一个（接近）最优遗憾顺序$O((\log n)^{d+1})$与每轮的时间复杂度和空间复杂度$O((\log n)^{2d})$。这使得该算法是一个合适的选择，尽快$n \gg e^d$，这可能发生在场景中的小尺寸和大规模的数据集; 2）对于一般的核与低有效维数，基函数的更新顺序在数据自适应的方式通过采样Nystr{<$}m点。在这种情况下，我们的算法改进了已知的在线内核回归的计算权衡。
2019-05-29 cs.LG math.ST stat.ML
Online Distributed Estimation of Principal Eigenspaces
University of Florida（佛罗里达大学）
主成分分析（PCA）是一种应用广泛的降维技术。本文提出了一种在线分布式主特征空间恢复算法。我们进一步建立它的收敛速度，并显示它如何涉及到分布式计算中使用的节点数，所考虑的数据矩阵的有效秩，以及底层人口协方差阵的频谱中的差距。所提出的算法说明低秩近似和$\boldsymbol{k}$均值聚类任务。数值结果表明，一个显着的计算速度比标准的分布式PCA算法，而不影响学习精度。
2019-05-17 cs.LG stat.ML
Learning Theory of Distributed Regression with Bias Corrected Regularization Kernel Network
Zhejiang University（浙江大学）；Fudan University（复旦大学）；Middle Tennessee State University（中田纳西州立大学）
分布式学习是分析大数据的有效方法。在分布式回归中，一种典型的方法是将大数据划分为多个块，对每个块应用基本回归算法，然后简单地对从这些块中学习的输出函数进行平均。由于平均过程将减少方差，而不是偏差，如果基本回归算法是有偏的，则偏差校正有望改善学习性能。正则化核网络是非线性回归分析的一种有效且广泛应用的方法。在本文中，我们将研究正则化核网络的偏差校正版本。当它被应用到一个单一的数据集，当它被应用为分布式回归的基本算法，我们推导出的误差界。我们表明，在某些适当的条件下，最佳的学习率可以达到在这两种情况下。
2017-08-07 cs.LG stat.ML
