Discriminative Similarity for Clustering and Semi-Supervised Learning
Snap Research（Snap 研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；National University of Singapore（新加坡国立大学）；Beckman Institute, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）
基于相似性的聚类和半监督学习方法根据数据之间的成对相似性将数据分成簇或类，而成对相似性对它们的性能至关重要。在本文中，我们提出了一种新的判别相似性学习框架，学习判别相似性的数据聚类或半监督学习。该框架从每个假设标签学习分类器，并通过最小化与假设标签相关联的学习分类器的泛化误差来搜索最优标签。核分类器在我们的框架。通过基于拉德马赫复杂度的泛化分析，将核分类器的泛化误差界表示为不同类数据的两两相似度之和，并通过核分类器的权值进行参数化.这种成对相似性作为判别相似性用于聚类和半监督学习的目的，并且具有相似形式的判别相似性也可以由用于核密度分类的积分平方误差界诱导。基于核分类器的判别相似性，我们提出了新的聚类和半监督学习方法。
2017-09-05 cs.LG stat.ML
On Online Learning in Kernelized Markov Decision Processes
Indian Institute of Science（印度科学学院）
我们开发的算法与低遗憾学习情节马尔可夫决策过程的核近似技术的基础上。该算法的基础上的置信上限（UCB）以及后验或汤普森采样（PSRL）的哲学，并在一般设置的连续状态和动作空间时，真正的未知的过渡动态被假定为具有平滑引起的适当的再生核希尔伯特空间（RKHS）。
2019-11-04 cs.LG stat.ML
On the Robustness of Regularized Pairwise Learning Methods Based on Kernels
包括支持向量机在内的正则化经验风险最小化方法在机器学习理论中占有重要地位。本文将研究基于核函数的正则化成对学习方法。一个例子是正则化的误差熵损失的最小化，最近吸引了相当多的兴趣，从一致性和学习率的观点。本文表明，这样的RPL方法具有额外的良好的统计鲁棒性，如果损失函数和核选择适当。我们处理两种情况下特别感兴趣的：（i）有界和非凸损失函数和（ii）无界凸损失函数满足一定的Lipschitz型条件。
2015-10-12 math.FA math.ST stat.ML
An Online Stochastic Kernel Machine for Robust Signal Classification
U.S. Naval Research Laboratory（美国海军研究实验室）
我们提出了一种新的变化的在线内核机，其中我们利用基于共识的优化机制，以指导决策函数的演变从再生核希尔伯特空间，有效地模拟所观察到的平稳过程。
2019-12-16 cs.LG eess.SP stat.ML
Similarity Function Tracking using Pairwise Comparisons
University of Michigan（密歇根大学）
最近在距离度量学习方面的工作集中在学习数据的变换，这些变换最好与指定的成对相似性和相异性约束（通常由人类观察者提供）保持一致。由于更好地适应距离或相似性度量，学习的转换导致改进的检索、分类和聚类算法。在这里，我们解决的问题，学习这些转换时，底层的约束生成过程是非平稳的。这种非平稳性可能是由于用于生成约束的地面实况聚类的变化或类结构明显的特征子空间的变化。我们提出了在线凸包络强自适应动态学习（OCELAD），一个通用的自适应，在线学习和跟踪最佳指标的方法，因为它们随着时间的推移而变化，是非常强大的各种非平稳行为的变化度量。我们将OCELAD框架应用于在线学习者的集合。具体来说，我们创建了一个由一组具有不同学习率的并行COMID学习器组成的逆向初始化复合目标镜像下降（COMID）集成（RICE），并在合成数据和高度非平稳的Twitter数据集上展示了无参数RICE-OCELAD度量学习。我们表现出显着的性能改进和增加的鲁棒性，相对于以前提出的批处理和在线距离度量学习算法的非平稳效应。
2017-01-07 cs.LG stat.ML
Parsimonious Online Learning with Kernels via Sparse Projections in Function Space
University of Pennsylvania（宾夕法尼亚大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
尽管它们的吸引力，流行的看法是，非参数函数逼近技术不扩展到流数据，由于它们需要的存储量的棘手的增长。为了以内存负担得起的方式解决这个问题，我们提出了一种基于函数随机梯度下降的在线技术，并结合基于贪婪函数子空间投影的监督稀疏化。该方法，称为简约的在线学习与内核（POLK），提供了一个可控的权衡？它的解决方案的准确性和它所需要的内存量之间的关系。我们得出的条件下，生成的函数序列几乎肯定收敛到最优函数，我们建立的内存需求仍然有限。我们评估POLK内核多类逻辑斯谛回归和内核铰链损失分类三个典型的数据集：合成高斯混合模型，MNIST手写数字，和Brodatz纹理数据库。在所有这三个任务中，我们观察到一个有利的权衡目标函数评估，分类性能，和复杂性的非参数回归提取的方法。
2016-12-13 cs.LG stat.ML
Online learning with kernel losses
UC Berkeley（加州大学伯克利分校）
我们提出了一个广义的对抗线性强盗框架，其中潜在的损失是核函数（与相关的再生核希尔伯特空间），而不是线性函数。我们研究了指数权重算法的一个版本，并将其限制在此设置中。在核的本征衰变的条件下，我们提供了一个尖锐的表征该算法的遗憾。当我们有多项式本征衰减$μ_j \le \mathcal{O}(j^{-β})$时，我们发现遗憾是有界的$\mathcal{R}_n \le \mathcal{O}(n^{β/(2(β-1))})$ ;而在指数本征衰减$μ_j \le \mathcal{O}(e^{-βj })$的假设下，我们得到一个更紧的界的遗憾$\mathcal{R}_n \le \mathcal{O}(n^{1/2}\log(n)^{1/2})$。我们还研究了当潜在损失是核函数时的完全信息设置，并提出了自适应指数权重算法和条件梯度下降算法。
2018-02-27 cs.LG stat.ML
Online Multi-Task Learning with Recursive Least Squares and Recursive Kernel Methods
School of Electrical and Computer Engineering, University of Campinas (Unicamp)（坎皮纳斯大学电气与计算机工程学院（Unicamp））
本文提出两种基于递归最小二乘和核方法的在线多任务学习算法，实现二次复杂度递归，并在风速预测中显著提升性能。
2024-03-17 cs.LG stat.ML
Implicit Target Shift in Online Learning: Characterization and Correction
Department of Physics（物理系）；Washington University in St. Louis（圣路易斯华盛顿大学）；Department of Neuroscience（神经科学系）
本文研究了在线学习中目标偏移的本质，提出通过目标修正使在线核学习与离线学习等效，并在图像分类任务中验证了其有效性。
2026-10-06 cs.LG stat.ML
Online Learning of Whittle Indices for Restless Bandits with Non-Stationary Transition Kernels
Department of ECE, Purdue University（普渡大学电子工程系）
本文研究了面对未知非平稳动态的restless bandits最优资源分配问题，提出滑动窗口在线Whittle策略，在保持计算效率的同时适应时间变化的核。理论分析显示算法在动态 regret 上达到亚线性性能，且通过Bandit-over-Bandit框架处理未知变化预算情况。
2026-04-21 cs.LG stat.ML
Generalization Analysis of Online Stochastic Gradient Descent for Overparameterized Two-Layer Neural Networks
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）；Shanghai Key Laboratory for Contempo（上海市现代（暂未完整，按原文提取））
本文在NTK机制下分析过参数化两层神经网络在线SGD的泛化误差，提出统一框架推导最后迭代的尖锐收敛速率，并将网络宽度要求从指数降至多项式，缩小理论与实践的差距。
2026-09-29 cs.LG stat.ML
Dynamic Metric Learning from Pairwise Comparisons
University of Michigan（密歇根大学）
最近在距离度量学习方面的工作集中在学习数据的变换，这些变换最好与指定的成对相似性和相异性约束（通常由人类观察者提供）保持一致。由于更好地适应距离或相似性度量，学习的转换导致改进的检索、分类和聚类算法。在这里，我们解决的问题，学习这些转换时，底层的约束生成过程是非平稳的。这种非平稳性可能是由于用于生成约束的地面实况聚类的变化或类结构明显的特征子空间的变化。我们提出了在线凸包络强自适应动态学习（OCELAD），一个通用的自适应，在线学习和跟踪最佳指标的方法，因为它们随着时间的推移而变化，是非常强大的各种非平稳行为的变化度量。我们将OCELAD框架应用于在线学习者的集合。具体来说，我们创建一个复古初始化的复合目标镜像下降（COMID）合奏（水稻）组成的一组并行COMID学习者具有不同的学习率，证明水稻-OCELAD真实和合成数据集，并显示显着的性能改善相对于以前提出的批量和在线距离度量学习算法。
2016-10-10 cs.LG
Online Multiple Kernel Learning for Structured Prediction
尽管最近在有效的多核学习（MKL）方面取得了进展，但结构化输出的情况仍然是一个开放的研究前沿。目前的方法涉及重复解决批量学习问题，这使得它们不适合大规模场景。我们提出了一个新的家庭的在线邻近算法MKL（以及组套索及其变体），克服了这一缺点。我们的遗憾，收敛性和泛化界所提出的方法。手写体识别和依存句法分析实验证明了该方法的有效性。
2010-10-13 stat.ML
Supervising Nyström Methods via Negative Margin Support Vector Selection
Princeton University（普林斯顿大学）
Nyström方法是基于可扩展内核学习的流行技术。他们近似显式的，低维特征映射的核函数从成对比较与训练数据。然而，在分类/回归问题中，Nyström方法通常在没有训练标签提供监督的情况下应用。这导致与模型中随机选择的训练样本进行成对比较。相反，这项工作研究了一种监督Nyström方法，该方法选择了机器学习模型成功的关键样本子集。特别地，我们通过负间隔标准选择Nyström支持向量，并创建更适合数据分类任务的显式特征映射。在六个数据集上的实验结果表明，在不增加无监督技术复杂度的情况下，我们的方法可以显着提高通过核近似方法实现的分类性能，并减少达到或超过全维核机器性能所需的特征数量。
2018-05-18 cs.LG stat.ML
Dynamic Regret for Strongly Adaptive Methods and Optimality of Online KRR
University of California, Santa Barbara（加州大学圣巴巴拉分校）；Amazon Research（亚马逊研究院）
我们考虑非平稳在线凸优化的框架，学习者试图控制其动态后悔对任意序列的比较。当损失函数是强凸或指数凹，我们证明，强自适应（SA）算法可以被看作是一个原则性的方式来控制动态遗憾的路径变化$V_T$的比较器序列。具体来说，我们发现SA算法享受$\tilde O(\sqrt{TV_T} \vee \log T)$和$\tilde O(\sqrt{dTV_T} \vee d\log T)$动态遗憾强凸和指数凹损失分别没有先验知识的$V_T$。的多功能性的原则性的方法进一步证明了新的结果，在设置学习对有界线性预测和在线回归高斯内核。在相关的设置下，论文的第二部分解决了Zhdanov和Kalnishkan（2010）提出的一个悬而未决的问题，该问题涉及具有平方误差损失的在线内核回归。我们得到了一个新的下界，一定的惩罚遗憾，建立了近极大极小最优的在线核岭回归（KRR）。我们的下界可以被看作是对Vovk（2001）中有限维在线线性回归下界的RKHS扩展。
2021-11-22 cs.LG stat.ML
Capacity dependent analysis for functional online learning algorithms
The University of Queensland（昆士兰大学）；Zhejiang University（浙江大学）；Fudan University（复旦大学）
本文给出了泛函线性模型的在线随机梯度下降算法的收敛性分析。通过对斜率函数正则性、核空间容量和采样过程协方差算子容量的刻画，显著提高了算法的收敛速度.预测问题和估计问题进行了研究，我们表明，容量假设可以减轻饱和的收敛速度的正则性的目标函数的增加。我们表明，适当选择的内核，容量假设可以完全补偿预测问题的正则性假设（但不是估计问题）。这表明了函数数据分析中的预测问题和估计问题之间的显著差异。
2022-09-25 cs.LG stat.ML
Recursive Multikernel Filters Exploiting Nonlinear Temporal Structure
University of Cantabria（坎塔布里亚大学）；Sapienza University（罗马大学）
在核方法中，通常通过使用时间延迟嵌入作为输入来包括关于数据的时间信息。最近，通过在再生核Hilbert空间中显式定义伽马滤波器，提出了一种替代公式，从而产生了一个复杂的模型，其中多个核对输入信号的不同时间组合进行操作。在原始公式中，然后简单地组合内核以获得单个内核矩阵（例如通过平均），这提供了计算优势，但丢弃了关于信号的时间结构的重要信息。受多核学习工作的启发，我们通过单独考虑不同的内核来克服这个缺点。我们提出了一种有效的策略，在训练阶段自适应地组合和选择这些内核。由此产生的批处理和在线算法自动学习处理从输入信号中提取的高度非线性的时间信息，这些信息隐式地编码在核值中。我们评估了我们的建议在几个人工和真实的任务，表明它可以优于经典的方法，在批量和在线设置。
2017-06-12 cs.LG stat.ML
Randomized Kernel Multi-view Discriminant Analysis
Rutgers University（罗格斯大学）；Baidu Research（百度研究院）
在许多人工智能和计算机视觉系统中，相同的对象可以在不同的视点或通过不同的传感器观察到，这就提出了从不同的甚至异构的视图中识别对象的挑战。多视点判别分析（Multi-view Discriminant Analysis，MvDA）是一种有效的多视点子空间学习方法，它以非成对的方式通过联合学习多个视点特定的线性投影来寻找判别公共子空间，用于多视点目标识别。在本文中，我们提出了多视图判别分析的内核版本，称为内核多视图判别分析（KMvDA）。为了克服核方法众所周知的计算瓶颈，我们还研究了使用随机傅立叶特征（RFF）近似高斯核KMvDA的性能，大规模学习。对这种近似的稳定性进行了理论分析。我们还在几个流行的多视图数据集上进行了实验，以说明我们提出的策略的有效性。
2020-04-02 cs.LG stat.ML
The Weighted Kendall and High-order Kernels for Permutations
Wellcome Centre for Human Genetics, University of Oxford（牛津大学惠康人类遗传学中心）；University of Oxford（牛津大学）；MINES ParisTech, PSL Research University（巴黎高等矿业学院，巴黎文理研究大学）；Institut Curie, PSL Research University（居里研究所，巴黎文理研究大学）；INSERM（法国国家健康与医学研究院）；CNRS（法国国家科学研究中心）
我们提出了新的正定核置换。首先，我们引入一个加权版本的肯德尔内核，它允许不平等的权重不同的项目对的排列，根据其排名的贡献。像肯德尔内核，我们表明，加权版本是不变的重新标记的项目，可以有效地计算在$O(n \ln(n))$操作，其中$n$是在排列中的项目数。其次，我们提出了一种有监督的方法来学习的权重，通过联合优化它们与内核机器估计的功能。第三，虽然Kendall核考虑项目之间的成对比较，但我们通过考虑项目元组之间的高阶比较来扩展它，并表明学习权重的监督方法可以系统地推广到高阶置换核。
2018-06-12 cs.LG stat.ML
Total stability of kernel methods
University of Bayreuth（拜罗伊特大学）；Zhejiang Normal University（浙江师范大学）；City University of Hong Kong（香港城市大学）
正则化的经验风险最小化方法是机器学习中一个重要的研究领域。然而，实际使用的内核通常依赖于一个或几个超参数，或者内核甚至以更复杂的方式依赖于数据。例子是高斯RBF核，核学习和最近提出的用于深度学习的分层高斯核。因此，实际使用的内核通常通过网格搜索或迭代方式计算，并且通常只能被视为“理想”或“最佳”内核的近似值。本文给出的条件下，经典的基于核的方法的基础上凸Lipschitz损失函数和有界和光滑的内核是稳定的，如果概率测度$P$，正则化参数$λ$，和内核$k$可能会略有变化，同时。对于成对学习也给出了类似的结果。因此，本文的主题比经典的稳健统计更一般，通常只考虑概率测度$P$的小扰动对估计函数的影响。
2017-09-22 cs.LG stat.ML
Predicting Pairwise Relations with Neural Similarity Encoders
Technische Universität Berlin（柏林工业大学）；Korea University（高丽大学）；Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）
矩阵分解是许多机器学习算法的核心，例如，降维（例如核PCA）或依赖于协同过滤的推荐系统。将矩阵的奇异值分解（SVD）理解为神经网络优化问题，使我们能够有效地分解大型矩阵，同时自然地处理给定矩阵中的缺失值。但最重要的是，它允许我们学习数据点的特征向量与包含有关其成对关系的信息的矩阵之间的连接。在本文中，我们介绍了一种新的神经网络架构，称为相似性编码器（SimEc），它的目的是同时分解一个给定的目标矩阵，同时也学习映射投影数据点的特征向量到一个保持相似性的嵌入空间。例如，这使得可以轻松计算新数据点的样本外解决方案。此外，我们证明了SimEc可以保持非度量相似性，甚至可以同时预测数据点之间的多个成对关系。
2019-01-09 cs.LG stat.ML
Online dictionary learning for kernel LMS. Analysis and forward-backward splitting algorithm
自适应滤波算法在再生核Hilbert空间中的非线性系统辨识中表现出优于线性滤波算法的优点。不幸的是，这些方法的一个不期望的特性是滤波器的阶数随着输入数据的数量线性增长。这大大增加了计算负担和内存需求。已经提出了各种基于字典学习的策略来克服这个严重的缺点。很少，如果有的话，这些作品分析的问题，更新字典在一个随时间变化的环境。在本文中，我们提出了一个分析研究的高斯最小均方算法的收敛行为的情况下，字典元素的统计只有部分匹配的输入数据的统计。这使我们能够强调以在线方式更新字典的必要性，丢弃过时的元素并添加适当的元素。我们引入了一个核最小均方算法与L1范数正则化自动执行这项任务。分析了该方法的平均稳定性，并通过实验验证了其性能。
2013-06-22 stat.ML
Spectral Analysis of Symmetric and Anti-Symmetric Pairwise Kernels
University of Turku（图尔库大学）；Ghent University（根特大学）
我们考虑的问题，学习回归函数从成对数据时，存在的先验知识，要学习的关系是对称的或反对称的。这种先验知识通常通过对称化或反对称化成对核函数来加强。通过谱分析，我们表明，这些变换降低了内核的有效维数。此外，我们提供了一个分析所得到的内核的近似特性，并绑定的正则化偏置的内核中的原始内核的相应的偏置。
2015-06-19 cs.LG stat.ML
An Online Projection Estimator for Nonparametric Regression in Reproducing Kernel Hilbert Spaces
非参数回归的目标是在假设回归函数属于预先指定的无穷维函数空间的情况下，从噪声观测值中恢复潜在的回归函数。在在线设置中，当观测值以流的形式出现时，重复地重新拟合整个模型在计算上通常是不可行的。到目前为止，还没有既计算效率又统计速率最优的方法。本文提出了在线非参数回归的一种估计。值得注意的是，我们的估计是一个经验风险最小化（ERM）在一个确定性的线性空间，这是很大的不同，从现有的方法使用随机功能和功能随机梯度。理论分析表明，当已知回归函数存在于再生核Hilbert空间中时，该估计器具有速率最优的推广误差。我们还表明，理论和经验，我们的估计的计算费用远低于其他速率最优估计提出了这种在线设置。
2021-04-01 stat.ME
On the robustness of kernel-based pairwise learning
University of Bayreuth（拜罗伊特大学）
结果表明，基于核的成对学习的统计鲁棒性的许多结果可以在基本上没有假设的输入和输出空间。特别地，在给定X = x的情况下，既不需要Y的条件分布上的矩条件，也不需要输出空间的有界性。我们得到的影响函数的存在性和有界性的结果，并显示定性的鲁棒性的基于核的估计。本文通过允许预测函数采用两个参数来推广Christmann和Zhou（2016）的结果，因此可以应用于各种情况，例如排名。
2020-10-29 cs.LG stat.ML
Adaptive online kernel changepoint detection
Imperial College London（帝国理工学院）
提出一种自适应在线核变点检测方法，通过梯度更新遗忘因子并利用最大均值差异统计量，实现高效检测流数据分布变化，性能优于现有核方法。
2026-09-22 stat.ME
Pairwise Learning via Stagewise Training in Proximal Setting
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
成对目标范式是机器学习的一个重要和基本方面。使用成对目标函数的机器学习方法的示例包括人脸识别中的差分网络、度量学习、二分学习、多核学习和曲线下面积（AUC）最大化。与逐点学习相比，成对学习的样本大小与样本数量成二次方增长，因此其复杂度也随之增加。研究人员大多通过利用在线学习系统来解决这一挑战。然而，最近的研究提供了自适应样本大小训练光滑损失函数作为一个更好的策略，在收敛性和复杂性，但没有一个全面的理论研究。在一个独特的研究路线，重要性采样引发了相当大的兴趣，有限逐点和最小化。这是因为随机梯度方差，这导致收敛速度大大减慢。在本文中，我们结合自适应样本大小和重要性采样技术的成对学习，与非光滑凸成对损失函数的收敛保证。特别地，使用扩展的训练集随机地训练模型用于从稳定性界限导出的预定义次数的迭代。此外，我们证明了在每次迭代中对相反的实例进行采样可以降低梯度的方差，从而加速收敛。在AUC最大化的各种数据集上的实验证实了理论结果。
2022-08-08 cs.LG
Decentralized Online Learning with Kernels
U.S. Army Research Laboratory（美国陆军研究实验室）；University of Pennsylvania（宾夕法尼亚大学）；University of Nice Sophia-Antipolis（尼斯-索菲亚·安提波利斯大学）
考虑再生核希尔伯特空间（RKHS）上的多智能体随机最优化问题。在这种情况下，互连代理的网络旨在学习决策函数，即，非线性统计模型，在全局凸泛函方面是最优的，该全局凸泛函在网络上聚合数据，仅访问局部和顺序观察的样本。我们建议通过允许每个代理学习本地回归函数，同时执行共识约束来解决这个问题。我们使用一个惩罚变量的功能随机梯度下降操作同时与低维子空间投影。这些子空间是通过对核字典和权值序列应用正交匹配追踪来构造的。通过调整投影引起的偏见，我们提出了一种算法，允许每个单独的代理学习，根据其本地观察到的数据流和消息传递与邻居只，一个回归函数，接近全局最优的回归函数。也就是说，我们建立了恒定的步长选择代理的功能收敛到一个邻域的全局最优的，同时满足共识约束的罚参数增加。此外，学习的回归函数的复杂度保证保持有限。在多类核逻辑斯谛回归和多类核支持向量分类与类相关的高斯混合模型产生的数据，我们观察到稳定的函数估计和分布式在线多类分类的最新性能。Brodatz纹理上的实验进一步证实了这种方法的经验有效性。
2017-10-11 cs.DC cs.LG cs.MA
Pairwise Ranking with Gaussian Kernels
Fudan University（复旦大学）
本文为使用高斯核的正则化成对排序算法开发新的预言机不等式，推导出在低本征维数等条件下可克服维度灾难的快速学习率，填补了该算法缺乏严格理论证明的空白。
2023-04-06 cs.LG stat.ML
Convergence analysis of online algorithms for vector-valued kernel regression
该研究针对向量值核回归的在线学习问题，在软学习场景下利用标准正则化在线算法，证明了RKHS范数下期望平方误差的阶最优收敛估计，证明仅用基础希尔伯特空间技巧且假设极少。
2025-10-02 cs.NA math.NA stat.ML
Deep Metric Learning via Lifted Structured Feature Embedding
Stanford University（斯坦福大学）；MIT（麻省理工学院）
学习样本之间的距离度量对于学习和视觉识别具有重要意义。随着最先进的卷积神经网络的显着成功，最近的工作已经显示出有前途的结果，有区别地训练网络学习语义特征嵌入，其中相似的例子被映射到彼此接近，不相似的例子被映射到更远的地方。在本文中，我们描述了一种算法，充分利用训练批次的神经网络的训练，通过提升的成对距离的向量在批次内的成对距离矩阵。该步骤使算法能够通过优化提升问题上的新结构化预测目标来学习最先进的特征嵌入。此外，我们收集了在线产品数据集：23 k类在线产品的120 k图像用于度量学习。我们在CUB-200-2011、CARS 196和在线产品数据集上的实验表明，在GoogLeNet网络的所有实验嵌入大小上，现有的深度特征嵌入方法都有显著的改进。
2015-11-19 cs.CV cs.LG
Constrained Clustering and Multiple Kernel Learning without Pairwise Constraint Relaxation
Carnegie Mellon University（卡内基梅隆大学）；University of Cambridge（剑桥大学）
成对约束下的聚类是一种重要的知识发现工具，它能够学习适当的核或距离度量来提高聚类性能。这些成对约束以必须链接和不能链接对的形式出现，在许多应用程序中自然出现，并且对于用户来说是直观的。然而，当学习内核或度量时，将离散约束放松到连续域以简化优化的常见做法可能会损害泛化，因为仅编码链接的信息被转换为通知距离。我们引入了一个新的约束聚类算法，联合聚类数据和学习的内核，根据现有的成对约束。为了更好地推广，我们的方法被设计为最大化约束满足，而不放松成对约束到一个连续的域，其中它们通知距离。我们表明，所提出的方法优于现有的方法在大量不同的公开可用的数据集，我们讨论了我们的方法如何可以扩展到处理大数据。
2022-03-23 cs.AI cs.LG stat.ML
Fast Bounded Online Gradient Descent Algorithms for Scalable Kernel-Based Online Learning
Nanyang Technological University（南洋理工大学）；Michigan State University（密歇根州立大学）
基于内核的在线学习通常在许多在线学习任务中表现出最先进的性能。然而，它有一个主要的缺点，即支持向量的数量是无限的，这使得它不具有可扩展性，不适合大规模数据集的应用。在这项工作中，我们研究的问题，有界核为基础的在线学习，旨在限制支持向量的数量由一个预定义的预算。虽然在文献中已经提出了几种算法，它们既不是计算效率，由于其密集的预算维护策略，也不是有效的，由于使用简单的感知器算法。为了克服这些限制，我们提出了一个框架，有界核为基础的在线学习的基础上在线梯度下降的方法。我们提出了两个有效的算法有界在线梯度下降（BOGD）的可扩展的基于内核的在线学习：（i）BOGD通过维护支持向量使用均匀采样，和（ii）BOGD++通过维护支持向量使用非均匀采样。我们目前的理论分析的遗憾界的算法，并发现有前途的实证性能方面的功效和效率进行比较，几个著名的算法有界核为基础的在线学习大规模数据集。
2012-06-18 cs.LG stat.ML
Isolation Kernel: The X Factor in Efficient and Effective Large Scale Online Kernel Learning
Federation University（联邦大学）；Osaka University（大阪大学）
大规模在线核学习旨在从一系列潜在的无限数据点中逐步构建一个高效且可扩展的基于核的预测模型。目前的一个关键方法集中在如何产生一个近似的有限维特征映射，假设使用的内核具有一个难以处理的维度的特征映射-传统上在基于内核的方法中持有的假设。虽然这种方法可以有效地处理大规模数据集，但由于近似，这种结果是通过牺牲预测精度来实现的。我们提供了一种替代方法，它覆盖了假设，并将所使用的内核置于方法的核心。它专注于创建一个称为隔离内核的内核的精确，稀疏和有限维特征映射。使用这种新方法，实现大规模在线内核学习的上述目标变得非常简单-只需使用隔离内核而不是具有难以处理的维度的特征映射的内核。我们表明，使用隔离核，可以有效地实现大规模在线内核学习，而不会牺牲准确性。
2019-09-24 cs.LG stat.ML
Online structural kernel selection for mobile health
Harvard University（哈佛大学）；University of Michigan（密歇根大学）
出于对移动健康中高效和个性化学习的需求，我们研究了多任务环境下高斯过程回归的在线核选择问题。为此，我们提出了一种新的生成过程的内核组成。我们的方法表明，内核演变的轨迹可以在用户之间转移，以改善学习，内核本身对于mHealth预测目标是有意义的。
2021-07-21 cs.LG stat.ML
Online Learning with Multiple Operator-valued Kernels
Aix-Marseille Univ（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
我们考虑在在线学习环境中学习向量值函数f的问题。假设函数f位于算子值核的再生希尔伯特空间中。我们描述了两个在线学习f的算法，同时考虑到输出结构。第一个贡献是一个算法，ONORMA，扩展了标准的基于内核的在线学习算法NORMA从标量值到运算符值的设置。我们报告了一个累积误差界，同时适用于分类和回归。然后，我们定义了第二个算法，MONORMA，它解决了预先定义的输出结构在ONORMA顺序学习算子值内核的线性组合的限制。实验结果表明，本文提出的算法具有较好的性能，且计算量小.
2013-11-05 cs.LG stat.ML
Hypothesis testing using pairwise distances and associated kernels (with Appendix)
University College London（伦敦大学学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；The Institute of Statistical Mathematics（统计数学研究所）
我们提供了一个统一的框架，连接两类统计用于双样本和独立性测试：一方面，从统计文献的能量距离和距离协方差;另一方面，嵌入的分布之间的距离再生核希尔伯特空间（RKHS），建立在机器学习。当能量距离用负型半度量计算时，等价性成立，在这种情况下，可以定义一个核，使得分布之间的RKHS距离恰好对应于能量距离。我们确定类的概率分布的核半度量诱导的特征（即，其中嵌入的分布到RKHS是内射）。最后，我们研究了这个家庭的内核在两个样本和独立性测试的性能：我们特别表明，最常用的统计能量距离只是一个成员的参数家庭的内核，从这个家庭的其他选择可以产生更强大的测试。
2012-05-21 cs.LG stat.ME stat.ML
On the Size of the Online Kernel Sparsification Dictionary
IDSIA, USI & SUPSI（IDSIA、瑞士意大利语区大学及瑞士南部应用科学大学）
我们使用一个新的公式来分析通过在线核稀疏化构建的字典的大小，该公式根据协方差算子的特征值来表达核Gram矩阵的预期行列式。使用这个公式，我们能够将字典的基数与协方差算子的本征衰减联系起来。特别是，我们表明，在一定的技术条件下，字典的大小将始终增长的数据点的数量次线性，因此，从所得到的字典构建的内核线性回归是一致的。
2012-06-18 cs.LG stat.ML
Online Learning in Kernelized Markov Decision Processes
Indian Institute of Science（印度科学学院）
我们考虑在线学习在未知的，情节马尔可夫决策过程（MDP）的连续状态和行动的遗憾最小化。我们开发的UCRL和后验采样算法，采用非参数高斯过程先验的状态和动作空间概括的变种。当真正的MDP的过渡和奖励功能的成员相关联的再生核希尔伯特空间的对称PSD内核（频率设置）引起的功能，我们发现，算法享受次线性遗憾界。边界是在显式的核结构参数，即一种新的推广的信息增益度量从核土匪，并突出了过渡和奖励函数结构对学习性能的影响。我们的结果是适用于多维状态和行动空间的复合核结构，并推广的结果，从文献中的核土匪，和自适应控制的参数线性动力系统的二次成本。
2019-01-03 cs.LG stat.ML
Kernel Interpolation for Scalable Online Gaussian Processes
New York University（纽约大学）；Cornell University（康奈尔大学）
高斯过程（GP）为在线设置中的性能提供了黄金标准，例如样本有效控制和黑盒优化，其中我们需要在以顺序方式获取数据时更新后验分布。然而，在已经观察到$n$点之后更新GP后验以适应甚至单个新观察至少会在精确设置中引起$O(n)$计算。我们展示了如何使用结构化内核插值来有效地回收计算恒定时间$O(1)$在线更新的点$n$的数量，同时保留精确的推理。我们展示了我们的方法在一系列在线回归和分类设置，贝叶斯优化，主动采样，以减少疟疾发病率预测的错误的承诺。代码可在https://github.com/wjmaddox/online_gp上获得。
2021-03-02 cs.LG stat.ML
Random Feature-based Online Multi-kernel Learning in Environments with Unknown Dynamics
University of Minnesota（明尼苏达大学）
基于核的方法在各种非线性学习任务中表现出良好的性能。它们中的大多数依赖于预先选择的内核，其谨慎的选择假定特定于任务的先验信息。特别是当后者不可用时，多核学习由于其从指定的内核字典中选择内核的灵活性而受到欢迎。利用随机特征近似及其最近的正交性促进的变体，本贡献开发了一个可扩展的多核学习计划（称为Raker），以获得所寻求的非线性学习函数“在飞行中”，首先用于静态环境。为了进一步提高在动态环境中的性能，开发了自适应多核学习方案（称为AdaRaker）。AdaRaker不仅考虑了核组合的数据驱动学习，还考虑了未知的动态。性能分析方面的静态和动态的遗憾。AdaRaker能够在具有未知动态的环境中跟踪非线性学习函数，并且具有分析性能保证。合成和真实数据集进行测试，以展示新算法的有效性。
2018-12-28 cs.LG stat.ML
Second-Order Kernel Online Convex Optimization with Adaptive Sketching
INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧研究中心）
核在线凸优化（Kernel Online Convex Optimization，KOCO）是一个结合了非参数核模型的表达能力和在线学习的后悔保证的框架。一阶KOCO方法，如函数梯度下降，每次迭代只需要$\mathcal{O}(t)$时间和空间，并且，当损失的唯一信息是它们的凸性时，实现极小极大最优$\mathcal{O}(\sqrt{T})$遗憾。尽管如此，核问题中的许多常见损失，如平方损失、逻辑损失和平方铰链损失，都具有可以利用的更强的曲率。在这种情况下，二阶KOCO方法实现了$\mathcal{O}(\log(\text{Det}(\boldsymbol{K})))$遗憾，我们将其显示为$\mathcal{O}(d_{\text{eff}}\log T)$，其中$d_{\text{eff}}$是问题的有效维度，通常远小于$\mathcal{O}(\sqrt{T})$。二阶方法的主要缺点是其高得多的$\mathcal{O}(t^2)$空间和时间复杂度。在本文中，我们介绍了核在线牛顿步骤（KONS），一个新的二阶KOCO方法，也实现了$\mathcal{O}(d_{\text{eff}}\log T)$遗憾。为了解决二阶方法的计算复杂性，我们引入了一个新的矩阵素描算法的核心矩阵$\boldsymbol{K}_t$，并表明，对于一个选定的参数$γ\leq 1$，我们的素描KONS减…
2017-06-15 cs.LG stat.ML
Ahpatron: A New Budgeted Online Kernel Learning Machine with Tighter Mistake Bound
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学院）
针对预算在线核学习的错误界问题，提出新型模型Ahpatron，通过基于主动更新感知机AVP的半样本移除投影预算维护机制，实现更紧错误界，性能在同或更小预算下优于现有最优算法。
2023-12-12 cs.LG stat.ML
The Kernel Interaction Trick: Fast Bayesian Discovery of Pairwise Interactions in High Dimensions
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
发现感兴趣的反应的相互作用效应是生物学、医学、经济学和许多其他科学学科面临的基本问题。在理论上，贝叶斯方法发现成对相互作用享有许多好处，如一致的不确定性量化，结合背景知识的能力，和理想的收缩性能。然而，在实践中，贝叶斯方法往往是计算上棘手的，即使是中等规模的问题。我们的关键见解是，许多具有实际意义的分层模型都承认特定的高斯过程（GP）表示; GP允许我们用O（p）核超参数向量而不是O（p^2）相互作用和主效应来捕获后验。通过隐式表示，我们可以在模型超参数上运行马尔可夫链蒙特卡罗（MCMC），每次迭代在p中记忆线性。我们专注于稀疏诱导模型和数据集上的各种协变量的行为，我们的方法：（1）减少运行时间的数量级MCMC的天真的应用程序，（2）提供较低的类型I和第二类错误相对于国家的最先进的基于LASSO的方法，（3）提供了改进的计算缩放在高维相对于现有的贝叶斯和基于LASSO的方法。
2022-11-13 cs.LG stat.CO stat.ME
Distributed Online Learning with Multiple Kernels
University of Southern California（南加州大学）；Hanyang University（汉阳大学）
在物联网（IoT）系统中，存在由大量IoT设备提供的大量信息数据（例如，传感器）。从这些数据中学习函数在物联网系统的机器学习任务中具有极大的兴趣。针对流（或序列）数据，我们提出了一个隐私保护的分布式多核在线学习框架（DOMKL）。建议的DOMKL设计利用在线交替方向的乘数（OADMM）和分布式对冲算法的原则。我们从理论上证明了DOMKL在T个时隙上可以实现最优次线性遗憾，这意味着每个学习函数都可以像最先进的集中式在线学习方法那样在事后实现最佳函数的性能。此外，确保任何两个相邻学习器的学习函数随着T的增长具有可忽略的差异，即，所谓的共识约束依然存在。通过各种真实数据集的实验测试，我们验证了所提出的DOMKL回归和时间序列预测任务的有效性。
2020-11-17 cs.LG stat.ML
Communication-Efficient Distributed Online Learning with Kernels
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Saarland University（萨尔大学）
我们提出了一个有效的分布式低延迟实时服务的在线学习协议。它扩展了以前提出的协议，以内核化的在线学习者，代表他们的模型的支持向量扩展。虽然这样的学习器通常比线性学习器实现更高的预测性能，但是对于大量的支持向量，传递支持向量扩展变得低效。所提出的扩展允许更大类的在线学习算法-包括那些通过模型压缩来缓解上述问题的算法。此外，我们通过引入一个新的标准，要求通信所遭受的损失有界的质量所提出的协议的特点。
2019-11-28 cs.DC cs.LG stat.ML
Efficient Online Hyperparameter Optimization for Kernel Ridge Regression with Applications to Traffic Time Series Prediction
Penn State University（宾夕法尼亚州立大学）；UC Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
计算效率是在线环境中部署用于时间序列预测的机器学习模型的重要考虑因素。机器学习算法根据数据自动调整模型参数，但通常需要用户设置额外的参数，称为超参数。超参数会显著影响预测精度。通常由传感器在线收集的流量测量是串行相关的。此外，数据分布可能会逐渐变化。典型的自适应策略是周期性地重新调整模型超参数，以计算负担为代价。在这项工作中，我们提出了一个有效的和原则性的在线超参数优化算法的核岭回归应用于交通预测问题。在对真实流量测量数据的测试中，我们的方法所需的计算时间仅为其他调优方法的七分之一，同时实现了更好或类似的预测精度。
2018-11-01 cs.LG stat.ML
Online Kernel based Generative Adversarial Networks
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
在过去五年中，深度学习的重大突破之一是生成对抗网络（GAN），这是一种基于神经网络的生成模型，旨在模拟给定样本数据集的一些底层分布。与许多有监督的问题不同，在这些问题中，人们试图最小化参数的简单目标函数，GAN训练被公式化为一对网络参数上的最小-最大问题。虽然经验上GANs在几个领域取得了令人印象深刻的成功，但研究人员一直对不寻常的训练行为感到困惑，包括循环所谓的模式坍塌。在本文中，我们首先提供了一种定量方法来探索GAN训练中的一些挑战，并以经验的方式展示了这与神经网络的参数性质之间的关系。我们提出了一种新的方法，解决了许多这些问题，依赖于一个基于内核的非参数神经网络，是非常适合在线培训-我们称之为在线基于内核的生成对抗网络（OKGAN）。我们的经验表明，OKGAN减轻了一些训练问题，包括模式坍塌和循环，并且更符合理论保证。在合成数据上，OKGAN在反向KL发散方面的经验表现明显优于其他GAN公式;在MNIST、SVHN和CelebA等经典视觉数据集上，表现出相当的性能。
2020-06-19 cs.LG stat.ML
Online Network Source Optimization with Graph-Kernel MAB
University College London（伦敦大学学院）；EPFL（洛桑联邦理工学院）
本文提出图核多臂老虎机算法 Grab-UCB，通过自适应图字典的稀疏谱表示缓解维度灾难，在线学习大规模网络中的最优源放置，并给出性能保证及计算简化版本 Grab-arm-Light，在累积遗憾、样本效率和计算复杂度上优于离线基线方法。
2023-07-07 cs.LG stat.ML
Very Fast Kernel SVM under Budget Constraints
ENSEA（法国高等电力学院）；Université de Cergy-Pontoise（塞尔吉-蓬图瓦兹大学）；CNRS（法国国家科学研究中心）
在本文中，我们提出了一种快速在线核SVM算法在紧预算约束。我们建议使用LVQ分割输入空间，并在每个聚类中训练一个核SVM。为了允许在线训练，我们建议使用不同的策略限制每个集群的支持向量集的大小。我们在实验中表明，我们的算法能够实现高精度，同时在训练和评估中每秒处理的样本数量非常多。
2016-12-31 cs.LG stat.ML
Cross Device Matching for Online Advertising with Neural Feature Ensembles : First Place Solution at CIKM Cup 2016
Nanyang Technological University（南洋理工大学）
我们描述了CIKM Cup 2016挑战赛的第一名获胜方法。在本文中，我们提供了一种方法来合理地识别相同的用户在多个设备上的浏览日志的基础上。我们的方法将候选人排序问题视为成对分类，并利用无监督的神经特征集成方法来学习用户的潜在特征。结合传统的手工制作的功能，每个用户对功能被送入一个监督分类器，以执行成对分类。最后，我们提出了监督和无监督推理技术。
2017-02-19 cs.IR cs.LG stat.ML
Online LLM Personalization from Pairwise Preferences Across Users
Massachusetts Institute of Technology（麻省理工学院）
该研究针对大语言模型用户偏好风格的个性化问题，提出了利用跨用户成对偏好的在线学习方法，发布了相关基准与数据集，在辅导场景中取得了显著的遗憾降低效果。
2026-10-14 cs.CL cs.LG stat.ML
Efficient online learning with kernels for adversarial large scale problems
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们感兴趣的是一个在线学习的框架，该框架具有低维但大规模和潜在的对抗性数据集的内核。我们研究核岭回归的在线变化的计算和理论性能。尽管它的简单性，我们研究的算法是第一个实现最佳遗憾的广泛的内核，每轮复杂度为$n^α$与$α< 2$。我们考虑的算法是基于近似的核与基函数的线性跨度。我们的贡献是双重的：1）对于高斯核，我们建议通过泰勒展开预先（独立于数据）构建基础。对于$d$维输入，我们提供了一个（接近）最优遗憾顺序$O((\log n)^{d+1})$与每轮的时间复杂度和空间复杂度$O((\log n)^{2d})$。这使得该算法是一个合适的选择，尽快$n \gg e^d$，这可能发生在场景中的小尺寸和大规模的数据集; 2）对于一般的核与低有效维数，基函数的更新顺序在数据自适应的方式通过采样Nystr{<$}m点。在这种情况下，我们的算法改进了已知的在线内核回归的计算权衡。
2019-05-29 cs.LG math.ST stat.ML
Online Kernel Sliced Inverse Regression
在线降维是高维流数据处理的常用方法。在线主成分分析、在线切片逆回归、在线核主成分分析等方法已经得到了深入的研究，但据我们所知，在线监督的非线性降维方法还没有得到充分的研究。本文提出了一种在线核切片逆回归方法。通过引入近似线性相关条件和字典变量集，解决了在线核切片逆回归方法中变量维数随样本量增加而增加的问题，提出了一种在线更新变量的降阶方法.然后，我们将问题转化为一个在线广义特征分解问题，并使用随机最优化方法来更新的中心降维方向。仿真和实际数据分析表明，该方法可以获得接近批处理核切片逆回归的性能。
2023-01-23 math.ST stat.CO stat.ML
