Fast Computation of Subpath Kernel for Trees
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）
核方法是分析结构化数据（如序列、树和图）的一种潜在方法，然而，无序树尚未得到广泛研究。Kimura et al.（2011）提出了一种基于子路径的无序树的核函数，子路径是树的垂直子结构，负责其中的层次信息。他们的内核在精度和速度方面表现出实际上很好的性能;然而，线性时间计算在理论上不能保证，不像Vishwanathan和Smola（2003）提出的其他无序树内核。在本文中，我们提出了一个理论上保证线性时间内核计算算法，实际上是快速的，我们提出了一个有效的预测算法，其运行时间只取决于输入树的大小。实验结果表明，本文提出的算法在实际应用中是非常有效的.
2012-06-18 cs.DS cs.LG stat.ML
KTBoost: Combined Kernel and Tree Boosting
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）
我们引入了一种新的提升算法称为'KTBoost'，它结合了内核提升和树提升。在每次提升迭代中，该算法将回归树或再生核希尔伯特空间（RKHS）回归函数添加到基本学习器的集合中。直观地说，这个想法是不连续树和连续RKHS回归函数相互补充，并且这种组合允许更好地学习具有不同规律性的部分的函数，例如不连续和平滑部分。我们的经验表明，KTBoost显着优于树和内核提升在预测准确性方面的比较，在广泛的数据集。
2021-02-08 cs.LG stat.CO stat.ML
Tunable GMM Kernels
Rutgers University（罗格斯大学）
最近提出的“广义最小-最大”（GMM）核可以有效地线性化，直接应用于大规模统计学习和快速近邻搜索。将线性化GMM核与线性化径向基函数（RBF）核进行了广泛的比较。在大量的分类任务中，与最佳调整的RBF内核相比，无调整的GMM内核表现得（令人惊讶地）很好。然而，人们自然会期望，GMM内核应该进一步改善，如果我们引入调优参数。在本文中，我们研究了三个简单的可调GMM内核的构造：（i）幂GMM（或eGMM）内核，（ii）Powered-GMM（或pGMM）内核，（iii）幂幂GMM（epGMM）内核。pGMM内核仍然可以通过修改GMM内核的原始散列过程来有效地线性化。在大约60个公开的分类数据集上，我们验证了所提出的可调GMM内核通常比原始GMM内核有所改进。在某些数据集上，这些改进可能非常重要。例如，在11个用于测试深度学习算法和树方法的流行数据集上，我们的实验表明，所提出的可调GMM内核是树和深度网络的强有力竞争对手。以前的研究开发了树方法，包括“abc-鲁棒-logitboost”，并通过建立二阶树分裂公式和多类逻辑损失的新导数，在这11个数据集（和其他数据集）上展示了出色的性能。与“abc-robust-logitboost”等树方法（速度慢，需要大量的模型大小）相比，可调GMM内核产生的结果在很大程度上是可比的。
2017-03-09 cs.LG stat.ML
Kernel Treelets
University of California Santa Barbara（加州大学圣巴巴拉分校）
提出了一种新的层次聚类方法。它结合了Trevet，一个特定的多尺度分解的数据，与再生核希尔伯特空间上的投影。所提出的方法，称为核Trexing（KT），有效地替代了相关系数矩阵Trexing中使用的对称，半正定矩阵有效地构建从核函数。与大多数要求数据集为数值的聚类方法不同，KT可以应用于更一般的数据，并直接在特征空间中基于数据产生多分辨率序列。通过实例说明了KT在聚类分析中的有效性和潜力。
2018-12-12 cs.LG stat.ME stat.ML
Kernel KMeans clustering splits for end-to-end unsupervised decision trees
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
针对无标签数据的端到端聚类树学习挑战，提出无监督二叉树模型 Kauri，通过贪婪最大化核 KMeans 目标且无需定义质心，在多数据集上表现优异。
2024-02-19 cs.AI cs.LG stat.ML
Distributed Kernel Ridge Regression with Communications
Xi’an Jiaotong University（西安交通大学）；City University of Hong Kong（香港城市大学）
本文在学习理论的框架下研究分布式算法的泛化性能。以分布式核岭回归算法（DKRR）为例，成功地导出了其期望最优学习率，并从理论上给出了局部处理器个数的最优范围。由于理论和实验之间的差距，我们还推导了DKRR的最佳学习率的概率，从本质上反映了DKRR的泛化性能和局限性。此外，我们提出了一种通信策略，以提高DKRR的学习性能，并通过理论评估和数值实验证明了DKRR中通信的力量。
2020-03-27 cs.LG stat.ML
Several Tunable GMM Kernels
Baidu Research USA（百度研究院美国分院（或直接保留“Baidu Research USA”））
虽然树方法在实践中很受欢迎，但研究人员和实践者也在寻找可以达到类似树的精度的简单算法。2010年，（Ping Li UAI'10）开发了“abc-robust-logitboost”方法，并将其与深度学习文献使用的数据集上的其他监督学习方法进行了比较。在这项研究中，我们提出了一系列的“可调GMM内核”，这是简单的，并在很大程度上执行相同的数据集上的树方法。请注意，“abc-鲁棒-logitboost”大大改进了原始“GDBT”，因为（a）它开发了一个基于损失函数导数的二阶信息的树分裂公式;（b）它开发了一组新的用于多类分类公式的导数。在2017年的先前研究中，与“径向基函数”（RBF）内核相比，“广义最小-最大”（GMM）内核具有良好的性能。然而，如本文所示，在深度学习文献中使用的数据集上，原始GMM内核通常不如树方法具有竞争力。由于原始的GMM核没有参数，我们提出了可调的GMM核，通过添加各种方式的调整参数。三个基本（即，仅具有一个参数）GMM内核分别是“$e$ GMM内核”、“$p$ GMM内核”和“$γ$ GMM内核”。大量的实验表明，他们能够产生良好的结果，大量的分类任务。此外，可以组合基本内核以提高性能。
2018-05-08 cs.LG stat.ML
Learning Theory of Distributed Regression with Bias Corrected Regularization Kernel Network
Zhejiang University（浙江大学）；Fudan University（复旦大学）；Middle Tennessee State University（中田纳西州立大学）
分布式学习是分析大数据的有效方法。在分布式回归中，一种典型的方法是将大数据划分为多个块，对每个块应用基本回归算法，然后简单地对从这些块中学习的输出函数进行平均。由于平均过程将减少方差，而不是偏差，如果基本回归算法是有偏的，则偏差校正有望改善学习性能。正则化核网络是非线性回归分析的一种有效且广泛应用的方法。在本文中，我们将研究正则化核网络的偏差校正版本。当它被应用到一个单一的数据集，当它被应用为分布式回归的基本算法，我们推导出的误差界。我们表明，在某些适当的条件下，最佳的学习率可以达到在这两种情况下。
2017-08-07 cs.LG stat.ML
pGMM Kernel Regression and Comparisons with Boosted Trees
Baidu Research（百度研究院）
在这项工作中，我们证明了pGMM（“动力广义最小-最大”）内核的（岭）回归的背景下的优势。在最近的先前研究中，pGMM内核已被广泛评估用于分类任务，用于逻辑斯谛回归，支持向量机以及深度神经网络。本文对岭回归进行了实验研究，将pGMM核回归与普通岭线性回归以及RBF核岭回归进行了比较。也许令人惊讶的是，即使没有调谐参数（即，$p=1$用于pGMM内核的功率参数），pGMM内核已经表现良好。此外，通过调优参数$p$，这个（看似简单的）pGMM内核甚至对提升的树执行了相当大的改进。Boosting和Boosted树在机器学习实践中非常流行。对于回归任务，通常，从业者使用$L_2$ boost，即，用于最小化$L_2$损失。有时出于鲁棒性的目的，可能会选择$L_1$增强。在本研究中，我们为$p\geq 1$实现了$L_p$ boost，并将其包含在"Fast ABC-Boost“包中。也许还令人惊讶的是，最好的性能（在$L_2$回归损失方面）通常在$p>2$，在某些情况下在$p\gg 2$获得。Li等人（UAI 2010）已经在使用$L_p$距离的k-最近邻分类的背景下证明了这种现象。总之，$L_p$ boost的实现为从业者提供了额外的灵活性，可以调整boosting算法，从而在回归应用程序中实现更好的准确性。
2022-07-18 cs.LG stat.ML
A One-Class Classification Decision Tree Based on Kernel Density Estimation
University of Mons（蒙斯大学）
一类分类（OCC）是机器学习的一个领域，它解决了基于不平衡数据集的预测问题。基本上，OCC算法通过单个类样本实现训练，可能还有一些额外的反例。目前的OCC模型在性能方面令人满意，但越来越需要开发可解释的模型。在目前的工作中，我们提出了一个一类模型，解决了性能和可解释性的问题。我们的混合OCC方法依赖于密度估计作为基于树的学习算法的一部分，称为一类决策树（OC树）。在一个贪婪和递归的方法，我们的建议依赖于内核密度估计分裂的基础上的一个或几个感兴趣的区间的数据子集。因此，OC树将数据封装在可以由一组规则描述的感兴趣的超矩形内。相对于最先进的方法，如聚类支持向量数据描述（ClusterSVDD），单类支持向量机（OCSVM）和隔离森林（iForest），OC树在一系列基准数据集上表现良好。此外，我们提出了一个真正的医疗应用程序，OC树已经证明了它的有效性，通过处理基于不平衡数据集的可解释诊断辅助的能力。
2020-03-20 cs.LG stat.ML
One-shot Distibuted Algorithm for PCA with RBF Kernels
Shanghai Jiao Tong University（上海交通大学）；Institute of Image Processing and Pattern Recognition（图像处理与模式识别研究所）
这封信提出了一个一次性算法的特征分布核PCA。我们的算法的灵感来自样本分布和特征分布的情况之间的双重关系。这种有趣的关系使得有可能建立分布式核PCA的特征分布的情况下，从分布式PCA的思想在样本分布的情况下。在理论部分，我们分析了线性核函数和径向基函数核函数的逼近误差。结果表明，当特征值衰减快时，该算法以较低的通信代价给出了高质量的结果。数值实验也验证了这一结果，表明了该算法在实际应用中的有效性.
2021-04-29 cs.DC cs.LG stat.ML
TREX: Tree-Ensemble Representer-Point Explanations
University of Oregon（俄勒冈大学）
我们如何识别对树集成预测贡献最大的训练样本？在本文中，我们介绍TREX，解释系统，提供实例属性的解释树集成，如随机森林和梯度提升树。TREX建立在先前为解释深度神经网络而开发的代表点框架之上。由于树系综是不可微的，我们定义了一个内核，捕捉特定的树系综的结构。通过在核逻辑回归或支持向量机中使用该核，TREX构建了一个近似原始树集成的代理模型。代理模型的核扩展中的权重用于定义每个训练样本的全局或局部重要性。实验结果表明，TREX的代理模型能准确地逼近树系集，其全局重要性权重在数据集调试中比现有的方法更有效，在移除和重新训练评估框架下，其解释能更好地识别最具影响力的样本，其运行速度比其他方法快几个数量级，并且具有更好的性能。并且其局部解释可以识别和解释由于域不匹配引起的错误。
2021-12-16 cs.LG stat.ML
Collaborative Learning in Kernel-based Bandits for Distributed Users
MediaTek Research（联发科研究院）；Cornell University（康奈尔大学）
本文研究分布式客户端在中央服务器协调下的核赌博机协作学习问题，提出基于代理高斯过程模型的算法，证明其遗憾性能达到阶最优，并利用稀疏近似降低通信开销。
2023-04-17 cs.LG stat.ML
BARK: A Fully Bayesian Tree Kernel for Black-box Optimization
Imperial College London（伦敦帝国理工学院）；BASF SE（巴斯夫公司）
提出 BARK，一种基于 BART 的完全贝叶斯树核，通过 MCMC 捕捉树结构与函数分布的不确定性，以构建采集函数并支持混合特征空间的黑盒全局优化。
2025-06-06 cs.LG math.OC stat.ML
Learning of Tree-Structured Gaussian Graphical Models on Distributed Data under Communication Constraints
Sharif University of Technology（谢里夫理工大学）
在本文中，学习树结构的高斯图形模型从分布式数据。在我们的模型中，样本存储在一组分布式机器中，其中每台机器只能访问一个子集的功能。然后，中央机器负责基于从其他节点接收的消息来学习结构。我们提出了一套有效的沟通策略，理论上证明，传达足够的信息，可靠的学习的结构。特别是，我们的分析表明，即使每台机器只发送其本地数据样本的标志到中心节点，树结构仍然可以恢复高精度。我们在合成和真实世界数据集上的模拟结果表明，我们的策略在推断底层结构方面达到了预期的准确性，同时在通信上花费了少量预算。
2018-09-21 cs.LG stat.ML
Adaptive Distributed Kernel Ridge Regression: A Feasible Distributed Learning Scheme for Data Silos
Xi’an Jiaotong University（西安交通大学）；University of Sydney（悉尼大学）
本文提出自适应分布式核岭回归（AdaDKRR）方案，兼顾参数自主性、隐私与合作必要性，理论证明其性能近似全局最优且优于现有方案，有效应对数据孤岛问题。
2023-09-08 cs.LG stat.ML
An RKHS Perspective on Tree Ensembles
McGill University, Department of Mathematics and Statistics（麦吉尔大学数学与统计学系）；Université Marie et Louis Pasteur, CNRS, LmB (UMR 6623)（玛丽·路易斯·帕斯特大学、法国国家科学研究中心、LmB（UMR 6623））
本文从RKHS视角分析树集成方法，揭示其理论性质和连续时间梯度提升的流形结构，提出增强可解释性的核主成分分析和GVI准则。
2025-11-29 cs.LG stat.ML
Scalable and Provably Accurate Algorithms for Differentially Private Distributed Decision Tree Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Pennsylvania（宾夕法尼亚大学）
本文介绍了第一个可证明准确的算法，用于分布式环境中的差异私有、自上而下的决策树学习（Balcan等人，2012年）。我们提出了DP-TopDown，一个通用的隐私保护决策树学习算法，并提出了两个分布式实现。我们的第一个方法NoisyCounts自然地通过使用拉普拉斯机制扩展了单机算法。我们的第二种方法LocalRNM通过在每个数据持有者处执行局部优化来显著减少通信和增加的噪声。我们提供了第一个效用保证差分私有自上而下的决策树学习在单机和分布式设置。这些保证表明，如果数据集足够大，则私人学习的决策树的错误很快变为零。我们在真实数据集上的大量实验说明了在分布式环境中学习私有决策树时隐私，准确性和泛化的权衡。
2021-02-23 cs.CR cs.LG stat.ML
A Distributed Algorithm for Training Nonlinear Kernel Machines
Microsoft Research（微软研究院）；Microsoft（微软）
本文研究了基于Map-Reduce的非线性核机器的分布式训练问题。我们表明，使用基于梯度的技术解决的基于Nyström近似的解决方案的重新制定非常适合于此，特别是当有必要与大量的基点一起工作时。这种方法的主要优点是：避免计算对应于基点的内核子矩阵的伪逆;计算的分布式部分的简单性和效率;以及，对基点的阶段式添加的友好性。我们在Hadoop上使用AllReduce树实现了该方法，并在一些大型基准数据集上展示了其价值。
2014-05-18 cs.LG
Distributed Learning with Dependent Samples
研究强混合序列下分布核岭回归的学习率分析。利用最近发展起来的积分算子方法和Banach值强混合序列的经典协方差不等式，我们成功地导出了分布核岭回归的最优学习率.作为一个副产品，我们还推出了一个充分条件的混合性质，以保证最佳的学习率的核岭回归。我们的结果扩展了i.i.d.分布式学习的适用范围样本至非i.i.d.序列的
2021-11-04 cs.DC cs.LG stat.ML
Communication-Efficient Distributed Online Learning with Kernels
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Saarland University（萨尔大学）
我们提出了一个有效的分布式低延迟实时服务的在线学习协议。它扩展了以前提出的协议，以内核化的在线学习者，代表他们的模型的支持向量扩展。虽然这样的学习器通常比线性学习器实现更高的预测性能，但是对于大量的支持向量，传递支持向量扩展变得低效。所提出的扩展允许更大类的在线学习算法-包括那些通过模型压缩来缓解上述问题的算法。此外，我们通过引入一个新的标准，要求通信所遭受的损失有界的质量所提出的协议的特点。
2019-11-28 cs.DC cs.LG stat.ML
Log-Linear-Time Gaussian Processes Using Binary Tree Kernels
University of Oxford（牛津大学）；Meta
提出一种“二叉树”核，将数据点置于二叉树叶子上，仅依赖最深共同祖先深度，实现 $O((n+m)\log(n+m))$ 时间的高斯过程回归，在多数任务中预测精度和速度优于稀疏及Matérn方法。
2022-10-04 cs.LG
Optimal Rates of Distributed Regression with Imperfect Kernels
University of Jinan（济南大学）；Middle Tennessee State University（中田纳西州立大学）
分布式机器学习系统因其处理大规模数据的高效性而受到越来越多的关注。针对不同的机器学习任务，已经提出了许多分布式框架。在本文中，我们研究了分布式核回归的分治方法。这种方法已被证明是渐近极小极大最优的，如果核是完美的选择，使真正的回归函数位于相关的再生核希尔伯特空间。然而，这通常是不切实际的，因为只能通过先验知识或调整过程来选择的内核很难是完美的。相反，更常见的是，内核足够好，但不完美，在这个意义上，真正的回归可以很好地近似，但不完全位于内核空间。我们证明了分布式核回归在这种情况下仍然可以达到与容量无关的最优速率。为此，我们首先建立了一个通用的框架，允许分析分布式回归与响应加权基础算法的边界上一个单一的数据集，这些算法的错误，提供的误差界已考虑到的影响，无法解释的方差的响应变量。然后，我们执行留一分析的内核岭回归和偏差校正内核岭回归，结合上述框架，使我们能够获得尖锐的误差界和容量独立的最佳速率为相关的分布式内核回归算法。作为彻底分析的副产品，我们还证明了核岭回归可以在无噪声设置中比$N^{-1}$（其中$N$是样本大小）更快地实现速率，据我们所知，这是回归学习中首次观察到的和新颖的。
2020-06-30 cs.DC cs.LG math.ST
Neurally-plausible radial basis kernels using distributed Fourier embeddings
University of Waterloo（滑铁卢大学）
本文研究了在神经合理框架下实现径向基核的常见方法，分析了基于网格细胞样表示的径向基核工作，并证明其具备实现最优径向基核的能力。
2026-05-08 cs.LG q-bio.NC
Communication Efficient Distributed Kernel Principal Component Analysis
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）；Georgia Institute of Technology（佐治亚理工学院）；IBM Research（IBM研究院）
核主成分分析（KPCA）是一种用于从数据中提取非线性特征的关键机器学习算法。在存在以分布式方式收集的大量高维数据的情况下，将所有这些数据传送到单个数据中心然后执行内核PCA变得非常昂贵。我们能否以分布式和通信高效的方式对整个数据集执行核PCA，同时保持解决方案质量的可证明和强有力的保证？在本文中，我们给出了一个肯定的答案，这个问题通过开发一个通信有效的算法来执行核PCA在分布式设置。该算法是子空间嵌入和自适应采样技术的巧妙结合，我们表明，该算法可以作为输入的任意配置的分布式数据集，并计算一组全球核主成分的相对误差保证独立的特征空间的维数或数据点的总数。特别地，计算$k$主成分时相对误差$ε$超过$s$工作者具有通信成本$\tilde{O}(s ρk/ε+s k^2/ε^3)$字，其中$ρ$是每个数据点中非零条目的平均数量。此外，我们用大规模的真实世界数据集对该算法进行了实验，结果表明，该算法产生了高质量的核PCA解决方案，同时使用的通信比其他方法少得多。
2016-02-13 cs.LG
Explaining Kernel Clustering via Decision Trees
Technical University of Munich（慕尼黑工业大学）；Amazon Research（亚马逊研究院）
本文研究可解释核聚类，提出用决策树逼近核k-means诱导的划分，并通过合适的特征选择在保持可解释性的同时不牺牲逼近保证。
2024-02-15 cs.LG
Distributed Adaptive Sampling for Kernel Matrix Approximation
INRIA Lille - Nord Europe（法国国家信息与自动化研究所里尔-北欧分部）
大多数基于核的方法，如核或高斯过程回归、核PCA、ICA或$k$均值聚类，不能扩展到大数据集，因为构建和存储核矩阵$\mathbf{K}_n$至少需要$n$样本的$\mathcal{O}(n^2)$时间和空间。最近的工作表明，根据其岭杠杆分数（RLS）替换的采样点生成相关点的小字典与强谱近似保证$\mathbf{K}_n$。基于RLS的方法的缺点是计算精确的RLS需要构造和存储整个核矩阵。在本文中，我们介绍SQUEAK，一个新的算法的核近似的基础上RLS采样，顺序处理的数据集，存储一个字典，创建准确的核矩阵近似与一些点，只取决于有效的尺寸$d_{eff}(γ)$的数据集。此外，由于所有的RLS估计仅使用小字典有效地执行，SQUEAK是第一个不构造整个矩阵$\mathbf{K}_n$的RLS采样算法，在线性时间$\widetilde{\mathcal{O}}(nd_{eff}(γ)^3)$ w.r. t中运行。$n$，并且只需要对数据集进行一次遍历。我们还提出了一个并行和分布式版本的SQUEAK，在多台机器上线性扩展，在尽可能短的$\widetilde{\mathcal{O}}(\log(n)d_{eff}(γ)^3)$时间内实现类似的精度。
2018-03-27 cs.DS cs.LG stat.ML
Lepskii Principle for Distributed Kernel Ridge Regression
School of Management, Xi’an Jiaotong University（西安交通大学管理学院）
针对分布式核岭回归中不共享本地数据时的参数选择难题，提出基于 Lepskii 原理和双重加权平均的自适应 Lep-AdaDKRR，并证明其具备最优学习率与多方面自适应能力。
2024-09-08 cs.LG
A tree-based kernel for graphs with continuous attributes
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所（哈马德·本·哈利法大学））；University of Padova（帕多瓦大学）
针对现有图核方法适配连续节点属性时的计算局限，提出一种基于图遍历提取树结构特征的图核方法及其近似变体，在六个真实数据集上实现了性能与效率的提升。
2016-12-20 cs.LG
Distributed Clustering based on Distributional Kernel
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；School of Information Technology, Deakin University（迪肯大学信息技术学院）
该研究提出首个基于分布核的分布式聚类框架KDC，兼具结果与集中式等价、单站点耗时更低、适配任意簇形态三大特性，搭配新型Kernel Bounded Cluster Cores算法效果更优，还能让二次时间聚类算法处理大规模数据集。
2024-09-14 cs.AI cs.LG stat.ML
Kernel t-distributed stochastic neighbor embedding
University Politehnica of Bucharest（布加勒斯特理工大学）；University of Bucharest（布加勒斯特大学）
本文提出 t-SNE 算法的核化版本，通过在高低维空间应用核技巧保留非欧度量下的成对距离，在多个数据集上实现了更清晰的聚类，提升了涉及核方法分类任务的性能。
2023-11-20 cs.LG
Equilibrium Distribution for t-Distributed Stochastic Neighbor Embedding with Generalized Kernels
Yi Gu
本文研究广义核 t-SNE 在数据点数量趋于无穷时的收敛性，给出广义输入核与输出核的具体形式，并证明其在一定条件下收敛至平衡分布。
2026-10-14 cs.LG math.PR math.ST
Order-Optimal Regret in Distributed Kernel Bandits using Uniform Sampling with Shared Randomness
School of Electrical & Computer Engineering, Cornell University（康奈尔大学电气与计算机工程学院）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种分布式核老虎机算法，通过本地均匀探索和与中央服务器的共享随机性，结合高斯过程稀疏近似，首次以次线性通信代价实现与集中式学习相同的最优遗憾阶。
2024-02-20 cs.DC cs.LG stat.ML
Generalization Analysis of Distributed Kernel-based Robust Gradient Descent Algorithms
Zhejiang University（浙江大学）；Huazhong Agricultural University（华中农业大学）
本文针对分布式核鲁棒梯度下降算法，通过谱特征与误差分析优化参数选择，放宽机器数量限制并保持最优学习率，同时提出通信高效策略提升收敛性能。
2026-09-11 cs.LG math.OA math.PR
A Kernel Fisher Discriminant Analysis-Based Tree Ensemble Classifier: KFDA Forest
School of Industrial Management Engineering, Korea University（韩国大学工业管理工程学院）；School of Mechanical Engineering, Chungnam National University（Chungnam国立大学机械工程学院）
提出一种基于核Fisher判别分析的树集成方法KFDA Forest，通过Bootstrap和随机子集划分增强多样性，利用核技巧处理非线性数据，以决策树为基分类器提升准确率。
2026-06-27 cs.LG
Distributed Kernel Regression: An Algorithm for Training Collaboratively
本文研究了通信约束下的分布式学习问题，其动机是无线传感器网络中的分布式信号处理和使用分布式数据库的数据采掘。在形式化了分布式学习的一般模型后，导出了协作训练正则化核最小二乘回归估计器的算法。注意到该算法可以被看作是连续正交投影算法的应用，其收敛性进行了研究，并在一个简化的理论设置的估计的统计行为进行了讨论。
2006-01-20 cs.AI cs.DC cs.IT
Distributed and Secure Kernel-Based Quantum Machine Learning
University of Tübingen（图宾根大学）；Institute for Bioinformatics and Medical Informatics (IBMI)（生物医学信息学研究所）
针对分布式数据下核方法的安全性问题，提出利用量子特征映射和量子隐形传态，安全计算多项式、RBF和拉普拉斯核，并在Qiskit模拟器上验证。
2025-04-06 cs.LG quant-ph
Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces
Imperial College London（帝国理工学院）；BASF SE（巴斯夫股份公司）；Cooperative State University（合作州立大学）
树集成非常适合黑盒优化任务，如算法调优和神经架构搜索，因为它们在很少或没有手动调优的情况下实现了良好的预测性能，自然地处理离散特征空间，并且对训练数据中的离群值相对不敏感。使用树集成进行黑盒优化的两个众所周知的挑战是（i）有效地量化用于探索的模型不确定性和（ii）优化分段常数获取函数。为了同时解决这两点，我们建议使用内核解释的树集成作为一个高斯过程之前，获得模型方差估计，我们开发了一个兼容的优化配方的采集功能。后者进一步允许我们无缝地集成已知的约束，以通过考虑工程设置中的领域知识和对搜索空间对称性建模来提高抽样效率，例如，神经结构搜索中的层次关系。我们的框架执行以及国家的最先进的方法，无约束的黑盒优化连续/离散的功能，并优于竞争的方法相结合的混合变量特征空间和已知的输入约束的问题。
2022-12-31 cs.AI cs.LG math.OC
A Generalized Weisfeiler-Lehman Graph Kernel
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
Weisfeiler-Lehman图核由于其显著的时间复杂度和预测性能而成为最流行的图核之一。他们的关键概念是基于邻域表示树关于相等性的隐式比较（即，同构）。然而，这种二进制值的比较，可以说是过于严格的定义合适的相似性措施的图。为了克服这一限制，我们提出了一个推广的Weisfeiler-Lehman图内核，它考虑到树之间的相似性，而不是平等。我们实现这一点，使用一个专门适合的变化，众所周知的树编辑距离，可以有效地计算。我们的经验表明，我们的方法显着优于国家的最先进的方法，在预测性能的数据集包含结构上更复杂的图超出了通常认为的分子图。
2021-01-20 cs.LG
Divide and Conquer Kernel Ridge Regression: A Distributed Algorithm with Minimax Optimal Rates
UC Berkeley（加州大学伯克利分校）
我们建立了最佳的收敛速度的分解为基础的可扩展的方法，核岭回归。该方法描述简单：它随机将大小为N的数据集划分为m个相等大小的子集，为每个子集计算独立的核岭回归估计，然后将局部解平均为全局预测器。与对所有N个样本执行核岭回归的标准方法相比，这种划分导致计算时间大幅减少。我们的两个主要定理建立，尽管计算速度加快，统计最优性被保留：只要m不是太大，分区为基础的估计达到统计最小最大率在所有估计使用N个样本的集合。作为具体的例子，我们的理论保证，处理器的数量m可能会增长接近线性有限秩内核和高斯内核和多项式N为索伯列夫空间，这反过来又允许计算成本大幅降低。最后，我们对模拟数据和音乐预测任务进行了实验，补充了我们的理论结果，展示了我们的方法在计算和统计方面的优势。
2014-04-29 cs.LG math.ST stat.ML
On the validity of kernel approximations for orthogonally-initialized neural networks
DeepMind
在这篇文章中，我们扩展核函数近似结果的神经网络与高斯分布的权重，单层网络初始化使用Haar分布的随机正交矩阵（与可能的重新缩放）。这是使用随机矩阵理论的最新结果完成的。
2021-04-13 cs.LG cs.NE
Optimal Convergence for Distributed Learning with Stochastic Gradient Methods and Spectral Algorithms
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
研究了再生核Hilbert空间（RKHS）上非参数回归分布式算法的推广性质。我们首先研究分布式随机梯度方法（SGM），小批量和多遍数据。我们发现，最佳的泛化误差界可以保留分布式SGM的分区水平不是太大。然后，我们将我们的结果扩展到谱正则化算法（SRA），包括核岭回归（KRR），核主成分分析，和梯度方法。我们的结果优于国家的最先进的理论。特别是，我们的研究结果表明，分布式SGM具有较小的理论计算复杂度，与分布式KRR和经典SGM相比。此外，即使对于非分布式SRA，考虑到回归函数可能不在RKHS中的情况，它们也提供了第一最优的、容量依赖的收敛速率。
2018-11-05 cs.AI cs.LG math.FA
Consensus-based Distributed Quantum Kernel Learning for Speech Recognition
Imperial College London（帝国理工学院）；Centre for Quantum Engineering, Science and Technology (QuEST), Imperial College London（帝国理工学院量子工程、科学与技术中心）；College of Control Science and Engineering, Zhejiang University（浙江大学控制科学与工程学院）
提出CDQKL分布式量子核学习框架，在不共享本地数据的前提下经经典信道交换参数，提升语音识别的隐私性、效率与可扩展性。
2024-09-09 cs.CV cs.DC cs.LG
Distributed Online Learning with Multiple Kernels
University of Southern California（南加州大学）；Hanyang University（汉阳大学）
我们考虑的问题，学习一个非线性函数在一个网络的学习者在一个完全分散的方式。另外假设在线学习，其中每个学习者在本地接收连续流数据。这种学习模型被称为完全分布式在线学习（或完全分散式在线联邦学习）。针对该模型，我们提出了一种新的多核学习框架，称为DOMKL。建议的DOMKL是通过利用在线交替方向法的乘数和分布式对冲算法的原则。我们从理论上证明了DOMKL在T个时隙上可以实现最佳的次线性遗憾，这意味着网络中的每个学习者都可以学习一个共同的函数，该函数与事后的最佳函数之间的差距越来越小。我们的分析还表明，DOMKL产生了与最先进的集中式方法相同的渐近性能，同时保持边缘学习器的本地数据。通过对真实数据集的数值测试，我们证明了所提出的DOMKL在各种在线回归和时间序列预测任务上的有效性。
2021-02-26 cs.LG
Consistent Distributed Ranking of Generative Models via Kernel Distances
针对分布式异构数据场景，证明使用各客户端平均核距离分数排序生成模型与集中式排序结果一致，并分析了Fréchet距离等指标的局限性。
2026-06-26 cs.LG
Distributed Dual Coordinate Ascent with Imbalanced Data on a General Tree Network
California State University, Northridge（加州州立大学北岭分校）；Penn State Behrend（宾夕法尼亚州立大学贝伦德分校）；University of California, Davis（加州大学戴维斯分校）；University of Iowa（爱荷华大学）
本文提出延迟广义分布式双坐标上升法，以解决树形网络中不平衡数据导致的收敛问题，并通过数值实验验证其有效性。
2023-08-28 cs.DC cs.IT cs.LG
Distributed Uncertainty Quantification of Kernel Interpolation on Spheres
Missouri State University（密苏里州立大学）
针对RBF核插值因不确定性关系易受噪声影响的问题，本文提出一种分布式插值方法，用于管理和量化含噪球面数据插值引发的不确定性，数值模拟表明该方法处理复杂计算环境含噪数据实用且稳健。
2023-10-25 cs.LG cs.NA math.NA
Structural Optimization Makes Graph Classification Simpler and Better
State Key Lab of Software Development Environment（软件开发环境国家重点实验室）；Beihang University（北京航空航天大学）
在深度神经网络中，通常可以通过增加先前开发的基本模型的复杂性来获得更好的结果。然而，目前还不清楚是否有一种方法可以通过降低这些模型的复杂性来提高性能。在这里，基于一种优化方法，我们研究了在简化模型学习过程的同时提高图分类性能的可行性。受结构信息评估进展的启发，我们将给定的数据样本从图优化为编码树。特别地，我们最小化变换后的编码树的结构熵来解码图的关键结构。这种转换被称为结构优化。此外，我们提出了一种新的功能组合方案，称为分层报告，编码树。在该方案中，通过遵循编码树的层次结构，将特征从叶节点转移到根结点。然后，我们提出了一个实施方案中的树内核和卷积网络进行图形分类。树内核遵循Weisfeiler-Lehman（WL）子树内核中的标签传播，但它具有较低的运行时复杂度$O(n)$。卷积网络是我们的树内核在深度学习领域的一种特殊实现，称为编码树学习（ETL）。我们用几个图分类基准测试对我们的树核和卷积网络进行了经验验证，并证明我们的方法比竞争方法具有更好的性能和更低的计算消耗。
2021-09-05 cs.AI cs.LG
Sparsity-Aware Distributed Learning for Gaussian Processes with Linear Multiple Kernel
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；National University of Singapore（新加坡国立大学）
该研究提出新型网格谱混合乘积核与稀疏线性多核学习框架，结合量化ADMM与分布式逐次凸逼近算法，实现高效隐私保护的高斯过程超参数分布式优化，性能与效率更优。
2025-01-16 cs.LG eess.SP math.OC
A generalized decision tree ensemble based on the NeuralNetworks architecture: Distributed Gradient Boosting Forest (DGBF)
Paradigma Digital S.L.（Paradigma Digital有限公司）；Universidad de León（莱昂大学）
提出分布式梯度提升森林（DGBF），融合装袋与提升的数学表述，构建图结构树集成，无需反向传播即可实现分布式表示学习，在9个数据集中7个上优于随机森林和梯度提升。
2024-02-04 cs.AI cs.LG
Distributed Dual Coordinate Ascent in General Tree Networks and Communication Network Effect on Synchronous Machine Learning
Penn State Behrend（宾夕法尼亚州立大学贝伦德分校）；University of California, Davis（加州大学戴维斯分校）；University of Iowa（爱荷华大学）
由于数据量大，单台计算机或单台服务器的数据存储量有限，数据往往以分布式方式存储。因此，经常需要通过通信网络对分布式数据集执行大规模机器学习操作。本文研究了一般树结构网络中分布式机器学习问题的分布式双坐标上升的收敛速度。由于树型网络模型可以理解为星型网络模型的推广，因此我们的算法可以看作是星型网络模型中分布式对偶坐标上升的推广。本文以递归的方式给出了一般树状网络上分布式对偶坐标上升的收敛速度，并分析了网络对收敛速度的影响。其次，考虑网络通信时延，对分布式双坐标上升算法进行优化，使其收敛速度最大化。从我们的分析结果，我们可以选择最佳的局部迭代次数取决于通信延迟的严重程度，以达到最快的收敛速度。在数值实验中，我们考虑通信网络上的机器学习场景，其中本地工作者不能直接到达一个中心节点，由于通信的限制，并证明了我们的分布式双坐标上升算法在树网络的可用性。此外，我们还证明了在分布式双协调上升算法中，根据网络通信延迟调整局部和全局迭代次数可以提高算法的收敛速度。
2021-02-18 cs.DC cs.IT cs.LG
Evaluation of Tree Based Regression over Multiple Linear Regression for Non-normally Distributed Data in Battery Performance
电池性能数据集通常是非正态和多重共线性的。外推这些数据集进行模型预测需要注意这些特征。本研究探讨了数据正态性对构建机器学习模型的影响。在这项工作中，基于树的回归模型和多元线性回归模型分别建立了一个高度偏斜的非正态数据集与多重共线性和比较。有几种技术是必要的，如数据转换，以实现一个良好的多元线性回归模型与此数据集，最有用的技术进行了讨论。使用这些技术，最佳多元线性回归模型达到了R^2 = 81.23%，并且对于本研究中使用的数据集没有表现出多重共线性效应。基于树的模型在此数据集上表现更好，因为它们是非参数的，能够处理变量之间的复杂关系，并且不受多重共线性的影响。我们表明，装袋，在使用随机森林，减少过拟合。我们最好的基于树的模型达到了R^2 = 97.73%的准确率。这项研究解释了为什么基于树的回归承诺作为一个机器学习模型的非正态分布，多共线性数据。
2021-11-03 cs.AI cs.LG
Distributed Linear Model Clustering over Networks: A Tree-Based Fused-Lasso ADMM Approach
Iowa State University（爱荷华州立大学）
在这项工作中，我们考虑通过聚合邻居的信息以及识别网络中每个节点的子组成员来提高模型估计效率。提出了一种基于树的$l_1$惩罚算法，以节省计算和通信开销。设计了一种分散广义交替方向乘子算法，用于并行求解目标函数。理论性质推导，以保证模型的一致性和算法收敛。数值实验结果表明，该方法在估计精度、计算速度和通信开销等方面都有较好的性能。
2019-05-28 cs.DC cs.LG cs.NI
Binary Linear Tree Commitment-based Ownership Protection for Distributed Machine Learning
Beijing Institute of Technology（北京理工大学）；Institute of Information Engineering, CAS（中国科学院信息工程研究所）
本文提出基于二叉线性树承诺的所有权保护模型，通过可维护树结构、内积论证和身份密钥水印，以低开销和简洁证明保障分布式机器学习中的计算完整性并防止所有权冲突。
2024-01-11 cs.AI cs.CR cs.DC
