Coresets for Vertical Federated Learning: Regularized Linear Regression and $K$-Means Clustering
Nanjing University（南京大学）；Carnegie Mellon University（卡内基梅隆大学）；Fudan University（复旦大学）；Princeton Univeristy（普林斯顿大学）
垂直联邦学习（Vertical Federated Learning，VFL）是机器学习的一个重要研究领域，它将数据特征分布存储在多方。然而，VFL的通信复杂性通常非常高。在本文中，我们提出了一个统一的框架，通过构建coresets在一个分布式的方式通信效率的VFL。我们研究了两个重要的学习任务中的VFL设置：正则化线性回归和$k$均值聚类，并将我们的coreset框架，这两个问题。我们从理论上表明，使用coresets可以大大降低通信复杂性，而几乎保持解决方案的质量。数值实验证实了我们的理论研究结果。
2022-10-26 cs.CG cs.DC cs.DS
Coresets for Regressions with Panel Data
Huawei TCS Lab（华为TCS实验室）；Yale University（耶鲁大学）
本文将回归问题的核心集问题引入到面板数据设置中。我们首先定义coresets的几个变种的回归问题与面板数据，然后提出有效的算法来构建coresets的大小，多项式依赖于1/ $\varepsilon$（其中$\varepsilon$是误差参数）和回归参数的数量-独立于面板数据中的个人的数量或每个人被观察的时间单位。我们的方法是基于Feldman-Langberg框架，其中的一个关键步骤是上限的“总灵敏度”，这大致是所有个人时间对所有可能的选择回归参数的最大影响的总和。从经验上讲，我们用合成和真实世界的数据集来评估我们的方法;使用我们的方法构建的核心集大小比完整的数据集小得多，核心集确实加快了计算回归目标的运行时间。
2020-11-03 cs.CG cs.DS cs.LG
Optimal Coreset for Gaussian Kernel Density Estimation
University of Chicago（芝加哥大学）
给定一个点集$P\subset \mathbb{R}^d$，$P$的核密度估计被定义为对于任何$x\in\mathbb{R}^d$的\[ \overline{\mathcal{G}}_P(x) = \frac{1}{\left|P\right|}\sum_{p\in P}e^{-\left\lVert x-p \right\rVert^2} \]。研究了如何构造$P$的一个小子集$Q$，使得$P$的核密度估计可以用$Q$的核密度估计来逼近.这个子集$Q$称为核心集。本文的主要技术是利用差异理论和Banaszczyk定理在点集$P$上构造一个$\pm 1$染色。当$d>1$是一个常数时，我们的构造给出了一个大小为$O\left(\frac{1}{\varepsilon}\right)$的核集，而不是$O\left(\frac{1}{\varepsilon}\sqrt{\log\frac{1}{\varepsilon}}\right)$的最著名的结果。这是第一个突破$\sqrt{\log}$因子屏障的结果，即使当$d=2$。
2022-02-21 cs.CG cs.DS cs.LG
Discrepancy, Coresets, and Sketches in Machine Learning
Amazon（亚马逊）
本文定义了函数族的类差异概念。它表明，低差异类承认小的离线和流coresets。我们提供了一般的技术来界定类差异的机器学习问题。作为一般技术的推论，我们绑定了逻辑回归的差异（以及因此的核心复杂性），sigmoid激活损失，矩阵协方差，核密度和点积或平方距离的任何解析函数。我们的结果证明了上述问题的ε-近似O（sqrt{d}/sqrt）大小的核心集的存在性.这解决了长期存在的开放问题的核心复杂性高斯核密度估计。我们提供了两个相关但独立的结果。首先，广泛使用的合并和减少技巧的指数改进，为任何低差异问题提供改进的流草图。第二，一个非常简单的确定性算法，用于找到任何半正定核的低差异序列（因此coresets）。本文建立了类差异，核心复杂性，可学习性和流算法之间的一些明确的联系。
2019-06-11 cs.DS cs.LG stat.ML
$p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets
TU Dortmund University（多特蒙德工业大学）；Dortmund Data Science Center（多特蒙德数据科学中心）
本文研究了$p$ -广义概率单位回归模型，它是一个二元响应的广义线性模型。它扩展了标准的概率单位模型，用$p$-$p\in[1, \infty)$的广义正态分布替换其链接函数，标准正态cdf。$p$ -广义正态分布\citep{Sub23}在统计建模中具有特殊意义，因为它们更灵活地拟合数据。它们的尾部行为可以通过选择参数$p$来控制，该参数影响模型对离群值的敏感性。特殊情况包括拉普拉斯分布、高斯分布和均匀分布。我们进一步展示了如何最大似然估计$p$ -广义概率回归可以有效地近似到$(1+\varepsilon)$的大数据的一个因素，通过结合草图技术与重要性子采样，以获得一个小的数据摘要称为coreset。
2022-03-25 cs.DS cs.LG stat.ML
Accurate Coresets for Latent Variable Models and Regularized Regression
IIIT Delhi（德里印度信息技术学院）
本文提出统一框架构造精确核心集，覆盖隐变量模型与正则化回归，并证明其核心集大小优于已有方法，尤其在岭回归上实现改进。
2024-12-28 cs.LG stat.ML
Near-Optimal Coresets of Kernel Density Estimates
University of Utah（犹他大学）
当核是正定的时候，我们构造了$\mathbb{R}^d$中点的核密度估计的近最优核集。具体来说，我们展示了一个多项式时间的构造为coreset的大小$O(\sqrt{d}/\varepsilon\cdot \sqrt{\log 1/\varepsilon} )$，我们展示了一个接近匹配的下界大小$Ω(\min\{\sqrt{d}/\varepsilon, 1/\varepsilon^2\})$。当$d\geq 1/\varepsilon^2$时，已知coreset的大小可以是$O(1/\varepsilon^2)$。当$d \in [3,1/\varepsilon^2)$和下限是第一个已知的下限依赖于$d$这个问题时，上限是一个多项式在$(1/\varepsilon)$的改进。此外，内核是正定的上限限制是重要的，因为它适用于各种内核，特别是那些对机器学习最重要的内核。这包括用于信息距离的内核和可以为负的sinc内核。
2019-04-11 cs.CG cs.LG stat.ML
Improved Coresets for Kernel Density Estimates
University of Utah（犹他大学）
我们研究核密度估计的核心集的构造。也就是说，我们展示了如何用一个更小的点集的核密度估计来近似一个大的点集所描述的核密度估计。对于特征核（包括高斯核和拉普拉斯核），我们的近似保留了误差$ε$内的核密度估计之间的$L_\infty$误差，具有核心集大小$2/ε^2$，但没有数据的其他方面，包括维度，点集的直径或其他近似所共有的核的带宽。当维度是不受限制的，我们表明这个界是紧的，这些内核以及一个更广泛的集。这项工作提供了一个仔细的分析迭代弗兰克-沃尔夫算法适应这种情况下，一种算法称为\emph{kernel herding}。该分析将涵盖统计学、机器学习和几何学的广泛工作结合在一起。当尺寸$d$是恒定的，我们证明了更严格的边界上的coreset的大小，特别是高斯内核，表明它是有界的轴对齐的矩形的coreset的大小。目前最著名的构造性界限是$O(\frac{1}ε \log^d \frac{1}ε)$，而非构造性界限可以通过$\sqrt{\log \frac{1}ε}$来改进。这改进了$d \geq 3$的多项式最佳恒定维数界限。
2017-10-11 cs.CG cs.LG stat.ML
Feature Space Sketching for Logistic Regression
Purdue University（普渡大学）
我们提出了新的边界coreset建设，特征选择，降维逻辑回归。所有这三种方法都可以被认为是对逻辑回归输入的粗略描述。在coreset建设方面，我们解决了开放的问题，从以前的工作，并提出了新的边界coreset建设方法的复杂性。在特征选择和降维方面，我们开始了逻辑回归的前向误差界的研究。我们的边界是紧的常数因子和我们的前向误差界可以扩展到广义线性模型。
2023-03-24 cs.LG stat.ML
Accurate and Scalable Stochastic Gaussian Process Regression via Learnable Coreset-based Variational Inference
Columbia University（哥伦比亚大学）；BCAM & Ikerbasque（BCAM与伊克尔巴斯克基金会）
提出基于可学习核心集变分推断的高斯过程回归方法CVGP，通过先验与似然定义后验，推导出适用于随机优化的变分下界，将参数搜索空间降至线性复杂度并确保数值稳定性。
2025-03-04 cs.LG stat.ML
New Coresets for Projective Clustering and Applications
University of Haifa（海法大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Carnegie Mellon University（卡内基梅隆大学）
$(j,k)$ -投影聚类是$k$ -聚类和$j$ -子空间聚类问题族的自然推广。给定$\mathbb{R}^d$中的一组点$P$，目标是找到尺寸为$j$的$k$平面，即，仿射子空间，在给定的距离测度下最适合$P$。在本文中，我们提出了第一个算法，返回一个$L_\infty$ coreset的大小多项式在$d$。此外，我们给出了一般$M$ -估计回归的第一个强核心集构造。具体来说，我们表明，我们的建设提供了有效的coreset建设柯西，Welsch，胡贝尔，Geman-McClure，Tukey，$L_1-L_2$，公平回归，以及一般的凹和功率有界的损失函数。最后，我们提供了基于真实世界数据集的实验结果，显示了我们的方法的有效性。
2022-03-08 cs.LG
Coreset selection can accelerate quantum machine learning models with provable generalization
Peking University（北京大学）；JD Explore Academy（京东探索研究院）
针对量子神经网络与量子核方法训练效率低、难适配大规模数据集的问题，提出核心集选择的统一加速方法，证明其泛化误差界与全量训练相当，且在多类量子机器学习任务中有效。
2023-12-12 cs.LG quant-ph
Determinantal Point Processes for Coresets
CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（GIPSA实验室）
当面对一个数据集太大而不能一次处理时，一个明显的解决方案是只保留其中的一部分。在实践中，这有各种各样的不同形式，其中“核心集”特别有吸引力。核心集是原始数据的（小）加权样本，具有以下保证：成本函数可以在较小的集合上而不是较大的集合上进行评估，具有较低的相对误差。对于某些类型的问题，通过仔细选择抽样分布（基于所谓的“敏感性”度量），iid随机抽样已经成为有效构建核心集的最成功的方法之一。然而，独立样本有时过于冗余，人们可能希望实施多样性会带来更好的性能。困难在于证明非iid样本的coreset性质。我们发现，coreset属性持有的样本形成的决定点过程（DPP）。DPP是有趣的，因为他们是一个罕见的例子，排斥点过程与听话的理论性质，使我们能够证明一般coreset定理。我们将我们的研究结果的k-均值和线性回归的问题，并给出了广泛的经验证据表明，小的额外的计算成本的DPP采样来优越的性能超过其iid对应。独立的利益，我们还提供了分析公式的灵敏度在线性回归和1-均值的情况下。
2020-01-06 cs.DS cs.LG stat.ML
Coresets for Multiple $\ell_p$ Regression
Carnegie Mellon University（卡内基梅隆大学）
本文针对多重 $\ell_p$ 回归问题，构造了大小与响应数 $m$ 无关的近乎紧确的核心集，并据此确定了近似 $\ell_p$ 欧几里得幂均值的均匀采样数以及 $\ell_p$ 子空间近似的行子集大小。
2024-06-04 cs.DS cs.LG stat.ML
Coresets via Bilevel Optimization for Continual Learning and Streaming
ETH Zurich（苏黎世联邦理工学院）
核心集是足够用于模型训练的小数据摘要。它们可以在线维护，从而能够在资源受限的情况下有效处理大型数据流。然而，现有的构造仅限于简单的模型，如k-means和logistic回归。在这项工作中，我们提出了一种新的coreset建设通过基数约束的双层优化。我们展示了我们的框架如何有效地为深度神经网络生成核心集，并展示了它在持续学习和流设置中的经验优势。
2020-10-22 cs.LG stat.ML
Coresets for Relational Data and The Applications
School of Data Science（数据科学学院）；School of Computer Science and Technology（计算机科学与技术学院）；University of Science and Technology of China（中国科学技术大学）
核心集是可以近似地保持原始输入数据集的结构的小集合。因此，我们可以在一个核心集上运行我们的算法，以减少总的计算复杂性。传统的coreset技术假定输入数据集可用于显式处理。然而，这种假设在现实世界中可能不成立。在本文中，我们考虑问题的coresets建设关系数据。也就是说，数据被解耦到几个关系表中，并且通过连接表来直接具体化数据矩阵可能非常昂贵。我们提出了一种新的方法，称为“聚合树与伪立方体”，可以建立一个核心集从下到上。此外，我们的方法可以巧妙地规避关系学习问题的几个麻烦问题[Khamis et al.，PODS 2019]。在一些温和的假设下，我们证明了我们的核心集方法可以应用于机器学习任务，如聚类，逻辑回归和SVM。
2022-10-09 cs.LG
Posterior Coreset Construction with Kernelized Stein Discrepancy for Model-Based Reinforcement Learning
University of Maryland（马里兰大学）；JP Morgan AI Research（摩根大通人工智能研究院）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
本研究提出一种基于核化Stein偏差的新型MBRL方法，放宽转移模型假设、通过贝叶斯核心集压缩后验以适配大规模训练，实现次线性贝叶斯遗憾，实验性能比肩前沿方法且最高可减50%运行时间。
2023-05-04 cs.LG math.OC stat.ML
Data Summarization via Bilevel Optimization
ETH Zurich（苏黎世联邦理工学院）；Google Research（谷歌研究院）
海量数据集的可用性不断提高，给机器学习带来了一系列挑战。其中最突出的是需要在硬件或人力资源限制下学习模型。在这种资源受限的环境中，一种简单而强大的方法是对数据的小子集进行操作。核心集是数据的加权子集，为优化目标提供近似保证。然而，现有的coreset构造是高度特定于模型的，并且限于简单的模型，例如线性回归、逻辑回归和$k$均值。在这项工作中，我们提出了一个通用的核心建设框架，制定核心选择基数约束的双层优化问题。与现有的方法相比，我们的框架不需要模型特定的适应，并适用于任何二次可微模型，包括神经网络。我们展示了我们的框架在各种环境下对各种模型的有效性，包括在线训练非凸模型和批量主动学习。
2021-09-26 cs.LG stat.ML
Gradient-Matching Coresets for Rehearsal-Based Continual Learning
Amazon Web Services（亚马逊云科技）
持续学习（CL）的目标是用新数据有效地更新机器学习模型，而不会忘记以前学习的知识。大多数广泛使用的CL方法依赖于数据点的排练记忆，以便在训练新数据时重复使用。策划这样一个排练记忆，以维护一个小的，信息丰富的子集，所有的数据，到目前为止，是至关重要的成功，这些方法。我们设计了一种基于排练的持续学习核心集选择方法。我们的方法是基于梯度匹配的思想：由核心集引起的梯度应该尽可能接近地匹配原始训练数据集引起的梯度。受神经切线核理论的启发，我们在模型的初始化分布上执行这种梯度匹配，使我们能够提取一个核心集，而无需首先训练模型。我们评估的方法在广泛的持续学习的情况下，并证明它提高了性能的排练为基础的CL方法相比，竞争存储管理策略，如水库采样。
2022-03-28 cs.LG
Coreset selection for the Sinkhorn divergence and generic smooth divergences
University of Washington（华盛顿大学）
该研究提出CO2算法，通过函数泰勒展开将通用光滑散度下的核心集选择转化为最大均值差异最小化，应用于Sinkhorn散度可实现多对数级采样点的近似保证，还揭示了核心集选择与经典统计方法的关联。
2025-05-20 cs.LG stat.ML
A Coreset Learning Reality Check
Booz Allen Hamilton（博思艾伦汉密尔顿公司）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；Laboratory for Physical Sciences（物理科学实验室）
子采样算法是在大规模数据集上拟合模型之前减少数据大小的自然方法。近年来，一些作品已经提出了从数据矩阵中对行进行二次采样的方法，同时保持用于分类的相关信息。虽然这些工作的理论和有限的实验支持，迄今为止还没有一个全面的评价这些方法。在我们的工作中，我们直接比较了多个方法的逻辑回归得出的coreset和最优子采样文献，并发现其有效性的不一致。在许多情况下，方法并不比简单的均匀子采样更好。
2023-01-15 cs.AI cs.LG stat.ML
State-of-art minibatches via novel DPP kernels: discretization, wavelets, and rough objectives
Univ. Lille, CNRS, Centrale Lille UMR 9189 – CRIStAL（里尔大学，CNRS，里尔中央大学 UMR 9189 – CRIStAL）
本文提出基于小波的新型DPP核，改进了mini-batch和coreset的精度保障，并引入方法将连续DPP转换为离散核，以适应子采样任务，同时保留方差衰减并揭示低秩分解。
2026-05-13 cs.LG math.PR stat.ML
Fair Multi-View Determinantal Coresets via Adaptive NEPv
Hong Kong Baptist University（香港浸会大学）；TadReamk Limited（TadReamk有限公司）
该研究针对多视图子集选择的公平性问题，提出基于自适应NEPv的公平多视图行列式核心集方法，推导自适应SCF求解器并通过实验验证，为商标管理等场景提供了多视图多样性选择方案。
2026-08-20 cs.LG stat.ML
Adaptive Second Order Coresets for Data-efficient Machine Learning
University of California, Los Angeles（加州大学洛杉矶分校）
在大规模数据集上训练机器学习模型会产生大量的计算成本。为了减轻这样的成本，一直在持续努力开发数据高效的训练方法，该方法可以仔细选择与完整训练数据同等地概括的训练样本的子集。然而，现有的方法是有限的，在提取的子集上训练的模型的质量提供理论保证，并可能在实践中表现不佳。我们提出了AdaCore，一种利用数据的几何形状来提取训练样本子集的方法，用于高效的机器学习。我们的方法背后的关键思想是动态近似的损失函数的曲率通过指数平均估计的海森选择加权子集（coresets），提供了一个密切的近似与海森预处理的全梯度。我们证明了严格的保证收敛的各种第一和第二阶的方法应用到AdaCore选择的子集。我们广泛的实验表明，与基线相比，AdaCore提取的核心集质量更高，并加快了凸和非凸机器学习模型（如逻辑回归和神经网络）的训练速度，在完整数据上超过2.9倍，在随机子集上超过4.5倍。
2022-07-28 cs.LG
Sublinear Time Quantum Sensitivity Sampling
University of California, Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出统一的量子敏感性采样框架，在k-中位数/k-均值聚类、ℓp回归和低秩近似等问题上构造核心集，实现了亚线性时间复杂度和对已有量子采样方法的改进。
2026-11-10 cs.DS cs.LG quant-ph
Data subsampling for Poisson regression with pth-root-link
TU Dortmund University（多特蒙德工业大学）
该研究针对带ID和平方根链接的泊松回归，提出基于新复杂度参数与域偏移的亚线性核心集方法，证明相关下界及参数依赖关系，并给出Lambert W0函数主分支的改进界。
2024-10-30 cs.DS cs.LG stat.ML
On Coresets for Regularized Loss Minimization
RelationalAI（RelationalAI公司）；UC Merced（加州大学默塞德分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
我们设计和数学分析基于采样的正则化损失最小化问题的算法，这些算法可以在流行的大数据计算模型中实现，其中对数据的访问以某种方式受到限制。我们的主要结果是，如果正则化的效果不成为可以忽略不计的规范的假设规模，并作为数据规模，那么一个均匀的样本适度的大小是具有高概率的coreset。在损失函数是逻辑回归或软边缘支持向量机的情况下，并且正则化器是常见的推荐选择之一，该结果意味着大小为$O(d \sqrt{n})$的均匀样本很有可能是$\Re^d$中$n$点的核心集。我们将这个上界与两个下界进行对比。第一个下界表明我们对均匀抽样的分析是严格的;也就是说，较小的均匀样本可能不是核心集。第二个下限表明，在某种意义上，均匀采样接近最佳，因为通常不存在明显较小的核心集。
2019-05-31 cs.LG stat.ML
Scalable Learning of Multivariate Distributions via Coresets
Lamarr Institute for ML & AI, TU Dortmund（拉马尔人工智能与机器学习研究所，多特蒙德技术大学）；Scientific Computing Center, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院科学计算中心）；Department of Statistics, TU Dortmund（多特蒙德技术大学统计学系）
本文提出一种新的聚类集构造方法，用于多变量条件变换模型，以提高其可扩展性和训练效率，通过重要性抽样实现数据缩减，确保对数似然在乘法误差范围内，适用于复杂分布和非线性关系的场景。
2026-03-20 cs.DS cs.LG stat.CO
Coresets for Data-efficient Training of Machine Learning Models
University of California, Los Angeles（加州大学洛杉矶分校）；University of Washington（华盛顿大学）；Stanford University（斯坦福大学）
增量梯度（IG）方法，如随机梯度下降及其变体，通常用于机器学习中的大规模优化。尽管持续的努力，使IG方法更有效的数据，它仍然是一个悬而未决的问题，如何选择一个训练数据子集，可以在理论上和实际上执行与完整的数据集。在这里，我们开发CRAIG，一种方法来选择一个加权子集（或核心集）的训练数据，密切估计全梯度最大化的子模块功能。我们证明，应用IG到这个子集是保证收敛到（近）最优解的收敛速度相同的IG凸优化。因此，CRAIG实现了与子集大小成反比的加速。据我们所知，这是第一个严格的方法，用于一般机器学习模型的数据有效训练。我们大量的实验表明，CRAIG在实现几乎相同的解决方案的同时，将各种IG方法的速度提高了6倍，用于逻辑回归，3倍用于训练深度神经网络。
2020-11-16 cs.AI cs.LG stat.ML
Efficient Dataset Distillation Using Random Feature Approximation
Computer Science and Artificial Intelligence Lab (CSAIL)（计算机科学与人工智能实验室）；Massachusetts Institute of Technology (MIT)（麻省理工学院）
数据集蒸馏将大型数据集压缩成较小的合成核心集，这些核心集保持性能，目的是减少处理整个数据集的存储和计算负担。当今性能最好的算法，\textit{Kernel Inducing Points}（KIP），它利用了无限宽神经网络和核岭回归之间的对应关系，由于神经切线核矩阵的精确计算，缩放$O(|S|^2)$，$|S|$是coreset大小，速度非常慢。为了改善这一点，我们提出了一种新的算法，使用随机特征近似（RFA）的神经网络高斯过程（NNGP）内核，这减少了内核矩阵计算$O(|S|)$。我们的算法提供了至少100倍的KIP加速，可以在一个单一的GPU上运行。我们的新方法称为RFA蒸馏（RFAD），在一系列大规模数据集上，无论是在核回归还是有限宽度网络训练中，其准确性都与KIP和其他数据集浓缩算法具有竞争力。我们证明了我们的方法在涉及模型可解释性和隐私保护的任务上的有效性。
2022-10-21 cs.AI cs.LG cs.NE
Tight Kernel Query Complexity of Kernel Ridge Regression and Kernel $k$-means Clustering
Carnegie Mellon University（卡内基梅隆大学）
我们提出了严格的下界的核评估所需的数量近似解决内核岭回归（KRR）和内核$k$ -均值聚类（KKMC）的$n$输入点。对于KRR，我们的相对误差逼近目标函数的最小值的界是$Ω(nd_{\mathrm{eff}}^λ/\varepsilon)$，其中$d_{\mathrm{eff}}^λ$是有效的统计维数，它紧到$\log(d_{\mathrm{eff}}^λ/\varepsilon)$因子。对于KKMC，我们找到一个$k$ -聚类实现目标函数的相对误差近似的界限是$Ω(nk/\varepsilon)$，这是紧到一个$\log(k/\varepsilon)$因素。我们的KRR结果解决了El Alaoui和Mahoney的一个开放问题的变体，即有效统计维度是否是抽样复杂性的下限。此外，对于重要的实际情况下，当输入是高斯的混合，我们提供了一个KKMC算法绕过上述下限。
2019-05-15 cs.DS cs.LG
The Space Complexity of Approximating Logistic Loss
LinkedIn Corporation（领英公司）；Purdue University（普渡大学）
本文研究 logistic 损失近似的数据结构空间下界，证明与 μ_y(X) 相关的两项下界并给出高效线性规划算法，说明现有 coreset 接近最优。
2024-12-03 cs.DS cs.LG
Scaling up Kernel Ridge Regression via Locality Sensitive Hashing
EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
在Rahimi和Recht（2007）的开创性论文中引入的随机分箱特征是使用局部敏感散列近似核矩阵的有效方法。随机分箱特征提供了一种非常简单和有效的近似拉普拉斯核的方法，但不幸的是，它不适用于许多重要的核类别，特别是那些生成平滑高斯过程的核，如高斯核和Matern核。在本文中，我们介绍了一个简单的加权版本的随机装箱功能，并表明相应的核函数生成高斯过程的任何期望的平滑度。我们表明，我们的加权随机分仓功能提供了一个频谱近似相应的内核矩阵，导致有效的算法内核岭回归。在大规模回归数据集上的实验表明，该方法的精度优于随机傅立叶特征方法。
2020-03-21 cs.DS cs.LG stat.ML
Learning the Kernel for Classification and Regression
Courant Institute of Mathematical Science, New York University（纽约大学库朗数学科学研究所）
我们研究了一系列的学习核问题的多项式组合的基础内核，这将有助于我们解决回归和分类问题。我们还在不同的数据集上进行了一些多项式核的回归和分类任务的数值实验。
2017-12-25 cs.LG
Multiple Kernel Clustering via Local Regression Integration
本文提出多核局部回归聚类方法CMKLR，通过构建并聚合各候选核的局部回归稀疏系数来刻画流形结构并提升鲁棒性，在基准数据集上优于10种现有多核聚类方法。
2024-10-20 cs.LG
An Identity for Kernel Ridge Regression
Computer Learning Research Centre（计算机学习研究中心）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
本文导出了岭回归的平方损失与最佳回归元损失之间的关系式。并得到了关于在线岭回归的累积损失性质的一些推论。
2011-12-06 cs.LG
Degeneration of kernel regression with Matern kernels into low-order polynomial regression in high dimension
School of Materials and Chemical Technology, Tokyo Institute of Technology（东京工业大学材料与化学技术学院）
本研究证明在高维稀疏数据下，Matern核回归的最优长度参数过大，导致其退化为低阶多项式回归，失去优势，并通过理论及分子PES数值实验验证，强调耦合阶模型或物理核的重要性。
2023-11-17 cs.LG physics.comp-ph
Stability of Multi-Task Kernel Regression Algorithms
Aix-Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）
在具有算子核的再生Hilbert空间中研究了非线性多任务回归的稳定性。这样的内核，也称为多任务内核适用于具有非标量输出的学习问题，如多任务学习和结构化输出预测。我们证明了多任务核回归算法在无限维输出空间的一般情况下是一致稳定的。然后，我们推导出在温和的假设下的核广义界的算法，我们证明了它们的一致性，甚至与非Hilbert-Schmidt算子值的内核。我们演示了如何将结果应用于各种多任务核回归方法，如向量值SVR和函数岭回归。
2013-06-17 cs.LG stat.ML
Randomized sketches for kernels: Fast and optimal non-parametric regression
University of California, Berkeley（加州大学伯克利分校）
核岭回归（KRR）是在再生核希尔伯特空间上执行非参数回归的标准方法。给定$n$样本，计算KRR估计尺度分别为$\mathcal{O}(n^3)$和$\mathcal{O}(n^2)$的时间和空间复杂度在许多情况下是禁止的。我们提出了基于$m$维随机草图的核矩阵的KRR近似，并研究了如何小的投影尺寸$m$可以选择，同时仍然保持极小极大最优的近似KRR估计。对于各类随机草图，包括那些基于高斯和随机Hadamard矩阵，我们证明，它足以选择草图尺寸$m$成比例的统计尺寸（模对数因子）。因此，我们得到快速和极小极大最佳逼近的KRR估计的非参数回归。
2015-01-25 cs.DS cs.LG stat.CO
Multi-kernel Regression For Graph Signal Processing
KTH Royal Institute of Technology（KTH皇家理工学院）
我们开发了一种基于多核的回归方法，用于图形信号处理，其中假设目标信号在图形上是平滑的。在多核回归中，一个有效的核函数被表示为多个基核函数的线性组合。我们估计的线性权重学习有效的核函数通过适当的正则化的基础上图的光滑性。我们表明，由此产生的优化问题被证明是凸的，并提出一个加速投影梯度下降为基础的解决方案。使用真实世界的图形信号的仿真结果表明基于多核的方法比基于标准核的方法的效率。
2018-03-12 cs.LG stat.ML
On Kernel Regression with Data-Dependent Kernels
UC Berkeley（加州大学伯克利分校）；Generally Intelligent（通用智能公司）
核回归（KR）中的主要超参数是核的选择。在KR的大多数理论研究中，人们假设在看到训练数据之前内核是固定的。在此假设下，已知最优核等于目标函数的先验协方差。在本说明中，我们考虑KR，其中内核可以在看到训练数据后更新。我们指出，在这种情况下，使用目标函数的后验核的类似选择是最佳的。将深度神经网络视为依赖于数据的内核学习器的观点的连接进行了讨论。
2022-09-26 cs.LG stat.ML
Stochastic Low-Rank Kernel Learning for Regression
CNRS（法国国家科学研究中心）；Aix-Marseille Université（艾克斯-马赛大学）；Université du Sud-Toulon-Var（南土伦瓦尔大学）
我们提出了一种新的方法来学习基于核的回归函数。它是基于useof圆锥组合的数据为基础的参数化内核和一个新的随机凸优化程序，我们建立收敛保证。整个学习过程具有良好的性质，a）学习的圆锥组合被自动设计为执行手头的回归任务，以及b）优化过程所涉及的更新非常便宜。为了阐明我们的学习策略的恰当性，我们提出了在各种基准数据集上进行实验的经验结果。
2012-01-11 cs.LG
Fair Kernel Regression via Fair Feature Embedding in Kernel Space
University of Wyoming（怀俄明大学）
近年来，人们在减轻机器学习方法中不道德的人口统计学偏见方面做出了重大努力。然而，对内核方法做的很少。本文提出了一种新的基于核空间公平特征嵌入的公平核回归方法（FKR-F $^2$ E）。受核空间中的特征选择和公平机器学习的特征处理的先前工作的启发，我们提出学习公平的特征嵌入函数，最大限度地减少核空间中特征分布的人口统计差异。与最先进的公平核回归方法和几种基线方法相比，我们表明FKR-F $^2$ E在三个真实数据集上实现了显着更低的预测差异。
2019-09-20 cs.LG stat.ML
Bayesian Kernel and Mutual $k$-Nearest Neighbor Regression
R2 Research（R2 研究公司）
我们提出了两种非参数回归方法的贝叶斯扩展，这两种方法是核回归方法和互$k$ -最近邻回归方法。基于高斯过程回归模型导出，扩展提供了目标值估计的分布和选择超参数的框架。结果表明，这两种方法分别渐近收敛于核回归方法和互$k$ -最近邻回归方法.仿真结果表明，所提出的方法可以选择合适的超参数，并优于或相当于人工数据集和真实世界数据集的前方法。
2016-08-04 cs.LG stat.ML
Kernel Regression with Sparse Metric Learning
East China Normal University（华东师范大学）
核回归是一种流行的非参数拟合技术。它旨在学习一个函数，该函数尽可能精确地估计测试输入的目标。通常，通过周围训练样本的加权平均来估计测试输入的函数值。权重通常由基于距离的核函数计算，并且它们强烈依赖于示例之间的距离。本文首先回顾了稀疏度量学习和核回归的最新进展。在此基础上，提出了一种新的基于稀疏度量学习的核回归方法--稀疏度量学习核回归（KR $\_$ SML）。通过对度量矩阵进行混合$(2,1)$范数正则化，建立稀疏核回归模型.它通过梯度下降过程学习马氏距离度量，可以同时进行降维，并导致良好的预测结果。我们的工作是第一个结合核回归与稀疏度量学习。为了验证所提出的方法的有效性，它是在19个数据集进行回归评估。并将该方法应用于短时交通流预测的实际问题中。最后，在两种准则下的所有测试数据集上，将该方法与其他三种相关的核回归方法进行了比较。实验结果表明，该方法具有更强的竞争力。
2017-12-25 cs.LG stat.ML
pGMM Kernel Regression and Comparisons with Boosted Trees
Baidu Research（百度研究院）
在这项工作中，我们证明了pGMM（“动力广义最小-最大”）内核的（岭）回归的背景下的优势。在最近的先前研究中，pGMM内核已被广泛评估用于分类任务，用于逻辑斯谛回归，支持向量机以及深度神经网络。本文对岭回归进行了实验研究，将pGMM核回归与普通岭线性回归以及RBF核岭回归进行了比较。也许令人惊讶的是，即使没有调谐参数（即，$p=1$用于pGMM内核的功率参数），pGMM内核已经表现良好。此外，通过调优参数$p$，这个（看似简单的）pGMM内核甚至对提升的树执行了相当大的改进。Boosting和Boosted树在机器学习实践中非常流行。对于回归任务，通常，从业者使用$L_2$ boost，即，用于最小化$L_2$损失。有时出于鲁棒性的目的，可能会选择$L_1$增强。在本研究中，我们为$p\geq 1$实现了$L_p$ boost，并将其包含在"Fast ABC-Boost“包中。也许还令人惊讶的是，最好的性能（在$L_2$回归损失方面）通常在$p>2$，在某些情况下在$p\gg 2$获得。Li等人（UAI 2010）已经在使用$L_p$距离的k-最近邻分类的背景下证明了这种现象。总之，$L_p$ boost的实现为从业者提供了额外的灵活性，可以调整boosting算法，从而在回归应用程序中实现更好的准确性。
2022-07-18 cs.LG stat.ML
Optimal $γ$ and $C$ for $ε$-Support Vector Regression with RBF Kernels
基于数值和统计学的考虑，研究了RBF核和马氏核支持向量回归机的$C$和$γ$的有效确定，揭示了$C$和核之间的联系，并证明了映射空间中相邻观测值几何距离的偏差影响$ε$ -SVR的预测精度.确定了$γ$和$C$的排列方式，并提出了选择最佳值的方法。
2015-06-12 cs.LG stat.ML
(Decision and regression) tree ensemble based kernels for regression and classification
AbbVie Inc.（艾伯维公司）；Merck & Co., Inc.（默沙东公司）
基于树的集成，例如Breiman的随机森林（RF）和梯度提升树（GBT）可以被解释为隐式内核生成器，其中随后的邻近矩阵表示数据驱动的树集成内核。RF的内核的角度来看，已被用来开发一个原则性的框架，其统计特性的理论研究。最近，它已被证明，内核的解释是密切相关的其他基于树的合奏，如GBT。然而，内核和树集成之间的联系的实际效用还没有得到广泛的探索和系统的评估。我们的工作重点是研究核方法和基于树的集成（包括RF和GBT）之间的相互作用。我们阐明的RF和GBT为基础的内核在一个全面的模拟研究，包括连续和二进制目标的性能和属性。我们表明，对于连续的目标，RF/GBT内核在高维场景中，特别是在具有大量噪声特征的情况下，与它们各自的合奏具有竞争力。对于二进制目标，RF/GBT内核及其各自的集成表现出相当的性能。我们提供了来自现实生活数据集的回归和分类结果，以展示如何在实践中利用这些见解。总体而言，我们的研究结果支持树集成为基础的内核作为一个有价值的除了从业者的工具箱。最后，我们讨论了基于树集成的生存目标，可解释的原型和地标分类和回归的内核的扩展。我们概述了未来的研究路线的内核提供的贝叶斯同行的频率论树合奏。
2020-12-19 cs.LG stat.ML
Graph Enhanced High Dimensional Kernel Regression
Rochester Institute of Technology（罗切斯特理工学院）；School of Mathematical Sciences（数学科学学院）
在本文中，内核回归的灵活性，多功能性和预测能力与现在大量可用的网络数据相结合，以创建具有更高预测性能的回归模型。从以前的工作具有广义线性模型建立在网络凝聚力数据的存在下，我们构建了一个内核化的扩展，捕捉微妙的非线性极高维空间，也产生更好的预测性能。对模拟和现实数据的无缝而实质性的适应性应用证明了我们工作的吸引力和力量。
2020-11-03 cs.LG stat.ML
Extrinsic Kernel Ridge Regression Classifier for Planar Kendall Shape Space
Florida State University（佛罗里达州立大学）
核方法在统计学和机器学习中取得了巨大的成功。尽管他们越来越受欢迎，但是，较少的努力已经提请对发展核分类方法的黎曼流形由于难以处理非欧几里德几何。本文在流形值数据分析的外部框架下，提出了一种新的平面Kendall形空间$Σ_2^k$上的正定核，称为外部Veronese Whitney Gaussian核.我们表明，我们的方法可以扩展到任何嵌入式流形上开发高斯核。在此基础上，实现了核岭回归分类器（KRRC）来解决$Σ_2^k$的形状分类问题，并通过实际数据分析验证了其良好的性能。
2020-10-01 cs.LG stat.ML
Kernel Logistic Regression Learning for High-Capacity Hopfield Networks
针对赫布学习下Hopfield网络存储容量低的问题，提出核逻辑回归学习方法，通过核映射高维空间与对偶变量学习，大幅提升存储容量与噪声鲁棒性，性能优于赫布学习和线性逻辑回归。
2025-06-13 cs.LG cs.NE
Nonparametric regression using needlet kernels for spherical data
Wenzhou University（温州大学）
针状体由于其在空间域和频域上的优良局部化特性，已被公认为是处理球形数据的最先进的工具。本文考虑发展核方法与needlet核的非参数回归问题的预测变量定义在一个球体上。由于在频域中的局部化性质，我们证明了与针状核相关的核岭回归的正则化参数可以任意快速地减小。一个自然的结果是核岭回归的正则化项在速率最优性的意义上是不必要的。基于其在空间域上的优良局部化性质，我们还证明了所有与needlet核相关的$l^{q}$ $(01\leq q < \infty)$核正则化估计，包括核lasso估计和核桥估计，在速率最优意义下，对大范围的正则化参数具有几乎相同的推广能力.这一发现初步表明，如果针内核被利用，那么选择$q$可能不会有很大的影响，在某些建模环境中的泛化能力。从这个角度来看，$q$可以被任意指定，或者仅由其他非泛化标准（如平滑度、计算复杂性、稀疏性等）指定。
2015-09-10 cs.LG stat.ML
$L_1$-norm Regularized Indefinite Kernel Logistic Regression
School of Statistics and Data Science, Qufu Normal University（统计与数据科学学院，曲阜师范大学）；Dongfang College, ShanDong University of Finance and Economics（东方学院，山东财经大学）
核逻辑斯谛回归（KLR）是一种功能强大的分类方法，广泛应用于不同的领域。在许多现实世界的场景中，不定核比正定核捕获更多的特定于域的结构信息。提出了一种新的$L_1$ -范数正则化不定核逻辑斯谛回归（RIKLR）模型，该模型通过引入$L_1$ -范数惩罚函数来扩展已有的IKLR框架.这种正则化的引入增强了可解释性和推广性，同时将非光滑性和非凸性引入优化领域。为了解决这些挑战，理论上接地和计算效率的近端线性化算法的开发。在多个基准数据集上的实验结果表明，该方法在准确性和稀疏性方面都具有优异的性能。
2025-10-30 cs.LG stat.ML
A Comparative Study of Pairwise Learning Methods based on Kernel Ridge Regression
Ghent University（根特大学）；University of Turku（图尔库大学）
许多机器学习问题可以公式化为一对对象的预测标签。这类问题通常被称为成对学习、二元预测或网络推理问题。在过去的十年中，核方法在成对学习中发挥了主导作用。它们仍然获得了最先进的预测性能，但在机器学习文献中对其行为的理论分析还不够深入。在这项工作中，我们审查和统一现有的基于内核的算法，通常用于不同的成对学习设置，从矩阵过滤到zero-shot学习。为此，我们专注于克罗内克核岭回归的封闭形式的有效实例。我们发现，独立的任务内核岭回归，两步内核岭回归和线性矩阵滤波器自然出现的Kronecker内核岭回归的特殊情况下，这意味着所有这些方法隐式地最小化平方损失。此外，我们分析了普适性，一致性和光谱滤波性质。我们的理论结果提供了有价值的见解，在评估现有的成对学习方法的优点和局限性。
2018-03-05 cs.LG stat.ML
