Fast Kernel k-means Clustering Using Incomplete Cholesky Factorization
Zhengzhou University（郑州大学）；Xidian University（西安电子科技大学）
基于核的聚类算法可以识别和捕捉数据集中的非线性结构，从而可以获得比线性聚类更好的性能。然而，计算和存储整个核矩阵占用大量内存，这是基于核的聚类很难处理大规模的数据集。在本文中，我们采用不完全Cholesky分解加速核聚类和节省内存空间。提出的核$k$ -均值聚类的核心思想是，我们近似的低秩矩阵和转置的产品的整个核矩阵使用不完全Cholesky分解。然后将线性$k$均值聚类应用于低秩矩阵的转置的列。我们分析和经验表明，该算法的性能是类似的内核$k$均值聚类算法，但我们的方法可以处理大规模的数据集。
2020-02-07 cs.LG stat.ML
HI-PMK: A Data-Dependent Kernel for Incomplete Heterogeneous Data Representation
针对现实机器学习中不完全异构数据处理的难题，提出无需插补的HI-PMK核方法，通过概率质量相异性度量和MaxU缺失感知策略适配多类特征与全部缺失机制，在15+基准数据集上性能优于传统方法，且具隐私保护和可扩展性。
2025-07-29 cs.LG
Index Set Fourier Series Features for Approximating Multi-dimensional Periodic Kernels
School of Information Technologies, The University of Sydney（悉尼大学信息技术学院）；The University of Sydney（悉尼大学）
周期性经常在时间序列建模中使用自回归方法进行研究，但在内核文献中不太受欢迎，特别是对于更高维的问题，如纹理，晶体学和量子力学。大型数据集通常使得建模周期性对于其他强大的非参数方法（如高斯过程（GP））来说是站不住脚的，高斯过程（GP）通常会产生$\mathcal{O}(N^3)$计算负担，因此无法扩展到更大的数据集。为此，我们引入了一种称为\emph{Index Set Fourier Series Features}的方法，可追溯地利用多元傅立叶级数，并有效地将高维数据的周期核分解成一系列的基函数。我们表明，我们的近似产生显着更少的预测误差比替代方法，如基于随机傅立叶特征，并实现更好的概括与周期性数据的回归问题。
2018-05-14 cs.LG stat.ML
Approximating Sparse PCA from Incomplete Data
Rensselaer Polytechnic Institute（伦斯勒理工学院）
研究如何利用少量数据元素形成的草图恢复数据矩阵的稀疏主成分，证明草图接近原矩阵时可获得近优解，提出稀疏PCA算法并展示其在多领域数据上的有效性，提升运行效率。
2015-03-12 cs.IT cs.LG cs.NA
A general technique for approximating high-dimensional empirical kernel matrices
School of Electrical and Computer Engineering, Georgia Institute of Technology（电气与计算机工程学院，佐治亚理工学院）；School of Industrial & Systems Engineering, Georgia Institute of Technology（工业与系统工程学院，佐治亚理工学院）
本文提出一种基于U-统计量解耦和非交换Khintchine不等式的通用技术，用于逼近高维经验核矩阵的期望算子范数，并给出内积核矩阵的更紧逼近及核回归偏差下界。
2025-11-05 cs.LG stat.ML
Don't Get Your Kroneckers in a Twist: Gaussian Processes on High-Dimensional Incomplete Grids
Department of Chemistry（化学系）；Aarhus University（奥胡斯大学）；School of Mathematical Sciences（数学科学学院）；Lancaster University（兰卡斯特大学）
CUTS-GPR通过快速核矩阵-向量乘法实现高维高斯过程回归，展现线性或近线性可扩展性，用于高维势能面的贝叶斯建模。
2026-10-09 cs.LG
Time series cluster kernels to exploit informative missingness and incomplete label information
UiT The Arctic University of Norway（挪威北极大学）；University Hospital of North Norway（北挪威大学医院）；Universidad Rey Juan Carlos（胡安·卡洛斯国王大学）
时间序列聚类核（TCK）为分析具有缺失数据的多元时间序列提供了一个强有力的工具。TCK是使用集成学习方法设计的，其中贝叶斯混合模型形成基础模型。由于贝叶斯方法，TCK可以自然地处理缺失值，而无需诉诸于插补，并且集成策略确保了对超参数的鲁棒性，使其特别适合于无监督学习。然而，TCK假设随机缺失，并且潜在的缺失机制是可验证的，即无信息的，这一假设在许多现实世界的应用中不成立，例如医学。为了克服这一限制，我们提出了一个内核，能够利用潜在的丰富信息的缺失值和模式，以及从观察到的数据的信息。在我们的方法中，我们创建了一个表示的缺失模式，这是纳入混合模式的混合模型，以这样一种方式，由缺失模式提供的信息被有效地利用。此外，我们还提出了一个半监督核，能够利用不完整的标签信息来学习更准确的相似性。基准数据上的实验，以及纵向电子健康记录数据所描述的可能患有医院获得性感染的患者的真实案例研究，证明了所提出的方法的有效性。
2019-07-10 cs.LG stat.ML
Scaling up Kernel Ridge Regression via Locality Sensitive Hashing
EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）；Google Research（谷歌研究院）
在Rahimi和Recht（2007）的开创性论文中引入的随机分箱特征是使用局部敏感散列近似核矩阵的有效方法。随机分箱特征提供了一种非常简单和有效的近似拉普拉斯核的方法，但不幸的是，它不适用于许多重要的核类别，特别是那些生成平滑高斯过程的核，如高斯核和Matern核。在本文中，我们介绍了一个简单的加权版本的随机装箱功能，并表明相应的核函数生成高斯过程的任何期望的平滑度。我们表明，我们的加权随机分仓功能提供了一个频谱近似相应的内核矩阵，导致有效的算法内核岭回归。在大规模回归数据集上的实验表明，该方法的精度优于随机傅立叶特征方法。
2020-03-21 cs.DS cs.LG stat.ML
Random Projections through multiple optical scattering: Approximating kernels at the speed of light
Laboratoire de Physique Statistique, CNRS UMR 8550 & École Normale Supérieure（统计物理实验室，CNRS UMR 8550 & 巴黎高等师范学院）；Institut Langevin, ESPCI and CNRS UMR 7587（朗之万研究所，ESPCI 与 CNRS UMR 7587）；Paris Diderot University, Sorbonne Paris Cité（巴黎狄德罗大学，索邦巴黎西岱）；ENSTA Bretagne and Lab-STICC UMR 6285（ENSTA 布列塔尼与 Lab-STICC UMR 6285）；Laboratoire Kastler Brossel, CNRS UMR 8552 & École Normale Supérieure（卡斯特勒-布罗塞尔实验室，CNRS UMR 8552 & 巴黎高等师范学院）；Sorbonne Universités, Université Pierre et Marie Curie Paris 06（索邦大学群，皮埃尔和玛丽·居里大学（巴黎第六大学））；PSL Research University（巴黎文理研究大学）
随机投影已被证明在许多信号处理和机器学习应用中非常有用。然而，它们通常需要存储非常大的随机矩阵，或者使用不同的结构化矩阵以减少计算和存储成本。在这里，我们通过提出一种模拟光学设备来克服这个困难，该设备可以以光速执行随机投影，而无需在存储器中存储任何矩阵。这是利用随机介质中相干光的多重相干散射的物理特性实现的。我们使用这个设备上的一个简单的任务与内核机器的分类，我们表明，在MNIST数据库，实验结果密切匹配的理论性能相应的内核。这个框架可以帮助使内核方法适用于具有大型训练集和/或需要实时预测的应用程序。我们讨论了可能的扩展的方法在一类内核，速度，内存消耗和不同的问题。
2015-10-25 cs.ET cs.LG physics.optics
Efficient Aggregated Kernel Tests using Incomplete $U$-statistics
Centre for Artificial Intelligence（人工智能中心）；Gatsby Computational Neuroscience Unit（盖茨比计算神经科学研究组）；University College London（伦敦大学学院）；Inria London（法国国家信息与自动化研究所伦敦分部）；Yonsei University（延世大学）
我们提出了一系列计算效率高的非参数检验的两个样本，独立性和拟合优度的问题，分别使用最大均值离散（MMD），希尔伯特施密特独立准则（HSIC），核斯坦离散（KSD）。我们的检验统计量是不完全的$U$ -统计量，与经典的$U$ -统计量测试相关的计算成本，在样本数的线性时间和二次时间之间插值。这三个建议的测试聚合在几个内核带宽检测偏离空在各种规模上：我们呼吁由此产生的测试MMDAggInc，HSICAggInc和KSDAggInc。这个过程提供了一个解决方案的基本内核选择问题，因为我们可以聚合大量的内核与几个带宽，而不会导致显着损失的测试功率。对于测试阈值，我们推导出一个分位数界野生自举不完全$U$统计，这是独立的利益。我们推导出非渐近均匀分离率MMDAggInc和HSICAAggInc，并精确量化计算效率和可达到的速率之间的权衡：这一结果是新的不完整的$U$统计的基础上进行测试，据我们所知。我们进一步表明，在二次时间的情况下，野生引导不会招致惩罚，以测试功率更广泛的基于置换的方法，因为两者都达到相同的最小最大最优速率（这反过来又匹配的速率，使用甲骨文分位数）。我们支持我们的主张与数值实验之间的权衡计算效率和测试功率。在所有三个测试框架中，我们提出的测试的线性时间版本至少执行以及当前的线性时间最先进的测试。
2023-01-26 cs.LG math.ST stat.ME
Parametric Models for Mutual Kernel Matrix Completion
Graduate School of Science and Technology, Gunma University（群马大学科学技术研究生院）
最近的研究利用多核学习来处理不完全数据问题。在这项研究中，我们引入了新的方法，不仅完成多个不完整的内核矩阵同时，但也允许通过参数化的模型矩阵的灵活性的控制。通过对模型协方差施加限制，避免了数据的过拟合。通过目标函数的优化完成的核矩阵估计的限制是不能保证结果的正定性。鉴于这一限制，我们提出的方法采用LogDet发散，这确保了所得到的推断核矩阵的正定性。我们的经验表明，我们提出的限制协方差模型，采用LogDet发散，产生显着的改进，以前的完成方法的泛化性能。
2018-04-17 cs.LG stat.ML
Making Look-Ahead Active Learning Strategies Feasible with Neural Tangent Kernels
University of British Columbia（不列颠哥伦比亚大学）；UBC（不列颠哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
我们提出了一种新的方法来近似主动学习的采集策略，这些策略是基于假设标记的候选数据点的再训练。虽然这在深度网络中通常是不可行的，但我们使用神经切核来近似再训练的结果，并证明这种近似即使在主动学习设置中也是渐进的-近似“前瞻”选择标准，所需的计算量要少得多。这也使我们能够进行顺序主动学习，即在流机制中更新模型，而无需在添加每个新数据点后使用SGD重新训练模型。此外，我们的查询策略，它更好地理解模型的预测将如何通过添加新的数据点与标准（“近视”）标准相比，大幅击败其他前瞻策略，并实现了与基于池的主动学习中的几个基准数据集上的最新方法相比相同或更好的性能。
2022-06-25 cs.LG stat.ML
Safe and High-Performance Learning of Model Predicitve Control using Kernel-Based Interpolation
Control and Cyber-Physical Systems Laboratory, Technical University of Darmstadt（控制与网络物理系统实验室，德意志技术大学）
本文提出基于核插值的安全高效模型预测控制近似方法，通过评分函数筛选数据和限制闭环可达状态集降低复杂度，并利用蒙特卡洛可达性分析保证安全与性能。
2025-07-21 cs.LG cs.SY eess.SY
Super-Samples from Kernel Herding
Department of Computer Science（计算机科学系）；Yahoo! Research（雅虎研究院）；University of California, Irvine（加州大学欧文分校）
利用核技巧将羊群算法推广到连续空间。由此产生的“内核羊群”算法是一个无限内存的确定性过程，学习近似PDF与样本的集合。我们表明，核羊群减少的期望在希尔伯特空间中的函数的错误率O（1/T），这是比通常的O（1/pT）iid随机样本快得多。我们说明内核羊群近似贝叶斯预测分布。
2012-03-15 cs.LG stat.ML
Fast Newton method solving KLR based on Multilevel Circulant Matrix with log-linear complexity
Xidian University（西安电子科技大学）
核逻辑回归（KLR）是机器学习中常用的非线性分类器。随着数据量的爆炸式增长，大型稠密核矩阵的存储和计算是扩展KLR的主要挑战。即使采用Nyström近似求解KLR，也面临着$O(nc^2)$的时间复杂度和$O(nc)$的空间复杂度，其中$n$是训练实例的数量，$c$是采样大小。本文利用多级循环矩阵的存储和计算优势，提出了一种快速牛顿法，有效地求解大规模KLR问题。具体地，通过用MCM近似核矩阵，存储空间减少到$O(n)$，并且进一步将牛顿方程的系数矩阵近似为MCM，牛顿迭代的计算复杂性减少到$O(n \log n)$。由于MCM（或其逆）与向量的乘法可以用多维快速傅立叶变换（mFFT）实现，因此该方法的每次迭代时间复杂度为对数线性。对一些大规模二分类和多分类问题的实验结果表明，该方法使KLR能够在不牺牲测试准确性的情况下以更少的内存消耗和更少的训练时间扩展到大规模问题。
2022-07-28 cs.LG
Privacy-Preserved Big Data Analysis Based on Asymmetric Imputation Kernels and Multiside Similarities
School of Information Technology, Monash University（莫纳什大学信息技术学院）
本文提出了一种有效的不完全数据分类方法，其中样本的条目由于隐私保护而丢失或被掩盖。为了处理这些不完全的数据，一个新的核函数与非对称的内在映射的建议。这种新的核使用三边相似性来形成核矩阵。测试实例和训练样本之间的相似性不仅依赖于它们之间的距离，而且依赖于测试样本和训练样本所属的类的质心之间的关系。这减少了有偏估计相比，典型的方法，当只有一个训练样本用于核矩阵的形成。此外，质心生成不涉及任何聚类算法。建议的内核是能够通过使用类相关的平均值进行数据填补。这增强了Fisher判别比和数据的可辨别性。在两个开放数据库上进行了实验，以评估所提出的方法。结果表明，该方法的精度高于基线。这些研究结果证明了拟议构想的有效性。
2016-11-21 cs.CR cs.LG
Revisiting Initializing Then Refining: An Incomplete and Missing Graph Imputation Network
National University of Defense Technology（国防科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）；Hainan University（海南大学）；Hainan blockchain technology engineering research center（海南区块链技术工程研究中心）
随着社交网络和知识图谱等各种应用的发展，图数据在现实世界中已经无处不在。不幸的是，在数据汇集过程中，由于隐私保护政策或版权限制，图通常会缺失。图形数据缺失大致可以分为属性不完整和属性缺失两种情况。具体地，属性不完整表示所有节点的部分属性向量不完整，而属性缺失表示部分节点的全部属性向量缺失。虽然已经投入了许多努力，但没有一个是针对同时存在两种类型的图形数据缺失的常见情况定制设计的。为了填补这一空白，我们开发了一种新的网络，称为重新初始化，然后细化（RITR），在那里我们完成属性不完整和属性缺失的样本的指导下，一个新的初始化，然后细化插补标准。具体来说，对于属性不完备样本，首先在网络学习前使用高斯噪声对不完备属性进行初始化，然后引入结构-属性一致性约束，通过将结构-属性相关矩阵近似为高阶结构矩阵来细化不完备值.为了完成属性缺失样本，首先采用属性缺失样本的结构嵌入作为嵌入初始值，然后根据一个动态的亲和度结构自适应地聚合属性缺失样本的可靠信息，对这些初始值进行细化.据我们所知，这种新设计的方法是第一个致力于处理混合缺失图的无监督框架。在四个数据集上进行的大量实验已经证实，我们的方法始终优于现有的最先进的竞争对手。
2023-02-15 cs.AI cs.LG
Quantization Algorithms for Random Fourier Features
Rutgers University（罗格斯大学）；Baidu Research（百度研究院）
随机投影（RP）方法是机器学习和许多其他领域的标准技术，用于降维，近似近邻搜索，压缩感知等。基本上，RP提供了一个简单而有效的方案，用于近似大量数据中的成对内积和欧氏距离。与RP密切相关的随机傅立叶特征（RFF）方法也变得流行，用于近似高斯核。RFF对来自随机投影的投影数据应用特定的非线性变换。在实践中，使用（非线性）高斯核通常会导致比线性核（内积）更好的性能，部分原因是由于高斯核中引入的调谐参数$(γ)$。近年来，人们对RFF的研究兴趣大增。在随机投影之后，量化是有效数据存储、计算和传输的重要步骤。RP的量化在文献中也得到了广泛的研究。在本文中，我们专注于开发RFF的量化算法。由于高斯核中的调谐参数$γ$，该任务在某种意义上是具有挑战性的。例如，量化器和量化数据可以与每个特定的调谐参数$γ$相关联。我们的贡献始于一个有趣的发现，即RFF的边缘分布实际上是免费的高斯核参数$γ$。这个小的发现显著地简化了用于RFF的最大（LM）量化方案的设计，因为对于RFF将只有一个LM量化器（不管$γ$）。我们还开发了一个名为LM $^2$ -RFF量化器的变体，在某些情况下更准确。实验结果表明，所提出的量化方案性能良好。
2021-02-25 cs.LG stat.ML
Orthogonal Discrepancy Kernels for Learning with Partial Physics
IISER Pune, India（印度班加罗尔印度理工学院）；University of Sheffield, UK（英国谢菲尔德大学）；University of Glasgow, UK（英国格拉斯哥大学）
提出半参数框架，通过正交高斯过程回归解耦差异函数与物理组件，实现稀疏参数选择和差异学习平衡，从不完整物理中构建可解释模型。
2026-07-03 cs.LG eess.SP stat.ML
Learning Landmark-Based Ensembles with Random Fourier Features and Gradient Boosting
CNRS（法国国家科学研究中心）；Inria Lille - Nord Europe（法国里尔-北欧数字科学研究所）
我们提出了一种梯度提升算法，用于学习适应手头任务的核函数集合。与使用预先计算的核函数字典进行选择的最先进的多核学习技术不同，在每次迭代中，我们通过将其近似为随机傅立叶特征（RFF）的加权和并通过优化其重心来拟合内核。这使我们能够获得更通用的方法，更容易设置，并且可能具有更好的性能。我们的研究建立在最近的结果表明，可以学习一个内核RFF通过计算最小的PAC贝叶斯约束的内核对齐泛化损失，这是有效地从一个封闭的形式的解决方案。我们进行了实验分析，以突出我们的方法w.r.t.基于Boosting和内核学习的最先进的方法。
2019-06-14 cs.LG stat.ML
Fast Sketching of Polynomial Kernels of Polynomial Degree
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Carnegie Mellon University（卡内基梅隆大学）
核方法是机器学习的基础，更快的核近似算法为机器学习中的许多核心任务提供了直接的加速。多项式核特别重要，因为其他核通常可以通过泰勒级数展开由多项式核近似。不经意草图绘制中的最新技术将运行时间对多项式核的次数$q$的依赖性从指数降低到多项式，这对于高斯核是有用的，对于高斯核，$q$可以被选择为是多对数的。然而，对于更缓慢增长的内核，如神经正切和反余弦内核，$q$需要是多项式的，以前的工作会导致运行时间的多项式因子减慢。我们给出了一个新的不经意的草图，大大提高了这个运行时间，通过消除对$q$的依赖，在领先的顺序项。结合一种新的采样方案，我们给出了最快的算法来近似一个大家庭的缓慢增长的内核。
2021-08-21 cs.DS cs.LG stat.ML
Variance-Reducing Couplings for Random Features
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）；Columbia（哥伦比亚大学）；Alan Turing Institute（阿兰·图灵研究所）
本文通过最优传输视角研究随机特征的方差缩减问题，提出适用于欧几里得和离散输入空间的耦合方法，并揭示了方差缩减在高效Transformer注意力估计中的局限性。
2024-10-02 cs.LG stat.ML
Adversarial Optimal Transport Through The Convolution Of Kernels With Evolving Measures
New York University（纽约大学）
提出了一种新的算法来解决基于样本的最优传输问题。前推条件的对抗公式使用测试函数，该测试函数被构建为自适应内核与潜在变量$b$上的演进概率分布$ν$之间的卷积。通过在$ν$的演化样本$b^i(t)$上的模拟来近似该卷积，测试函数的参数化简化为确定这些样本的流。这个流，离散的离散时间步长$t_n$，是建立在基本地图的组成。最优运输也遵循一个流，通过对偶，必须遵循测试函数的梯度。将测试函数表示为分布的蒙特卡罗模拟使得算法对维数具有鲁棒性，并且其在无记忆流下的演化从简单的参数变换产生丰富的复杂映射。最后用数值例子说明了该算法。
2020-06-09 cs.LG stat.ML
Learning "best" kernels from data in Gaussian process regression. With application to aerodynamics
ONERA–The French Aerospace Lab（法国航空航天实验室（ONERA））；California Institute of Technology（加州理工学院）
介绍了高斯过程回归/克里格替代建模技术中核函数的选择和设计算法。我们采用核方法在特定的函数空间，即再生核希尔伯特空间（RKHS）中设置解，来解决给定观测值的正则目标函数的逼近问题，即监督学习。第一类算法是核流，其在机器学习中的分类的上下文中被引入。它可以被看作是一个交叉验证过程，其中一个“最好的”内核被选择，使得删除数据集的一部分（通常是一半）所带来的准确性损失最小化。第二类算法被称为谱核岭回归，其目的是选择“最佳”核，使得要近似的函数的范数在相关联的RKHS中是最小的。在默瑟定理的框架内，我们得到了一个明确的建设，“最好的”内核的主要功能的目标函数。这两种方法的学习核数据的合成测试功能的数值例子说明，并在一个经典的测试情况下，跨音速流动的二维翼型的湍流模型验证。
2022-08-31 cs.LG stat.ML
Data Dependent Kernel Approximation using Pseudo Random Fourier Features
IRISA, Univ. Bretagne-Sud（布列塔尼南方大学 IRISA）；ETIS UMR 8051, Univ. Paris Seine, Univ. Cergy-Pontoise, ENSEA, CNRS（ETIS UMR 8051，巴黎塞纳大学，塞尔吉-蓬图瓦兹大学，ENSEA，法国国家科学研究中心）
核方法是解决机器学习中许多问题的一种有效而灵活的方法。由于核方法中的两两评估，核计算的复杂性随着数据大小的增加而增加，因此核方法的适用性有限，对于大规模数据集。随机傅立叶特征（RFF）通过使用随机傅立叶特征来近似核函数，从而扩展了用于求解大规模数据集的核方法。虽然这种方法被证明是非常流行的，但它仍然存在不足，以有效地使用。由于RFF从独立于训练数据的分布中对随机化特征进行采样，因此它需要足够大数量的特征扩展以具有与核化分类器相似的性能，并且这与数据集中的样本数量成比例。因此，减少特征维度的数量对于有效地扩展到大型数据集是必要的。在本文中，我们提出了一种核近似方法，在一个数据依赖的方式，被称为伪随机傅立叶特征（PRFF）的特征维数减少，也提高了预测性能。在分类和回归问题上对该方法进行了评估，并与RFF、正交随机特征和Nystr{<$}m方法进行了比较
2017-11-27 cs.LG stat.ML
Fast Kernel Density Estimation with Density Matrices and Random Fourier Features
MindLab（思维实验室）；Universidad Nacional de Colombia（哥伦比亚国立大学）
核密度估计（KDE）是一种应用最广泛的非参数密度估计方法。事实上，它是一种基于内存的方法，即，它使用整个训练数据集进行预测，这使得它不适合当前大多数大数据应用。一些策略，如基于树或基于散列的估计，已被提出来提高核密度估计方法的效率。新的密度核密度估计方法（DMKDE）使用密度矩阵，量子力学的形式主义，和随机傅立叶特征，显式核近似，以产生密度估计。这种方法起源于KDE，可以被认为是一种近似方法，没有基于内存的限制。在本文中，我们系统地评估了新的DMKDE算法，并将其与其他国家的最先进的快速程序近似的核密度估计方法在不同的合成数据集。我们的实验结果表明，DMKDE与其竞争对手的计算密度估计和优势时，高维数据进行。我们已经将所有代码作为开源软件库提供。
2022-08-04 cs.LG quant-ph
Mutual Kernel Matrix Completion
Gunma University（群马大学）；Ochanomizu University（御茶水女子大学）
本文提出互核矩阵补全算法，通过融合数据与核矩阵补全方法，提升生物数据分类任务中缺失核矩阵的补全效果。
2017-05-10 cs.LG cs.NA math.NA
Multi-Linear Kernel Regression and Imputation in Data Manifolds
Tokyo Institute of Technology（东京工业大学）
本文提出一种用于数据回归与插补的高效多线性非参数近似框架，通过地标点和线性近似块在再生核 Hilbert 空间中建模流形几何，无需训练数据即可降维并提取模式，在动态磁共振成像实验中显著提升了效率与精度。
2023-04-06 cs.LG eess.IV eess.SP
A Weighted Kernel Method for Approximation that Adapts to Learned Multivariable Structure
Emory University（埃默里大学）；Simon Fraser University（西蒙弗雷泽大学）
本文提出总敏感性核（TSKs）方法，通过加权ANOVA核族学习多变量结构，在RKHS中最小化范数以确定权重，从而提升黑箱函数逼近精度。
2026-09-28 cs.LG cs.NA math.NA
Scaling-up Empirical Risk Minimization: Optimization of Incomplete U-statistics
LTCI, CNRS, Télécom ParisTech, Université Paris-Saclay（巴黎萨克雷大学巴黎高等电信学院法国国家科学研究中心信息与通信技术实验室）；INRIA Lille – Nord Europe（法国国家信息与自动化研究所里尔-北欧中心）
在诸如排名、聚类或度量学习等广泛的统计学习问题中，通过$U$（程度$d\geq 1$的统计）来准确地估计风险，即具有低方差的训练数据的泛函，其采取$k$元组上的平均值的形式。从计算的角度来看，即使对于中等样本量的$n$，这种统计量的计算也是非常昂贵的，因为它需要对$O(n^d)$项进行平均。这使得依赖于这种数据泛函的优化的学习过程在实践中几乎不可行。这是本文的主要目标，以显示，引人注目的是，这种经验风险可以被替换为大大计算简单的蒙特卡罗估计的基础上$O(n)$条款，通常被称为不完全$U$ -统计，不损害$O_{\mathbb{P}}(1/\sqrt{n})$学习率的经验风险最小化（ERM）程序。为了这个目的，我们建立一致的偏差结果描述的错误时，近似的$U$过程的不完整版本下适当的复杂性假设。扩展到模型选择，快速的情况下，各种采样技术，以及应用随机梯度下降的ERM。最后，数值例子显示，以提供强有力的经验证据表明，我们提倡的方法在很大程度上超过了更天真的子采样技术。
2016-04-19 cs.AI cs.LG stat.ML
Efficient Nonlinear RX Anomaly Detectors
当前的异常检测算法通常受到准确性或效率的挑战。更精确的非线性检测器通常速度慢且不可扩展。在这封信中，我们提出了两个家庭的技术，以提高效率的标准核Reed-Xiaoli（RX）的方法进行异常检测，通过近似核函数与{ \em数据无关}随机傅立叶特征或{ \em数据相关}的基础与Nyström方法。我们比较所有的方法，真正的多光谱和高光谱图像。我们表明，所提出的高效方法具有较低的计算成本，由于其隐式正则化效应，它们的性能与标准内核RX算法相似（或优于标准内核RX算法）。最后但并非最不重要的是，Nyström方法具有改进的检测能力。
2020-12-07 cs.CV cs.LG eess.IV
Efficient online learning with kernels for adversarial large scale problems
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们感兴趣的是一个在线学习的框架，该框架具有低维但大规模和潜在的对抗性数据集的内核。我们研究核岭回归的在线变化的计算和理论性能。尽管它的简单性，我们研究的算法是第一个实现最佳遗憾的广泛的内核，每轮复杂度为$n^α$与$α< 2$。我们考虑的算法是基于近似的核与基函数的线性跨度。我们的贡献是双重的：1）对于高斯核，我们建议通过泰勒展开预先（独立于数据）构建基础。对于$d$维输入，我们提供了一个（接近）最优遗憾顺序$O((\log n)^{d+1})$与每轮的时间复杂度和空间复杂度$O((\log n)^{2d})$。这使得该算法是一个合适的选择，尽快$n \gg e^d$，这可能发生在场景中的小尺寸和大规模的数据集; 2）对于一般的核与低有效维数，基函数的更新顺序在数据自适应的方式通过采样Nystr{<$}m点。在这种情况下，我们的算法改进了已知的在线内核回归的计算权衡。
2019-05-29 cs.LG math.ST stat.ML
Approximation errors of online sparsification criteria
Institut Charles Delaunay (CNRS)（查尔斯·德洛奈研究所（法国国家科学研究中心））；Université de technologie de Troyes（特鲁瓦技术大学）
许多机器学习框架，如资源分配网络，基于核的方法，高斯过程和径向基函数网络，需要一个稀疏化方案，以解决在线学习范式。为此，已经提出了几个在线稀疏化标准，以限制模型定义的样本的子集。最著名的标准是（线性）近似标准，它丢弃任何可以很好地由已经贡献的样本表示的样本，这是一种具有过度计算复杂性的操作。一些计算效率高的稀疏化标准已经在文献中介绍，如距离，相干性和巴贝尔标准。在本文中，我们提供了一个框架，这些稀疏化标准的问题，近似样本，通过推导理论界的近似误差。此外，我们调查近似任何功能的错误，提出了上述稀疏化标准的近似误差的上限。详细描述了核主成分分析中的两类特征：经验均值和主轴。
2014-09-21 cs.CV cs.IT cs.LG
