Kernel Interpolation for Scalable Structured Gaussian Processes (KISS-GP)
Carnegie Mellon University(卡内基梅隆大学);Philips Research Hamburg(飞利浦汉堡研究院)
我们引入了一个新的结构化核插值(SKI)框架,该框架推广和统一了可伸缩高斯过程(GP)的诱导点方法。SKI方法通过核插值产生用于快速计算的核近似。SKI框架阐明了诱导点方法的质量如何取决于诱导(又名插值)点的数量、插值策略和GP协方差核。SKI还提供了一种机制,通过选择不同的内核插值策略来创建新的可扩展内核方法。使用SKI和局部三次内核插值,我们引入了KISS-GP,它1)比诱导点替代方案更具可扩展性,2)自然地使Kronecker和Toeplitz代数在可扩展性方面获得了实质性的额外增益,而不需要任何网格数据,3)可用于快速和富有表现力的内核学习。KISS-GP的时间复杂度为O(n)。我们评估KISS-GP的核矩阵近似,核学习和自然声音建模。
2015-03-03 cs.LG stat.ML
Scalable Kernel Learning via the Discriminant Information
Princeton University(普林斯顿大学)
核近似方法创建显式的低维核特征映射,以处理标准技术的高计算和存储复杂性。这项工作研究了一种监督核学习方法来优化这种映射。我们利用判别信息标准,一种与判别分析有很强联系的类可分性度量。通过推广这种措施,以涵盖更广泛的内核映射和学习设置,我们开发了可扩展的方法来学习具有高鉴别力的内核功能。在几个数据集上的实验结果表明,我们的技术可以提高最先进的核学习方法的优化和泛化性能。
2020-02-14 cs.LG stat.ML
A Geometric Algorithm for Scalable Multiple Kernel Learning
我们提出了一个几何公式的多核学习(MKL)问题。为此,我们重新解释学习核权重的问题,寻找一个核,最大限度地提高两个凸多面体之间的最小(核)距离。这种解释结合新的结构见解,从我们的几何公式,使我们能够减少MKL问题的一个简单的优化程序,产生可证明的收敛性以及质量保证。因此,我们的方法可以有效地扩展到比大多数现有方法可以处理的更大的数据集。对11个数据集的实证评估表明,我们的速度明显更快,甚至可以与统一的未加权内核组合相媲美。
2014-03-15 cs.LG stat.ML
Topology Based Scalable Graph Kernels
Yahoo Research(雅虎研究院);Intel Inc.(英特尔公司)
我们提出了一个新的图核的图分类和比较使用奥利维尔里奇曲率。图中边的Ricci曲率描述了局部邻域的连通性。密集连接邻域中的边具有正曲率,而用作局部桥的边具有负曲率。我们使用的边缘曲率分布,形成一个图形的核心,然后使用比较和聚类图。曲率核纯粹使用图形拓扑,因此在节点属性不可用时用于设置。
2019-07-15 cs.LG stat.ML
Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition
University of Toronto(多伦多大学);Vector Institute(向量研究所);Microsoft Research New England(微软新英格兰研究院);New York University(纽约大学)
我们引入了一个新的可扩展的变分高斯过程近似,它提供了一个高保真度的近似,同时保持普遍适用性。我们提出了谐波核分解(HKD),它使用傅立叶级数分解的核作为正交核的总和。我们的变分近似利用这种正交性,使大量的诱导点在一个低的计算成本。我们证明,在一系列的回归和分类问题,我们的方法可以利用输入空间的对称性,如翻译和反射,它显着优于标准的变分方法的可扩展性和准确性。值得注意的是,我们的方法在纯GP模型中的CIFAR-10上实现了最先进的结果。
2021-06-10 cs.LG stat.ML
Scalable Learning in Reproducing Kernel Krein Spaces
King’s College London(伦敦国王学院);University of Nottingham(诺丁汉大学)
我们提供了第一个数学上完整的推导的Nyström方法的低秩近似的不定内核,并提出了一个有效的方法,找到一个近似的特征分解这样的内核矩阵。在此基础上,我们设计了高度可扩展的方法来学习再生核Kre \u <$n空间。所设计的方法提供了一个原则和理论上有充分依据的手段来解决大规模的学习问题与不确定的内核。我们工作的主要动机来自于结构化表示的问题(例如,图形、字符串、时间序列),其中相对容易基于领域专家的直觉和/或知识来设计成对(DIS)相似性函数。这些函数通常不是正定的,并且通常远远超出实践者的专业知识来验证这种情况。设计的方法的有效性进行评估经验上使用结构化和矢量数据表示定义的不确定内核。
2019-05-30 cs.LG stat.ML
Product Kernel Interpolation for Scalable Gaussian Processes
Cornell University(康奈尔大学);Tsinghua University(清华大学)
最近的工作表明,高斯过程的推理可以有效地使用迭代法,只依赖于矩阵向量乘法(MVMs)。结构化核插值(SKI)通过使用非常快速的SVM导出近似核来利用这些技术。不幸的是,这种策略受到维度灾难的严重影响。我们开发了一种新的技术MVM的学习,利用产品的内核结构。我们证明,这种技术是广泛适用的,导致线性而不是指数运行时间与SKI的尺寸,以及国家的最先进的渐近复杂性多任务的GP。
2018-02-24 cs.LG stat.ML
Kernel Packet: An Exact and Scalable Algorithm for Gaussian Process Regression with Matérn Correlations
Texas A&M University(得克萨斯农工大学)
本文提出了一种精确的、可扩展的Matérn相关的一维高斯过程回归算法,其平滑参数$ν$为半整数。该算法只需要$\mathcal{O}(ν^3 n)$操作和$\mathcal{O}(νn)$存储。由于$ν$被选择为固定的,并且在大多数应用中通常非常小,因此这导致线性成本求解器。该方法可以应用于多维问题,如果使用全网格或稀疏网格设计。该方法是基于一种新的理论Matérn相关函数。我们发现,这些相关函数的一个适当的重新安排可以产生一个compensated支持的功能,称为“内核包”。使用一组核包作为基函数导致协方差阵的稀疏表示,从而导致所提出的算法。仿真研究表明,所提出的算法,适用时,是显着优于现有的替代品的计算时间和预测精度。
2022-03-09 cs.LG stat.ME stat.ML
Scalable Log Determinants for Gaussian Process Kernel Learning
Cornell University(康奈尔大学);Phillips Research Hamburg(飞利浦研究汉堡)
对于贝叶斯神经网络、行列式点过程、椭圆图模型和高斯过程(GP)的核学习等各种应用,必须计算$n \times n$正定矩阵及其导数的对数行列式-导致禁止的$\mathcal{O}(n^3)$计算。我们提出了新的$\mathcal{O}(n)$方法来估计这些数量,只有快速矩阵向量乘法(MVMs)。这些随机逼近基于Chebyshev、Lanczos和代理模型,即使对于具有挑战性光谱的核矩阵也能快速收敛。我们利用这些近似来开发一个可扩展的高斯过程方法来进行内核学习。我们发现,Lanczos一般优于Chebyshev的内核学习,和代理的方法可以是非常有效和准确的流行内核。
2017-11-09 cs.AI cs.LG stat.ML
Scalable Matrix-valued Kernel Learning for High-dimensional Nonlinear Multivariate Regression and Granger Causality
IBM Research(IBM研究院);Istituto Italiano di Tecnologia(意大利理工学院)
本文提出了一个通用的矩阵值多核学习框架,用于高维非线性多元回归问题。这个框架允许一个广泛的混合范数正则化,包括那些诱导稀疏性,被施加在向量值再生核希尔伯特空间的字典。我们开发了一个高度可扩展的和eigendecomposition免费的算法,编排两个不精确的求解器,同时学习可分离矩阵值内核的输入和输出组件。作为我们的框架启用的一个关键应用程序,我们展示了高维因果推理任务如何自然地转换为稀疏函数估计问题,从而导致一类图形格兰杰因果关系技术的新的非线性扩展。我们的算法的发展和广泛的实证研究的补充,理论分析方面的Rademacher推广的界限。
2014-08-09 cs.LG stat.ML
Deep Kernel Learning
Carnegie Mellon University(卡内基梅隆大学);University of Toronto(多伦多大学)
我们引入了可扩展的深度内核,它将深度学习架构的结构特性与内核方法的非参数灵活性相结合。具体来说,我们转换的输入的光谱混合基内核与一个深的架构,使用本地内核插值,诱导点,和结构利用(克罗内克和Toeplitz)代数的可扩展的内核表示。这些封闭形式的内核可以作为标准内核的直接替代品,在表达能力和可伸缩性方面都有好处。我们通过高斯过程的边缘似然性共同学习这些内核的属性。$n$训练点的推理和学习成本为$O(n)$,每个测试点的预测成本为$O(1)$。在大量不同的应用程序集合中,包括具有200万个示例的数据集,我们通过灵活的内核学习模型和独立的深度架构,展示了可扩展高斯过程的性能改进。
2015-11-06 cs.AI cs.LG stat.ME
Fast Bounded Online Gradient Descent Algorithms for Scalable Kernel-Based Online Learning
Nanyang Technological University(南洋理工大学);Michigan State University(密歇根州立大学)
基于内核的在线学习通常在许多在线学习任务中表现出最先进的性能。然而,它有一个主要的缺点,即支持向量的数量是无限的,这使得它不具有可扩展性,不适合大规模数据集的应用。在这项工作中,我们研究的问题,有界核为基础的在线学习,旨在限制支持向量的数量由一个预定义的预算。虽然在文献中已经提出了几种算法,它们既不是计算效率,由于其密集的预算维护策略,也不是有效的,由于使用简单的感知器算法。为了克服这些限制,我们提出了一个框架,有界核为基础的在线学习的基础上在线梯度下降的方法。我们提出了两个有效的算法有界在线梯度下降(BOGD)的可扩展的基于内核的在线学习:(i)BOGD通过维护支持向量使用均匀采样,和(ii)BOGD++通过维护支持向量使用非均匀采样。我们目前的理论分析的遗憾界的算法,并发现有前途的实证性能方面的功效和效率进行比较,几个著名的算法有界核为基础的在线学习大规模数据集。
2012-06-18 cs.LG stat.ML
Scalable Matrix-valued Kernel Learning for High-dimensional Nonlinear Multivariate Regression and Granger Causality
IBM Research(IBM研究院);Italian Institute of Technology(意大利理工学院)
本文提出了一个通用的矩阵值多核学习框架,用于高维非线性多元回归问题。这个框架允许一个广泛的混合范数正则化,包括那些诱导稀疏性,被施加在向量值再生核希尔伯特空间的字典。我们开发了一个高度可扩展的和eigendecomposition免费的算法,编排两个不精确的求解器,同时学习可分离矩阵值内核的输入和输出组件。作为我们的框架启用的一个关键应用程序,我们展示了如何高维的因果推断任务可以自然地铸造稀疏函数估计问题,导致一类图形格兰杰因果关系技术的新的非线性扩展。我们的算法的发展和广泛的实证研究的补充Rademacher泛化界方面的理论分析。
2013-03-08 cs.LG stat.ML
SKIing on Simplices: Kernel Interpolation on the Permutohedral Lattice for Scalable Gaussian Processes
New York University(纽约大学);Stanford University(斯坦福大学)
用于可扩展高斯过程的最先进方法使用迭代算法,需要具有协方差核的快速矩阵向量乘法(MVMs)。结构化内核插值(SKI)框架通过在网格上执行高效的MVMs并插值回原始空间来加速这些MVMs。在这项工作中,我们开发了SKI和permutohedral晶格用于高维快速双边过滤之间的连接。使用稀疏单纯网格而不是密集的矩形网格,我们可以在维度上比SKI更快地以指数方式执行GP推理。我们的方法Simplex-GP能够将SKI扩展到高维,同时保持强大的预测性能。此外,我们还提供了一个CUDA实现的Simplex-GP,这使得显着的GPU加速的MVM为基础的推理。
2021-06-12 cs.LG stat.ML
Scalable Gaussian Process Regression for Kernels with a Non-Stationary Phase
Institute for Electrical Engineering in Medicine, Universität zu Lübeck(吕贝克大学医用电工研究所)
高斯过程(GPs)的应用,以大数据集是有限的,由于沉重的内存和计算要求。已经提出了各种方法来实现可伸缩性,其中之一是利用内核矩阵中的结构。然而,以前的方法,不能很容易地处理非平稳过程。本文提出了一个有效的GP框架,扩展结构核插值方法的GP与非平稳相位。我们特别对待混合物的非平稳过程,这是常用的分离问题的背景下,例如在生物医学信号处理。我们的方法采用多组非等距诱导点占的非平稳性和检索Toeplitz和Kronecker结构的核矩阵,允许有效的推理。核学习是通过优化边际似然来完成的,边际似然可以使用随机迹估计方法有效地近似。我们的方法证明了数值例子和大型生物医学数据集。
2019-12-25 cs.LG stat.ML
Hierarchically Compositional Kernels for Scalable Nonparametric Learning
IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Tel Aviv University(特拉维夫大学);Google Brain, NYC(谷歌大脑(纽约))
我们提出了一类新的内核,以减轻高计算成本的大规模非参数学习的核方法。所提出的内核是基于底层数据域的分层分区定义的,其中Nyström方法(全局低秩近似)以分层方式与局部无损近似相结合。核心保持(严格)正定性。相应的核矩阵承认递归非对角低秩结构,这允许快速线性代数计算。通过抑制数据维数的影响,将训练回归和分类器的内存和算法复杂度从$O(n^2)$和$O(n^3)$分别降低到$O(nr)$和$O(nr^2)$,其中$n$是训练样本的个数,$r$是层次结构中每一层上的秩.虽然其他随机近似核需要类似的复杂性,实验结果表明,所提出的核实现了匹配性能与较小的$r$。我们展示了全面的实验,以显示有效地使用所提出的内核的数据大小高达数百万的顺序。
2017-08-14 cs.LG stat.ML
Integration-free Training for Spatio-temporal Multimodal Covariate Deep Kernel Point Processes
Hangzhou Dianzi University(杭州电子科技大学);Alibaba Group(阿里巴巴集团);Renmin University of China(中国人民大学)
本研究提出融合多模态协变量的深度核混合点过程模型DKMPP,采用基于得分匹配的无积分方法解决训练难题,实验证明其性能优于基线模型。
2023-10-09 cs.LG stat.ML
Learning Scalable Deep Kernels with Recurrent Structure
Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学)
语音、机器人、金融和生物学中的许多应用程序都处理顺序数据,其中排序和循环结构是常见的。然而,标准内核函数无法轻松捕获这种结构。为了模拟这样的结构,我们提出了表达高斯过程的封闭形式的核函数。由此产生的模型GP-LSTM完全封装了长短期记忆(LSTM)递归网络的归纳偏差,同时保留了高斯过程的非参数概率优势。我们通过使用新的可证明收敛的半随机梯度过程优化高斯过程边际似然来学习所提出的内核的属性,并利用这些内核的结构进行可扩展的训练和预测。这种方法为贝叶斯LSTM提供了一种实用的表示方法。我们在几个基准测试中展示了最先进的性能,并彻底研究了一个相应的自动驾驶应用程序,其中GP-LSTM提供的预测不确定性具有独特的价值。
2017-10-05 cs.AI cs.LG stat.ML
Scalable Kernel Methods via Doubly Stochastic Gradients
Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学)
一般的看法是,核方法是不可扩展的,神经网络是非线性学习问题的首选方法。还是我们对内核方法的尝试还不够努力?在这里,我们提出了一种方法,使用一个新的概念,称为“双随机功能梯度”的内核方法的规模。我们的方法依赖于这样一个事实,即许多核方法可以表示为凸优化问题,我们通过对函数梯度进行两个无偏随机近似来解决问题,一个使用随机训练点,另一个使用与内核相关的随机函数,然后使用这个嘈杂的函数梯度下降。我们证明了在$t$迭代后,由该过程产生的函数在速率$O(1/t)$下收敛到再生核Hilbert空间中的最优函数,并达到了$O(1/\sqrt{t})$的推广性能.这种双重随机性也使我们能够避免保持支持向量,并在一个小的内存占用,这是线性的迭代次数和独立的数据维度实现算法。我们的方法可以很容易地扩展核方法的制度,这是由神经网络占主导地位。我们表明,我们的方法可以在MNIST的800万个手写数字,MolecularSpace的230万个能量材料和ImageNet的100万张照片等数据集中实现与神经网络竞争的性能。
2015-09-10 cs.LG stat.ML
Supervised Multiple Kernel Learning approaches for multi-omics data integration
CNRS(法国国家科学研究中心);Université de Toulouse(图卢兹大学);Institut Pasteur(巴斯德研究所)
本文提出基于多种核融合策略的监督式MKL方法,并结合支持向量机与深度学习架构,证明其在多组学整合预测中可优于复杂的先进方法。
2024-12-03 cs.LG stat.AP stat.ML
DKL-KAN: Scalable Deep Kernel Learning using Kolmogorov-Arnold Networks
School of Mechanical Engineering(机械工程学院);Purdue University(普渡大学);RTX Technology Research Center(RTX技术研究中心)
本文提出DKL-KAN,用Kolmogorov-Arnold网络替代MLP构建可扩展深度核,并在高斯过程框架下优化核参数,在少样本数据上优于DKL-MLP,而DKL-MLP在大规模数据上更具可扩展性和预测精度。
2024-07-30 cs.LG stat.ML
Scalable Deep Basis Kernel Gaussian Processes
School of Industrial and Systems Engineering(工业与系统工程学院);Georgia Institute of Technology(佐治亚理工学院);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出了一种基于深度基核的可扩展GP回归器,通过显式低秩结构实现线性复杂度推断,并解决边际似然最大化导致的不确定性问题,提升了大规模回归任务的性能。
2026-02-04 cs.LG stat.ML
Scalable high-resolution forecasting of sparse spatiotemporal events with kernel methods: a winning solution to the NIJ "Real-Time Crime Forecasting Challenge"
我们提出了一个通用的时空事件预测方法,我们开发的国家司法研究所(NIJ)的实时犯罪预测挑战。我们的方法是一个时空预测模型相结合的可扩展随机再生核希尔伯特空间(RKHS)的方法近似高斯过程与自回归平滑内核的正则化监督学习框架。虽然平滑核捕获了当前在犯罪预测领域中使用的两种主要方法,即核密度估计(KDE)和自激点过程(SEPP)模型,但是该模型的RKHS分量可以被理解为对流行的对数高斯Cox过程模型的近似。对于推理,我们离散的时空点模式,并学习使用泊松似然和高效的基于梯度的优化方法的对数强度函数。模型超参数,包括RKHS近似的质量,空间和时间的内核长度尺度,自回归滞后的数量,平滑内核的带宽,以及细胞的形状,大小和旋转,使用交叉验证学习。由此产生的预测显着超过基线KDE估计和SEPP模型的稀疏事件。
2019-07-24 stat.AP stat.ML
Block Basis Factorization for Scalable Kernel Matrix Evaluation
Stanford University(斯坦福大学);Duke University(杜克大学);International Computer Science Institute(国际计算机科学研究所);University of California, Berkeley(加州大学伯克利分校)
核方法广泛应用于机器学习中,但是,它们受到核矩阵的构造、应用和存储的二次复杂性的限制。低秩矩阵近似算法被广泛用于解决这个问题,并降低了运算和存储成本。然而,我们观察到,对于一些具有广泛的类内变异性的数据集,较小类的最佳核参数会产生一个矩阵,该矩阵不太适合低秩方法。在本文中,我们提出了一种有效的结构化低秩近似方法-块基分解(BBF)-及其快速构造算法来近似径向基函数(RBF)核矩阵。我们的方法具有线性内存成本和浮点运算的许多机器学习内核。BBF适用于广泛的内核带宽参数,并显着扩展了低秩近似方法的适用范围。我们的实证结果表明,稳定性和优越性的最先进的核近似算法。
2021-05-04 cs.LG cs.NA math.NA
Kernel Interpolation for Scalable Online Gaussian Processes
New York University(纽约大学);Cornell University(康奈尔大学)
高斯过程(GP)为在线设置中的性能提供了黄金标准,例如样本有效控制和黑盒优化,其中我们需要在以顺序方式获取数据时更新后验分布。然而,在已经观察到$n$点之后更新GP后验以适应甚至单个新观察至少会在精确设置中引起$O(n)$计算。我们展示了如何使用结构化内核插值来有效地回收计算恒定时间$O(1)$在线更新的点$n$的数量,同时保留精确的推理。我们展示了我们的方法在一系列在线回归和分类设置,贝叶斯优化,主动采样,以减少疟疾发病率预测的错误的承诺。代码可在https://github.com/wjmaddox/online_gp上获得。
2021-03-02 cs.LG stat.ML
Scaling up the Automatic Statistician: Scalable Structure Discovery using Gaussian Processes
University of Oxford(牛津大学);DeepMind
自动化统计建模是人工智能领域的一个具有挑战性的问题。自动统计学家在这个方向上迈出了第一步,通过采用高斯过程(GP)的核搜索算法为回归问题提供可解释的统计模型。但是,由于模型选择的$O(N^3)$运行时间,这不会扩展。我们提出了可扩展的内核组成(SKC),一个可扩展的内核搜索算法,扩展自动统计更大的数据集。在这样做时,我们推导出一个便宜的上限的GP边际似然,三明治的边际似然与变分下限。我们表明,上界是显着更紧密的下界,因此有用的模型选择。
2018-02-14 cs.LG stat.ML
Nonlinear Data Integration via Kernel Methods for Data Collaboration Analysis
Graduate School of Science and Technology, University of Tsukuba(科学技术研究生院,茨口大学);Institute of Systems and Information Engineering, University of Tsukuba(系统与信息工程研究所,茨口大学)
针对分散保密数据协作分析中线性整合方法重建风险高且无法对齐非线性变换的问题,提出非线性核整合(NKI)方法,通过核岭回归和特征值问题获得全局最优解,并引入图正则化和中心化约束以捕获几何和目标变量信息,在图像分类任务中提升了准确率并降低了重建风险。
2026-08-19 cs.LG stat.ML
Scalable Sampling for Nonsymmetric Determinantal Point Processes
Yale University(耶鲁大学);Criteo AI Lab(Criteo人工智能实验室);Google Research(谷歌研究院);Facebook AI Research(脸书人工智能研究院)
$M$项集合上的决定点过程(DPP)是一个模型,由对称核矩阵参数化,为这些项的每个子集分配概率。最近的研究表明,去除核对称约束,产生非对称DPP(NDPP),可以为机器学习应用带来显着的预测性能增益。然而,现有的工作留下了开放的问题,可扩展的NDPP采样。只有一种已知的基于Cholesky分解的DPP采样算法也可以直接应用于NDPP。不幸的是,它的运行时在$M$中是立方的,因此不能扩展到大型项集合。在这项工作中,我们首先注意到,该算法可以转化为一个线性时间与低秩结构的内核。此外,我们开发了一个可扩展的次线性时间拒绝采样算法,通过构建一个新的建议分布。此外,我们表明,施加一定的结构约束的NDPP内核使我们能够绑定的拒绝率的方式,只依赖于内核的秩。在我们的实验中,我们比较了所有这些采样器在各种现实任务中的速度。
2022-04-19 cs.LG stat.ML
Scalable Global Alignment Graph Kernel Using Random Features: From Node Embedding to Graph Embedding
IBM Research(IBM研究院);CMU(卡内基梅隆大学);WUSTL(华盛顿大学圣路易斯分校);GMU(乔治梅森大学);UDEL(特拉华大学);Huawei(华为)
图核被广泛用于度量图之间的相似性。许多现有的图核,它专注于局部模式图,而不是他们的全局属性,遭受显着的结构信息丢失时表示图。最近的一些全局图核,它利用图的几何节点嵌入的对齐,产生最先进的性能。然而,这些图核不一定是正定的。更重要的是,计算图核矩阵在图的数量和大小方面将具有至少二次{时间}复杂度。在本文中,我们提出了一个新的家庭的全球对齐图的内核,它考虑到了全球性的图形,通过使用几何节点嵌入和相关的节点运输的基础上推土机的距离。与现有的全局核相比,该核是正定的。我们的图核是通过定义一个分布在\emph{random graphs},它可以自然地产生随机特征近似。随机特征近似导致我们的图嵌入,这被称为“随机图嵌入”(RGE)。特别是,RGE示出实现\emph{(quasi-)linear scalability}的数量和大小的图形。在9个基准数据集上的实验结果表明,RGE优于或匹配12个最先进的图分类算法。
2019-11-25 cs.LG stat.ML
Scalable Gaussian process inference via neural feature maps
School of Mathematics University of Bristol(数学系英国布里斯托尔大学)
本文提出一种基于神经特征图构建表达性核函数的高斯过程框架,通过低秩近似Gram矩阵实现后验一致性,并引入乘积特征图核解决过平滑问题,实现快速、可扩展且准确的高斯过程推断。
2026-07-27 cs.LG stat.ML
Scalable Lévy Process Priors for Spectral Kernel Learning
Cornell University(康奈尔大学)
高斯过程是函数上的丰富分布,具有由核函数确定的泛化特性。当用于长程外推时,预测对核参数的选择特别敏感。因此,在我们的预测分布中考虑内核的不确定性是至关重要的。我们提出了一个分布的内核通过建模的频谱混合密度与Lévy过程。由此产生的分布支持所有平稳协方差-包括流行的RBF,周期性和Matérn内核-结合归纳偏差,实现自动和数据有效的学习,长距离外推和最先进的预测性能。所提出的模型还提出了一种谱正则化的方法,因为Lévy过程引入了混合成分的稀疏诱导先验,允许自动选择模型阶数和修剪无关成分。我们利用所提出的过程的代数结构的$\mathcal{O}(n)$培训和$\mathcal{O}(1)$预测。我们进行外推合理的不确定性估计的几个基准,表明该模型可以恢复灵活的地面真协方差,它是鲁棒的初始化错误。
2018-02-02 cs.AI cs.LG stat.ML
Scalable Variational Bayesian Kernel Selection for Sparse Gaussian Process Regression
National University of Singapore(新加坡国立大学);Shenzhen University(深圳大学)
针对稀疏高斯过程回归(SGPR)模型,提出了一种变分贝叶斯核选择(VBKS)算法。与现有的GP核选择算法,旨在选择只有一个内核与最高的模型证据相比,我们提出的VBKS算法认为内核作为一个随机变量,并从数据中学习它的信念,使内核的不确定性可以解释和利用,以避免过于自信的GP预测。为了实现这一点,我们将概率核表示为SGPR模型的变分推理(VI)框架中的附加变分变量,其中其后验信念与其他变分变量的后验信念一起学习(即,诱导变量和内核超参数)。特别是,我们通过重新参数化将离散的核信念转换为连续的参数分布,以便应用VI。虽然它是计算上的挑战,以共同优化大量的超参数,由于许多内核同时评估我们的VBKS算法,我们表明,变分下限的对数边际似然可以分解成一个附加的形式,使每个附加项只依赖于一个不相交的子集的变分变量,因此可以独立优化。然后使用随机优化来最大化变分下限,通过随机梯度上升迭代地改进精确后验信念的变分近似,这导致每次迭代的时间恒定,因此可以扩展到大数据。我们经验性地评估我们的VBKS算法在合成和大量真实世界数据集上的性能。
2019-12-05 cs.LG stat.ML
Scalable Kernel K-Means Clustering with Nystrom Approximation: Relative-Error Bounds
Stevens Institute of Technology(斯蒂文斯理工学院);Rensselaer Polytechnic Institute(伦斯勒理工学院);International Computer Science Institute(国际计算机科学研究所);University of California at Berkeley(加州大学伯克利分校)
核$k$ -均值聚类算法比线性$k$ -均值聚类算法能够正确地识别和提取更多样的聚类结构集合。然而,核$k$ -均值聚类是计算昂贵的非线性特征映射是高维的,有很多输入点。核近似,例如,Nyström方法,已被应用在以前的工作,以近似解决内核学习问题时,上述两个条件都存在。这项工作分析了这种范例的应用内核$k$ -均值聚类,并表明,应用线性$k$ -均值聚类算法的$\frac{k}ε (1 + o(1))$功能构建使用所谓的秩限制Nyström近似结果在集群分配,满足$1 + ε$近似比的内核$k$ -均值成本函数,相对于不使用Nyström方法的相同算法提供的保证。作为分析的一部分,这项工作建立了一个新的$1 + ε$相对误差跟踪范数保证低秩近似使用秩限制Nyström近似。在$8.1$百万实例MNIST 8 M数据集上的实证评估证明了内核$k$均值聚类与Nyström近似的可扩展性和实用性。这项工作认为,谱聚类使用Nyström近似-一个流行的和计算效率高,但理论上不健全的方法,非线性聚类-应取代内核$k$ -均值聚类Nyström近似的有效和理论上合理的组合。后一种方法的优越性能是经验验证。
2019-02-10 cs.LG stat.ML
Scalable Operator Learning via Nyström Approximation With Denoising Applications
Pennsylvania State University(宾夕法尼亚州立大学);Indian Institute of Technology Delhi(德里印度理工学院)
提出基于Nyström子采样的高效算子学习算法,用于向量值回归,在一般源条件下达到极小化最优收敛率,并在多种去噪任务中实现与全核方法相当的性能且大幅降低计算成本。
2026-06-26 math.ST stat.ML stat.TH
Scalable Randomized Kernel Methods for Multiview Data Integration and Prediction
本文提出可扩展的随机核方法,利用随机傅里叶基近似平移不变核函数,为多视图数据构建非线性映射并学习低维表示,以联合关联多源数据并预测结果,在模拟与COVID-19数据中表现优异且适用于小样本。
2023-04-10 stat.AP stat.ME stat.ML
Scalable First-Order Bayesian Optimization via Structured Automatic Differentiation
Cornell University(康奈尔大学)
贝叶斯优化(BO)已经显示出巨大的潜力,用于评估昂贵的函数的全局优化,但尽管取得了许多成功,标准方法在高维中仍然存在困难。为了提高BO的性能,先前的工作建议将梯度信息合并到目标的高斯过程代理中,从而产生用于$d$维度中的$n$观测的大小为$nd \times nd$的核矩阵。天真地乘(resp。求逆)这些矩阵需要$\mathcal{O}(n^2d^2)$(分别$\mathcal{O}(n^3d^3$))操作,这对于中等尺寸和样本量变得不可行。在这里,我们观察到,广泛的内核产生结构化矩阵,使一个精确的$\mathcal{O}(n^2d)$矩阵向量乘法梯度观测和$\mathcal{O}(n^2d^2)$海森观测。除了规范的内核类,我们得到一个编程的方法来利用这种类型的结构的转换和讨论的内核类的组合,这构成了一个结构感知的自动微分算法。我们的方法适用于几乎所有的典型内核,并自动扩展到复杂的内核,如神经网络,径向基函数网络,光谱混合内核没有任何额外的衍生,使灵活的,问题相关的建模,同时缩放一阶BO到高$d$。
2022-06-16 cs.AI cs.LG cs.MS
Scalable Learning and MAP Inference for Nonsymmetric Determinantal Point Processes
Criteo AI Lab(Criteo AI实验室);KAIST(韩国科学技术院);Google Research(谷歌研究院);ENSAE ParisTech(巴黎高等统计与经济管理学院)
决定性点过程(DPPs)由于其能够对从大项目集合中提取的子集进行建模的能力而在机器学习中引起了极大的关注。最近的工作表明,非对称DPP(NDPP)内核在建模能力和预测性能方面比对称内核具有显着的优势。然而,对于大小为$M$的项目集合,现有的NDPP学习和推理算法在$M$中需要二次存储器,并且在$M$中需要三次(用于学习)或二次(用于推理),这使得它们对于许多典型的子集选择任务来说是不切实际的。在这项工作中,我们开发了一个学习算法的空间和时间要求线性$M$通过引入一个新的NDPP核分解。我们还推导出一个线性复杂度的NDPP最大后验概率(MAP)推理算法,不仅适用于我们的新内核,也适用于以前的工作。通过对真实世界数据集的评估,我们表明我们的算法具有更好的扩展性,并且可以匹配先前工作的预测性能。
2021-04-13 cs.LG stat.ML
Scalable Gaussian Processes on Discrete Domains
University College London(伦敦大学学院)
离散域上的核方法在处理生物序列数据和分子结构数据等具有挑战性的数据类型方面有着广阔的应用前景。像支持向量机这样的可扩展核方法可以提供良好的预测性能,但本质上不提供不确定性估计。相比之下,像高斯过程这样的概率核方法除了提供良好的预测性能之外还提供不确定性估计,但在可扩展性方面不足。虽然高斯过程的可扩展性可以使用稀疏诱导点近似来改进,但是这些诱导点的选择仍然具有挑战性。我们探讨了不同的技术选择诱导点离散域,包括贪婪选择,决定点过程,和模拟退火。我们发现,模拟退火可以选择不在训练集中的诱导点,可以在合成数据以及具有挑战性的真实世界DNA序列数据上与支持向量机和全高斯过程竞争。
2021-05-26 cs.AI cs.LG stat.ML
Scalable Gaussian Processes with Grid-Structured Eigenfunctions (GP-GRIEF)
University of Toronto(多伦多大学)
我们引入了一个核近似策略,使计算的高斯过程对数边际似然和所有超参数导数在$\mathcal{O}(p)$时间。我们的GRIEF内核由$p$本征函数发现使用Nystrom近似从密集的笛卡尔积网格的诱导点。通过利用Kronecker和Khatri-Rao张量积的代数性质,训练过程的计算复杂度实际上可以与诱导点的数量无关。这允许我们使用任意多个诱导点来实现全局精确的核近似,即使在高维问题中也是如此。快速似然评估使得能够在大规模数据集上进行I型或II型贝叶斯推断。我们在现实世界的问题上对我们的算法进行基准测试,训练点和$10^{33}$诱导点多达200万个。
2018-08-01 cs.LG stat.ML
Multi-Kernel LS-SVM Based Bio-Clinical Data Integration: Applications to Ovarian Cancer
医学研究有助于从同一个体获得特定癌症的不同类型的数据。最近的研究表明,利用这些不同的数据可以得到更准确的预测。所面临的主要挑战是如何有效地利用这些不同的数据集。在本文中,我们介绍了一种基于多内核的流水线,用于高通量分子数据(体细胞突变,拷贝数改变,DNA甲基化和mRNA)和临床数据的综合分析。我们将管道应用于TCGA的卵巢癌数据。在从各个内核的加权和生成多个内核之后,它被用于对患者进行分层并预测临床结果。我们检查每个亚型的生存时间,生命状态和肿瘤癌症状态,以验证它们的聚类情况。我们还研究了分子和临床数据在预测二分总体生存数据和对癌症样本的肿瘤分级进行分类方面的能力。据观察,各种数据类型的整合产生更高的对数秩统计值。与使用单个数据类型相比,我们还能够以更高的准确性预测临床状态。
2017-10-10 q-bio.GN q-bio.QM stat.ML
From Local Interactions to Global Operators: Scalable Gaussian Process Operator for Physical Systems
Department of Applied Mechanics(应用力学系);Indian Institute of Technology Delhi(德里印度理工学院);Yardi School of Artificial Intelligence (ScAI)(Yardi人工智能学院);The Grainger College of Engineering University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校格里纳尔工程学院)
本文提出一种可扩展的高斯过程算子,通过局部与稀疏核近似及Kronecker分解降低计算复杂度,并在多种非线性PDE上实现高精度,弥合了可扩展性与保真度的差距。
2025-06-18 cs.LG stat.ML
Scalable Machine Learning Algorithms using Path Signatures
本论文研究路径签名在可扩展机器学习中的应用,提出结合粗糙路径理论与概率建模、深度学习和核方法的模型,为序列和结构化数据提供理论稳健且计算高效的解决方案。
2025-06-24 cs.LG math.PR stat.ML
Scalable MCMC Sampling for Nonsymmetric Determinantal Point Processes
Yale University(耶鲁大学);Criteo AI Lab(Criteo人工智能实验室);Facebook AI Lab(Facebook人工智能实验室)
决定点过程(DPP)是一个优雅的模型,它为$n$项集合的每个子集分配概率。虽然传统的DPP参数化的对称核矩阵,消除这种对称性的约束,导致非对称DPP(NDPP),导致建模能力和预测性能的显着改善。最近的工作研究了一个近似的马尔可夫链蒙特卡罗(MCMC)抽样算法的NDPP限制到大小- $k$子集(称为$k$ -NDPP)。然而,这种方法的运行时间在$n$中是二次的,使得它不适用于大规模设置。在这项工作中,我们开发了一个可扩展的MCMC采样算法的$k$ -NDPP与低秩内核,从而使运行时间是次线性的$n$。我们的方法是基于一个国家的最先进的NDPP拒绝采样算法,我们提高了一种新的方法,有效地构建建议分布。此外,我们扩展我们的可扩展的$k$ -NDPP采样算法的NDPP没有大小的限制。我们得到的采样方法具有多项式时间复杂性的内核的秩,而现有的方法具有运行时,是指数的秩。通过理论分析和在真实数据集上的实验,我们验证了我们的可扩展近似采样算法比现有的$k$ -NDPP和NDPP采样方法快几个数量级。
2022-07-01 cs.LG stat.ML
Scalable kernel balancing weights in a nationwide observational study of hospital profit status and heart attack outcomes
本文提出一种结合再生核希尔伯特空间基展开与凸优化的可扩展核平衡加权方法,通过Nyström近似和交替方向乘子法实现大规模数据的高效平衡,并在127万患者数据中研究医院营利性质与心脏病发作结局的关系。
2023-11-01 stat.CO stat.ME stat.ML
Fast and Scalable Spike and Slab Variable Selection in High-Dimensional Gaussian Processes
University College London(伦敦大学学院)
高斯过程(GP)中的变量选择通常是通过对自动相关性确定内核的逆长度尺度进行阈值化来进行的,但在高维数据集中,这种方法可能是不可靠的。一个更具概率原则的替代方案是使用尖峰和平板先验,并推断变量包含的后验概率。然而,GP中的现有实现在高维和大$n$数据集中运行都非常昂贵,或者仅适用于具有特定内核的无监督设置。因此,我们开发了一个快速和可扩展的变分推断算法的穗和板GP是易于处理的任意可微内核。我们提高了我们的算法的能力,以适应相关变量的稀疏性贝叶斯模型平均超参数,并实现了大幅度的速度使用零温度后验限制,丢弃修剪和最近邻最小化。在实验中,我们的方法始终优于普通和稀疏变分GP,同时保持相似的运行时间(即使是在$n=10^6$时),并且与使用MCMC的尖峰和平板GP的性能具有竞争力,但运行速度快达$1000$倍。
2022-02-24 cs.LG stat.ML
Bayesian Nonparametric Kernel-Learning
核方法是机器学习中普遍存在的工具。然而,通常没有理由选择先验核。即使选择了普适的近似核,有限样本估计量的质量也会受到核的选择的很大影响。此外,当直接应用核方法时,通常需要计算成对核评估的$N \times N$ Gram矩阵以与$N$实例的数据集一起工作。这种Gram矩阵的计算排除了核方法在大型数据集上的直接应用,并且使得核学习特别困难。在本文中,我们介绍贝叶斯非参数内核学习(BaNK),一个通用的,数据驱动的框架,可扩展的学习内核。BaNK在随机频率的谱分布上放置了一个非参数先验,使其能够学习内核并扩展到大型数据集。我们表明,这个框架可以用于大规模的回归和分类任务。此外,我们还证明了BaNK在各种真实世界数据集上的内核学习性能优于其他几种可扩展方法。
2018-01-30 stat.ML
Scalable Gaussian Processes for Characterizing Multidimensional Change Surfaces
我们提出了一个可扩展的高斯过程模型,用于识别和表征平滑的多维变点,并自动学习表达协方差结构的变化。我们使用Random Kitchen Sink特征灵活地定义变化表面,并结合富有表现力的光谱混合内核来捕获复杂的统计结构。最后,通过使用加性不可分离内核的新方法,我们可以将模型扩展到大型数据集。我们在数值和真实世界的数据上展示了该模型,包括一个大型的时空疾病数据集,我们在其中识别了以前未知的空间和时间的异质变化。
2015-11-13 stat.ML
Survival Kernets: Scalable and Interpretable Deep Kernel Survival Analysis with an Accuracy Guarantee
本文提出 survival kernet 深度核生存模型,通过扩展 kernel netting 压缩、树集成热启动和神经架构搜索加速实现可扩展、可解释及最优误差保证,并在多数据集上验证竞争力。
2025-02-16 cs.LG stat.ML
Scalable Hybrid HMM with Gaussian Process Emission for Sequential Time-series Data Clustering
KAIST(韩国科学技术院)
隐马尔可夫模型(HMM)结合高斯过程(GP)发射,可以有效地估计隐藏状态的一系列复杂的输入输出关系的观察。特别是当光谱混合(SM)核用于GP发射时,我们称此模型为混合HMM-GPSM。该模型可以有效地对时间序列数据进行建模。然而,由于SM内核的大量参数,该模型不能有效地用大量数据进行训练,这些数据具有(1)用于状态转换的长序列和2)每个序列中的大量时间序列数据集。本文提出了一种可扩展的HMM-GPSM学习方法。为了有效地训练模型与长序列,所提出的方法采用随机变分推理(SVI)的方法。同时,为了有效地处理每个时间序列数据的大量数据点,我们使用重新参数化的随机傅立叶特征(R-RFF)来近似SM核。这两种技术的结合大大减少了训练时间。我们验证了所提出的学习方法的隐藏状态估计精度和计算时间,使用大规模的合成和真实数据集缺失值。
2020-01-07 cs.LG stat.ML
Efficient Numerical Integration in Reproducing Kernel Hilbert Spaces via Leverage Scores Sampling
Istituto Italiano di Tecnologia(意大利技术研究院)
针对仅能通过观测访问目标分布的RKHS数值积分问题,提出基于均匀或近似杠杆得分的小子采样方法,证明其能达到最优收敛速率并大幅降低计算成本,可应用于核均值嵌入、最大平均差异计算及核检验。
2025-06-16 cs.LG cs.NA math.NA
Efficient kernel-based variable selection with sparsistency
Shanghai University of Finance and Economics(上海财经大学);City University of Hong Kong(香港城市大学);Nanjing Audit University(南京审计大学)
变量选择是高维数据分析的核心,已经开发了各种算法。理想情况下,变量选择算法应该是灵活的,可扩展的,并有理论上的保证,但大多数现有的算法不能同时达到这些属性。在这篇文章中,一个三步变量选择算法,涉及基于核的估计的回归函数及其梯度函数,以及硬阈值。它的主要优点是,它假设没有明确的模型假设,承认一般的预测效果,允许可扩展的计算,并达到理想的渐近稀疏性。该算法适用于任何具有不同核函数的再生核希尔伯特空间,并可稍加修改扩展到交互选择。它的计算成本在数据维上仅是线性的,并且可以通过并行计算进一步提高。该算法的稀疏性建立在一般RKHS在温和的条件下,包括线性和高斯核作为特殊情况。它的有效性也支持各种模拟和真实的例子。
2021-02-03 cs.LG stat.ML
Quenched large deviations for Monte Carlo integration with Coulomb gases
Univ. Lille, CNRS, Centrale Lille, UMR 9189 – CRIStAL(里尔大学,法国国家科学研究中心,中央里尔,UMR 9189 – CRIStAL);Univ. Lille, CNRS, UMR 8524 – Laboratoire Paul Painlevé(里尔大学,法国国家科学研究中心,UMR 8524 – 保罗·潘勒韦实验室)
研究利用库仑气体作为随机数值积分算法,通过大偏差理论证明随机近似势能可保持快速大偏差原理,从而优于独立或马尔可夫求积。
2026-06-29 cs.LG math.PR stat.ML
Scalable Variational Inference for Dynamical Systems
梯度匹配是学习常微分方程参数和状态动力学的一种很有前途的工具。这是一个网格的自由推理方法,其中,完全可观察的系统是有时与数值积分竞争。然而,对于许多现实世界的应用程序,只有稀疏的观察,甚至未观察到的变量包括在模型描述。在这些情况下,大多数梯度匹配方法难以应用或根本不能提供令人满意的结果。这就是为什么尽管计算成本很高,数值积分仍然是许多应用中的黄金标准。使用现有的梯度匹配方法,我们提出了一个可扩展的变分推断框架,可以同时推断状态和参数,提供计算加速,提高精度,即使在部分可观测系统中的模型错误指定下也能很好地工作。
2018-04-10 stat.ML
Scalable Dual Coordinate Descent for Kernel Methods
针对核支持向量机和核岭回归中DCD和BDCD方法的通信瓶颈,提出$s$-step变体以降低通信频率,在保证数值稳定性的同时,最高实现了9.8倍的强扩展加速。
2024-06-26 cs.DC stat.ML