Graph Random Features for Scalable Gaussian Processes
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Google DeepMind(谷歌DeepMind);Alan Turing Institute(艾伦·图灵研究所)
本研究将图随机特征应用于可扩展高斯过程,将时间复杂度从$O(N^3)$降至$O(N^{3/2})$,支持单芯片上超过$10^6$节点的图贝叶斯优化,并保持性能。
2025-09-25 cs.LG
Random Gegenbauer Features for Scalable Kernel Methods
Yale University(耶鲁大学);MPI-Informatics(马克斯·普朗克信息学研究所);Tel Aviv University(特拉维夫大学)
我们提出了有效的随机功能,近似一个新的和丰富的核函数,我们称为广义带状核(GZK)。我们提出的GZK家族,概括了区域内核(即,单位球面上的点积核),并且包括广泛的普遍存在的核函数,诸如点积核的整体以及高斯核和最近引入的神经切线核。有趣的是,通过利用Gegenbauer多项式的再生特性,我们可以基于随机定向的Gegenbauer核为GZK族构造有效的随机特征。我们证明子空间嵌入保证我们的Gegenbauer功能,确保我们的功能可以用于近似解决学习问题,如核k-均值聚类,核岭回归等经验结果表明,我们提出的功能优于最近的核近似方法。
2022-02-07 cs.LG
RWNE: A Scalable Random-Walk-Based Network Embedding Framework with Personalized Higher-Order Proximity Preserved
Beijing Advanced Innovation Center for Big Data and Brain Computing(北京大数据与脑计算高精尖创新中心);Beihang University(北京航空航天大学);HKUST(香港科技大学)
高阶邻近度保持的网络嵌入越来越受到人们的关注。特别是,由于优越的可扩展性,基于随机游走的网络嵌入也得到了很好的发展,它可以通过多跳随机游走有效地探索高阶邻域。然而,尽管目前基于随机游走的方法取得了成功,但它们中的大多数通常没有足够的表达能力来保持个性化的高阶接近度,并且缺乏一个直接的目标来从理论上阐明网络接近度是如何保持的。在本文中,为了解决上述问题,我们提出了一个通用的可扩展的随机游走为基础的网络嵌入框架,其中随机游走明确纳入一个健全的目标,理论上设计,以保持任意高阶接近。此外,我们引入了重新启动过程的随机游走的框架,自然和有效地实现个性化的加权保持不同的顺序的接近。我们进行了大量的实验,在几个现实世界的网络,并证明我们提出的方法一致,大大优于最先进的网络嵌入方法。
2021-04-07 cs.LG stat.ML
Scalable Density-based Clustering with Random Projections
University of Auckland(奥克兰大学)
本研究提出可扩展密度聚类算法sDBSCAN及配套sOPTICS,利用随机投影提升高维聚类效率,支持多种距离度量,在百万级数据集上速度远快于传统方法且精度更高。
2025-05-18 cs.CV cs.LG
Tanimoto Random Features for Scalable Molecular Machine Learning
University of Cambridge(剑桥大学)
本文提出两类新颖的 Tanimoto 核随机特征,使其可扩展至大型数据集,并扩展至实值向量;理论上给出 Gram 矩阵谱范数误差界,实验证明其能有效近似真实数据集系数,并助力分子性质预测与优化。
2023-11-13 cs.LG
Scalable Krylov Subspace Methods for Generalized Mixed-Effects Models with Crossed Random Effects
Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学);Seminar for Statistics, ETH Zurich(苏黎世联邦理工学院统计研究所);University of Basel(巴塞尔大学)
本文提出基于克雷洛夫子空间的方法,解决高维交叉随机效应下的计算瓶颈,理论和实验证明其在速度和稳定性上的优势。
2026-09-14 cs.LG stat.ME stat.ML
UniNet: Scalable Network Representation Learning with Metropolis-Hastings Sampling
Beijing University of Posts and Telecommunications(北京邮电大学);Peking University(北京大学);Hong Kong University of Science and Technology(香港科技大学)
网络表示学习(NRL)技术已成功地应用于各种数据采掘和机器学习应用中。基于随机游走的自然学习是一种流行的范式,它使用一组随机游走来捕获网络结构信息,然后使用word 2 vec模型来学习低维表示。然而,到目前为止,缺乏一个框架,统一现有的基于随机游走的NRL模型,并支持有效地从大型网络学习。主要障碍来自不同的随机游走模型和随机游走生成的低效采样方法。本文首先基于Metropolis-Hastings抽样技术提出了一种新的有效的边缘抽样器,并从理论上证明了该边缘抽样器对任意离散概率分布的收敛性。然后,我们提出了一个随机游走模型的抽象,用户可以很容易地定义不同的转移概率,通过指定动态边权重和随机游走状态。我们的边缘采样器有效地支持了这种抽象,因为我们的采样器可以在恒定的时间复杂度下从未归一化的概率分布中提取样本。最后,通过新的边缘采样器和随机游走模型抽象,我们仔细实现了一个可扩展的NRL框架,称为UniNet。我们在11个真实世界的数据集上使用5个基于随机游走的NRL模型进行了全面的实验,结果清楚地表明了UniNet在十亿边网络上的效率。
2021-01-09 cs.DB cs.LG stat.ML
Scalable Uncertainty Quantification for Deep Operator Networks using Randomized Priors
University of Pennsylvania(宾夕法尼亚大学)
我们提出了一种简单有效的方法,用于深度算子网络(DeepONets)中的后验不确定性量化;这是函数空间中监督学习的一种新兴范式。我们采用了一种基于随机先验集成的频率论方法,并提出了一种有效的加速硬件上的快速并行推理的向量化实现。通过计算力学和气候建模中的代表性例子的收集,我们表明,所提出的方法的优点是四方面的。(1)与确定性DeepONets相比,它可以提供更强大和准确的预测。(2)它显示了巨大的能力,提供可靠的不确定性估计的稀缺数据集与多尺度函数对。(3)它可以有效地检测分布外和对抗性的例子。(4)它可以无缝地量化由于模型偏差以及数据中的噪声破坏而导致的不确定性。最后,我们提供了一个名为{ \em UQDeepONet}的优化JAX库,它可以适应大型模型架构,大型集成尺寸以及大型数据集,在加速硬件上具有出色的并行性能,从而在现实的大规模应用中实现DeepONets的不确定性量化。
2022-03-06 cs.LG stat.ML
PGMHD: A Scalable Probabilistic Graphical Model for Massive Hierarchical Data Problems
University of Georgia(佐治亚大学);CareerBuilder
在大数据时代,可扩展性已经成为任何有用的计算模型的关键要求。概率图模型对于挖掘和发现数据洞察非常有用,但它们的可扩展性不足以适用于大数据问题。当贝叶斯网络的数据使用很少的随机变量来表示,而每个随机变量都有大量的值时,贝叶斯网络特别表现出这种局限性。对于分层数据(数据以树状结构排列,具有多个层次),人们会期望看到数十万或数百万的值分布在即使只是少量的层次上。当在大型数据集上对这种分层数据建模时,贝叶斯网络无法表示概率分布,原因如下:i)每个水平代表一个具有数十万个值的单个随机变量,ii)水平的数量通常很小,因此随机变量也很少,以及iii)网络的结构是预定义的,因为依赖性是从每个父节点到其子节点中的每个节点自上而下建模的,所以网络将包含从每个父节点到每个子节点的随机变量的单个线性路径。在本文中,我们提出了一个可扩展的概率图模型,以克服这些限制,海量层次数据。我们相信,所提出的模型将导致一个易于扩展的,更可读的,和表达的问题,需要大量的层次数据的概率为基础的解决方案的实现。我们成功地应用这个模型来解决两个不同的挑战性的概率为基础的问题上的大量层次数据集的不同领域,即生物信息学和潜在的语义发现搜索日志。
2014-08-19 cs.AI cs.LG
ReLaG: A Scalable Framework Generalizing Random Splits to Data with Latent Relations
Université Laval(拉瓦尔大学)
ReLaG是一个模态无关的可扩展框架,通过层次潜变量模型和社区检测推断样本关系组,生成独立训练-测试划分,在分子和蛋白质数据上匹配关系感知方法且扩展性更优,并提供无标签分辨率适应和有效规模估计。
2026-10-01 cs.AI cs.LG
Deep Random Features for Scalable Interpolation of Spatiotemporal Data
University College London(伦敦大学学院);PhysicsX;California Institute of Technology(加州理工学院)
本文提出一种基于贝叶斯深度学习的时空数据插值方法,利用深度随机特征扩展捕捉高频模式,支持大规模训练,在遥感数据上表现优于现有方法。
2024-12-16 cs.LG stat.ML
Scalable Inference of Sparsely-changing Markov Random Fields with Strong Statistical Guarantees
University of Michigan(密歇根大学);University of Southern California(南加州大学)
在本文中,我们研究的问题,推断时变马尔可夫随机场(MRF),其中底层的图形模型是稀疏的,随着时间的推移变化稀疏。大多数用于推断时变MRF的现有方法依赖于正则化最大似然估计(MLE),其通常遭受弱统计保证和高计算时间。相反,我们引入了一类新的约束优化问题的推理稀疏变化的MRF。提出的优化问题是制定基于精确的$\ell_0$正则化,并可以解决在近线性的时间和内存。此外,我们表明,该估计享有可证明的小估计误差。作为一个特殊的情况下,我们推导出尖锐的统计保证稀疏变化的高斯MRF(GMRF)在高维制度的推断,表明这样的问题可以学习少到一个样本每一次。我们提出的方法在实践中非常有效:它可以在不到一个小时的时间内准确地估计具有超过5亿个变量的稀疏变化的图形模型。
2021-02-06 cs.LG stat.CO stat.ML
Supervised learning of random quantum circuits via scalable neural networks
Università di Camerino(卡梅里诺大学);INFN-Sezione di Perugia(意大利国家核物理研究所佩鲁贾分部);CNR-INO(意大利国家研究委员会-国家光学研究所)
该研究提出可扩展的深度卷积神经网络,通过独热编码表示量子电路,在随机量子电路输出期望值预测任务中表现优于部分小型量子器件,且支持迁移学习外推大电路、具备强抗噪性。
2022-06-24 cond-mat.dis-nn cs.LG quant-ph
Universal Inference Meets Random Projections: A Scalable Test for Log-concavity
Novartis Pharmaceuticals Corporation(诺华制药公司);University of Michigan(密歇根大学);Boston University(波士顿大学);Carnegie Mellon University(卡内基梅隆大学)
针对现有对数凹性密度检验方法的缺失,研究结合通用推断与对数凹最大似然估计,提出首个有限样本下任意维度均有效的检验方法,还通过随机投影实现了兼具统计与计算效率的高功效可扩展检验流程。
2024-04-15 cs.LG math.ST stat.ME