Minibatch Gibbs Sampling on Large Graphical Models
Cornell University(康奈尔大学);Stanford University(斯坦福大学)
吉布斯抽样是事实上的马尔可夫链蒙特卡罗方法,用于大规模图形模型的推理和学习。对于具有大量因子的复杂因子图,Gibbs采样的性能可能受到执行马尔可夫链的单个更新步骤的计算成本的限制。这个成本与图的度、与每个变量相邻的因子数成正比。在本文中,我们将展示如何使用minimizing来降低此成本:对因子进行子采样以形成其总和的估计。我们介绍了几个小批量的吉布斯的变种,表明他们可以无偏,证明他们的收敛速度的界限,并表明在某些条件下,他们可以导致在渐进的单更新运行时的加速比平原吉布斯采样。
2018-06-15 cs.LG stat.ML
Accelerating Minibatch Stochastic Gradient Descent using Stratified Sampling
Rutgers University(罗格斯大学);Baidu Inc.(百度公司)
随机梯度下降(SGD)是一种流行的优化方法,已被应用于许多重要的机器学习任务,如支持向量机和深度神经网络。为了并行化SGD,通常采用小批量训练。标准的方法是在每一步对一个小批量进行统一采样,这通常会导致高方差。在本文中,我们提出了一个分层抽样策略,它将整个数据集划分为集群内的方差低,然后我们从这些集群使用分层抽样技术的例子。结果表明,该算法可以显着提高收敛速度。令人鼓舞的实验结果证实了所提出的方法的有效性。
2014-05-13 cs.LG math.OC stat.ML
Accelerating Minibatch Stochastic Gradient Descent using Typicality Sampling
Tsinghua University(清华大学);Chinese Academy of Sciences(中国科学院)
机器学习,特别是深度神经网络,在计算机视觉、语音识别和强化学习等领域得到了快速发展。虽然Mini-batch SGD是训练深度网络中最流行的随机优化方法之一,但由于梯度近似中的大噪声,它显示出缓慢的收敛速度。在本文中,我们试图通过建立更有效的基于典型性抽样的批量选择方法来解决这个问题,该方法减小了传统Minibatch SGD中梯度估计的误差。我们分析了典型的批处理SGD算法的收敛速度,并比较了Minibatch SGD和该算法的收敛性能。实验结果表明,我们的批量选择方案效果良好,更复杂的Minibatch SGD变体可以受益于所提出的批量选择策略。
2019-03-11 cs.LG math.OC stat.ML
Determinantal point processes based on orthogonal polynomials for sampling minibatches in SGD
Université de Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);National University of Singapore(新加坡国立大学)
随机梯度下降(SGD)是机器学习的基石。当数据项的数量N很大时,SGD依赖于使用原始数据集的一个小子集(称为minibatch)构建经验风险梯度的无偏估计量。默认的minibatch构造涉及对所需大小的子集进行均匀采样,但是已经探索了用于减少方差的替代方案。特别是,实验证据表明,绘制minibatches从行列式点过程(DPP),分布在minibatches有利于所选项目之间的多样性。然而,就像最近关于核心集的DPP的工作一样,很难系统地、有原则地理解DPP如何以及为什么起作用。在这项工作中,我们贡献了一个正交多项式为基础的DPP范式的小批量抽样在SGD。我们的方法利用了手头的特定数据分布,这赋予了它比现有数据不可知方法更高的灵敏度和能力。我们证实我们的方法通过详细的理论分析,其收敛性,交织之间的离散数据集和底层连续域。特别是,我们展示了特定的DPP和一系列的控制近似可以导致梯度估计的方差衰减速度比均匀采样下的批量。再加上现有的有限时间保证SGD凸目标,这意味着,DPP minibatches导致更小的约束上的均方近似误差比均匀minibatches。此外,我们的估计器适用于最近的算法,该算法直接对DPP的线性统计数据进行采样(即,梯度估计器)而不对基础DPP进行采样(即,minibatch),从而减少计算开销。我们提供了详细的合成以及真实的数据实验来证实我们的理论主张。
2021-12-11 cond-mat.dis-nn cs.LG math.OC
Exploring Effects of Random Walk Based Minibatch Selection Policy on Knowledge Graph Completion
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校)
本文探讨了不同的小批量抽样技术在知识图谱补全中的作用。知识图谱完成(KGC)或链接预测是预测知识图谱中缺失事实的任务。KGC模型通常使用边缘、软边缘或交叉熵损失函数进行训练,这些函数促进为真实事实三元组分配更高的分数或概率。最小批量梯度下降用于优化这些损失函数,以训练KGC模型。但是,由于每个小批只由来自大型知识图谱的几个随机抽样的三元组组成,因此在大多数情况下,在小批中出现的任何实体只出现一次。因此,这些损失函数忽略了任何实体的所有其他邻居,其嵌入在某个小批量步骤中被更新。在本文中,我们提出了一个新的随机行走为基础的小批量抽样技术训练KGC模型,优化损失的小批量紧密连接的子图的三元组,而不是随机选择的。我们已经显示了不同的模型和数据集与我们的采样技术的实验结果,发现所提出的采样算法对这些数据集/模型有不同的影响。具体来说,我们发现我们提出的方法在DB 100 K数据集上实现了最先进的性能。
2020-04-12 cs.LG cs.SI stat.ML
Minibatch training of neural network ensembles via trajectory sampling
University of Nottingham(诺丁汉大学)
提出基于minibatch的轨迹采样方法高效训练神经网络集成,在MNIST上实现两个数量级的计算加速,并证明更长轨迹能提升推理精度且降低更新成本。
2023-06-27 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Controlled Langevin Dynamics for Sampling of Feedforward Neural Networks Trained with Minibatches
Department of Physics, Università degli Studi di Milano(米兰大学物理系);Department of Computing Sciences(计算科学系);Bocconi Institute for Data Science(博科尼数据科学研究所);Analytics (BIDSA), Bocconi University(分析(BIDSA),博科尼大学)
本文提出受控 minibatch Langevin 动力学方法,用于高效采样训练有大数据集的 feedforward 神经网络参数空间,通过调整虚拟质量与摩擦系数以确保高效采样,验证了其在大规模网络中的高效性与泛化性能。
2026-03-16 cond-mat.dis-nn cs.LG
Sampling from Bayesian Neural Network Posteriors with Symmetric Minibatch Splitting Langevin Dynamics
Nanyang Technological U.(南洋理工大学);ETH Zürich(苏黎世联邦理工学院);City University of Hong Kong(香港城市大学);University of Edinburgh(爱丁堡大学)
本文提出对称小批量分裂朗之万动力学采样算法 SMS-UBU,在仅用一个小批量的情况下实现 $O(h^2 d^{1/2})$ 偏差控制,并在多个数据集上验证其采样的贝叶斯神经网络具有更优的校准性能。
2025-03-11 cs.LG cs.NA math.NA
MassiveGNN: Efficient Training via Prefetching for Massively Connected Distributed Graphs
Iowa State University(爱荷华州立大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
针对大规模连接分布式图上GNN训练存在的通信开销与负载不均问题,提出MassiveGNN方法,在DistDGL框架上加入参数化连续预取驱逐方案,在Perlmutter超算的OGB数据集上实现15%-40%的端到端训练性能提升。
2024-11-03 cs.DC cs.LG cs.PF
Scalable and Adaptive Graph Neural Networks with Self-Label-Enhanced training
China Telecom Research Institute(中国电信研究院)
在大规模图上直接实现图神经网络(GNNs)是一个困难的问题。除了现有的邻居采样技术,可扩展的方法解耦图卷积和其他可学习的转换到预处理和后分类器允许正常的小批量训练。通过用注意力机制代替SIGN中的冗余连接操作,提出了可扩展自适应图神经网络(SAGN)。SAGN可以自适应地收集不同跳之间的邻域信息。为了进一步提高半监督学习任务的可扩展性模型,提出了结合自训练方法和标签深度传播的自标签增强(Self-Label-Enhance,SLE)框架。我们在基础模型中增加了一个可扩展的节点标签模块。然后,我们迭代的训练模型和增强训练集在几个阶段。为了生成节点标签模块的输入,我们直接应用基于独热编码标签向量的标签传播,而无需内部随机掩蔽。我们发现,经验上的标签泄漏已被有效地缓解后,图卷积。增强训练集中的硬伪标签与真标签一起参与标签传播。在归纳数据集和转换数据集上的实验表明,与其他基于采样和无采样的方法相比,SAGN获得了更好或相当的结果,SLE可以进一步提高性能。
2021-07-01 cs.AI cs.LG
Faster Inference of Flow-Based Generative Models via Improved Data-Noise Coupling
University of Bern(伯尔尼大学);EPFL(苏黎世联邦理工学院)
本文提出LOOM-CFM方法,通过优化 minibatch OT 跨 minibatch 的 assignments,提升流基生成模型在样本速度与质量间的平衡,支持高分辨率潜在空间合成和蒸馏初始化。
2026-03-16 cs.CV cs.LG
Exploring Variance Reduction in Importance Sampling for Efficient DNN Training
Takuro Kutsuna(独立研究者)
针对重要性采样中方差减少评估的计算挑战,本文提出基于小批量样本的方差减少估计方法、自动学习率调整的有效小批量大小及相关量化指标与算法,提升DNN训练效率与精度。
2025-11-18 cs.LG stat.ML
Approximate blocked Gibbs sampling for Bayesian neural networks
The University of Manchester(曼彻斯特大学)
本文提出近似分块 Gibbs 采样以提升前馈神经网络小批量 MCMC 的可行性,通过参数分组与深层降方差缓解深度增加导致的接受率消失,从而支持更长链运行并改善分类准确率与不确定性量化。
2023-07-24 cs.LG stat.CO stat.ME
GraphSAINT: Graph Sampling Based Inductive Learning Method
University of Southern California(南加州大学);US Army Research Lab(美国陆军研究实验室)
图卷积网络(GCN)是学习属性图表示的强大模型。为了将GCN扩展到大型图,最先进的方法使用各种层采样技术来缓解小批量训练期间的“邻居爆炸”问题。我们提出了GraphSAINT,这是一种基于图采样的归纳学习方法,它以一种根本不同的方式提高了训练效率和准确性。通过改变视角,GraphSAINT通过对训练图进行采样而不是对GCN层中的节点或边进行采样来构建小批量。每次迭代,从正确采样的子图构建完整的GCN。因此,我们确保所有层中固定数量的良好连接节点。我们进一步提出了归一化技术来消除偏差,和抽样算法的方差减少。重要的是,我们可以将采样与前向和后向传播解耦,并使用许多架构变体(例如,图形注意,跳转连接)。GraphSAINT在五个大型图上的准确性和训练时间方面表现出卓越的性能,并在PPI(0.995)和Reddit(0.970)上获得了最新的F1分数。
2020-02-16 cs.LG stat.ML
Communication-Efficient Graph Neural Networks with Probabilistic Neighborhood Expansion Analysis and Caching
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
针对分布式GNN训练的特征通信瓶颈,本文提出基于顶点包含概率的缓存策略,构建SALIENT++系统,在大幅降低通信量与存储开销的同时显著提升训练速度。
2023-05-04 cs.DC cs.LG cs.PF
Robust Stochastic Gradient Posterior Sampling with Lattice Based Discretisation
Institute of Physics, University of Amsterdam, Netherlands(阿姆斯特丹大学物理研究所);Institute for Mathematics, Academia Sinica, Taiwan(台湾);Korteweg-de Vries Institute for Mathematics, University of Amsterdam, Netherlands(阿姆斯特丹大学克罗特-德-维尔斯数学研究所);Department of Computer Science, University of Oxford, United Kingdom(牛津大学计算机科学系);Normal Computing Corporation, New York, New York, USA(正常计算公司);Amsterdam Machine Learning Lab, University of Amsterdam, Netherlands(阿姆斯特丹机器学习实验室);Department of Physics, National Taiwan University, Taiwan(台湾国立台湾大学物理系)
本文提出SGLRW方法,通过改进的离散化技术提升随机梯度MCMC在小批量和厚尾噪声下的鲁棒性,并在贝叶斯回归和分类中表现出色。
2026-02-17 cs.LG stat.ML
From Spectral Graph Convolutions to Large Scale Graph Convolutional Networks
EURECOM(欧洲通信学院)
图卷积网络(GCN)已被证明是一个强大的概念,已成功地应用于各种各样的任务在许多领域在过去的几年里。在这项工作中,我们研究的理论铺平了道路的GCN的定义,包括经典图论的相关部分。我们还讨论并实验证明了GCN的关键属性和限制,例如由图的边缘引入的样本的统计依赖性所引起的那些,这会导致完整梯度的估计有偏差。我们讨论的另一个限制是小批量采样对模型性能的负面影响。因此,在参数更新期间,梯度是在整个数据集上计算的,这破坏了大型图的可扩展性。为了解决这个问题,我们研究了其他方法,这些方法可以安全地学习好的参数,同时每次迭代只对数据的一个子集进行采样。我们重现了Kipf等人的工作中报告的结果。并提出了一个灵感来自SIGN的实现,SIGN是一种无采样的小批量方法。最后,我们在基准数据集上比较了这两种实现,证明它们在半监督节点分类任务的预测精度方面是相当的。
2022-07-12 cs.LG
Incremental Without Replacement Sampling in Nonconvex Optimization
IRIT(图卢兹计算机科学研究所);Université de Toulouse(图卢兹大学);CNRS(法国国家科学研究中心)
经验风险最小化的小批量分解方法通常在随机近似设置中进行分析,也称为替换抽样。另一方面,这些技术的现代实现是渐进的:它们依赖于不替换的采样,可用的分析要少得多。通过分析一个通用的增量梯度格式,我们为后一种变体提供了收敛性。对于这个方案,我们考虑恒定的,递减的或自适应的步长。在光滑的设置,我们得到明确的复杂性估计的时期计数器。在非光滑的设置,我们证明了该序列被吸引的最优性条件的问题的解决方案。
2023-01-06 cs.LG math.OC
scDataset: Scalable Data Loading for Deep Learning on Large-Scale Single-Cell Omics
Department of Computer Science, University of Milan(米兰大学计算机科学系)
提出scDataset数据加载器,通过块采样和批量获取实现准随机采样,在Tahoe-100M数据集上相比真随机采样加速两个数量级,同时保持模型性能。
2026-07-02 cs.AI cs.DB cs.LG
Not all noise is accounted equally: How differentially private learning benefits from large sampling rates
Aarhus University(奥胡斯大学)
学习通常涉及敏感数据,因此,已经使用差分隐私(DP)的定义开发了对随机梯度下降(SGD)和其他机器学习算法的隐私保护扩展。在差分私有SGD中,在每次训练迭代中计算的梯度受到两种不同类型的噪声的影响。首先,固有的采样噪声所产生的使用小批量。其次,从加性高斯噪声的底层机制即隐私性引入。在这项研究中,我们表明,这两种类型的噪声是等效的私人神经网络的效用的影响,但他们并不占同等的隐私预算。鉴于这一观察结果,我们提出了一种训练范式,将噪声的比例转移到更少的固有噪声和更多的附加噪声,这样可以在隐私预算中考虑更多的整体噪声。有了这个范例,我们能够改进私有端到端CNN的隐私/效用权衡的最新技术。
2021-10-12 cs.CR cs.LG
Sampling-based Gradient Regularization for Capturing Long-Term Dependencies in Recurrent Neural Networks
Institute of MMS of NASU(乌克兰国家科学院建模系统研究所);Center for Cybernetics(控制论中心)
梯度消失(和爆炸)效应是具有非线性激活函数的循环神经网络使用反向传播方法计算导数的常见问题。具有许多隐藏层的深度前馈神经网络也会受到这种影响。在本文中,我们提出了一种新的通用技术,使梯度的范数保持在适当的范围内。我们构造了一种方法来估计每个训练样本对目标函数梯度的长期分量的范数的贡献。使用此子例程,我们可以构建用于随机梯度下降(SGD)训练的小批量,即使对于非常复杂的任务,也可以实现训练网络的高性能和准确性。我们提供了一个简单的数学估计的minibatch的影响的梯度范数,并证明其正确性理论。为了实验性地检查我们的框架,我们使用一些特殊的合成基准来测试RNN捕获长期依赖关系的能力。我们的网络可以检测(时间)序列中事件之间的联系,范围约为。100或更长。
2017-02-13 cs.LG cs.NE
Stratified Experience Replay: Correcting Multiplicity Bias in Off-Policy Reinforcement Learning
Northeastern University(东北大学);Harvard University(哈佛大学)
深度强化学习(RL)方法依赖于经验重放来近似小批量监督学习设置;然而,与监督学习不同,访问大量训练数据对泛化至关重要,基于重放的深度RL似乎在存在无关数据的情况下很难实现。最近的研究表明,当重放内存变得太大时,深度Q网络(DQN)的性能会下降。这表明过时的经验在某种程度上影响了深度RL的性能,而这不应该是像DQN这样的非策略方法的情况。因此,我们重新检查的动机,均匀采样的重放内存,并发现它可能是有缺陷的,当使用函数近似。我们表明,尽管传统的智慧-从均匀分布采样不会产生不相关的训练样本,因此在训练过程中的偏见梯度。我们的理论规定了一个特殊的非均匀分布,以消除这种影响,我们提出了一个分层抽样方案,有效地实现它。
2021-02-22 cs.AI cs.LG
AdaSelection: Accelerating Deep Learning Training through Data Subsampling
Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊);The Ohio State University(俄亥俄州立大学);Stanford University(斯坦福大学)
AdaSelection是一种自适应子采样方法,通过结合方法级和样本级重要性选择最具信息量的子样本,加速深度学习训练而不损失性能,在图像、语言分类和回归任务上优于行业基线。
2023-06-19 cs.LG
PolicyClusterGCN: Identifying Efficient Clusters for Training Graph Convolutional Networks
The Ohio State University(俄亥俄州立大学);Indian Institute of Technology Madras(印度理工学院马德拉斯分校);Robert Bosch Centre for Data Science and AI(罗伯特·博世数据科学与人工智能中心)
提出PolicyClusterGCN在线强化学习框架,通过马尔可夫决策过程预测边权重并结合Graclus算法生成高效簇,提升了图卷积网络节点分类性能。
2023-06-25 cs.LG cs.SI
No Wrong Turns: The Simple Geometry Of Neural Networks Optimization Paths
Mila(米拉研究所);Université de Montreal(蒙特利尔大学);McGill University(麦吉尔大学)
本研究通过分析优化路径上梯度的几何性质,发现神经网络训练过程稳定且无障碍,从而在理论上保证线性收敛并指导学习率调度,为理解优化动力学提供了新视角。
2023-06-20 cs.LG math.OC
Large Graph Convolutional Network Training with GPU-Oriented Data Communication Architecture
IBM T.J. Watson Research Center(IBM TJ·沃森研究中心);NVIDIA(英伟达公司)
图卷积网络(GCN)在大规模的基于图的推荐系统中被越来越多地采用。训练GCN需要小批量生成器遍历图并对稀疏的相邻节点进行采样以获得它们的特征。由于真实世界的图形通常超过GPU内存的容量,当前的GCN训练系统将特征表保存在主机内存中,并依赖CPU在将其发送到GPU之前收集稀疏特征。但是,这种方法会给主机内存带宽和CPU带来巨大的压力。这是因为CPU需要(1)从内存中读取稀疏特征,(2)将特征以密集格式写入内存,以及(3)将特征从内存传输到GPU。在这项工作中,我们提出了一种新的面向GPU的数据通信方法的GCN训练,其中GPU线程直接访问稀疏功能在主机内存中通过零拷贝访问没有太多的CPU帮助。通过去除CPU收集阶段,我们的方法显着减少了主机资源的消耗和数据访问延迟。我们进一步提出了两个重要的技术,以实现高主机内存访问效率的GPU:(1)自动数据访问地址对齐,以最大限度地提高PCIe数据包的效率,和(2)异步零拷贝访问和内核执行完全重叠的数据传输与训练。我们将我们的方法整合到PyTorch中,并使用几个大小高达1.11亿个节点和16亿条边的图来评估其有效性。在多GPU训练设置中,我们的方法比传统的数据传输方法快65-92%,甚至可以匹配一些适合GPU内存的图形的全GPU内存训练的性能。
2021-08-14 cs.LG
Central Limit Theorem for Bayesian Neural Network trained with Variational Inference
Laboratoire de Mathématiques Blaise Pascal(布莱斯·帕斯卡数学实验室);Université Clermont-Auvergne(克莱蒙奥弗涅大学);INRIA Lille(里尔国家计算机与自动化研究所);Centre de Mathématiques Appliquées(应用数学中心);École polytechnique(巴黎综合理工学院);CNRS(法国国家科学研究中心);Institut Universitaire de France(法国大学研究院)
本文研究变分推断训练的无限宽贝叶斯两层神经网络,推导三种训练方案的中心极限定理,揭示 Minimal VI 与其他方案的波动差异,并验证其计算效率优势。
2024-06-10 cs.LG math.PR math.ST
Finding One's Bearings in the Hyperparameter Landscape of a Wide-Kernel Convolutional Fault Detector
Semantic Information Systems Group, Osnabrück University(奥斯纳布鲁克大学语义信息系统组);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
该研究针对轴承故障检测神经网络超参数适配新数据的问题,结合多数据集与改造实验分析宽核CNN架构专属超参数的影响规律,推翻了高频噪声是宽核优势主因的推测,给出新数据下的超参数设置指导。
2025-05-16 cs.AI cs.LG eess.SP
Efficient and Scalable Granular-ball Graph Coarsening Method for Large-scale Graph Node Classification
School of Computer Science and Technology, Chongqing Key Laboratory of Computational Intelligence, Key Laboratory of Cyberspace Big Data Intelligent Security, Ministry of Education, Sichuan-Chongqing Co-construction Key Laboratory of Digital Economy Intelligence and Key Laboratory of Big Data Intelligent Computing(计算机科学与技术学院,重庆 computational intelligence 重点实验室,网络安全大数据智能安全重点实验室,教育部,四川-重庆共建数字经济智能重点实验室和大数据智能计算重点实验室);School of Computer Science and Technology, School of Cyber Security and Information Law, Chongqing University of Posts and Telecommunications(计算机科学与技术学院,网络安全与信息法学院,重庆邮电大学);Chongqing Key Laboratory of Brain-Inspired Cognitive Computing and Educational Rehabilitation for Children with Special Needs, Chongqing Normal University(脑启发认知计算与特殊儿童教育康复重庆重点实验室,重庆师范大学)
本文提出一种高效的粒球图粗化方法,通过多粒度粗化算法降低计算复杂度,提升GCN的训练效率和可扩展性,在多个数据集上验证了其优越性能。
2026-04-14 cs.AI cs.LG