Mini-Batch Optimization of Contrastive Loss
KRAFTON（魁匠团）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Seoul National University（首尔国立大学）；Yonsei University（延世大学）
本文研究对比学习的小批量优化理论，证明其与全批量优化等价的条件，并提出基于谱聚类识别高损失小批量以加速 SGD 的方法。
2023-07-12 cs.LG
In-Context Batch Black-box Optimization via Flow Matching
ELLIS Institute Finland（芬兰ELLIS研究所）；Department of Computer Science, Aalto University（阿尔托大学计算机系）；Department of Computer Science, University of Manchester（曼彻斯特大学计算机系）
本文针对高成本并行评估场景下的批量黑盒优化难题，提出FMTR摊销式方法，通过条件流匹配训练后可高效生成批量，在合成与真实基准上性能优异且计算成本低。
2026-10-16 cs.LG
CDFGNN: a Systematic Design of Cache-based Distributed Full-Batch Graph Neural Network Training with Communication Reduction
Meituan（美团）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
本文提出CDFGNN框架，通过自适应缓存、通信量化和分层图划分算法减少分布式全批量GNN训练的远程访问与通信开销，实验显示性能提升30.39%。
2024-08-01 cs.DC cs.LG
Batched Gaussian Process Bandit Optimization via Determinantal Point Processes
Microsoft Research（微软研究院）
高斯过程bandit优化已经成为优化噪声黑盒函数的一个强大工具。机器学习中的一个示例是超参数优化，其中目标函数的每个评估都需要训练可能涉及数天甚至数周计算的模型。这种所谓的“贝叶斯优化”的大多数方法只允许对参数空间进行顺序探索。然而，通常希望提出一批或多组参数值来同时探索，特别是当我们可以使用大型并行处理设施时。批处理方法需要对批处理中不同评估之间的交互进行建模，这在复杂的场景中可能是昂贵的。在本文中，我们提出了一种新的方法，并行贝叶斯优化建模的多样性，一批通过确定性点过程（DPP）的内核是自动学习。这使我们能够推广以前的结果，以及证明更好的后悔界限的基础上，DPP采样。我们对各种合成和真实世界的机器人和超参数优化任务的实验表明，我们基于DPP的方法，特别是基于DPP采样的方法，优于最先进的方法。
2016-11-13 cs.LG
Frontier LLMs are effective batch optimizers: Assessing reasoning models in continuous and discrete settings
Prescient Design, Genentech（基因泰克公司的Prescient Design部门）
该研究评估前沿LLMs在连续与离散场景下作为批量优化器的性能，发现其在数值测试函数上具竞争力但性能较脆弱，在语义丰富场景中表现显著更优，凸显其在特定离散空间优化的有效性。
2026-09-04 cs.LG
Tula: Optimizing Time, Cost, and Generalization in Distributed Large-Batch Training
Oak Ridge National Laboratory（橡树岭国家实验室）
Tula通过结合并行系统建模与统计性能预测，自动优化大批次训练的批次大小，从而在时间、成本和收敛质量上取得平衡，提升卷积模型的训练效率和测试准确率。
2026-03-18 cs.AI cs.LG
Feedback-Calibrated Protein Optimization with Batch-Aligned Tail Arbitration
University of Science and Technology of China（中国科学技术大学）；Nanjing University（南京大学）；Anhui University（安徽大学）
提出BATA方法，利用实验反馈自适应融合先验与任务特定排序，在蛋白质优化中实现最佳平均任务排名1.67。
2026-09-30 cs.LG
Batch size invariant Adam
Manning College of Information and Computer Sciences（曼宁信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of Bristol（布里斯托大学）
针对分布式训练中 Adam 随 micro-batch 划分而改变更新尺度的问题，本文通过先平方后平均梯度构造 v 项，在无需梯度方差主导假设的情况下实现批量大小不变性。
2024-02-29 cs.LG
Gradient Diversity: a Key Ingredient for Scalable Distributed Learning
UC Berkeley（加州大学伯克利分校）；UW Madison（威斯康星大学麦迪逊分校）
实验发现，小批量随机梯度下降（SGD）算法的分布式实现在超过特定批量时会出现加速饱和和泛化能力下降的现象.在这项工作中，我们提出了一个分析暗示，并行处理的梯度之间的高相似性可能是这种性能下降的原因。我们引入了梯度多样性的概念，衡量并发梯度更新之间的相异性，并显示其在小批量SGD的性能的关键作用。我们证明了高梯度多样性的问题，小批量SGD是适合更好的加速，同时保持串行（一个样本）SGD的泛化性能。我们进一步建立了收敛的下限，其中小批量SGD减慢超过特定的批量大小，仅仅是由于缺乏梯度多样性。我们提供的实验证据表明梯度多样性在分布式学习中的关键作用，并讨论了如何像dropout，Langevin动力学和量化可以改善它。
2018-01-07 cs.DC cs.LG
Hybrid Dual-Batch and Cyclic Progressive Learning for Efficient Distributed Training of Convolutional Neural Networks
Institute of Information Science, Academia Sinica（中国科学院信息研究所）；Department of Computer Science and Information Engineering, National Taiwan University（国立台湾大学计算机科学与资讯工程系）
针对分布式训练中大批次导致的泛化差问题，提出基于参数服务器的双批次学习方案，结合循环渐进式学习调整图像分辨率，在提升模型准确率的同时显著减少训练时间。
2026-11-06 cs.DC cs.LG
Process-constrained batch Bayesian approaches for yield optimization in multi-reactor systems
Univ. Lille（里尔大学）；Centrale Lille（里尔中央理工学院）；CNRS（法国国家科学研究中心）；Univ. Artois（阿图瓦大学）
本文提出过程约束批量贝叶斯优化方法 pc-BO-TS 及其层级扩展 hpc-BO-TS，用于解决多反应器系统产率优化中的层级约束问题，并在合成案例和 REALCAT 高通量实验数据上验证其优于现有方法。
2024-08-05 cs.LG
On the Optimality of Batch Policy Optimization Algorithms
University of Alberta（阿尔伯塔大学）；Carnegie Mellon University（卡内基梅隆大学）；Google Research, Brain Team（谷歌研究院，大脑团队）；DeepMind；Amazon（亚马逊）
批量策略优化考虑在与环境交互之前利用现有数据进行策略构建。虽然近年来对这个问题的兴趣显著增加，但其理论基础仍然不发达。为了提高对这个问题的理解，我们提供了三个结果，其特点的限制和可能性的批处理策略优化的有限武装随机土匪设置。首先，我们介绍了一类信心调整的指数算法，统一的乐观和悲观的原则，在一个共同的框架，这使得一般的分析。对于这个家庭，我们表明，任何信心调整指数算法是最小最大最优的，无论是乐观的，悲观的或中立的。我们的分析表明，依赖于实例的最优性，通常用于建立在线随机强盗算法的最优性，不能实现任何算法在批量设置。特别是，对于在某些环境中表现最佳的任何算法，存在另一种环境，在这种环境中，相同的算法遭受任意更大的遗憾。因此，为了建立一个框架，区分算法，我们引入了一个新的加权极大极小准则，认为固有的困难的最优值预测。我们演示了如何使用这个标准来证明常用的批处理策略优化的悲观原则。
2021-04-06 cs.LG
Hyper-Learning for Gradient-Based Batch Size Adaptation
University of Strathclyde（思克莱德大学）
在训练深度神经网络时，调度批量增加是控制梯度噪声的有效策略。目前的方法实现调度算法，忽略了优化过程中的结构，限制了它们对训练动态的灵活性和辨别其适应性对泛化的影响的能力。我们引入仲裁器作为一个新的超参数优化算法来执行批量大小的适应可学习的调度算法使用梯度从一个元目标函数，它克服了以前的启发式约束，通过执行一个新的学习过程称为超学习。通过超学习，Arbiter制定了一个神经网络代理，通过观察T个内部下降步骤的伴随响应来学习自适应启发式算法，为内部深度网络生成最佳批量样本。Arbiter避免了展开优化，并且不需要超网络来促进梯度，这使得它相当便宜，易于实现，并且适用于不同的任务。我们证明仲裁的有效性，在几个说明性的实验：作为一个独立的批量大小调度;补充固定批量大小的时间表具有更大的灵活性;并促进方差减少随机元优化的学习率。
2022-05-17 cs.LG
Sequential Aggregation and Rematerialization: Distributed Full-batch Training of Graph Neural Networks on Large Graphs
Intel AI Lab（英特尔人工智能实验室）
我们提出了顺序聚合和再物质化（SAR）计划的分布式全批训练的图神经网络（GNNs）在大型图。最近，GNN的大规模训练主要是基于采样的方法和基于不可学习消息传递的方法。另一方面，SAR是一种分布式技术，可以直接在整个大型图上训练任何GNN类型。SAR中的关键创新是分布式顺序重新物质化方案，该方案在向后传递期间顺序地重建然后释放过大的GNN计算图的片段。这导致了出色的内存扩展行为，其中每个工作线程的内存消耗随工作线程的数量线性下降，即使是密集连接的图形。使用SAR，我们报告了迄今为止全批GNN训练的最大应用，并展示了随着工人数量的增加而节省的大量内存。我们还提出了一种基于核融合和注意力矩阵再物质化的通用技术，以优化基于注意力的模型的运行时间和内存效率。我们表明，与SAR相结合，我们优化的注意力内核可以显著提高基于注意力的GNNs的速度并节省内存。我们提供了SAR GNN训练库：\url{https://github.com/IntelLabs/SAR}。
2022-04-15 cs.AI cs.LG
Dynamic Batch Bayesian Optimization
Oregon State University（俄勒冈州立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
贝叶斯优化（BO）算法试图优化一个未知的函数，这是昂贵的评估使用最少数量的评估/实验。BO中提出的大多数算法都是顺序的，每次迭代只选择一个实验。当每个实验花费很长时间并且可以同时运行多于一个实验时，该方法可能是时间效率低的。另一方面，与顺序策略相比，在每次迭代时请求固定大小的实验批次会导致BO的性能效率低下。在本文中，我们提出了一个算法，要求一批实验在每个时间步t的批量大小p_t是动态确定的每一步。我们的算法是基于观察到的顺序策略选择的实验序列有时几乎可以彼此独立。我们的算法识别这样的场景，并要求这些实验在同一时间，而不会降低性能。我们评估我们提出的方法使用预期的改善政策和结果显示，在8个真实的和合成的基准测试的性能影响不大，大幅加速。
2011-10-14 cs.LG
On Batch Bayesian Optimization
Indian Institute of Science（印度科学学院）
我们提出了两种算法的贝叶斯优化在批量反馈设置，高斯过程的置信上限和汤普森采样方法的基础上，随着频率后悔保证和数值结果。
2019-11-04 cs.LG stat.ML
DYNAMIX: RL-based Adaptive Batch Size Optimization in Distributed Machine Learning Systems
Case Western Reserve University（凯斯西储大学）；Shanghai Jiao Tong University（上海交通大学）
DYNAMIX利用强化学习（PPO）自适应优化分布式训练中的批大小，无需系统建模，在多种环境下提升准确率最高6.3%，减少训练时间46%，并具备良好的可扩展性与策略迁移能力。
2025-10-09 cs.DC cs.LG
Rethinking Efficiency in Neural Combinatorial Optimization: Batched Preference Optimization with Mamba
National Key Laboratory of Big Data and Decision, National University of Defense Technology（大数据与决策国家重点实验室，国防科技大学）；School of Computer Science, South China University of Technology（华南理工大学计算机科学学院）；School of Computing and Information Systems, Singapore Management University（新加坡管理学院计算机与信息系统学院）
本文提出ECO框架，通过分阶段的监督预热和批量偏好优化，提升神经组合优化的效率，实现更优的内存使用和吞吐量。
2026-07-21 cs.LG
Revisit Batch Normalization: New Understanding from an Optimization View and a Refinement via Composition Optimization
University of Rochester（罗切斯特大学）
批量归一化（BN）已广泛用于深度学习，以实现更快的训练过程和更好的结果模型。然而，BN是否有效很大程度上取决于在训练期间如何构建批次，如果批次上的统计数据不接近整个数据集上的统计数据，则可能不会收敛到所需的解决方案。在本文中，我们试图从优化的角度来理解BN，制定的最优化问题，激励BN。通过对最优化问题的分析，我们证明了BN何时起作用，何时不起作用。然后，我们提出了一种改进的BN的基础上组成的优化技术，称为全归一化（FN），以减轻问题的BN时，批次没有构建理想的。我们提供了收敛分析FN和实证研究其有效性，以改善BN。
2018-10-15 cs.LG math.OC
Pretrained Joint Predictions for Scalable Batch Bayesian Optimization of Molecular Designs
针对药物开发中分子设计批量合成测试的瓶颈，本研究基于认知神经网络框架构建预训练的可扩展结合亲和力联合预测代理模型，用于批量贝叶斯优化，大幅提升了抑制剂筛选效率。
2025-11-14 cs.LG
Distributed Harmonization: Federated Clustered Batch Effect Adjustment and Generalization
Michigan State University（密歇根州立大学）；University of Pittsburgh（匹兹堡大学）；University of Southern California（南加州大学）
本文提出Cluster ComBat协调算法，利用站点数据聚类模式解决联邦学习中批次效应校正对新站点泛化差和重新训练开销大的问题，并通过模拟和ADNI真实医学影像数据验证其优越性。
2024-08-07 cs.LG
Asynchronous Batch Bayesian Optimization with Pipelining Evaluations for Experimental Resource$\unicode{x2013}$constrained Conditions
Keio University（庆应义塾大学）
针对实验资源受限下批量贝叶斯优化无法应用、顺序方法耗时过长的问题，本研究提出流水线贝叶斯优化（PipeBO），通过重叠实验进程实现并行化，在24个基准函数中的20个上平均减少约44%处理时间，提升资源受限场景下的优化效率。
2024-12-05 cs.LG
Communication-Efficient Adaptive Batch Size Strategies for Distributed Local Gradient Methods
Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）；The University of Chicago Booth School of Business（芝加哥大学布斯商学院）；Northwestern University（西北大学）；University of Southern California Marshall School of Business（南加州大学马歇尔商学院）
针对分布式局部梯度方法，提出自适应增大批量大小以降低梯度方差，并在同质数据下给出收敛保证，实验验证其提升训练效率与泛化能力。
2024-11-06 cs.LG math.OC stat.ML
Dynamic Mini-batch SGD for Elastic Distributed Training: Learning in the Limbo of Resources
Amazon Web Services（亚马逊云科技）
随着对用于深度学习算法的训练能力的日益增长的需求以及数据中心中的计算资源的快速增长，期望动态地调度不同的分布式深度学习任务以最大化资源利用并降低成本。在这个过程中，不同的任务可能会在不同的时间接收不同数量的机器，我们称之为弹性分布式训练。尽管最近在大型小批量分布式训练中取得了成功，但这些方法很少在弹性分布式训练环境中进行测试，并且在我们的实验中，当我们立即相对于批量大小线性调整学习率时，性能会下降。我们观察到的一个困难是，随机动量估计中的噪声会随着时间的推移而累积，并且当批量大小变化时会产生延迟效应。因此，我们建议随着时间的推移平滑地调整学习率，以减轻噪声动量估计的影响。我们在图像分类，目标检测和语义分割的实验表明，我们提出的动态SGD方法达到稳定的性能时，不同的GPU数量从8到128。我们还提供了理论上的理解线性学习率调度的最优性和随机动量的影响。
2019-05-02 cs.CV cs.DC cs.LG
Critical Parameters for Scalable Distributed Learning with Large Batches and Asynchronous Updates
EPFL（洛桑联邦理工学院）
通过实验观察到，随机梯度（SGD）分布式训练的效率决定性地取决于批量大小和（在异步实现中）梯度的陈旧性。特别地，已经观察到，超过一定的批量大小和/或当延迟变得太大时，加速饱和。我们确定了一个依赖于数据的参数，解释了这两种设置中的加速饱和。我们的全面的理论分析，强凸，凸和非凸设置，统一和推广以前的工作方向，往往只集中在这两个方面之一。特别是，我们的方法使我们能够在经常考虑的稀疏性假设下得到改进的加速结果。我们的见解产生了理论上的指导方针，如何学习率可以在实践中进行调整。我们表明，我们的结果是紧密的，并说明在数值实验中的关键发现。
2021-03-03 cs.DC cs.LG stat.ML
The Number of Steps Needed for Nonconvex Optimization of a Deep Learning Optimizer is a Rational Function of Batch Size
Meiji University（明治大学）
最近，针对非凸优化的深度学习优化器的收敛性和收敛速度分析得到了广泛的研究。与此同时，优化器的数值评估精确地阐明了批量大小与训练深度神经网络所需步骤数之间的关系。本文的主要贡献是从理论上表明，每个优化器的非凸优化所需的步骤数可以表示为批量大小的有理函数。拥有这些有理函数会导致两个特别重要的事实，这在以前的研究中得到了数值验证。第一个事实是，存在一个最佳的批量大小，使得非凸优化所需的步骤数最小化。这意味着使用比最优批量更大的批量不会减少非凸优化所需的步骤数。第二个事实是最佳批处理大小取决于优化器。特别是，它从理论上表明，动量和亚当型优化器可以利用更大的最优批次，并进一步减少非凸优化所需的最小步骤数比随机梯度下降优化。
2021-08-26 cs.LG math.OC
Parallel Predictive Entropy Search for Batch Global Optimization of Expensive Objective Functions
University of Cambridge（剑桥大学）
我们开发了并行预测熵搜索（PPES），昂贵的黑箱目标函数的贝叶斯优化的一种新算法。在每次迭代中，PPES的目标是选择一批点，这将最大化关于目标的全局最大化者的信息增益。众所周知的策略存在于基于先前的观察来建议单个评估点，而已知的用于选择多批点来并行评估的策略少得多。已经研究的几个批次选择方案都采用贪婪方法来计算最优批次。据我们所知，PPES是第一个非贪婪批量贝叶斯优化策略。我们证明了这种方法在优化性能的合成和现实世界的应用，包括在机器学习，火箭科学和机器人技术的问题的好处。
2015-11-23 cs.LG stat.ML
AdaScale SGD: A User-Friendly Algorithm for Distributed Training
Apple（苹果公司）
当使用大批量训练来加速随机梯度下降时，学习率必须适应新的批量大小，以最大限度地提高速度并保持模型质量。重新调整学习率是资源密集型的，而固定的缩放规则往往会降低模型质量。我们提出了AdaScale SGD，这是一种可靠地将学习率适应大批量训练的算法。通过不断适应梯度的变化，AdaScale自动实现了各种批量大小的加速。我们用AdaScale的收敛界来正式描述这种质量，它保持最终的目标值，即使批量大小变大，迭代次数减少。在实证比较中，AdaScale的训练远远超出了流行的“线性学习率缩放”规则的批量大小限制。这包括机器翻译、图像分类、目标检测和语音识别任务的无模型降级的大批量训练。AdaScale的定性行为类似于“热身”行为，但与热身不同的是，这种行为是从原则性机制中自然出现的。该算法引入的计算开销可以忽略不计，并且没有新的超参数，这使得AdaScale成为实际大规模训练的有吸引力的选择。
2020-07-09 cs.LG stat.ML
Causal Covariate Shift Correction using Fisher information penalty
Institute of Business Administration（商业管理学院）；National University of Computer and Emerging Sciences（国家计算机与新兴科学大学）；Habib University（哈比布大学）
针对训练数据分布随时间变化导致的模型选择不可靠问题，提出基于Fisher信息惩罚的因果协变量偏移校正方法，在批次和折级基准上分别提升准确率最高20.3%和最低5.9%。
2025-02-11 cs.LG
Distributed Learning in the Non-Convex World: From Batch to Streaming Data, and Beyond
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Minnesota（明尼苏达大学）；The Chinese University of Hong Kong（香港中文大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
分布式学习已经成为许多人所设想的大规模连接世界的关键推动者。本文讨论了可扩展的分布式处理和实时智能的四个关键要素-问题、数据、通信和计算。我们的目标是提供一个新的和独特的角度来看，这些因素应该如何在一个有效的和一致的方式一起工作。特别是，我们{提供一个选择性的审查}关于最近开发的优化非凸模型的技术（即，问题类），处理批处理和流数据（即，数据类型），在网络上以分布式方式（即，通信和计算范例）。我们描述了一组流行的分布式算法的核心背后的直觉和连接，强调如何权衡计算和通信成本。还将讨论实际问题和未来的研究方向。
2020-01-14 cs.LG math.OC stat.ML
Gradient Noise Convolution (GNC): Smoothing Loss Function for Distributed Large-Batch SGD
Toshiba Corporation（东芝公司）；The University of Tokyo（东京大学）；RIKEN（理化学研究所）
大批量随机梯度下降（SGD）由于其训练时间效率而被广泛用于分布式深度学习中的训练，然而，极大批量SGD导致泛化能力差并且容易收敛到尖锐的最小值，这阻碍了朴素大规模数据并行SGD（DP-SGD）收敛到良好的最小值。为了克服这个困难，我们提出了梯度噪声卷积（GNC），它有效地平滑的损失函数的尖锐的最小值。对于DP-SGD，GNC利用所谓的梯度噪声，其由随机梯度变化引起并卷积到损失函数作为平滑效果。GNC计算可以通过简单地计算每个并行工作者上的随机梯度并合并它们来执行，因此非常容易实现。由于与梯度噪声的卷积，梯度噪声倾向于沿着损失函数的更尖锐的方向传播，GNC可以有效地平滑尖锐的最小值并实现更好的泛化，而各向同性随机噪声不能。我们通过将GNC与各向同性随机噪声进行比较来实证显示这种效果，并表明它在大规模深度神经网络优化中实现了最先进的泛化性能。
2019-06-26 cs.LG stat.ML
Diversified Sampling for Batched Bayesian Optimization with Determinantal Point Processes
ETH Zurich（苏黎世联邦理工学院）
在贝叶斯优化（BO）中，我们研究了带有噪声点评估和贝叶斯先验的黑盒函数优化。BO的收敛速度可以大大加快，其中黑盒函数的多个评估在单轮中执行。在这种情况下，主要困难是同时提出各种各样的、内容丰富的评价要点。在这项工作中，我们介绍了DPP-Batch Bayesian Optimization（DPP-BBO），一个通用的框架，用于通过利用行列式点过程（DPP）的排斥特性来诱导基于BO的抽样中的批次多样性，从而自然地使批次抽样过程多样化。通过将DPP-Thompson Sampling（DPP-TS）算法作为Thompson Sampling（TS）算法的一种变体，引入Markov Chain Monte Carlo方法进行抽样，证明了经典批量TS和DPP-TS算法的贝叶斯简单遗憾界，后者的界更紧.我们的真实世界，以及合成，实验表明，改进的性能DPP-BBO在经典的高斯过程和Cox过程模型的方法。
2022-02-08 cs.LG stat.ML
Optimal Initialization of Batch Bayesian Optimization
Yeshiva University（叶史瓦大学）
本文提出一种名为最小终端方差（MTV）的批量设计采集函数，通过优化而非随机抽样设计批量贝叶斯优化的初始及后续批次，以最小化质量估计方差，数值实验表明其优于其他方法。
2024-04-27 cs.LG stat.ML
Massively Distributed SGD: ImageNet/ResNet-50 Training in a Flash
Sony Corporation（索尼公司）
由于大型小批量训练的不稳定性和梯度同步的开销，将分布式深度学习扩展到大规模GPU集群级别具有挑战性。我们通过批量大小控制和标签平滑来解决大型小批量训练的不稳定性。我们使用2D-Torus all-reduce解决梯度同步的开销。具体来说，2D-Torus all-reduce将GPU排列在逻辑2D网格中，并在不同方向上执行一系列集体操作。这两种技术是用神经网络库（NNL）实现的。我们在122秒内成功训练了ImageNet/ResNet-50，在ABCI集群上没有显著的准确性损失。
2019-03-05 cs.CV cs.LG
Scalable Batch Bayesian Optimization Via Subspace Acquisition Functions
School of Computing and Artificial Intelligence（计算与人工智能学院）
提出通过从原始问题的轴对齐子空间中各选一点来扩展贝叶斯优化至大规模批量评估，显著加速收敛，与十种批量算法相比极具竞争力。
2026-06-18 cs.AI cs.LG cs.NE
Crossover-SGD: A gossip-based communication in distributed deep learning for alleviating large mini-batch problem and enhancing scalability
Ajou University（亚洲大学）；Surromind；ETRI（韩国电子通信研究院）；Korea Institute of Science and Technology（韩国科学技术研究院）
分布式深度学习是减少大型数据集和复杂模型的深度学习训练时间的有效方法。然而，由网络开销引起的有限的可扩展性使得难以同步所有工作者的参数。为了解决这个问题，基于流言的方法，表现出稳定的可扩展性，无论工人的数量已经提出。然而，为了在一般情况下使用基于流言的方法，需要验证大型小批量的验证准确性。为了验证这一点，我们首先实证研究的八卦方法在一个大的小批量问题的特点，并观察到八卦方法保持更高的验证精度比AllReduce-SGD（随机梯度下降）时，批量大小的数量增加，工人的数量是固定的。然而，基于流言的模型的延迟参数传播在大节点尺度上降低了验证精度。为了解决这个问题，我们提出了Crossover-SGD，它通过分段通信和负载均衡随机网络拓扑来消除权重参数的延迟传播。我们还采用分层通信来限制基于八卦的通信方法中的工人数量。为了验证我们提出的方法的有效性，我们进行了实证实验，并观察到我们的Crossover-SGD显示出更高的节点可扩展性比SGP（随机梯度推）。
2022-10-17 cs.DC cs.LG
Large-Scale Distributed Second-Order Optimization Using Kronecker-Factored Approximate Curvature for Deep Convolutional Neural Networks
School of Computing, Tokyo Institute of Technology（东京工业大学计算学院）；NVIDIA（英伟达）；Global Scientific Information and Computing Center, Tokyo Institute of Technology（东京工业大学全球科学信息与计算中心）；RIKEN Center for Computational Science（理化学研究所计算科学中心）
深度神经网络的大规模分布式训练遭受由有效小批量大小的增加引起的泛化间隙。以前的方法试图通过改变学习率和批次大小来解决这个问题，或者对批量归一化进行一些特别的修改。我们提出了一种替代方法，使用二阶优化方法，表现出类似的泛化能力，一阶方法，但收敛速度更快，可以处理更大的小批量。为了在高度优化的一阶方法可作为参考的基准上测试我们的方法，我们在ImageNet上训练ResNet-50。对于小于16，384的小批量，我们在35个epoch中收敛到了75%的Top-1验证准确率，即使小批量为131，072，也达到了75%，这只需要978次迭代。
2019-03-30 cs.CV cs.LG stat.ML
DBS: Dynamic Batch Size For Distributed Deep Neural Network Training
Sichuan University（四川大学）
具有数据并行的同步策略，如同步随机梯度下降（S-SGD）和模型平均方法，在深度神经网络（DNN）的分布式训练中得到了广泛的应用，这主要是由于其易于实现且具有良好的性能。特别地，集群的每个工作者托管DNN的副本和具有固定minibatch大小的均匀划分的共享，以保持DNN的训练收敛。在这些策略中，由于网络传输的同步和延迟，不同计算能力的工作者需要相互等待，这必然会造成高性能工作者的计算浪费，从而导致集群的利用率相对较低.为了缓解这个问题，我们提出了动态批量（DBS）策略用于DNN的分布式训练。具体地说，首先根据上一个epoch的实际情况对每个worker的性能进行评估，然后根据worker的当前性能动态调整批大小和集群划分，从而提高集群的利用率.为了验证所提策略的有效性，进行了大量的实验，实验结果表明，所提策略能够充分利用聚类的性能，减少训练时间，对不相关任务的干扰具有良好的鲁棒性.此外，还对所提出的策略的收敛性进行了严格的理论分析.
2022-11-03 cs.DC cs.LG stat.ML
Batched Bayesian optimization by maximizing the probability of including the optimum
MIT（麻省理工学院）；University of Cambridge（剑桥大学）
本文提出批量贝叶斯优化采集策略qPO，通过最大化批次包含真实最优解的概率，将批量采集函数分解为单项分数之和，规避组合优化难题，并在大型化学库分子设计实验中验证其竞争力与互补性。
2025-05-07 cs.LG stat.ML
Exponential convergence rates for Batch Normalization: The power of length-direction decoupling in non-convex optimization
ETH Zurich（苏黎世联邦理工学院）
规范化技术（如批量规范化）已成功应用于训练深度神经网络。然而，尽管它有明显的经验优势，批量标准化成功背后的原因大多是假设的。我们在这里的目的是从经典优化的角度提供一个更深入的理论理解。我们对这一目标的主要贡献是识别机器学习领域中的各种问题实例，其中% -在某些假设下-批量归一化可以证明加速优化。我们认为，这种加速是由于批量归一化将优化任务分解为分别优化参数的长度和方向。这使得基于梯度的方法能够利用损失景观中有利的全局结构，我们证明了这种结构存在于学习半空间问题和高斯输入的神经网络训练中。因此，我们将批量归一化从一个有效的实用启发式算法转化为这些设置的可证明收敛算法。此外，我们证实了我们的分析与经验证据表明，我们的理论结果在更广泛的背景下的有效性。
2018-10-06 cs.LG stat.ML
Never Go Full Batch (in Stochastic Convex Optimization)
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
我们研究了随机凸优化的$\text{full-batch}$优化算法的泛化性能：这些是一阶方法，只访问经验风险的精确梯度（而不是相对于单个数据点的梯度），包括广泛的算法，如梯度下降，镜像下降，以及它们的正则化和/或加速变体。我们提供了一个新的分离结果表明，虽然算法，如随机梯度下降可以概括和优化人口的风险，在$ε$后，$O(1/ε^2)$迭代，全批方法要么需要至少$Ω(1/ε^4)$迭代或表现出依赖于维度的样本复杂性。
2021-06-29 cs.LG math.OC
Batch size-invariance for policy optimization
OpenAI
我们说一个算法是批量不变的，如果批量大小的变化可以在很大程度上通过其他超参数的变化来补偿。众所周知，随机梯度下降通过学习率在小批量时具有此属性。然而，一些策略优化算法（如PPO）不具有此属性，因为它们如何控制策略更新的大小。在这项工作中，我们将展示如何使这些算法批量大小不变。我们的关键见解是将邻近策略（用于控制策略更新）与行为策略（用于策略外纠正）解耦。我们的实验有助于解释为什么这些算法工作，并展示了它们如何更有效地利用陈旧数据。
2022-09-24 cs.LG stat.ML
Practical Batch Bayesian Optimization for Less Expensive Functions
Deakin University（迪肯大学）
贝叶斯优化（BO）及其批处理扩展成功地优化了昂贵的黑盒函数。然而，当BO的计算成本可以支配评估黑盒函数的成本时，这些传统的BO方法对于优化不太昂贵的函数还不是理想的。这些不太昂贵的功能的例子是廉价的机器学习模型，通过模拟器进行廉价的物理实验，以及贝叶斯优化中的采集功能优化。在本文中，我们考虑一个批量BO设置的情况下，功能评估是不太昂贵的。我们的模型是基于一种新的探索策略，使用几何距离，提供了一种替代的方式进行探索，选择一个点远离观察到的位置。利用这种直觉，我们建议使用Sobol序列来指导探索，这将摆脱在以前的作品中使用的多个全局优化步骤。基于提出的距离探索，我们提出了一个有效的批量BO方法。我们证明了我们的方法优于其他基线和全局优化方法时，函数的评估是不太昂贵的。
2018-11-05 cs.LG stat.ML
On the Optimal Batch Size for Byzantine-Robust Distributed Learning
Nanjing University（南京大学）
研究固定梯度计算总数下拜占庭鲁棒分布式学习的最优批量大小问题，发现最优批量随拜占庭节点比例增加而增大，并提出ByzSGDnm方法缓解大批量导致的精度下降，在蓄意攻击下优于现有方法。
2023-05-23 cs.LG math.OC stat.ML
Batch Bayesian Optimization on Permutations using the Acquisition Weighted Kernel
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通人工智能研究院）
在这项工作中，我们提出了一个批处理贝叶斯优化方法的组合问题的排列，这是非常适合昂贵的评估目标。我们首先介绍了法律，一个有效的批量收购方法的基础上，使用收购加权核的决定性点过程。依靠多个并行计算，LAW可以在组合空间上加速搜索。然后，我们将该框架的置换问题，这到目前为止很少受到关注的贝叶斯优化文献，尽管它们的实际重要性。我们称这个方法为LAW2ORDER。在理论方面，我们证明了LAW2ORDER有消失的简单遗憾，通过显示批量累积遗憾是次线性的。从经验上讲，我们在涉及排列的几个标准组合问题（例如二次分配、流水作业调度和旅行推销员）以及结构学习任务上评估了该方法。
2023-01-25 cs.LG stat.ML
Hybrid Batch Bayesian Optimization
Oregon State University（俄勒冈州立大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
贝叶斯优化的目的是优化一个未知的非凸/凹函数，这是昂贵的评估。我们感兴趣的应用场景，并发功能评估是可能的。在这样的设置下，BO可以选择顺序地评估函数，一次一个输入，并在做出下一个选择之前等待函数的输出，或者一次评估一批多个输入的函数。这两种不同的设置通常称为贝叶斯优化的顺序和批处理设置。一般来说，顺序设置导致更好的优化性能，因为每个函数评估都是用更多的信息选择的，而批量设置在总实验时间（迭代次数）方面具有优势。在这项工作中，我们的目标是结合两种设置的优势。具体而言，我们系统地分析贝叶斯优化使用高斯过程作为后验估计，并提供了一个混合算法，根据当前状态，动态切换顺序策略和批量策略与可变批量大小。我们为我们的算法提供了理论依据，并在8个基准BO问题上给出了实验结果。结果表明，我们的方法实现了实质性的加速（高达%78）相比，一个纯粹的顺序的政策，没有遭受任何显着的性能损失。
2012-05-01 cs.AI cs.LG
Hybrid Batch Normalisation: Resolving the Dilemma of Batch Normalisation in Federated Learning
Jiangnan University（江南大学）；University of Surrey（萨里大学）
本文提出混合批归一化（HBN），通过分离统计参数与可学习参数的更新，并引入可学习的混合分布因子自适应融合当前批次与全局统计量，有效解决了联邦学习中非独立同分布数据下标准BN性能下降的问题。
2025-05-28 cs.DC cs.LG
Efficient and Scalable Batch Bayesian Optimization Using K-Means
IBM Research UK（IBM英国研究院）
本文提出了一种新的贝叶斯优化批量抽样算法--K-Means批量贝叶斯优化（KMBBO）。KMBBO使用无监督学习来有效地估计模型采集函数的峰值。我们在实证实验中表明，我们的方法优于目前最先进的批分配算法的各种测试问题，包括调整算法超参数和一个具有挑战性的药物发现问题。为了适应现实世界中的高维数据的问题，我们提出了一个修改KMBBO结合压缩感知投影到一个较低的维度子空间的优化。我们的经验表明，这两步方法优于没有降维发生的算法。
2018-09-19 cs.AI cs.LG stat.ML
How Does Batch Normalization Help Optimization?
MIT（麻省理工学院）
批量归一化（BatchNorm）是一种广泛采用的技术，可以更快、更稳定地训练深度神经网络（DNN）。尽管BatchNorm很普遍，但其有效性的确切原因仍然知之甚少。流行的观点是，这种有效性源于在训练期间控制层的输入分布的变化，以减少所谓的“内部协变量偏移”。在这项工作中，我们证明了这种层输入的分布稳定性与BatchNorm的成功关系不大。相反，我们发现了BatchNorm对训练过程的一个更根本的影响：它使优化环境变得更加平滑。这种平滑性导致梯度的预测性和稳定性更高，从而允许更快的训练。
2019-04-15 cs.LG cs.NE stat.ML
Sampling Acquisition Functions for Batch Bayesian Optimization
University of Oxford（牛津大学）；UC Berkeley（加州大学伯克利分校）；IBM Research, Zurich（IBM研究院苏黎世分部）
我们提出了采集汤普森采样（ATS），一种新的技术，批量贝叶斯优化（BO）的基础上，从一个随机过程中采样多个采集功能的想法。我们通过一组模型超参数上的采集函数的依赖性来定义这个过程。ATS在概念上是简单的，直接实现，并且与其他批处理BO方法不同，它可以用于并行化任何顺序采集功能或使现有的并行方法进一步扩展。我们提出了各种基准函数和超参数优化的一个流行的梯度提升树算法的实验。这些证明了ATS的优势，经典的并行汤普森采样BO，其竞争力与两个国家的最先进的批BO方法，其有效性，如果应用于现有的并行BO算法。
2019-10-16 cs.LG stat.ML
Model Selection in Batch Policy Optimization
Stanford University（斯坦福大学）；Google Research, Brain Team（谷歌研究院 Brain 团队）
我们研究了批量策略优化中的模型选择问题：给定一个固定的部分反馈数据集和$M$模型类，学习一个性能与来自最佳模型类的策略具有竞争力的策略。我们通过识别任何模型选择算法都应该最佳权衡以具有竞争力的三个错误来源，在具有线性模型类的上下文Bandit设置中将问题形式化：（1）近似误差，（2）统计复杂性和（3）覆盖范围。前两个来源在监督学习的模型选择中是常见的，其中最佳地权衡这些属性是很好的研究。相比之下，第三个源是批处理策略优化所特有的，并且是由于设置所固有的数据集偏移。我们首先表明，没有批处理策略优化算法可以实现同时解决所有三个保证，揭示了批处理策略优化的困难和监督学习的积极成果之间的鲜明对比。尽管这个负面的结果，我们表明，放宽任何一个三个错误源，使算法的设计实现近预言的不平等的其余两个。我们的结论与实验证明这些算法的有效性。
2021-12-23 cs.LG stat.ML
Adaptive Batch Size Schedules for Distributed Training of Language Models with Data and Model Parallelism
Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）；The University of Chicago Booth School of Business（芝加哥大学布斯商学院）；Northwestern University（西北大学）；University of Southern California Marshall School of Business（南加州大学马歇尔商学院）
本文提出兼容数据并行与模型并行、具备理论收敛保证的自适应批量大小调度，并基于 FSDP 实现，验证其在 Llama 2 小模型预训练中优于恒定与启发式预热策略。
2025-03-16 cs.LG math.OC stat.ML
Batch Multi-Fidelity Bayesian Optimization with Deep Auto-Regressive Networks
University of Utah（犹他大学）
贝叶斯优化（BO）是一种强大的方法，用于优化黑盒，昂贵的评估功能。为了在成本和精度之间实现灵活的权衡，许多应用允许在不同的精度下对函数进行评估。为了降低优化成本，同时最大限度地提高效益-成本比，本文提出了基于深度自回归网络的批量多保真度贝叶斯优化（BMBO-DARN）。我们使用一组贝叶斯神经网络来构建一个完全自回归模型，该模型具有足够的表达能力，可以捕获所有属性之间强大而复杂的关系，从而提高代理学习和优化性能。此外，为了提高查询的质量和多样性，我们开发了一个简单而有效的批量查询方法，没有任何组合搜索的相似性。我们提出了一个基于最大值熵搜索（MES）的原则，惩罚高度相关的查询和鼓励多样性的批量采集功能。我们使用后验样本和矩匹配来实现采集函数的有效计算，并对每个概率输入对进行交替优化，这保证了每一步的改进。我们证明了我们的方法在四个现实世界的超参数优化应用的优势。
2021-10-25 cs.LG stat.ML
The Parallel Knowledge Gradient Method for Batch Bayesian Optimization
Cornell University（康奈尔大学）
在黑盒优化的许多应用中，可以同时评估多个点，例如，当在并行计算环境中评估几个不同的神经网络架构的性能时。本文提出了一种新的批处理贝叶斯优化算法--并行知识梯度法。通过构造，该方法提供了一步贝叶斯最优批量采样点。我们提供了一个有效的策略来计算这个贝叶斯最优批次的点，我们证明了并行知识梯度法发现全局最优显着快于以前的批次贝叶斯优化算法的合成测试功能和调整超参数时，实际机器学习算法，特别是当功能评估是嘈杂的。
2018-04-22 cs.AI cs.LG stat.ML
