Better Mini-Batch Algorithms via Accelerated Gradient Methods
TTIC(丰田技术研究所(芝加哥));Microsoft Research(微软研究院)
小批量算法已经被提出作为一种方法来加速随机凸优化问题。我们研究了如何使用加速梯度方法来改进这些算法。我们提供了一个新的分析,这表明如何标准的梯度方法有时可能不足以获得显着的加速,并提出了一种新的加速梯度算法,它处理这个不足之处,享有一致的优越性保证,并在实践中工作良好。
2011-06-22 cs.LG
Uniform Generalization, Concentration, and Adaptive Learning
KAUST(阿卜杜拉国王科技大学)
任何学习算法的一个基本目标都是降低过拟合的风险。在数学上,这要求学习算法享有小的泛化风险,其在期望或概率中定义。这两种类型的概括在文献中常用。例如,期望中的泛化已被用于分析算法,如岭回归和SGD,而概率中的泛化则用于VC理论等。最近,第三个概念的推广已被研究,称为一致推广,这要求推广风险消失的期望一致所有有界的参数损失。事实上,一致推广等价于信息论稳定性约束,并且它恢复了学习理论中的经典结果。它可以在各种设置下实现,例如样本压缩方案、有限假设空间、有限域和差分隐私。然而,统一泛化和集中之间的关系仍然未知。在本文中,我们回答这个问题,证明,而在期望的推广并不意味着在概率的推广,在期望的统一推广意味着浓度。我们建立了一个链式规则的一致推广风险的组成的假设,并使用它来获得一个大的偏差界。最后,我们证明了该界是紧的。
2016-10-03 cs.IT cs.LG math.IT
Dimension-free uniform concentration bound for logistic regression
本文为受限逻辑回归经验风险函数提出一种无维数一致集中界,基于PAC-Bayes二阶展开与残差项界推导,比Rademacher复杂度与McDiarmid不等式条件更温和。
2024-10-14 math.ST stat.ML stat.TH
Time-uniform concentration bounds for iterative algorithms
Department of Statistics and Data Science, University of Texas, Austin(德克萨斯大学奥斯汀分校统计与数据科学系)
本文提出了一种新的方法,用于推导满足特定递归不等式的随机顺序算法的时间均匀集中界,并通过流式PCA、随机梯度下降等算法验证了其有效性。
2025-11-23 math.ST stat.TH
On The Power of Curriculum Learning in Training Deep Networks
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
训练神经网络传统上是通过提供从整个训练数据均匀采样的随机小批量序列来完成的。在这项工作中,我们分析了课程学习(涉及小批量的非均匀采样)对深度网络训练的影响,特别是针对图像识别训练的CNN。为了采用课程学习,训练算法必须解决两个问题:(i)按难度对训练样本进行排序;(ii)计算一系列表现出增加的难度级别的小批量。我们使用两种方法来解决挑战(i):从一些竞争性的“教师”网络中进行迁移学习,以及自举。在我们的实证评估中,这两种方法在提高学习速度和改善测试数据的最终性能方面表现出相似的优势。我们解决挑战(ii)通过调查不同的起搏功能,以指导采样。实证研究包括各种网络架构,使用来自CIFAR-10,CIFAR-100和ImageNet子集的图像。最后,我们对课程学习进行了新的理论分析,展示了它如何有效地改变优化景观。然后,我们定义了一个理想的课程的概念,并表明,在温和的条件下,它不会改变相应的全局最小的优化功能。
2019-05-29 cs.LG stat.ML
The Restricted Isometry of ReLU Networks: Generalization through Norm Concentration
Technische Universität Berlin(柏林工业大学)
虽然回归任务的目标是在整个输入空间上插入一个关系,但它们通常必须用有限的训练数据来解决。尽管如此,如果假设函数可以用数据很好地勾勒出来,人们就有希望确定一个通用模型。在这项工作中,我们引入了神经约束等距属性(NeuRIP)的一个统一的浓度事件,其中所有浅$\mathrm{ReLU}$网络绘制具有相同的质量。为了获得实现NeuRIP的样本复杂度,我们将网络的覆盖数限制在亚高斯度量中,并应用链接技术。在NeuRIP事件的情况下,我们然后提供的预期风险,这对网络在任何子水平集的经验风险的界限。我们的结论是,所有的网络具有足够小的经验风险,普遍一致。
2020-07-01 cs.LG cs.NA math.NA
Optimal Sample Complexity of Subgradient Descent for Amplitude Flow via Non-Lipschitz Matrix Concentration
Northeastern University(东北大学);Rice University(莱斯大学)
我们考虑从$m$无相线性测量中恢复实值$n$维信号的问题,并分析了基于幅度的非光滑最小二乘目标。我们建立了局部收敛的次梯度下降与最佳样本的复杂性的基础上的一个随机的,不连续的矩阵值的运营商所产生的目标的梯度动力学的统一浓度。虽然常见的技术,建立均匀浓度的随机函数利用Lipschitz连续性,我们证明了不连续的矩阵值算子满足一致的矩阵浓度不等式时,测量向量是高斯尽快$m = Ω(n)$以高概率。然后,我们表明,满足这个不等式是足够的次梯度下降与适当的初始化线性收敛到真正的解决方案的全球标志模糊。因此,这保证了高斯测量在最佳样本复杂度下的局部收敛。在本工作中的浓度方法以前已被用来建立恢复保证下生成神经网络先验的各种反问题。本文展示了这些技术的适用性,更传统的反问题,并作为一个教学介绍这些结果。
2021-08-27 cs.IT cs.LG math.IT
Max-sliced Wasserstein concentration and uniform ratio bounds of empirical measures on RKHS
本文研究无界RKHS中真实测度与经验测度的最大切片Wasserstein距离,推导其集中性与期望上界,证明在一般假设下可达到近参数化速率。
2024-05-21 math.ST stat.ML stat.TH
Online Linear Programming with Batching
Stanford University(斯坦福大学)
本文研究带批处理的在线线性规划,在连续条件奖励分布下提出匹配 $\Theta(\log K)$ 遗憾界的算法,并将结果扩展到多资源与 Poisson 到达场景。
2026-10-06 cs.LG math.OC
Optimal and Practical Batched Linear Bandit Algorithm
snu(首尔国立大学)
针对分批线性赌博机问题,提出结合臂消除与正则化G-最优设计的BLAE算法,首次在大K和小K情形下均实现极小极大最优遗憾,且计算开销低、实证表现优异。
2025-08-11 cs.LG stat.ML
Dual Free Adaptive Mini-batch SDCA for Empirical Risk Minimization
Lehigh University(利哈伊大学);Industrial and Systems Engineering(工业与系统工程(注:此处为系别,按规则不提取))
在本文中,我们开发了双自由小批量SDCA与自适应概率正则化的经验风险最小化。这项工作的动机是最近的工作Shai Shalev-Shwartz的对偶自由SDCA方法,但是,我们允许非均匀选择的“对偶”坐标SDCA。此外,概率可以随时间变化,使其比固定均匀或非均匀选择更有效。我们还提出了一个有效的过程,通过迭代过程产生一个随机的非均匀的小批量。最后通过多个数值实验验证了算法的有效性。
2018-05-24 cs.LG math.OC
On Bridging the Gap between Mean Field and Finite Width in Deep Random Neural Networks with Batch Normalization
ETH Zürich(苏黎世联邦理工学院);MIT(麻省理工学院);INRIA-ENS-PSL Paris(巴黎法国国家信息与自动化研究所-巴黎高等师范学院-巴黎文理研究大学)
平均场理论在神经网络的理论研究中有着广泛的应用。在本文中,我们分析了深度的平均场预测浓度的作用,特别是深层多层感知器(MLP)与批量归一化(BN)在初始化。通过将网络宽度缩放到无穷大,假设平均场预测会受到随深度放大的逐层误差的影响。我们证明,BN稳定的分布表示,避免了平均场预测的误差传播。这种稳定,其特征在于由几何混合属性,使我们能够建立浓度边界的平均场预测无限深神经网络具有有限的宽度。
2023-02-20 cs.AI cs.LG math.ST
Mini-batch Submodular Maximization
JAIST(日本先进科学技术学院)
本文提出非负单调可分解子模最大化的小批量算法,并用平滑分析解释均匀采样在理论与实验中优于加权采样及稀疏化器方法。
2024-10-02 cs.AI cs.DS cs.LG
PAC Bounds for Imitation and Model-based Batch Learning of Contextual Markov Decision Processes
Harvard University(哈佛大学)
我们考虑批量多任务强化学习与观察上下文描述符的问题,其应用的动机个性化医疗。特别是,我们研究了两个一般类的学习算法:直接策略学习(DPL),模仿学习为基础的方法,从专家轨迹,和基于模型的学习。首先,我们推导出样本的复杂性界限DPL,然后表明,基于模型的学习专家的行动,即使是有限的模型类,是不可能的。放松的条件下,基于模型的方法,预计将学习允许更大的覆盖范围的状态-动作空间,我们提供了样本的复杂性界限为基于模型的学习有限的模型类,显示存在模型类的样本复杂性指数在其统计复杂性。然后,我们推导出一个样本的复杂性上界基于模型的学习的数据分布的浓度的措施的基础上。我们的研究结果给出了正式的理由模仿学习在这种情况下基于模型的学习。
2020-07-17 cs.LG stat.ML
Uniform concentration and symmetrization for weak interactions
Istituto Italiano di Tecnologia(意大利理工学院);University College London(伦敦大学学院)
将导出具有Gaussian和Rademacher复杂性的一致界的方法推广到样本平均值被非线性统计量代替的情况。得到了U-统计量、光滑L-统计量和l2-正则化算法的误差泛函的紧界。
2019-05-10 cs.LG math.ST stat.ML
Time-Uniform Self-Normalized Concentration for Discounted Least Squares: Limits and Corrections
Research Center for Information Technology Innovation, Academia Sinica(中央研究院资讯科技创新研究中心)
本文针对折扣最小二乘的时间一致自归一化集中性,指出现有加权扩展的证明错误,修正了有限与无限时间的边界,为相关强化学习等下游分析提供了理论基础。
2026-08-21 cs.LG stat.ML
Almost Optimal Batch-Regret Tradeoff for Batch Linear Contextual Bandits
Tsinghua University(清华大学)
我们研究了最佳批量遗憾权衡批量线性上下文土匪。对于任何批号$M$、动作数$K$、时间范围$T$和维度$d$,我们提供了一个算法并证明了其后悔保证,由于技术原因,随着时间范围$T$的增长,该保证具有两阶段表达式。我们还证明了一个下界定理,令人惊讶地显示了我们的两个阶段的遗憾上限(对数因子)的问题参数的\emph{full range}的最优性,因此建立确切的批量遗憾权衡。最近的工作\citep{ruan2020linear}表明,$M = O(\log \log T)$批次足以实现渐近最小最优遗憾没有批量约束,我们的算法是简单,易于实际实现。此外,我们的算法实现了最佳遗憾的所有$T \geq d$,而\citep{ruan2020linear}要求$T$大于一个不切实际的大多项式的$d$。随着我们的分析,我们还证明了一个新的矩阵浓度不等式的依赖于他们的动态上界,据我们所知,这是第一次在文献中,可能是独立的兴趣。
2022-10-15 cs.LG
Unbiased Gradients, Moving Stability Boundaries: Exact Mini-Batch Geometry in Linear Self-Attention
Department of Statistics, University of California, Davis(加州大学戴维斯分校统计学系)
本文研究了双因子线性变换器模型在大学习率下的训练动态,通过分析发现大步长学习率可以改变变换器的训练吸引子,而非仅仅加速收敛,可能在稳定性阈值之外导致训练进入循环、有界混沌或发散。
2026-09-23 cs.AI cs.LG math.DS
Regret Bounds for Reinforcement Learning via Markov Chain Concentration
我们给出了一个简单的乐观算法,它是很容易得到的遗憾界的$\tilde{O}(\sqrt{t_{\rm mix} SAT})$后,$T$步骤的一致遍历马尔可夫决策过程的$S$状态,$A$行动,和混合时间参数$t_{\rm mix}$。这些界限是第一个遗憾的界限,在一般的,非情节设置与所有给定的参数的最佳依赖。它们只能通过使用替代的混合时间参数来改善。
2019-01-19 cs.LG stat.ML
Sharp Finite-Time Iterated-Logarithm Martingale Concentration
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
给出了有限时间上一致鞅的浓度界,推广了经典的Hoeffding不等式和Bernstein不等式。我们还证明了我们的浓度范围是最佳的匹配反浓度不等式,证明使用相同的方法。这些共同构成了一个有限时间版本的法律的重对数,并阐明了之间的关系,它和中心极限定理。
2015-12-01 cs.LG math.PR stat.ML
Mini-batch Sampling Strategies for Long-Tailed Image Classification: An Empirical Study on CIFAR-100-LT
University of Bristol(布里斯托大学)
本研究系统比较四种小批量采样策略,发现渐进均衡采样在长尾分类中稳健提升尾部准确率,而重平衡时机与程度同等重要。
2026-09-16 cs.CV cs.LG stat.ML
A Uniform Concentration Inequality for Kernel-Based Two-Sample Statistics
Georgia Institute of Technology(佐治亚理工学院)
本文将能量距离(ED)、距离协方差(dCov)等分布度量统一到核基双样本统计量框架,建立其一致集中不等式,为相关优化问题提供估计误差上界及性能保证,并应用于降维、公平推理等任务的误差界推导。
2025-02-10 cs.LG math.ST stat.TH
Uniform Concentration Bounds toward a Unified Framework for Robust Clustering
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校);Indian Statistical Institute(印度统计研究所);Duke University(杜克大学)
基于中心的聚类的最新进展继续改进Lloyd的著名的$k$-均值算法在其引入后的$60$年中的缺点。各种方法试图解决不良的局部最小值,对离群值的敏感性,以及不适合欧几里得拟合度量的数据,但许多方法在很大程度上是经验支持的。此外,以零敲碎打的方式将这些方法结合起来,可能会产生特别的方法,而支持每一个单独贡献的有限理论结果可能不再成立。为了解决这些问题的原则性的方式,本文提出了一个有凝聚力的强大的框架,基于中心的聚类下的一般类的相异性措施。特别是,我们提出了一个严格的理论治疗中的均值(MoM)估计框架内,它包括几个流行的$k$-手段的变种。除了统一现有的方法,我们得出统一的浓度范围,完成他们的分析,并通过达德利的链接参数桥这些结果的矩量法框架。重要的是,我们既不需要对离群观测值的分布进行任何假设,也不需要对观测值$n$与特征$p$的相对数量进行任何假设。我们建立了强一致性和错误率的$O(n^{-1/2})$在温和的条件下,超过了文献中最知名的结果。这些方法在真实和合成数据集上进行了彻底的经验验证。
2021-10-27 cs.LG math.ST stat.ME
Convergence, design and training of continuous-time dropout as a random batch method
本文研究受控微分方程中的连续时间 dropout,提出随机批近似方法,证明轨迹误差 O(h) 和训练一致性,并分析采样策略与误差常数关系,实验验证了神经 ODE 上的有效性。
2026-09-15 cs.LG math.OC
Large Batch Experience Replay
ISAE-SUPAERO(法国高等航空航天学院);Université de Toulouse(图卢兹大学);Google Research(谷歌研究院)
已经提出了几种算法来对深度强化学习(RL)代理的重放缓冲区进行非均匀采样以加速学习,但是很少提供这些采样方案的理论基础。其中,优先经验重放作为一个超参数敏感的启发式,即使它可以提供良好的性能。在这项工作中,我们投重放缓冲区采样问题作为一个重要性采样的梯度估计。这允许导出理论上最佳的采样分布,从而产生最佳的理论收敛速度。阐述了理想抽样方案的知识,我们展示了优先经验重放的新的理论基础。最佳采样分布是棘手的,我们做了几个近似提供良好的效果在实践中,并介绍,除其他外,LaBER(大批量经验重放),一个易于编码和有效的方法,用于采样重放缓冲区。LaBER可以与Deep Q-Networks,分布式RL代理或Actor-Critic方法相结合,与其实现的基础代理和其他优先级方案相比,在各种Atari游戏和PyBullet环境中产生更好的性能。
2022-06-14 cs.LG
Communication-free Sampling and 4D Hybrid Parallelism for Scalable Mini-batch GNN Training
本文提出ScaleGNN框架,通过无通信分布式采样、3D并行矩阵乘法和数据并行性,实现大规模小批量GNN训练,提升效率并减少通信开销。
2026-04-03 cs.AI cs.DC cs.LG
ChameleonLLM: Batch-Aware Dynamic Low-Rank Adaptation via Inference-Time Clusters
aiXplain Inc.(aiXplain公司)
针对LLM推理时固定权重难以适配数据变异性的问题,ChameleonLLM通过批量感知聚类和超网络动态生成低秩更新,实现推理时适配,性能优于传统LoRA且无需维护多专家模型。
2025-02-11 cs.AI cs.CL cs.LG
Parallel Split Learning with Global Sampling
GPSL通过全局采样解决并行分割学习中的批量大小和非IID数据问题,实现稳定优化和集中式准确性,同时减少训练时间。
2026-03-05 cs.AI cs.DC cs.LG