Gradient Diversity: a Key Ingredient for Scalable Distributed Learning
UC Berkeley（加州大学伯克利分校）；UW Madison（威斯康星大学麦迪逊分校）
实验发现，小批量随机梯度下降（SGD）算法的分布式实现在超过特定批量时会出现加速饱和和泛化能力下降的现象.在这项工作中，我们提出了一个分析暗示，并行处理的梯度之间的高相似性可能是这种性能下降的原因。我们引入了梯度多样性的概念，衡量并发梯度更新之间的相异性，并显示其在小批量SGD的性能的关键作用。我们证明了高梯度多样性的问题，小批量SGD是适合更好的加速，同时保持串行（一个样本）SGD的泛化性能。我们进一步建立了收敛的下限，其中小批量SGD减慢超过特定的批量大小，仅仅是由于缺乏梯度多样性。我们提供的实验证据表明梯度多样性在分布式学习中的关键作用，并讨论了如何像dropout，Langevin动力学和量化可以改善它。
2018-01-07 cs.DC cs.LG
Generalizing DP-SGD with Shuffling and Batch Clipping
CWI（荷兰数学与计算机科学研究院）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；University of Connecticut（康涅狄格大学）；eBay（易贝）；IBM Research（IBM研究院）
提出一个通用差分隐私框架，支持任意一阶优化器与批量裁剪及洗牌采样，通过$f$-DP分析得到组隐私的$\sqrt{g E}$依赖关系。
2023-07-25 cs.CR cs.LG
The Implicit Bias of Batch Normalization in Linear Models and Two-layer Linear Convolutional Neural Networks
The University of Hong Kong（香港大学）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Los Angeles（加州大学洛杉矶分校）
本文证明梯度下降训练的 batch normalization 会使线性二分类模型收敛至均匀间隔解，并将该隐式偏差推广到两层线性卷积网络的逐块均匀间隔。
2023-07-11 cs.LG math.OC stat.ML
On the Stability of Nonlinear Dynamics in GD and SGD: Beyond Quadratic Potentials
CISPA Helmholtz Center for Information Security（CISPA赫尔姆霍兹信息安全中心）
研究梯度下降和随机梯度下降中非线性项对动力学稳定性的影响，推导了多元设置下稳定振荡的精确条件，并发现SGD的稳定性由单个不稳定批次决定。
2026-06-18 cs.LG stat.ML
AdaScale SGD: A User-Friendly Algorithm for Distributed Training
Apple（苹果公司）
当使用大批量训练来加速随机梯度下降时，学习率必须适应新的批量大小，以最大限度地提高速度并保持模型质量。重新调整学习率是资源密集型的，而固定的缩放规则往往会降低模型质量。我们提出了AdaScale SGD，这是一种可靠地将学习率适应大批量训练的算法。通过不断适应梯度的变化，AdaScale自动实现了各种批量大小的加速。我们用AdaScale的收敛界来正式描述这种质量，它保持最终的目标值，即使批量大小变大，迭代次数减少。在实证比较中，AdaScale的训练远远超出了流行的“线性学习率缩放”规则的批量大小限制。这包括机器翻译、图像分类、目标检测和语音识别任务的无模型降级的大批量训练。AdaScale的定性行为类似于“热身”行为，但与热身不同的是，这种行为是从原则性机制中自然出现的。该算法引入的计算开销可以忽略不计，并且没有新的超参数，这使得AdaScale成为实际大规模训练的有吸引力的选择。
2020-07-09 cs.LG stat.ML
Critical Parameters for Scalable Distributed Learning with Large Batches and Asynchronous Updates
EPFL（洛桑联邦理工学院）
通过实验观察到，随机梯度（SGD）分布式训练的效率决定性地取决于批量大小和（在异步实现中）梯度的陈旧性。特别地，已经观察到，超过一定的批量大小和/或当延迟变得太大时，加速饱和。我们确定了一个依赖于数据的参数，解释了这两种设置中的加速饱和。我们的全面的理论分析，强凸，凸和非凸设置，统一和推广以前的工作方向，往往只集中在这两个方面之一。特别是，我们的方法使我们能够在经常考虑的稀疏性假设下得到改进的加速结果。我们的见解产生了理论上的指导方针，如何学习率可以在实践中进行调整。我们表明，我们的结果是紧密的，并说明在数值实验中的关键发现。
2021-03-03 cs.DC cs.LG stat.ML
High Throughput Synchronous Distributed Stochastic Gradient Descent
Department of Engineering Sciences, University of Oxford（牛津大学工程科学系）；University of Oxford（牛津大学）
我们介绍了一种新的，高吞吐量，同步，分布式，数据并行，随机梯度下降学习算法。该算法在特定于计算集群的深度生成动态模型中使用摊销推理，对并行计算集群中所有工作节点的小批量梯度计算时间进行联合后验预测推理。我们表明，同步参数服务器可以，通过利用这样的模型，选择一个最佳的截止时间，超过该时间，从慢工人的小批量梯度消息被忽略，最大限度地提高整体的小批量梯度计算每秒。与早期的发现一致，我们观察到，在现实条件下，急于丢弃落后者的小批量梯度计算不仅可以增加吞吐量，而且实际上可以通过消除空闲来增加作为挂钟时间函数的总体收敛率。这项工作的主要新贡献和发现超越了这一点，证明了使用来自集群工作者性能的生成模型的预测运行时间来动态调整截止值比静态截止值现有技术有了很大的改进，从而显著减少了大型计算机集群上的深度神经网络训练时间。
2018-03-12 cs.DC cs.LG stat.ML
On the Computational Inefficiency of Large Batch Sizes for Stochastic Gradient Descent
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）
增加随机梯度下降的小批量大小提供了减少挂钟训练时间的重要机会，但存在各种理论和系统挑战，阻碍了该技术的广泛成功。我们调查这些问题，重点是收敛时间和总计算成本，通过广泛的实证分析网络训练的几个架构和问题领域，包括图像分类，图像分割和语言建模。虽然增加批量大小以充分利用可用的计算资源是常见的做法，但我们发现了一个更加微妙的画面。我们的主要发现是，在广泛的网络架构和问题域，增加批量大小超过一定的点产生没有减少时钟时间\emph{either}训练或测试损失收敛。该批量通常大大低于当前系统的容量。我们发现，在我们能够填充所有可用的计算资源之前，大批量优化的流行训练策略就开始失败，并且我们表明，这些方法的崩溃点更多地取决于模型架构和数据复杂性等属性，而不是直接取决于数据集的大小。
2018-11-30 cs.DC cs.LG stat.ML
Accelerating Stochastic Gradient Descent Using Antithetic Sampling
University of Science and Technology of China（中国科学技术大学）
（小批量）随机梯度下降是一种流行的优化方法，已被应用于许多机器学习应用。但由于随机梯度在每一步中引入了较大的方差，可能会减慢收敛速度。在本文中，我们提出的对偶抽样策略，以减少方差，利用数据集的内部结构。在这种新策略下，小批量中的随机梯度不再是独立的，而是尽可能负相关的，而小批量随机梯度仍然是全梯度的无偏估计.对于二值分类问题，只需预先计算对偶样本，并在每次迭代中重用结果，具有实用性。实验结果验证了该方法的有效性。
2018-10-07 cs.LG stat.ML
Revisit Micro-batch Clipping: Adaptive Data Pruning via Gradient Manipulation
Google（谷歌公司）
本文首次从数据剪枝视角解释微批次裁剪提升模型收敛率的机制，证明特定微批次大小可最小化不随迭代消失的常数偏差，并验证其在视觉和语言模型上的有效性及多领域数据的局限性。
2024-08-29 cs.LG cs.SD eess.AS
Minimization of Stochastic First-order Oracle Complexity of Adaptive Methods for Nonconvex Optimization
Meiji University（明治大学）
数值评估明确表明，对于深度学习优化器，如随机梯度下降、动量和自适应方法，批量大小每增加一倍，训练深度神经网络所需的步骤数就减半，并且在临界批量大小之外存在收益递减的区域。在本文中，我们确定实际的临界批量大小通过使用全局极小的随机一阶预言（SFO）的复杂性的优化。为了证明实际临界批量的存在性，我们设定了SFO复杂度的上、下界，并证明了在极小化上、下界的意义下存在临界批量.该证明意味着，如果SFO复杂性符合下限和上限，则这些临界批量的存在证明了实际临界批量的存在。我们还讨论了SFO复杂性所需的条件，以适应下限和上限，并提供支持我们的理论结果的数值结果。
2021-12-16 cs.LG math.OC
How Does Batch Normalization Help Binary Training?
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；University of Montreal（蒙特利尔大学）
二进制神经网络（BNN）的训练困难，且精度下降。在实践中，在缺少批量归一化（BatchNorm）层的情况下，BNN无法训练。我们发现BatchNorm的主要作用是避免BNN中的梯度爆炸。这一发现表明，为全精度网络开发的常用初始化方法与BNN无关。我们对BatchNorm在二进制训练中的作用进行了理论研究，并得到了数值实验的支持。
2020-04-29 cs.LG stat.ML
A New Perspective for Understanding Generalization Gap of Deep Neural Networks Trained with Large Batch Sizes
Spire Global（斯派尔全球）；Post Luxembourg（卢森堡邮政）；University of Luxembourg（卢森堡大学）
深度神经网络（DNN）通常使用各种形式的小批量梯度下降算法来优化。小批量梯度下降的一个主要动机是，通过适当选择的批量大小，可以最佳地利用（包括并行化）可用的计算资源进行快速模型训练。然而，许多作品报告了当训练批量大小增加超过一定限度时，模型泛化能力的逐渐丧失。这是一个通常被称为泛化差距的场景。虽然一些工作提出了不同的方法来缓解推广差距的问题，一个统一的解释理解推广差距仍然缺乏文献。这一点尤其重要，因为最近的研究发现，针对泛化缺口问题提出的几种解决方案，如学习率缩放和增加训练预算，并没有真正解决这个问题。因此，本文的主要论述是调查并提供新的视角，以研究大批量训练的DNN的泛化损失来源。我们的分析表明，大的训练批量会导致单元激活（即输出）张量的近秩损失增加，从而影响模型优化和泛化。使用CIFAR-10、CIFAR-100、Fashion-MNIST和MNIST数据集对流行的DNN模型（如VGG-16、残差网络（ResNet-56）和LeNet-5）进行了广泛的实验验证。
2022-10-21 cs.CV cs.LG
Beyond Implicit Bias: The Insignificance of SGD Noise in Online Learning
SEAS, Harvard University（哈佛大学工程与应用科学学院）；Kempner Institute, Harvard University（哈佛大学坎普纳研究所）
本文通过图像和语言数据的实证分析，发现在线（单轮）学习中 SGD 噪声不带来隐式偏置优势，其好处仅限于计算效率，并据此提出在线 SGD 可视为沿无噪声梯度下降“黄金路径”的含噪步骤，挑战了传统理解。
2024-06-07 cs.LG stat.ML
Beyond a Single Explanation of the Adam--SGD Gap
University of Luxembourg（卢森堡大学）；University of Basel（巴塞尔大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；ELLIS Tübingen（ELLIS蒂宾根）；Tübingen AI Center（蒂宾根人工智能中心）
通过跨视觉、语言、基因组和图形任务的受控实验，发现Adam与SGD的性能差距源于数据和架构的复杂交互，而非单一因素，并观察到随批量大小变化的交叉点。
2026-06-15 cs.LG
Binary Stochastic Filtering: feature selection and beyond
特征选择是理解数据和机器学习模型的最具决定性的工具之一。在其他方法中，由$L^{1}$惩罚引起的稀疏性是解决这个问题的最简单和最好的研究方法之一。虽然这种正则化经常用于神经网络以实现权重或单元激活的稀疏性，但尚不清楚如何将其用于特征选择问题。这项工作的目的是扩展神经网络的能力，自动选择功能，重新思考如何稀疏正则化可以使用，即，通过随机惩罚功能的参与，而不是层的权重。所提出的方法已经证明了优越的效率相比，一些经典的方法，实现了最小或没有计算开销，并可以直接应用到任何现有的架构。此外，该方法是很容易推广的神经元修剪和光谱数据的重要区域的选择。
2020-07-08 cs.LG stat.ML
Efficient Exploration in Binary and Preferential Bayesian Optimization
Sorbonne Université（索邦大学）；INSERM（法国国家健康与医学研究院）；CNRS（法国国家科学研究中心）；Institut de la Vision（视觉研究所）
贝叶斯优化（BO）是优化昂贵的黑盒函数的有效方法，其寻求在利用（选择可能最大值的参数）和探索（选择我们对目标函数不确定的参数）之间进行权衡。在许多现实世界的情况下，目标函数的直接测量是不可能的，只有二进制测量，如成功/失败或成对比较。为了在这种情况下进行有效的探索，我们表明，BO算法区分不同类型的不确定性是很重要的：认识不确定性，关于未知的目标函数，和任意的不确定性，这来自噪声观测，不能减少。实际上，只有前者对有效的探索才是重要的。在此基础上，我们提出了几个新的采集函数，在二进制和优先BO中优于最先进的算法，同时计算速度快，易于实现。然后，我们将这些获取规则推广到批量学习，其中同时执行多个查询。
2021-10-18 cs.LG math.OC stat.ML
Optimal Binary Classification Beyond Accuracy
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Amazon（亚马逊）
绝大多数关于二元分类的统计理论都以准确性为特征。然而，在许多情况下，准确度很难反映分类错误的实际后果，最著名的是不平衡的二进制分类，其中数据主要是来自两个类别之一的样本。本文的第一部分推导出一种新的概括贝叶斯最优分类器的准确性，从混淆矩阵计算的任何性能指标。具体来说，这个结果（a）表明，随机分类器有时优于最好的可能的确定性分类器和（b）删除经验上无法验证的绝对连续性假设，这是很难理解，但弥漫在现有的结果。然后，我们展示了如何使用这种广义贝叶斯分类器，以获得遗憾界的一致损失下的回归函数的估计误差。最后，我们使用这些结果来开发一些特定于不平衡二进制分类的第一有限样本统计保证。具体来说，我们证明了最佳的分类性能取决于类不平衡的属性，如一个新的概念，称为均匀类不平衡，以前没有正式的。在$k$ -最近邻分类的情况下，我们进一步说明了这些贡献
2022-09-26 cs.LG math.ST stat.ML
BCNN: Binary Complex Neural Network
Zhejiang University（浙江大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
二值化神经网络（BNN）在资源有限的边缘侧应用中显示出巨大的前景，但引起了精度降低的担忧。受复杂神经网络的启发，本文将复表示引入BNN，提出了二进制复神经网络--一种通过复卷积处理二进制复输入和权值的新型网络设计，但仍然可以获得BNN非凡的计算效率。为了保证快速的收敛速度，我们提出了新的BCNN的批量归一化函数和权重初始化函数。使用最先进的网络模型（例如，ResNet，ResNetE和NIN）表明，与原始BNN模型相比，BCNN可以实现更好的准确性。BCNN通过复表示增强其学习能力并将其适用性扩展到复值输入数据来改进BNN。BCNN的源代码将在GitHub上发布。
2021-03-28 cs.LG cs.NE
Large-Batch Training for LSTM and Beyond
Google（谷歌）；UC Berkeley（加州大学伯克利分校）；UCLA（加州大学洛杉矶分校）
大批量训练方法使研究人员能够利用大规模分布式处理，并大大加快了深度神经网络（DNN）的训练。例如，通过将批量大小从256扩展到32K，研究人员已经能够将ResNet50在ImageNet上的训练时间从29小时减少到2.2分钟（Ying等人，2018年）。在本文中，我们提出了一种新的方法，称为线性历元逐步预热（LEGW），以更好地进行大批量训练。通过LEGW，我们能够使用Sqrt Scaling方案对CNN和RNN进行大批量训练。LEGW使得Sqrt Scaling方案在实践中是有用的，因此我们实现了比线性Scaling学习率方案更好的结果。对于LSTM应用程序，我们能够将批量大小扩展到64倍，而不会失去准确性，也不会调整超参数。对于CNN应用程序，即使我们将批量大小扩展到32K，LEGW也能够实现相同的精度。LEGW比以前的大批量自动调优技术工作得更好。LEGW在相同硬件上的四个基于LSTM的应用程序的基线上实现了5.3倍的平均加速比。我们还提供了一些理论解释LEGW。
2019-01-24 cs.LG stat.ML
"BNN - BN = ?": Training Binary Neural Networks without Batch Normalization
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Science and Technology of China（中国科学技术大学）；Cornell University（康奈尔大学）；Carnegie Mellon University（卡内基梅隆大学）
批量归一化（BN）是一个关键的促进者，被认为是最先进的二进制神经网络（BNN）的基本。然而，BN层的计算成本很高，并且通常使用非二进制参数来实现，这为BNN训练的有效实现留下了障碍。它还在每个批次内的样本之间引入了不期望的依赖性。受批量归一化自由（BN-Free）训练的最新进展的启发，我们将他们的框架扩展到训练BNN，并首次证明可以从BNN训练和推理机制中完全删除BNs。通过插入和自定义技术，包括自适应梯度裁剪，尺度权重标准化，和专门的瓶颈块，一个无BN的BNN是能够保持竞争力的准确性相比，其BN为基础的同行。大量的实验验证了我们的建议在不同的BNN骨干和数据集的有效性。例如，在从最先进的ReActNets中删除BN之后，仍然可以使用我们提出的方法进行训练，分别在CIFAR-10，CIFAR-100和ImageNet上实现92.08%，68.34%和68.0%的准确率，边际性能下降（CIFAR上为0.23%~0.44%，ImageNet上为1.40%）。代码和预训练模型可在https://github.com/VITA-Group/BNN_NoBN上获得。
2021-04-16 cs.CV cs.LG
Deterministic Online Classification: Non-iteratively Reweighted Recursive Least-Squares for Binary Class Rebalancing
Gordon Center for Medical Imaging（戈登医学影像中心）；Center for Advanced Medical Computing and Analysis（高级医学计算与分析中心）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）
确定性解决方案对于可解释性变得越来越重要。加权最小二乘（WLS）已被广泛用作具有特定权重设计的确定性批处理解决方案。在WLS的在线设置中，精确的重加权是必要的，以收敛到其批量设置。为了符合其必要性，迭代重加权最小二乘算法主要是利用线性增长的时间复杂度，这是没有吸引力的在线学习。由于高和不断增长的计算成本，一个有效的在线配方的重新加权最小二乘是理想的。我们提出了一种新的确定性在线分类算法的WLS具有恒定的时间复杂度的二进制类重新平衡。我们证明，我们提出的在线配方完全收敛到其批处理配方，并优于现有的最先进的随机在线二进制分类算法在现实世界的数据集经验。
2023-01-22 cs.LG stat.ML
Embedding Space Interpolation Beyond Mini-Batch, Beyond Pairs and Beyond Examples
Inria（法国国家信息与自动化研究所）；Univ Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（IRISA研究所）；Institute of Advanced Research on Artificial Intelligence (IARAI)（人工智能高级研究所（IARAI））
针对现有mixup数据增强方法生成样本少、仅成对插值的局限，提出在嵌入空间对整个小批量凸包采样的MultiMix及序列数据适配的Dense MultiMix，以极低代价大幅增加损失项数，在四个基准上取得显著提升。
2023-11-09 cs.CV cs.LG
Optimal Quantization for Batch Normalization in Neural Network Deployments and Beyond
Center for Data Science（数据科学中心）；Peking University（北京大学）；Megvii（旷视科技）；School of Mathematical Sciences（数学科学学院）
量化神经网络（Quantized Neural Networks，QNN）使用低位宽的定点数来表示权值参数和激活，由于其节省计算资源和结果的可重复性，常用于实际应用中。批量归一化（BN）对QNN提出了要求在倒数运算中使用浮点数的挑战，并且先前的QNN要么要求以高精度计算BN，要么以启发式方式将BN修改为某些变体。在这项工作中，我们提出了一种新的方法，通过将两个浮点的仿射变换转换为具有共享量化尺度的定点操作，来实现BBN，这对于硬件加速和模型部署是友好的。通过严格的理论分析和数值分析，我们证实了我们的方法保持相同的输出。通过在CIFAR和ImageNet数据集上的层级实验，验证了我们的量化方法的准确性和效率。我们也相信，我们的方法是潜在的有用的其他问题涉及量化。
2020-08-30 cs.LG stat.ML
Enabling Large Batch Size Training for DNN Models Beyond the Memory Limit While Maintaining Performance
Korea University（高丽大学）；Georgia Institute of Technology（佐治亚理工学院）；Nanyang Technological University（南洋理工大学）
本文提出 Micro-Batch Processing（MBP），通过微批切分、顺序处理与基于梯度累积的损失归一化，使 DNN 在单设备内存受限情况下实现大批量训练并保持性能。
2024-07-02 cs.DC cs.LG
Distributed Learning in the Non-Convex World: From Batch to Streaming Data, and Beyond
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Minnesota（明尼苏达大学）；The Chinese University of Hong Kong（香港中文大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
分布式学习已经成为许多人所设想的大规模连接世界的关键推动者。本文讨论了可扩展的分布式处理和实时智能的四个关键要素-问题、数据、通信和计算。我们的目标是提供一个新的和独特的角度来看，这些因素应该如何在一个有效的和一致的方式一起工作。特别是，我们{提供一个选择性的审查}关于最近开发的优化非凸模型的技术（即，问题类），处理批处理和流数据（即，数据类型），在网络上以分布式方式（即，通信和计算范例）。我们描述了一组流行的分布式算法的核心背后的直觉和连接，强调如何权衡计算和通信成本。还将讨论实际问题和未来的研究方向。
2020-01-14 cs.LG math.OC stat.ML
High-dimensional online learning via asynchronous decomposition: Non-divergent results, dynamic regularization, and beyond
School of Statistics, Renmin University of China（中国人民大学统计学院）；School of Statistics and Mathematics, Zhongnan University of Economics and Law（中南财经政法大学统计学与数学学院）；Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）；Center for Applied Statistics, Renmin University of China（中国人民大学应用统计中心）
本文提出异步分解框架，通过动态正则化迭代硬阈值算法解决高维在线学习中误差界发散问题，实现非发散误差界和稀疏性，且随批次累积获得 oracle 准确度。
2026-03-21 cs.LG stat.ML
A GPU-Outperforming FPGA Accelerator Architecture for Binary Convolutional Neural Networks
Arizona State University（亚利桑那州立大学）；Nanyang Technological University（南洋理工大学）
基于FPGA的卷积神经网络（CNN）硬件加速器由于其比GPU更高的能量效率而受到广泛关注。然而，基于FPGA的解决方案要实现比GPU更高的吞吐量是具有挑战性的。在本文中，我们证明了当CNN在权重和激活的二进制约束下进行训练时，FPGA加速在吞吐量和能效方面都是一种优越的解决方案。具体来说，我们提出了一种优化的FPGA加速器架构，专为逐位卷积和归一化而设计，具有大规模的空间并行性和深流水线阶段。FPGA加速器的一个关键优势是其性能对数据批量大小不敏感，而GPU加速的性能在很大程度上取决于数据的批量大小。实验结果表明，在Virtex-7 FPGA上运行的二进制CNN的加速器架构比Titan X GPU快8.3倍，能效高75倍，可以处理小批量的在线个人请求。对于处理大批量静态数据，该解决方案在吞吐量方面与Titan X GPU不相上下，同时提供9.5倍的能效。
2017-06-08 cs.AR cs.CV cs.DC
Iterative Normalization: Beyond Standardization towards Efficient Whitening
Inception Institute of Artificial Intelligence (IIAI)（人工智能起源研究所）
批量归一化（BN）被广泛用于加速神经网络训练并通过在小批量内执行标准化来提高泛化能力。去相关批量归一化（DBN）通过白化进一步增强了上述有效性。然而，DBN在很大程度上依赖于大批量或特征分解，这在GPU上效率很低。我们提出了迭代归一化（IterNorm），它采用牛顿迭代更有效的白化，同时避免了特征分解。此外，我们开发了一个全面的研究，以显示IterNorm有更好的优化和泛化之间的权衡，理论和实验的支持。为此，我们专门引入了随机归一化扰动（SND），它测量了样本在应用于归一化操作时的固有随机不确定性。在SND的支持下，我们从优化的角度对一些现象提供了自然的解释，例如，为什么DBN的逐组白化通常优于全白化，以及为什么BN的准确性随着批量大小的减小而退化。我们通过在BN和DBN上对CIFAR-10和ImageNet进行的大量实验，证明了IterNorm的性能不断提高。
2019-04-06 cs.CV cs.LG
The Conditional Regret-Capacity Theorem for Batch Universal Prediction
School of Computer and Communication Sciences（计算机与通信科学学校）
本文推导了经典遗憾-容量定理的条件版本，用于在批量训练数据下求解最小批量遗憾的下界，并将其推广至Rényi信息测度，揭示了条件Rényi散度与条件Sibson互信息间的深刻联系。
2025-08-14 cs.IT cs.LG math.IT
Beyond Batch Learning: Global Awareness Enhanced Domain Adaptation
School of Aeronautics and Astronautics, Shanghai Jiao Tong University（上海交通大学航空航天学院）；LIRIS（利里研究所）；CNRS（法国国家科学研究中心）；Ecole Centrale de Lyon（里昂中央理工学院）；Institut Universitaire de France (IUF)（法国大学研究院）
针对域自适应中批量学习无法充分捕捉全局数据特征的问题，提出GAN-DA方法，通过整合预定义特征表示并扩展至正交和公共特征层面实现全局统计与几何感知，在27项任务中显著优于24种现有方法，为域自适应设立新基准。
2025-02-10 cs.LG
Binary Anomaly Detection in Streaming IoT Traffic under Concept Drift
National Institute of Informatics（日本国立信息机构）；Technical University of Munich（慕尼黑技术大学）
本研究针对概念漂移下的流式物联网流量二分类异常检测问题，对比批量与流式学习方法，证实基于树的流式算法在保证检测性能的同时可大幅降低计算成本，也指出现有数据集存在流量异构性不足的局限。
2025-10-31 cs.CR cs.LG
Discriminative Active Learning
the Hebrew University（希伯来大学）
我们提出了一个新的批处理模式主动学习算法设计的神经网络和大批量查询。该方法，判别式主动学习（DAL），构成主动学习作为一个二元分类任务，试图选择的例子，以这样一种方式标记，使标记的集合和未标记的池无法区分。在图像分类任务上进行实验，我们凭经验证明我们的方法在中型和大型查询批量中与最先进的方法不相上下，同时易于实现，并且还扩展到除了分类任务之外的其他领域。我们的实验还表明，没有一个国家的最先进的方法，今天是明显优于不确定性抽样时，批量相对较大，否定了一些报道的结果，在最近的文献。
2019-07-15 cs.LG stat.ML
Derivative Computation in PINNs: Automatic Differentiation, Finite Differences and Beyond
AGH University of Krakow（克拉科夫AGH科技大学）
该研究对比PINNs中FD与AD的导数计算性能，发现FD精度相当且速度更快、内存占用更少，其随机变体在稳态问题上优于AD，还解决了含样本间依赖架构的逐样本导数计算问题。
2026-11-03 cs.LG cs.NA math.NA
Smoothed Online Classification can be Harder than Batch Classification
University of Michigan（密歇根大学）
本文证明在标签空间无界时，平滑在线分类可能比iid批量分类更难，构造了在PAC批量可学习但平滑在线不可学习的假设类，并给出PAC可学习性足以保证平滑在线可学习的条件。
2024-05-24 cs.LG
Batch Selection for Multi-Label Classification Guided by Uncertainty and Dynamic Label Correlations
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
提出一种基于不确定性和动态标签相关性的多标签分类批选择算法，通过结合连续预测差异与当前输出置信度评估各标签不确定性，有效提升了模型性能并加速收敛。
2024-12-21 cs.LG stat.ML
Beyond Backprop: Online Alternating Minimization with Auxiliary Variables
NYU Tandon（纽约大学坦登工程学院）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；MIT（麻省理工学院）
尽管最近在深度神经网络方面取得了重大进展，但由于目标函数的高度非凸性，训练它们仍然是一个挑战。最先进的方法依赖于误差反向传播，其存在几个众所周知的问题，例如梯度消失和爆炸，无法处理不可微的非线性和跨层并行化权重更新，以及生物学上的不可信性。这些限制继续激励探索替代的训练算法，包括最近提出的几个随机变量方法，将复杂的嵌套目标函数分解为局部子问题。然而，这些技术主要是离线（批处理），这限制了它们对超大数据集的适用性，以及在线，持续或强化学习。我们工作的主要贡献是一种新的在线（随机/小批量）交替最小化（AM）方法，用于训练深度神经网络，以及随机设置中AM的第一个理论收敛保证和各种架构和数据集上有希望的经验结果。
2019-06-05 cs.LG stat.ML
A constrained recursion algorithm for batch normalization of tree-sturctured LSTM
National Institute of Informatics（国立信息学研究所）；Keio University（庆应义塾大学）
树结构的LSTM是考虑层次结构上的长距离交互的有前途的方法。然而，关于树结构LSTM的构造和遍历的超参数调整的研究很少。举几个例子，诸如状态初始化的间隔、用于规范化的批量的数量之类的超参数在应用批量归一化以降低训练成本和并行化时没有被特别地探索。在本文中，我们提出了一种新的递归算法来遍历批量规范化树结构的LSTM。在建议方法中，我们对递归算法施加约束，用于LSTM二叉树表示的深度优先搜索，其中应用了批量归一化。通过约束递归，我们可以控制在批量归一化过程中生成的多个树结构LSTM的遍历中的超参数。树遍历分为两步。在第一阶段，对模型进行宽度优先搜索，以发现最新的树结构LSTM块的起点。然后，运行深度优先搜索来遍历树结构的LSTM。所提出的方法使我们能够探索递归神经网络实现的超参数的优化选择，通过改变我们的递归算法的约束。在实验中，我们测量并绘制了验证损失和计算时间随树结构LSTM状态初始化的内部长度的变化。实验结果表明，该方法对于树型结构LSTM的批处理次数和状态初始化间隔长度等超参数整定是有效的。
2020-08-21 cs.LG cs.NE
Knowledge Hypergraphs: Prediction Beyond Binary Relations
University of British Columbia（英属哥伦比亚大学）；Element AI
知识图谱使用两个实体之间的关系存储事实。在这项工作中，我们解决的问题，链接预测在知识超图的关系被定义在任何数量的实体。虽然存在的技术（如具体化），将非二进制关系转化为二进制的，我们表明，目前基于嵌入的知识图完成的方法不工作，以及开箱即用的知识图谱通过这些技术获得。为了克服这一点，我们引入了HSimple和HypE，这两种基于嵌入的方法直接与知识超图一起工作。在这两个模型中，预测是关系嵌入、实体嵌入及其在关系中的对应位置的函数。我们还开发了超图预测的公共数据集，基准和基线，并通过实验表明，所提出的模型比基线更有效。
2020-07-15 cs.AI cs.LG stat.ML
Online Binary Space Partitioning Forests
University of New South Wales（新南威尔士大学）；Fudan University（复旦大学）
二进制空间划分树（BinarySpacePartitioning-Tree ~（BSP-Tree））过程是最近提出的一种有效的空间划分策略。由于它使用多个维度来划分空间，BSP树过程比传统的轴对齐切割策略更有效和灵活。然而，由于其批量学习设置，它不太适合大规模的分类和回归问题。在本文中，我们开发了一个在线BSP森林框架来解决这个限制。随着新数据的到来，所得到的在线算法可以同时扩大空间覆盖和细化分区结构，并保证分类和回归问题的普遍一致性。在线BSP森林的有效性和竞争力的表现是通过模拟真实世界的数据集进行验证。
2020-02-29 cs.CG cs.DS cs.LG
On the Equivalence between Online and Private Learnability beyond Binary Classification
University of Michigan（密歇根大学）
Alon et al. [2019]和Bun et al. [2020]最近表明，在线可学习性和私有PAC可学习性在二进制分类中是等价的。我们研究这种等价性是否扩展到多类分类和回归。首先，我们表明，私人的可学习性意味着在这两种情况下的在线可学习性。我们的扩展涉及到研究一种新的变体的Littlestone尺寸，这取决于一个公差参数和适当的泛化的阈值函数的概念超出二进制分类。第二，我们表明，虽然在线学习能力继续意味着私人学习能力在多类分类，目前的证明技术遇到重大障碍，在回归设置。虽然回归的等价性仍然是开放的，但我们提供了非平凡的充分条件，使在线学习类也可以私下学习。
2021-10-09 cs.CR cs.LG stat.ML
Two Clocks: Why Larger Rollout Batches Learn Slower but Fail on Schedule in Reinforcement Learning with Verifiable Rewards
Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）
该研究针对带可验证奖励的强化学习，提出双时钟框架，解释了更大回滚批次学习慢但按计划失败的原因，推导了多步RLVR训练计划，实验验证了相关预测。
2026-10-14 cs.AI cs.LG
Beyond Binary: Reframing GUI Critique as Continuous Semantic Alignment
Xiaomi Inc.（小米公司）；Shanghai Jiao Tong University（上海交通大学）
本文提出BBCritic和BBBench，通过两阶段对比学习在共享语义空间中对齐指令与动作，解决GUI批评中二元分类的局限性，实验证明其在跨平台任务中的优越性。
2026-05-15 cs.AI cs.HC cs.LG
Is Vertical Logistic Regression Privacy-Preserving? A Comprehensive Privacy Analysis and Beyond
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Princeton University（普林斯顿大学）；Sudo Technology Co.,LTD（素度科技有限公司）；UC Berkeley（加州大学伯克利分校）
我们考虑用小批量梯度下降训练的垂直逻辑回归（VLR）--这种设置引起了行业越来越多的兴趣，并被证明在包括金融和医学研究在内的广泛应用中非常有用。我们提供了一个全面和严格的隐私分析VLR在一类开源的联邦学习框架，其中的协议可能会有所不同，但获得局部梯度的过程是隐式共享。我们首先考虑诚实但好奇的威胁模型，其中协议的详细实现被忽略，只假设共享过程，我们抽象为一个预言。我们发现，即使在这种一般设置下，单维特征和标签仍然可以从另一方恢复适当的批量大小的限制下，从而证明了潜在的脆弱性，所有框架遵循相同的哲学。然后我们研究了一个流行的基于同态加密（HE）的协议实例。我们提出了一种主动攻击，通过生成和压缩辅助密文，显着削弱了在以前的分析批量大小的限制。为了解决基于HE的协议中的隐私泄漏，我们开发了一个简单而有效的对策的基础上差分隐私（DP），并提供实用性和隐私的更新算法的保证。最后，我们在基准数据集上实证验证了我们的攻击和防御的有效性。总而言之，我们的研究结果表明，所有仅依赖于HE的垂直联邦学习框架都可能包含严重的隐私风险，而DP已经在水平联邦学习中展示了其强大的功能，也可以在垂直环境中发挥关键作用，特别是当与HE或安全多方计算（MPC）技术相结合时。
2022-07-19 cs.CR cs.LG
On the representation and embedding of knowledge bases beyond binary relations
Beihang University（北京航空航天大学）；University of Ottawa（渥太华大学）
到目前为止开发的知识库嵌入模型都是基于知识库中包含的关系是二进制的假设。为了训练和测试这些嵌入模型，将多重（或n元）关系数据转换为三元组（例如，在FB 15 K数据集中），并被解释为二元关系的实例。本文提出了一种包含多重关系的知识库的规范表示方法。我们发现，流行的FB 15 K数据集上的现有嵌入模型对应于次优建模框架，导致结构信息丢失。我们提倡一种新的建模框架，直接使用这种规范表示模型的多重关系。在此框架下，将已有的TransH模型推广到一个新的模型m-TransH.我们的实验表明，m-transH优于transH的一个很大的保证金，从而建立了一个新的国家的艺术。
2016-04-28 cs.AI cs.LG
Deep Metric Learning Beyond Binary Supervision
POSTECH（浦项科技大学）；Inria（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）
视觉相似性的度量学习大多采用二进制监督，指示一对图像是否属于同一类。这样的二进制指示符仅覆盖图像关系的有限子集，并且不足以表示由连续和/或结构化标签（诸如对象姿态、图像标题和场景图）描述的图像之间的语义相似性。受此启发，我们提出了一种使用连续标签进行深度度量学习的新方法。首先，我们提出了一个新的三重损失，允许在标签空间中的距离比被保存在学习度量空间。因此，提出的损失使我们的模型能够学习相似度，而不仅仅是顺序。此外，我们设计了一个三元组挖掘策略，适用于连续标签的度量学习。我们解决三个不同的图像检索任务与连续标签的人类姿势，房间布局和图像标题，并证明我们的方法相比，以前的方法的优越性能。
2019-04-21 cs.CV cs.LG
Binary Quadratic Quantization: Beyond First-Order Quantization for Real-Valued Matrix Compression
Institute of Science Tokyo（东京科学研究所）；Waseda University（早稻田大学）
该研究提出二元二次量化（BQQ）方法，利用二元二次表达式提升矩阵压缩效果，在矩阵压缩基准和Vision Transformer的2比特训练后量化实验中，性能均优于传统方法，验证了该表达式在高效矩阵近似与神经网络压缩中的有效性。
2025-10-21 cs.AI cs.CV cs.LG
