Binary Stochastic Representations for Large Multi-class Classification
Sorbonne Universités（索邦大学联盟）；UPMC Univ Paris 06（巴黎第六大学（皮埃尔和玛丽·居里大学））
具有大量类别的分类是机器学习中的关键问题，并且对应于许多现实世界的应用，例如社交网络中的图像或文本文档的标记。如果one-vs-all方法通常在这种情况下达到最佳性能，则这些方法具有高推理复杂度，与类别数量呈线性关系。已经提出了基于二进制码的概念的不同模型来克服这种限制，实现次线性推理复杂度。但他们需要先决定将哪个二进制代码与哪个类别相关联，然后再使用或多或少复杂的语法进行学习。我们提出了一个新的端到端模型，其目的是同时学习将二进制代码与类别相关联，同时学习将输入映射到二进制代码。这种称为深度随机神经编码（DSNC）的方法保持了次线性推理的复杂性，但不需要任何先验调整。在不同数据集上的实验结果表明了该方法相对于基线方法的有效性。
2019-06-24 cs.LG stat.ML
$L_0$-ARM: Network Sparsification via Stochastic Binary Optimization
Georgia State University（佐治亚州立大学）
我们将网络稀疏化视为$L_0$ -范数正则化的二进制优化问题，其中神经网络的每个单元（例如，权重、神经元或通道等）附加一个随机二进制门，其参数与原始网络参数联合优化。针对这个二元优化问题，研究了最近提出的无偏梯度估计器Augment-Reinforce-Merge（ARM）。与Louizos等人的硬混凝土梯度估计器相比，ARM展示了修剪网络架构的卓越性能，同时保留了与基线方法几乎相同的精度。与硬混凝土估计器类似，ARM也支持在模型训练期间进行条件计算，但由于精确的二进制随机性，因此提高了有效性。由于ARM的灵活性，许多平滑或非平滑的参数函数，如缩放的sigmoid或硬sigmoid，可以用来参数化这个二进制优化问题，并保留ARM估计器的无偏性，而硬混凝土估计器必须依赖于硬sigmoid函数来实现条件计算，从而加速训练。在多个公共数据集上进行的大量实验表明，最先进的剪枝率几乎与基线方法相同。由此产生的算法$L_0$ -ARM稀疏化了CIFAR-10和CIFAR-100上的Wide-ResNet模型，而硬混凝土估计器不能。该代码可在https://github.com/leo-yangli/l0-arm上公开获取。
2019-09-11 cs.LG stat.ML
Binary Search and First Order Gradient Based Method for Stochastic Optimization
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
在本文中，我们提出了一种新的随机优化方法，它使用二进制搜索技术与一阶梯度为基础的优化方法，称为二进制搜索梯度优化（BSG）或BiGrad。在这种优化设置中，非凸曲面被视为一组凸曲面。在BSG中，首先定义一个区域，假设区域是凸的。如果区域不是凸的，则算法很快离开该区域并定义一个新的区域，否则，算法试图收敛于该区域的最优点。在BSG中，二叉搜索的核心目的是确定区域在对数时间内是否是凸的，而基于一阶梯度的方法主要用于定义新的区域。在本文中，Adam被用作基于一阶梯度的方法，然而，也可以考虑这类的其他方法。在深度神经网络设置中，它有效地处理了梯度消失和爆炸的问题。我们使用逻辑回归和深度神经网络在MNIST手写数字、IMDB和CIFAR10数据集上评估BSG。与其他基于一阶梯度的优化方法相比，我们产生了更有前途的结果。此外，与其他方法相比，该算法在看不见的数据上具有更好的泛化能力。
2020-07-27 cs.LG stat.ML
Techniques for Learning Binary Stochastic Feedforward Neural Networks
Aalto University（阿尔托大学）；Université de Montréal（蒙特利尔大学）
与确定性MLP网络相比，多层感知器（MLP）网络中的随机二进制隐藏单元至少有三个潜在的好处。(1)它们允许学习一对多类型的映射。(2)它们可以用于结构化预测问题，其中对输出的内部结构进行建模很重要。(3)随机性已被证明是一个优秀的正则化，这使得泛化性能可能更好的一般。然而，训练随机网络要困难得多。我们使用每个输入的M个隐藏激活样本来研究训练。我们证明了M=1的情况导致了一个根本不同的行为，网络试图避免随机性。我们提出了两个新的估计的训练梯度，并提出基准测试比较训练算法。我们的实验证实了训练随机网络是困难的，并表明所提出的两个估计器在所有五个已知的估计器中表现良好。
2015-04-09 cs.LG cs.NE stat.ML
Binary Stochastic Filtering: feature selection and beyond
特征选择是理解数据和机器学习模型的最具决定性的工具之一。在其他方法中，由$L^{1}$惩罚引起的稀疏性是解决这个问题的最简单和最好的研究方法之一。虽然这种正则化经常用于神经网络以实现权重或单元激活的稀疏性，但尚不清楚如何将其用于特征选择问题。这项工作的目的是扩展神经网络的能力，自动选择功能，重新思考如何稀疏正则化可以使用，即，通过随机惩罚功能的参与，而不是层的权重。所提出的方法已经证明了优越的效率相比，一些经典的方法，实现了最小或没有计算开销，并可以直接应用到任何现有的架构。此外，该方法是很容易推广的神经元修剪和光谱数据的重要区域的选择。
2020-07-08 cs.LG stat.ML
Critical initialisation in continuous approximations of binary neural networks
School of Electrical and Electronic Engineering（电气与电子工程学院）；Institut de Physique Thorique（理论物理研究所）；University of Adelaide（阿德莱德大学）；Bocconi University（博科尼大学）
研究了通过连续代理网络训练具有二元权值和激活的随机神经网络模型（$\pm1$）。我们得到新的代理人使用一种新的推导的基础上写的随机神经网络作为一个马尔可夫链。这种推导也包括文献中提出的替代物的现有变体。在此之后，我们从理论上研究了初始化时的代理。我们推导出，使用平均场理论，一组标量方程描述输入信号如何传播通过随机初始化的网络。这些方程揭示了每个代理网络是否存在所谓的临界初始化，其中网络可以被训练到任意深度。此外，我们从理论上预测和数值上确认，在标准连续网络中使用的常见权重初始化方案，当应用于随机二进制权重的平均值时，会产生较差的训练性能。这项研究表明，与常见的直觉相反，随机二进制权重的平均值应该初始化为接近$\pm 1$，以便更深的网络是可训练的。
2020-04-10 cs.LG stat.ML
Augment-Reinforce-Merge Policy Gradient for Binary Stochastic Policy
Columbia University（哥伦比亚大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
由于策略梯度的高方差，策略上优化算法受到低样本效率的困扰。在这项工作中，我们提出了增强-加强-合并（ARM）策略梯度估计作为一个无偏的低方差替代以前的基线估计任务与二进制动作空间，最近的ARM梯度估计离散随机变量模型的启发。我们表明，ARM的策略梯度估计实现方差减少与理论保证，并导致显着更稳定和更快的收敛的政策参数化的神经网络。
2019-03-13 cs.AI cs.LG stat.ML
Feature Selection via Binary Simultaneous Perturbation Stochastic Approximation
Istanbul Sehir University（伊斯坦布尔城市大学）
特征选择（FS）已成为处理当今高度复杂的模式识别问题的大量特征的一个不可或缺的任务。在这项研究中，我们提出了一个新的包装方法FS的基础上二进制同时扰动随机逼近（BSPSA）。这种伪梯度下降随机算法从初始特征向量开始，并通过连续迭代向最佳特征向量移动。在每次迭代中，当前特征向量的各个分量同时受到来自合格概率分布的随机偏移的扰动。我们目前的计算实验数据集的功能数量从几十到数千使用三个广泛使用的分类器作为包装：最近邻，决策树和线性支持向量机。我们比较我们的方法对全套功能，以及二进制遗传算法和顺序FS方法使用交叉验证的分类错误率和AUC作为性能标准。我们的研究结果表明，BSPSA选择的功能相比，一般的替代方法和BSPSA可以产生优越的功能集的数据集与成千上万的功能，通过检查一个极小的部分的解决方案空间。我们不知道有任何其他包装FS方法在计算上可行，并且对于如此大的数据集具有良好的收敛性。
2016-03-05 cs.LG stat.ML
Nonlocal optimization of binary neural networks
Borealis AI（Borealis AI 研究院）
我们探索训练二进制神经网络（BNN）作为一个离散变量推理问题的因素图。我们研究了这种转换在一个参数化的BNN设置的行为，并提出随机版本的置信传播（BP）和调查传播（SP）的消息传递算法，以克服其目前制定的棘手问题。与传统的BNN梯度方法相比，我们的结果表明，随机BP和SP找到更好的配置的参数在BNN。
2022-04-05 cs.LG stat.ML
ARM: Augment-REINFORCE-Merge Gradient for Stochastic Binary Networks
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
为了通过随机二进制层反向传播梯度，我们提出了增强-增强-合并（ARM）估计器，该估计器是无偏的，具有低方差，并且具有低计算复杂度。利用变量增广、REINFORCE和重新参数化，ARM估计器通过经由公共随机数合并两个期望来实现蒙特卡罗积分的自适应方差减小。ARM估计器的方差减小机制也可以归因于在增强空间中的对偶采样，或者在该增强空间中使用最佳反对称“自我控制”基线函数以及REINFORCE估计器。实验结果表明，ARM估计提供了最先进的性能，在自动编码变分推断和极大似然估计，离散潜变量模型与一个或多个随机二进制层。用于可重复研究的Python代码是公开的。
2019-09-09 cs.LG stat.CO stat.ME
On the Universal Approximation Property and Equivalence of Stochastic Computing-based Neural Networks and Binary Neural Networks
Syracuse University（雪城大学）；City College of the City University of New York（纽约市立大学城市学院）；Lehman College of CUNY（纽约市立大学雷曼学院）；Florida International University（佛罗里达国际大学）；Northeastern University（东北大学）
大规模深度神经网络是内存密集型和计算密集型的，从而对计算平台提出了严格的要求。深度神经网络的硬件加速在工业界和学术界都得到了广泛的研究。二进制神经网络（BNN）和基于随机计算的神经网络（SCNN）的特定形式对硬件实现特别有吸引力，因为它们几乎可以完全用二进制运算来实现。尽管这些近似计算技术在硬件实现上具有明显的优势，但在准确性和普遍适用性方面受到研究人员的质疑。此外，了解SCNN和BNN在理论上和实际硬件实现中的相对优缺点也很重要。为了解决这些问题，在本文中，我们证明了“理想”SCNN和BNN满足概率为1的通用逼近性质（由于随机行为）。首先从强大数定律出发证明SCNN的性质，然后利用SCNN作为证明BNN的“桥梁”。基于泛逼近性质，我们进一步证明了SCNN和BNN具有相同的能量复杂度。也就是说，随着网络规模的增大，它们具有相同的渐近能量消耗。我们还提供了一个详细的分析的优点和缺点的SCNN和BNN的硬件实现，并得出结论，SCNN更适合于硬件。
2018-06-09 cs.LG stat.ML
Stochastic Learning Approach to Binary Optimization for Optimal Design of Experiments
Argonne National Laboratory（阿贡国家实验室）
针对由数学模型如偏微分方程控制的贝叶斯反问题，提出了一种新的随机二进制优化方法，用于最优试验设计（OED）. OED效用函数，即正则化的最优性准则，被铸造成一个随机目标函数的形式在多元伯努利分布的期望。然后通过使用随机最优化例程来求解概率目标以找到最优观测策略。所提出的方法进行了分析，从优化的角度来看，也从机器学习的角度与对应的政策梯度强化学习。该方法是通过使用一个理想化的二维贝叶斯线性逆问题，并验证了广泛的数值实验进行传感器的位置在参数识别设置的数值模拟。
2021-01-15 cs.LG math.OC
Reintroducing Straight-Through Estimators as Principled Methods for Stochastic Binary Networks
Czech Technical University in Prague（布拉格捷克理工大学）；Samsung-HSE Laboratory（三星-HSE实验室）；National Research University Higher School of Economics（国家研究型高等经济大学）
训练具有二进制权重和激活的神经网络是一个具有挑战性的问题，由于缺乏梯度和难以优化的离散权重。许多成功的实验结果已经取得了经验的直通（ST）的方法，提出了各种特设的规则，通过不可微的激活和更新离散的权重传播梯度。同时，ST方法可以真正推导出的随机二进制网络（SBN）模型中的估计与伯努利权重。我们推进这些推导，以一个更完整和系统的研究。我们分析属性，估计精度，获得不同形式的正确的ST估计的激活和权重，解释现有的经验方法和它们的缺点，解释潜在的权重是如何产生的镜像下降方法时，优化概率。这允许重新引入ST方法，长期以来已知的经验，作为健全的近似，应用它们与清晰度和发展进一步的改进。
2021-10-19 cs.CV cs.LG cs.NE
Detection of Review Abuse via Semi-Supervised Binary Multi-Target Tensor Decomposition
Amazon（亚马逊）；Microsoft India（微软印度）
电子商务网站上的产品评论和评级为客户提供了有关产品各个方面的详细见解，例如质量，实用性等。由于它们影响客户的购买决策，产品评论已成为卖家滥用的沃土（与评论者勾结），以推广自己的产品或玷污竞争对手产品的声誉。在本文中，我们的重点是通过对产品评论数据应用张量分解来检测这种滥用实体（包括卖家和评论者）。虽然张量分解大部分是无监督的，但我们将我们的问题制定为半监督的二进制多目标张量分解，以利用目前已知的滥用实体。我们的经验表明，我们的多目标半监督模型实现了更高的精度和召回检测滥用实体相比，无监督技术。最后，我们表明，我们提出的随机部分自然梯度推断我们的模型经验达到更快的收敛速度比随机梯度和在线EM有足够的统计。
2019-05-23 cs.LG stat.ML
Improved Binary Forward Exploration: Learning Rate Scheduling Method for Stochastic Optimization
CU Boulder（科罗拉多大学博尔德分校）
最近提出了一种新的基于梯度的自动调度学习率的优化方法，称为二进制前向探索（BFE）。此后还讨论了BFE的自适应版本。本文将在此基础上研究改进算法，以优化新方法的效率和鲁棒性。这种改进的方法为调度学习率的更新提供了一个新的视角，并将与随机梯度下降算法（也称为具有动量或Nesterov动量的SGD算法）和最成功的自适应学习率算法（例如Adam）进行比较。该方法的目标不是击败其他方法，而是提供一个不同的视角来优化梯度下降过程。该方法结合了一阶优化和二阶优化在速度和效率方面的优点。
2022-09-22 cs.LG math.OC
Policy-Oriented Binary Classification: Improving (KD-)CART Final Splits for Subpopulation Targeting
Ohio State University（俄亥俄州立大学）
针对潜在概率分类问题中经典CART及KD-CART并非最优的问题，提出MDFS等三种改进最终分裂的方法，在模拟和真实数据上均优于基线，可靶向更多弱势子群体。
2025-10-01 cs.LG econ.EM stat.ML
Energy-Efficient Supervised Learning with a Binary Stochastic Forward-Forward Algorithm
Purdue University（普渡大学）
针对反向传播在硬件加速中的能耗与内存瓶颈，提出二元随机前向-前向算法，将矩阵乘法转为索引操作，利用p-bit实现快速采样，在多个数据集上性能接近实值版本且能耗降低约一个数量级。
2025-07-09 cs.LG cs.NE
Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation
Université de Montréal（蒙特利尔大学）
随机神经元和硬非线性在深度学习模型中有很多用处，但在许多情况下，它们会带来一个具有挑战性的问题：如何估计损失函数相对于此类随机或非光滑神经元输入的梯度？即，我们能通过这些随机神经元“反向传播”吗？我们研究这个问题，现有的方法，并比较四个家庭的解决方案，适用于不同的设置。其中之一是随机二元神经元的最小方差无偏梯度估计（REINFORCE算法的一个特例）。第二种方法，在这里介绍，分解成一个随机的二进制部分和一个光滑的可微部分，这近似的纯随机二进制神经元的预期效果的二进制神经元的操作到一阶。第三种方法涉及在计算图中注入加性或乘性噪声，否则是可微的。第四种方法是直接复制关于随机输出的梯度，作为关于sigmoid参数的梯度的估计量（我们称之为直通估计量）。为了探索这些估计器有用的上下文，我们考虑{ \em条件计算}的小规模版本，其中稀疏随机单元形成gater的分布式表示，可以以多种组合方式关闭神经网络其余部分中执行的大块计算。在这种情况下，门控单元在大多数时间产生实际0是很重要的。由此产生的稀疏性可以被利用来大大降低大型深度网络的计算成本，条件计算将对其有用。
2013-08-15 cs.LG
Stochastic Multiple Target Sampling Gradient Descent
VinAI Research（VinAI研究院）；Monash University（莫纳什大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
从非标准化目标分布中采样是概率推理中的一个重要问题。Stein变分梯度下降（SVGD）已被证明是一个强大的方法，迭代更新一组粒子，以近似感兴趣的分布。此外，当分析其渐近性质时，SVGD完全简化为单目标优化问题，并且可以被视为该单目标优化问题的概率版本。一个自然的问题随之而来：“我们能推导出多目标优化的概率版本吗？".为了回答这个问题，我们提出了随机多目标采样梯度下降（MT-SGD），使我们能够从多个未归一化的目标分布进行采样。具体来说，我们的MT-SGD进行中间分布流逐渐定向到多个目标分布，这允许采样粒子移动到目标分布的联合高似然区域。有趣的是，渐近分析表明，我们的方法完全减少到多目标优化的多梯度下降算法，正如预期的那样。最后，我们进行了全面的实验，以证明我们的多任务学习方法的优点。
2023-02-10 cs.AI cs.LG stat.ML
SADAM: Stochastic Adam, A Stochastic Operator for First-Order Gradient-based Optimizer
University of California San Francisco（加州大学旧金山分校）；James Madison University（詹姆斯·麦迪逊大学）
在这项工作中，为了有效地帮助逃离平稳和鞍点，我们提出，分析和推广一个随机策略作为一阶梯度下降算法的操作符，以提高目标精度和减少时间消耗。与现有算法不同，所提出的随机策略不需要任何批处理和采样技术，从而能够有效地实现并保持初始一阶优化器的收敛速度，但在优化目标函数时提供了无与伦比的目标精度的提高。简而言之，所提出的策略被推广，应用于亚当，并通过使用深度矩阵拟合和另外四个同行优化器的生物医学信号的分解进行验证。验证结果表明，所提出的随机策略可以很容易地推广到一阶优化器，并有效地提高目标精度。
2022-05-20 cs.LG
Parametrized Stochastic Multi-armed Bandits with Binary Rewards
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在本文中，我们考虑的问题，多武装土匪与一个大的，可能是无限多的相关武器。我们假设手臂具有伯努利分布的奖励，独立于时间，其中成功的概率由每个手臂的已知属性向量以及未知的偏好向量参数化，每个维度为$n$。对于这个模型，我们寻求一个算法，总遗憾，是次线性的时间和独立的武器数量。我们提出了这样的算法，我们称之为两阶段算法，并分析其性能。我们显示了上界的总遗憾，适用于统一的时间，有限和无限的手臂的情况下。有限臂界的渐近性表明，对于任何$f \in ω(\log(T))$，总遗憾可以是$O(n \cdot f(T))$。在无限臂情况下，总遗憾是$O(\sqrt{n^3 T})$。
2011-11-18 cs.LG
Binary stochasticity enabled highly efficient neuromorphic deep learning achieves better-than-software accuracy
Peng Cheng Laboratory（鹏城实验室）；Fudan University（复旦大学）；Institute of Microelectronics, Chinese Academy of Sciences（中国科学院微电子研究所）；Politecnico di Milano（米兰理工大学）
本文提出二元随机学习算法，通过对前向信号、激活函数导数、反向传播误差及权重更新进行二值化处理，在忆阻器硬件上实现超越软件基准的深度学习性能，并将乘累加运算能效提升三个数量级以上。
2023-04-25 cs.LG cs.NE eess.SP
Community recovery in non-binary and temporal stochastic block models
Inria（法国国家信息与自动化研究所）；Aalto University（阿尔托大学）
本文研究了$N$节点网络中的成对交互对潜在社区成员的估计，其中观察到的交互可以是任意类型的，包括二进制，分类和向量值，并且不排除更一般的对象，如时间序列或空间点模式。作为一个生成模型，这样的数据，我们引入了一个随机块模型与一般的可测量的相互作用空间$\mathcal S$，我们推导出的最小可实现的差错率的信息理论界。这些界限产生尖锐的标准存在一致的和强一致的估计数据稀疏性，块内和块间的相互作用分布之间的统计相似性，以及相互作用空间的形状和大小。一般的框架，使人们有可能研究时间和多路复用网络与$\mathcal S = \{0,1\}^T$，在设置中，$N \to \infty$和$T \to \infty$，和时间的相互作用模式随着时间的推移相关。对于时间马尔可夫相互作用，我们得到尖锐的一致性阈值。我们还提出了快速在线估计算法，充分利用了非二进制性质的观测数据。对合成数据和真实数据的数值实验表明，即使对于非常稀疏的数据阵列，这些算法也能快速产生准确的估计。
2022-08-30 cs.LG math.PR math.ST
Projected Stochastic Gradient Descent with Quantum Annealed Binary Gradients
Aalto University（阿尔托大学）；Imperial College London（帝国理工学院）；University of Adelaide（阿德莱德大学）；MPI for Informatics（马克斯·普朗克信息学研究所）
本文提出 QP-SBGD 优化器，通过二次约束二值优化将梯度映射为二值变量，并利用量子退火器执行 NP 难投影，实现二值神经网络的高效训练，在多项任务中达到或超越现有基线。
2024-09-03 cs.CV cs.LG quant-ph
Bayesian Inference on Binary Spiking Networks Leveraging Nanoscale Device Stochasticity
King's College London（伦敦国王学院）
针对传统贝叶斯神经网络硬件实现资源消耗大的问题，提出基于相变存储器的二进制突触BNN硬件架构，通过独立权重与噪声平面利用器件固有随机性采样，性能与8位定点方案相当且核心晶体管数省9倍以上。
2023-02-02 cs.AR cs.ET cs.LG
Target-based Surrogates for Stochastic Optimization
University of British Columbia（不列颠哥伦比亚大学）；Simon Fraser University（西蒙弗雷泽大学）；Samsung - SAIT AI Lab（三星综合技术院人工智能实验室）；Canada CIFAR AI Chair (Amii)（加拿大高等研究院人工智能讲席（阿尔伯塔机器智能研究所））；Microsoft Research（微软研究院）；Canada CIFAR AI Chair (MILA)（加拿大高等研究院人工智能讲席（蒙特利尔学习算法研究所））
针对梯度计算成本高的函数最小化问题，提出目标优化框架构建目标空间代理函数以摊销梯度成本，证明理论收敛性并提出SSO算法，实验验证了框架与算法的有效性。
2023-06-08 cs.LG math.OC
