Faster Reinforcement Learning Using Active Simulators
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
在这项工作中，我们提出了几种在线方法来建立一个\emph{learning curriculum}从一组给定的目标任务特定的训练任务，以加快强化学习（RL）。与从头开始训练目标任务相比，这些方法可以减少RL代理所需的总训练时间。与传统的迁移学习不同，我们考虑从几个训练任务中创建一个序列，以便在减少训练的总时间方面提供最大的好处。我们的方法利用迄今为止看到的课程任务上的代理的学习轨迹来决定接下来要训练哪些任务。我们的方法的一个有吸引力的特点是，它们是弱耦合到RL算法的选择，以及迁移学习方法。此外，当有领域信息可用时，我们的方法可以结合这些知识以进一步加快学习。我们的实验表明，这些方法可以用来获得合适的学习课程，加快两个不同领域的整体训练时间。
2017-11-21 cs.LG
SPADE: Faster Drug Discovery by Learning from Sparse Data
NVIDIA（英伟达）
SPADE通过从稀疏数据中学习，以更少的测试次数找到高质量的药物分子，相比深度学习和贝叶斯优化方法在样本效率上提升了7%-32%，且在评分速度上快10倍。
2026-05-06 cs.AI cs.LG
AlphaZero-Inspired Game Learning: Faster Training by Using MCTS Only at Test Time
RWTH Aachen University（亚琛工业大学）；TH Köln – University of Applied Sciences（科隆应用技术大学）
最近，开创性的算法AlphaGo和AlphaZero开启了游戏学习和深度强化学习的新时代。虽然AlphaGo和AlphaZero的成就-在超人类水平上玩围棋和其他复杂游戏-确实令人印象深刻，但这些架构的缺点是它们需要高计算资源。许多研究人员正在寻找类似于AlphaZero的方法，但计算需求较低，因此更容易重现。在本文中，我们选择了AlphaZero的一个重要元素-蒙特卡罗树搜索（MCTS）规划阶段-并将其与时间差（TD）学习代理相结合。我们第一次围绕TD n元组网络包装MCTS，我们只在测试时使用这种包装来创建多功能代理，同时保持低的计算需求。我们将这种新的架构应用到几个复杂的游戏（奥赛罗，ConnectFour，魔方），并显示出这种AlphaZero启发MCTS包装器所取得的优势。特别是，我们目前的结果是，这个代理是第一个在标准硬件（没有GPU或TPU）上训练的代理，可以击败非常强大的奥赛罗程序Edax，包括7级（大多数其他从头开始学习的算法只能击败Edax到2级）。
2022-09-24 cs.AI cs.GT cs.LG
BoardVision: Deployment-ready and Robust Motherboard Defect Detection with YOLO+Faster-RCNN Ensemble
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
针对主板装配级缺陷检测，提出BoardVision框架，集成YOLOv7与Faster R-CNN，通过CTV Voter平衡精度与召回，并评估鲁棒性，发布GUI工具以推动实际应用。
2025-10-16 cs.CV cs.LG
Data-dependent Initializations of Convolutional Neural Networks
UC Berkeley（加州大学伯克利分校）
卷积神经网络像野火一样在计算机视觉中蔓延，影响了几乎所有可以想象的视觉任务。尽管如此，很少有研究人员敢于从头开始训练他们的模型。大多数工作都建立在少数ImageNet预训练模型中的一个上，并针对特定任务进行微调或调整。这在很大程度上是由于从头开始正确初始化这些网络的困难。初始权重的小的误校准导致梯度消失或爆炸，以及差的收敛特性。在这项工作中，我们提出了一个快速而简单的数据相关初始化过程，该过程设置网络的权重，以便网络中的所有单元以大致相同的速率进行训练，避免梯度消失或爆炸。我们的初始化与标准计算机视觉任务（如图像分类和目标检测）中当前最先进的无监督或自监督预训练方法相匹配，同时大约快了三个数量级。当与预训练方法相结合时，我们的初始化显著优于先前的工作，缩小了监督和无监督预训练之间的差距。
2016-09-22 cs.CV cs.LG
Training Efficient CNNS: Tweaking the Nuts and Bolts of Neural Networks for Lighter, Faster and Robust Models
UpGrad Education Pvt Limited（UpGrad教育私人有限公司）；Salesforce（赛富时）
深度学习彻底改变了计算机视觉、自然语言理解、语音识别、信息检索等领域。在过去的十年中，许多技术已经发展，使模型更轻，更快，更强大，更好的泛化。然而，许多深度学习从业者坚持使用预先训练的模型和架构，这些模型和架构主要是在Imagenet、MS-COCO、IMDB-Wiki Dataset和Kinetics-700等标准数据集上训练的，他们要么犹豫不决，要么不知道从头开始重新设计架构，以获得更好的性能。这种情况会导致模型效率低下，不适合移动、边缘和雾等各种设备。此外，这些传统的训练方法是值得关注的，因为它们消耗了大量的计算能力。在本文中，我们重新审视了各种SOTA技术，这些技术处理架构效率（全局平均池化，深度卷积和挤压和激励，Blurpool），学习率（循环学习率），数据增强（Mixup，Cutout），标签操作（标签平滑），权重空间操作（随机权重平均）和优化器（锐度感知最小化）。我们演示了如何通过顺序减少训练参数的数量并使用上述技术以分阶段的方式构建高效的深度卷积网络。我们在MNIST数据上实现了99.2%的SOTA准确率，只有1500个参数，在CIFAR-10数据集上实现了86.01%的准确率，只有140 K多个参数。
2022-05-23 cs.AI cs.CV cs.LG
Prune and Tune Ensembles: Low-Cost Ensemble Learning With Sparse Independent Subnetworks
Colorado State University（科罗拉多州立大学）
包围学习是机器学习中提高泛化能力的一种有效方法。然而，随着最先进的神经网络变得越来越大，与训练几个独立网络相关联的计算成本变得昂贵。我们介绍了一种快速，低成本的方法来创建不同的神经网络集成，而不需要从头开始训练多个模型。我们首先训练一个单亲网络。然后，我们通过克隆父网络来创建子网络，并大幅修剪每个子网络的参数，以创建具有独特和多样化拓扑结构的成员集合。然后，我们对每个子网络进行少量的短暂训练，与从头开始训练相比，现在收敛速度明显更快。我们探索了各种方法来最大限度地提高子网络的多样性，包括使用反随机修剪和单周期调整。这种多样性使“修剪和调整”合奏，以实现与传统合奏的培训成本的一小部分竞争的结果。我们基准我们的方法对国家的最先进的低成本合奏方法和显示显着改善CIFAR-10和CIFAR-100的准确性和不确定性估计。
2022-03-25 cs.LG
Faster Uncertainty Quantification for Inverse Problems with Conditional Normalizing Flows
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
在反问题中，我们经常可以访问由成对样本$(x,y)\sim p_{X,Y}(x,y)$组成的数据，其中$y$是物理系统的部分观测，$x$表示问题的未知数。在这种情况下，我们可以使用监督训练来学习解决方案$x$及其来自观测$y$的不确定性。我们把这个问题称为“监督”情况。然而，在一个点收集的数据$y\sim p_{Y}(y)$可能与观测$y'\sim p_{Y}'(y')$不同地分布，与当前的一组问题相关。在贝叶斯推理的背景下，我们提出了一个两步计划，它利用规范化流和联合数据训练一个条件生成器$q_θ(x|y)$近似目标后验密度$p_{X|Y}(x|y)$。此外，该初步阶段提供了密度函数$q_θ(x|y)$，其可以被重铸为“无监督”问题的先验，例如~当仅观测值$y'\sim p_{Y}'(y')$、似然模型$y'|x$和关于$x'$的先验是已知的时。然后，我们训练另一个可逆生成器，其输出密度$q'_ϕ(x|y')$专门用于$y'$，允许我们从后$p_{X|Y}'(x|y')$采样。我们提出了一些合成结果，证明了相当大的训练加速时，重用预训练网络$q_θ(x|y')$作为一个热启动或预处理近似$p_{X|Y}'(x|y')$，而不是从头开始学习。这种训练模式可以被解释为迁移学习的一个实例。这一结果是特别相关的大型反问题，采用昂贵的数值模拟。
2020-07-15 cs.LG physics.geo-ph stat.ML
Shared Certificates for Neural Network Verification
ETH Zurich（苏黎世联邦理工学院）；Nostic Solutions AG（诺斯蒂克解决方案公司）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；VMware Research（威睿研究院）
针对神经网络验证中从头独立证明导致开销高昂的问题，提出共享证书概念，利用中间层抽象的重叠特性跨输入复用证明工作，在不损失精度的前提下有效降低整体验证成本。
2023-11-23 cs.CR cs.LG
Sparse Spiking Gradient Descent
Imperial College London（帝国理工学院）
在类脑计算设备上仿真脉冲神经网络（SNN）由于其低能耗而受到越来越多的关注。最近的进展已经允许训练SNN到一个点，在准确性方面，它们开始与传统的人工神经网络（ANN）竞争，同时在神经形态硬件上运行时是节能的。然而，训练SNN的过程仍然基于最初为ANN开发的密集张量运算，其不利用SNN的时空稀疏性质。我们在这里提出了第一个稀疏SNN反向传播算法，它实现了与当前最先进的方法相同或更好的精度，同时速度更快，内存效率更高。我们展示了我们的方法在不同复杂度的真实数据集（Fashion-MNIST，Neuromophic-MNIST和Spiking Heidelberg Digits）上的有效性，在向后传递中实现了高达150倍的加速，并且内存效率提高了85%，而不会失去准确性。
2022-01-13 cs.ET cs.LG cs.NE
Selective Reincarnation: Offline-to-Online Multi-Agent Reinforcement Learning
InstaDeep Ltd（英斯塔迪普公司）；University of Cape Town（开普敦大学）；INRS（国家科学研究院）
该研究提出多智能体强化学习中的选择性转生范式，验证其在异构协作场景下比从头训练收益更高、比全转生收敛更快，同时指出转生对象选择的关键作用，呼吁推动该方向研究。
2024-10-30 cs.AI cs.LG cs.MA
Sequence Level Training with Recurrent Neural Networks
Facebook AI Research（脸书人工智能研究院）
许多自然语言处理应用使用语言模型来生成文本。这些模型通常被训练来预测序列中的下一个单词，给定之前的单词和一些上下文，如图像。但是，在测试时，模型预计将从头开始生成整个序列。这种差异使生成变得脆弱，因为错误可能会在此过程中积累。我们通过提出一种新的序列级训练算法来解决这个问题，该算法直接优化测试时使用的度量，如BLEU或ROUGE。在三个不同的任务中，我们的方法优于几个强大的贪婪生成基线。当这些基线采用束搜索时，该方法也是有竞争力的，同时快了几倍。
2016-05-06 cs.CL cs.LG
Patch Diffusion: Faster and More Data-Efficient Training of Diffusion Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Microsoft Azure AI（微软Azure人工智能部门）
提出 Patch Diffusion 补丁级训练框架，通过引入补丁级条件得分函数并随机化补丁大小，实现两倍以上训练加速并提升小数据集训练效率，在多个基准上取得杰出 FID 分数。
2023-10-18 cs.CV cs.LG
Meta-Learning Neural Bloom Filters
DeepMind（深度思维）；University College London（伦敦大学学院）
最近有一种趋势是训练神经网络来取代手工制作的数据结构，目的是更快的执行，更好的准确性或更大的压缩。在这种设置中，通过在其输入的许多时期上训练网络直到收敛来实例化神经数据结构。在输入达到高吞吐量或短暂的应用中，从头开始训练网络是不切实际的。这激发了对Few-Shot神经数据结构的需求。在本文中，我们探讨了通过元学习在一个单一的一组数据的近似集成员的学习。我们提出了一种新的内存架构，神经布隆过滤器，这是能够实现显着的压缩增益超过经典的布隆过滤器和现有的内存增强神经网络。
2019-06-10 cs.DB cs.DS cs.LG
Deep Reinforcement Learning with Plasticity Injection
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；DeepMind（深度思维）
针对深度强化学习中神经网络易丧失可塑性的问题，提出一种不改变参数量、不引入预测偏差的可塑性注入方法，既可作为可塑性损失的诊断工具，也能提升训练效率，在Atari基准上表现优于现有方法。
2023-10-03 cs.AI cs.LG
Towards Faster Graph Partitioning via Pre-training and Inductive Inference
The Hong Kong University of Science & Technology（香港科技大学）；Huawei Technologies Co., Ltd.（华为技术有限公司）
本文提出PR-GPT方法，通过在小合成图上预训练深度图学习模型并进行归纳推理，为大规模图划分提供高质量初始化，再结合InfoMap等精化方法，在保持划分质量的同时显著提升推理效率。
2024-09-01 cs.LG cs.SI
Enabling Deep Spiking Neural Networks with Hybrid Conversion and Spike Timing Dependent Backpropagation
Purdue University（普渡大学）；Yale University（耶鲁大学）
脉冲神经网络（SNN）以异步离散事件（或脉冲）操作，这可能在神经形态硬件实现中导致更高的能量效率。许多工作已经表明，可以通过从训练的人工神经网络（ANN）复制权重并将每层的激发阈值设置为该层中接收的最大输入来形成用于推理的SNN。这些类型的转换SNN需要大量的时间步长来实现竞争性的准确性，这减少了能量节省。时间步长的数量可以通过从头开始使用基于尖峰的反向传播训练SNN来减少，但这在计算上是昂贵且缓慢的。为了解决这些挑战，我们提出了一种用于深度SNN的计算效率高的训练技术。我们提出了一种混合训练方法：1）采用转换后的SNN并使用其权重和阈值作为基于尖峰的反向传播的初始化步骤，以及2）在这个精心初始化的网络上执行增量尖峰定时相关反向传播（STDB），以获得在几个时期内收敛的SNN，并且需要更少的输入处理时间步长。STDB执行一个新的代理梯度函数定义使用神经元的尖峰时间。对于大多数标准图像分类数据集，所提出的训练方法在基于尖峰的反向传播的不到20个时期内收敛，从而与从头开始训练SNN相比大大降低了训练复杂度。我们在CIFAR-10，CIFAR-100和ImageNet数据集上为VGG和ResNet架构进行了实验。我们在SNN上使用250个时间步长实现了ImageNet数据集的65.19%的top-1准确率，与具有类似准确度的转换SNN相比，速度快了10倍。
2020-05-04 cs.CV cs.LG stat.ML
Transferring Learning Trajectories of Neural Networks
NTT Computer and Data Science Laboratories, NTT Corporation（NTT公司NTT计算机与数据科学实验室）
本文提出神经网络学习轨迹迁移问题，并利用置换对称性沿轨迹匹配梯度，给出首个近似求解算法，使迁移参数无需直接训练即有非平凡准确率且后续训练显著更快。
2023-10-03 cs.AI cs.LG stat.ML
Randomized Sparse Neural Galerkin Schemes for Solving Evolution Equations with Deep Networks
Courant Institute for Mathematical Sciences（库朗数学科学研究所）；New York University（纽约大学）
针对时间序列训练神经网络求解含时偏微分方程时误差易累积放大的问题，提出随机稀疏更新参数的神经伽辽金格式，兼具防过拟合与低计算成本优势，在精度和速度上均较稠密更新格式最高提升两个数量级。
2023-10-07 cs.LG cs.NA math.NA
Transferable Multi-Agent Reinforcement Learning with Dynamic Participating Agents
Steven Institute of Technology（史蒂文斯理工学院）；Xiaohongshu Inc（小红书公司）
我们研究了具有集中训练和分散执行的多智能体强化学习（MARL）。在训练期间，新的代理可以加入，并且现有代理可以意外地离开训练。在这种情况下，标准的深度MARL模型必须从头开始重新训练，这非常耗时。为了解决这个问题，我们提出了一个特殊的网络架构与少样本学习算法，允许代理的数量在集中训练过程中变化。特别是，当一个新的代理加入集中训练，我们的少样本学习算法训练其策略网络和价值网络使用少量的样本;当一个代理离开训练，其余的代理的训练过程不受影响。我们的实验表明，使用所提出的网络架构和算法，当新代理加入时，模型自适应可以比基线快100倍以上。我们的工作适用于任何环境，包括合作，竞争和混合。
2022-08-04 cs.AI cs.LG cs.MA
Low-bit Quantization of Recurrent Neural Network Language Models Using Alternating Direction Methods of Multipliers
The Chinese University of Hong Kong（香港中文大学）；Microsoft AI and Research（微软人工智能研究院）
循环神经网络语言模型（RNNLM）的高内存消耗和计算成本限制了其在资源受限设备上的广泛应用。近年来，能够产生极低比特压缩的神经网络量化技术（例如，二值化RNNLM）正获得越来越多的研究兴趣。直接训练量化的神经网络是困难的。通过将量化RNNLM训练问题转化为一个优化问题，提出了一种利用交替方向乘法器（ADMM）从头开始训练量化RNNLM的新方法.该方法还可以灵活地调整压缩率和模型性能之间的权衡使用绑低比特量化表。两个任务的实验：Penn Treebank（PTB）和Switchboard（SWBD）建议，所提出的ADMM量化实现了全精度基线RNNLM上高达31倍的模型大小压缩因子。模型训练的收敛速度比基线二值化RNNLM量化快5倍。索引术语：语言模型，递归神经网络，量化，交替方向乘法器方法。
2021-11-29 cs.LG
Dynamic Sparse Training for Deep Reinforcement Learning
Eindhoven University of Technology（埃因霍温理工大学）；University of Twente（特文特大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Sony AI（索尼人工智能研究院）
深度强化学习（DRL）代理通过与环境的试错交互来训练。这导致密集的神经网络需要很长的训练时间才能达到良好的性能。因此，消耗了禁止的计算和存储器资源。近年来，学习高效的DRL代理受到越来越多的关注。然而，目前的方法集中在加速推理时间。在本文中，我们首次引入了一种用于深度强化学习的动态稀疏训练方法，以加速训练过程。所提出的方法从头开始训练稀疏神经网络，并在训练过程中动态地调整其拓扑结构以适应不断变化的数据分布。对连续控制任务的实验表明，我们的动态稀疏代理比同等的密集方法实现了更高的性能，将参数计数和浮点运算（FLOPs）减少了50%，并且具有更快的学习速度，能够在训练步骤减少40-50%的情况下达到密集代理的性能。
2022-05-05 cs.AI cs.LG
