Demystifying Parallel and Distributed Deep Learning: An In-Depth Concurrency Analysis
ETH Zurich(苏黎世联邦理工学院)
深度神经网络(DNN)正在成为现代计算应用中的重要工具。加速他们的训练是一个重大挑战,技术范围从分布式算法到低级电路设计。在这次调查中,我们从理论的角度来描述这个问题,其次是其并行化的方法。我们提出了DNN架构的趋势以及由此产生的并行化策略的影响。然后,我们回顾并建模DNN中不同类型的并发:从单个操作符,通过网络推理和训练中的并行性,到分布式深度学习。我们讨论异步随机优化,分布式系统架构,通信方案和神经结构搜索。基于这些方法,我们推断了深度学习中并行性的潜在方向。
2018-09-15 cs.CV cs.DC cs.LG
Backdoor Smoothing: Demystifying Backdoor Attacks on Deep Neural Networks
University of Cagliari(卡利亚里大学);IBM T. J. Watson Research Center(IBM T. J. 沃森研究中心);Pluribus One;CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
后门攻击会误导机器学习模型,在测试时出现特定触发时输出攻击者指定的类。这些攻击需要毒化训练数据以损害学习算法,例如,通过将包含触发器的中毒样本与所需的类别标签一起注入训练集中。尽管关于后门攻击和防御的研究越来越多,但影响后门攻击成功的潜在因素及其对学习算法的影响尚未得到很好的理解。在这项工作中,我们的目标是揭示这个问题,揭示后门攻击诱导一个更平滑的决策功能周围的触发样本-一种现象,我们称之为\textit{backdoor smoothing}。为了量化后门平滑,我们定义了一个度量,该度量评估与输入样本周围的分类器的预测相关联的不确定性。我们的实验表明,当触发器被添加到输入样本时,平滑度会增加,并且这种现象在更成功的攻击中更加明显。我们还提供了初步证据,证明后门触发器不是唯一的平滑诱导模式,但我们的方法也可以检测到其他人工模式,为理解当前防御的局限性和设计新的防御铺平了道路。
2021-11-02 cs.CR cs.LG stat.ML
Demystifying the Global Convergence Puzzle of Learning Over-parameterized ReLU Nets in Very High Dimensions
这篇理论论文致力于开发一个严格的理论,以在一个具有挑战性的场景中揭开全局收敛现象的神秘面纱:在非常温和的假设下,为非常高维的数据集学习过参数化的整流线性单元(ReLU)网络。我们分析的一个主要组成部分是随机激活矩阵的细粒度分析。分解激活矩阵的基本优点是它在高维数据空间中的优化和角分布的动态之间架起了桥梁。这种基于角度的详细分析导致在每次梯度下降迭代中目标函数的梯度范数和方向曲率的渐近特征,揭示了经验损失函数在过参数化设置中具有良好的几何性质。在此过程中,我们显着提高了现有的理论界的过参数化条件和学习率非常温和的假设学习非常高维的数据。此外,我们发现的输入数据的几何和光谱特性的作用,在确定所需的过参数化的大小和全局收敛速度。所有这些线索使我们能够发现深度学习中非凸优化的一个新的几何图像:高维数据空间中的角分布$\mapsto$过参数化激活矩阵的谱$\mapsto$经验损失景观的有利几何性质$\mapsto$全局收敛现象。此外,我们的理论研究结果表明,基于梯度的非凸优化算法有更强的统计保证和更温和的过度参数化的条件下,学习非常高维的数据,这是很少探索到目前为止,比重复的理论状态。
2022-06-05 cs.LG stat.ML
Demystifying the Hypercomplex: Inductive Biases in Hypercomplex Deep Learning
Sapienza University of Rome(罗马大学);Imperial College London(帝国理工学院)
本文提出统一的归纳偏置理论框架,解释超复数深度学习成功的原因,并论证其可作为多维与多模态信号处理中实值深度学习的可行替代方案。
2024-05-11 cs.LG eess.SP
Shortcut to Nowhere: Demystifying Deep Spurious Regression
University of California, Los Angeles(加州大学洛杉矶分校);Rutgers University(罗格斯大学);Yang AI Lab(杨人工智能实验室)
针对连续预测中的虚假相关性,提出利用标签和特征空间中虚假属性的相似性来校准分布,从而提升模型在分布偏移下的泛化能力。
2026-06-01 cs.AI cs.LG
Demystifying the Token Dynamics of Deep Selective State Space Models
National University of Singapore(新加坡国立大学);FPT Software AI Center(FPT软件人工智能中心)
本文研究了预训练Mamba模型中Token的动态特性,推导并刻画了其连续时间极限动力系统的渐近行为,基于收敛与发散情景的分析提出排除收敛和按重要性重排序Token两项改进,有效提升了模型实际性能。
2025-03-07 cs.LG
No Black Box Anymore: Demystifying Clinical Predictive Modeling with Temporal-Feature Cross Attention Mechanism
Carnegie Mellon University(卡内基梅隆大学)
本文提出时间-特征交叉注意力机制TFCAM,通过捕捉临床特征的时间动态交互提升可解释性,并在慢性肾脏病进展预测中超越LSTM和RETAIN基线。
2025-09-19 cs.AI cs.LG
Demystifying Batch Normalization in ReLU Networks: Equivalent Convex Optimization Models and Implicit Regularization
Stanford University(斯坦福大学)
批量归一化(BN)是一种常用的技术,用于加速和稳定深度神经网络的训练。尽管其经验的成功,一个完整的理论理解BN尚未开发。在这项工作中,我们分析BN通过凸优化的镜头。我们引入了一个基于凸对偶的分析框架,以获得具有BN的权重衰减正则化ReLU网络的精确凸表示,该网络可以在多项式时间内进行训练。我们的分析还表明,最佳层的权重可以得到简单的封闭形式的公式在高维和/或overparameterized制度。此外,我们发现,梯度下降提供了一个标准的非凸BN网络上的算法偏见的影响,我们设计了一种方法来明确编码到凸目标的隐式正则化。CIFAR图像分类的实验突出了这种显式正则化的有效性,用于模仿和大幅提高标准BN网络的性能。
2022-03-21 cs.LG math.OC stat.ML
Demystifying ResNet
Tsinghua University(清华大学);Stanford University(斯坦福大学)
He et al.(2015)提出的残差网络(ResNet)利用快捷连接显著降低了训练难度,从而在训练和泛化误差方面都有很大的性能提升。He等人(2015)根据经验观察到,使用快捷方式2堆叠更多层的残差块会导致更小的训练误差,而对于长度为1或3的快捷方式则不成立。我们提供了一个理论解释的唯一性的捷径2。我们证明了,无论有无非线性,通过添加深度为2的快捷方式,损失函数在零初始点处的Hessian的条件数是深度不变的,这使得训练非常深的模型并不比浅的模型更困难。更高深度的捷径最初会导致非常平坦的(高阶)稳定点,优化算法很难逃脱。然而,快捷方式1基本上等同于没有快捷方式,其具有随着层数的增加而爆炸到无穷大的条件数。我们进一步认为,由于层数趋于无穷大,它足以只看在零初始点的损失函数。广泛的实验提供伴随我们的理论结果。我们表明,使用捷径2将网络初始化为小权重比随机高斯(Xavier)初始化,正交初始化和更深深度的捷径取得了更好的结果,从最终损失,学习动态和稳定性,到Hessian的行为等各个角度来看。
2017-05-20 cs.LG cs.NE stat.ML
Parallel Restarted SGD with Faster Convergence and Less Communication: Demystifying Why Model Averaging Works for Deep Learning
Alibaba Group (U.S.) Inc.(阿里巴巴集团(美国)有限公司)
在深度神经网络的分布式训练中,并行小批量SGD被广泛用于通过使用多个工人来加速训练过程。它使用多个工人并行采样局部随机梯度,在单个服务器中聚合所有梯度以获得平均值,并使用平均梯度的SGD更新来更新每个工人的局部模型。理想情况下,与单个工作者上的SGD相比,并行小批量SGD可以实现训练时间的线性加速(相对于工作者的数量)。然而,这种线性可扩展性在实践中受到越来越多的工人参与的梯度通信需求的限制。模型平均,定期对在并行工作者上训练的单个模型进行平均,是自Zinkevich et al. 2010以来用于深度神经网络分布式训练的另一种常见做法(McDonald,Hall,and Mann 2010)。与并行小批量SGD相比,模型平均的通信开销显著降低。令人印象深刻的是,大量的实验工作已经证明,模型平均仍然可以实现良好的加速的训练时间,只要平均间隔是仔细控制。然而,为什么这样一个简单的启发式如此有效,在理论上仍然是一个谜。本文提供了一个彻底和严格的理论研究,为什么模型平均可以工作,以及并行小批量SGD显着减少通信开销。
2018-11-16 cs.DC cs.LG math.OC
Towards Demystifying Dimensions of Source Code Embeddings
University of Houston(休斯顿大学)
源代码表示是应用机器学习技术处理和分析程序的关键。表示源代码的一种流行方法是神经源代码嵌入,其表示具有通过在大量程序上训练深度神经网络而计算的高维向量的程序。虽然取得了成功,但对这些载体的内容及其特征知之甚少。在本文中,我们提出了我们的初步结果,以更好地理解code2vec神经源代码嵌入的内容。特别是,在一个小的案例研究中,我们使用code2vec嵌入来创建二进制SVM分类器,并将其性能与手工制作的功能进行比较。我们的研究结果表明,手工制作的功能可以执行非常接近的高维code2vec嵌入,和信息增益更均匀地分布在code2vec嵌入相比,手工制作的功能。我们还发现,code2vec嵌入比手工制作的功能更容易去除低信息增益的维度。我们希望我们的研究结果可以为这些代码表示的原则性分析和评估提供一个垫脚石。
2020-09-29 cs.LG cs.PL cs.SE
Demystifying the Physics of Deep Reinforcement Learning-Based Autonomous Vehicle Decision-Making
University of Michigan(密歇根大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Michigan Transportation Research Institute(密歇根大学交通研究所)
本文面向自动驾驶深度强化学习决策黑箱问题,在连续PPO模型中引入多头注意力,并借助可解释性与因果分析揭示其对周边车辆位置、领头车及目标车道时空关系的物理学习机制。
2024-06-13 cs.AI cs.LG cs.RO
Demystifying Brain Tumour Segmentation Networks: Interpretability and Uncertainty Analysis
Indian Institute of Technology Madras(印度马德拉斯理工学院)
胶质瘤及其瘤内结构的准确自动分割不仅对治疗计划而且对随访评估都很重要。已经开发了几种基于2D和3D深度神经网络(DNN)的方法来分割脑肿瘤并对来自不同MRI模态的不同类别的肿瘤进行分类。然而,这些网络通常是黑箱模型,并且不提供关于它们执行此任务所采取的过程的任何证据。提高这种深度学习技术的透明度和可解释性对于将这种方法完全整合到医疗实践中是必要的。在本文中,我们将探索各种技术来解释脑肿瘤分割模型的功能组织,并提取内部概念的可视化,以了解这些网络如何实现高度准确的肿瘤分割。我们使用BraTS 2018数据集来训练三个具有标准架构的不同网络,并概述了这些网络在分割脑肿瘤过程中的相似性和差异。我们发现,脑肿瘤分割网络在过滤器级别上学习某些人类可理解的解纠缠概念。我们还表明,他们采取自上而下或分层的方法来定位肿瘤的不同部分。然后,我们提取一些内部特征图的可视化,并提供关于模型输出的不确定性度量,以提供有关这些网络预测的额外定性证据。我们相信,这种人类可理解的组织和概念的出现可能有助于这些方法在医学诊断中的接受和整合。
2020-01-25 cs.CV cs.LG eess.IV
Demystifying MPNNs: Message Passing as Merely Efficient Matrix Multiplication
University of Heriot-Watt(赫瑞瓦特大学)
本文全面分析了图神经网络行为,证明 k 层消息传递网络通过迭代计算高效聚合 k 跳邻域信息,并探讨了循环结构、梯度问题、归一化方案及均匀特征对性能的影响,构建了连接经验直觉与理论理解的框架。
2025-01-31 cs.AI cs.LG cs.NE
Demystifying Data-Driven Probabilistic Medium-Range Weather Forecasting
NVIDIA(NVIDIA公司)
本文提出了一种可扩展的框架,通过结合潜在空间和历史条件化的局部投影器,实现多尺度大气动力学的学习,从而提升中短期天气预报的准确性。
2026-01-26 cs.AI cs.LG
Demystifying the Transferability of Adversarial Attacks in Computer Networks
Sabanci University(萨班哲大学);University of Padua(帕多瓦大学);Moulay Ismail University of Meknes(梅克内斯穆莱·伊斯梅尔大学);Florida International University(佛罗里达国际大学)
卷积神经网络(CNN)模型是最常用的深度学习网络之一,广泛应用于学术界和工业界。最近的研究表明,针对此类模型的对抗攻击即使在攻击者所针对的模型之外的模型上使用,也可以保持其有效性。这个主要的属性被称为可转移性,这使得CNN不适合安全应用。在本文中,我们提供了第一项全面的研究,评估了基于CNN的计算机网络模型针对对抗性可转移性的鲁棒性。此外,我们调查的可转移性的财产问题是否持有在计算机网络的应用。在我们的实验中,我们首先考虑五种不同的攻击:迭代快速梯度方法(I-FGSM),基于雅可比的显着图(JSMA),有限内存Broyden Fletcher Goldfarb Shanno BFGS(L-BFGS),投影梯度下降(PGD)和DeepFool攻击。然后,我们对三个众所周知的数据集执行这些攻击:基于网络的物联网检测(N-BaIoT)数据集,域生成算法(DGA)数据集和RIPE Atlas数据集。我们的实验结果清楚地表明,可转移性发生在I-FGSM,JSMA和LBFGS攻击的特定用例中。在这种情况下,目标网络上的攻击成功率从63.00%到100%不等。最后,我们提出了两种屏蔽策略,通过考虑最强大的攻击(MPA)和不匹配的LSTM架构来阻止攻击的可转移性。
2022-03-31 cs.AI cs.CR cs.CV
Goal-Conditioned Generators of Deep Policies
The Swiss AI Lab IDSIA(瑞士人工智能实验室IDSIA);USI(意大利语区大学(瑞士提契诺大学));SUPSI(瑞士南部应用科学与艺术大学);KAUST(阿卜杜拉国王科技大学);NNAISENSE(NNAISENSE公司)
目标条件强化学习(RL)的目的是学习最优策略,给定的目标编码在特殊的命令输入。在这里,我们研究了目标条件神经网络(NN),它学习以特定于上下文的权重矩阵的形式生成深度NN策略,类似于快速权重编程器和20世纪90年代的其他方法。使用“生成实现期望预期回报的策略”形式的上下文命令,我们的NN生成器将参数空间的强大探索与命令间的泛化相结合,以迭代地找到越来越好的策略。一种形式的权重共享超网络和策略嵌入扩展了我们的方法来生成深度NN。实验展示了单个学习策略生成器如何生成实现训练期间看到的任何返回的策略。最后,我们评估我们的算法在一组连续控制任务,它表现出竞争力的性能。代码是公开的。
2022-07-04 cs.LG stat.ML
Demystifying Higher-Order Graph Neural Networks
ETH Zurich(苏黎世联邦理工学院);BASF SE(巴斯夫股份有限公司)
本文提出了一种HOGNN的分类法和蓝图,分析现有模型并提供选择指南及未来研究方向。
2025-11-25 cs.AI cs.LG cs.SI
Delving into adversarial attacks on deep policies
National University of Singapore(新加坡国立大学);University of California, Berkeley(加州大学伯克利分校)
对抗性示例已被证明存在于各种深度学习架构中。深度强化学习在直接基于原始输入(如图像像素)训练代理策略方面显示出了有希望的结果。在本文中,我们提出了一项针对深度强化学习策略的对抗性攻击的新研究。我们使用对抗性示例与随机噪声比较了攻击的有效性。我们提出了一种新的方法,用于减少成功攻击所需注入的对抗性示例的次数,该方法基于值函数。我们进一步探讨了随机噪声和FGSM扰动的重新训练如何影响对抗性示例的弹性。
2017-05-18 cs.LG stat.ML
Demystifying Lazy Training of Neural Networks from a Macroscopic Viewpoint
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院);CMA-Shanghai, Shanghai Jiao Tong University(上海交通大学CMA-Shanghai);Institute of Natural Sciences, MOE-LSC, Shanghai Jiao Tong University(上海交通大学自然科学研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文以宏观极限分析多层全连接网络的梯度下降动力学,提出 theta-lazy 区域,证明输出初始尺度 κ 超阈值即可实现零训练损失,并放宽 NTK 的缩放条件。
2024-04-07 cs.LG stat.ML
Towards Demystifying the Generalization Behaviors When Neural Collapse Emerges
University of Chinese Academy of Sciences(中国科学院大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Peng Cheng Laboratory(鹏城实验室)
本文通过建立CE最小化与多类SVM的联系,推导多类间隔泛化界,理论解释了训练末期泛化提升现象,并发现标签与特征对齐方式影响泛化程度,提出“非保守泛化”特性。
2023-10-12 cs.LG
Interactive Learning with Corrective Feedback for Policies based on Deep Neural Networks
Universidad de Chile(智利大学);Delft University of Technology(代尔夫特理工大学);AMTC Center(AMTC中心)
深度强化学习(DRL)已经成为基于深度神经网络(DNN)解决复杂决策问题的一种强有力的策略。然而,它对数据的要求很高,因此在大多数应用程序的物理系统中是不可行的。在这项工作中,我们采用了一种替代的交互式机器学习(IML)策略,用于基于人类纠正反馈来训练DNN策略,这种方法称为深度教练(D-COACH)。这种方法不仅利用了人类教师的知识和见解以及DNN的力量,而且不需要奖励函数(这有时意味着需要外部感知来计算奖励)。我们将深度学习与人类传达的纠正性建议(COACH)框架相结合,在该框架中,非专家人类通过纠正代理在执行过程中的行为来制定政策。D-COACH框架具有解决复杂问题的潜力,无需大量数据或时间。实验结果验证了该框架在三个不同的问题(两个模拟,一个与一个真正的机器人)的效率,与状态空间的低和高维度,显示出成功地学习策略的能力,连续的动作空间,如在赛车和推车杆问题比DRL更快。
2018-09-30 cs.LG stat.ML
Demystifying Structural Disparity in Graph Neural Networks: Can One Size Fit All?
Michigan State University(密歇根州立大学);Emory University(埃默里大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);Snap Inc(Snap公司)
本研究揭示图神经网络在同质与异质节点上存在性能差异,提出非独立同分布PAC-贝叶斯界解释原因,并探讨了深层GNN有效性及分布偏移新场景。
2023-10-15 cs.AI cs.LG
Bit-Accurate Modeling of GPU Matrix Multiply-Accumulate Units: Demystifying Numerical Discrepancy and Accuracy
NVIDIA(英伟达);AMD(超微半导体)
本文提出CLFP框架,构建了十种GPU架构的MMA操作位精确算术模型,揭示了四个精度瓶颈和一个数值不对称设计,为未来MMA单元设计提供指导。
2026-09-29 cs.AR cs.LG cs.NA
Deep Reinforcement Learning Policies Learn Shared Adversarial Features Across MDPs
使用深度神经网络作为函数逼近器已经导致强化学习算法和应用取得了惊人的进展。然而,我们对决策边界几何形状和神经策略的损失景观的了解仍然非常有限。在本文中,我们提出了一个框架,以调查的决策边界和损失景观相似性的国家和跨MDPs。我们在Arcade Learning Environment的各种游戏中进行了实验,发现神经策略的高灵敏度方向在MDP之间是相关的。我们认为,这些高灵敏度的方向支持的假设,即非鲁棒的功能共享跨训练环境的强化学习代理。我们相信,我们的研究结果揭示了深度强化学习训练中使用的环境的基本特性,并代表了构建强大可靠的深度强化学习代理的切实步骤。
2021-12-16 cs.AI cs.LG stat.ML
Investigating Vulnerabilities of Deep Neural Policies
KTH Royal Institute of Technology(瑞典皇家理工学院)
基于深度神经网络的强化学习策略很容易受到对其输入的不可感知的对抗性扰动的影响,这与神经网络图像分类器的方式大致相同。最近的工作提出了几种方法来提高深度强化学习代理对对抗性扰动的鲁棒性,这些方法基于在存在这些不可感知的扰动的情况下进行训练(即对抗性训练)。在本文中,我们研究了对抗性训练对智能体学习神经策略的影响。特别是,我们遵循两种不同的并行方法来研究基于最坏情况分布偏移和特征敏感性的深度神经策略的对抗性训练的结果。对于第一种方法,我们比较了对抗训练和香草训练神经策略计算的最小扰动的傅立叶谱。通过OpenAI Atari环境中的实验,我们表明,针对对抗训练策略计算的最小扰动更集中在傅立叶域中的较低频率上,这表明这些策略对低频扰动具有更高的敏感性。对于第二种方法,我们提出了一种新的方法来测量深度神经策略的特征敏感性,并比较了最先进的对抗训练的深度神经策略和香草训练的深度神经策略中的这些特征敏感性差异。我们相信,我们的研究结果可以成为理解对抗性训练与神经策略的不同鲁棒性概念之间关系的第一步。
2021-08-30 cs.AI cs.CV cs.LG
Meta-Learning Transferable Active Learning Policies by Deep Reinforcement Learning
University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
主动学习(AL)的目标是通过预测未标记实例的哪个子集最有利于标记来训练具有低标注成本的高性能分类器。人工智能的重要性激发了广泛的研究,提出了各种各样的人工设计的人工智能算法与不同的理论和直观的动机。与此相反,我们建议将主动学习算法设计视为一个元学习问题,并从数据中学习最佳标准。我们将主动学习算法建模为深度神经网络,该网络输入基本学习者状态和未标记的点集,并预测接下来要注释的最佳点。用强化学习训练这个主动查询策略网络,为给定的数据集产生最佳的非近视策略。实现AL的通用解决方案的关键挑战就变成了学习者的泛化,特别是在异构数据集之间。我们提出了一个多任务的嵌入式方法,允许嵌入式不可知的主动学习者进行培训。我们的评估表明,以这种方式训练的AL算法可以直接概括各种问题。
2018-06-12 cs.LG stat.ML
Is Deep Reinforcement Learning Ready for Practical Applications in Healthcare? A Sensitivity Analysis of Duel-DDQN for Hemodynamic Management in Sepsis Patients
MIT(麻省理工学院);IBM Research(IBM研究院);Harvard University(哈佛大学)
强化学习(RL)的潜力已经通过在围棋和雅达利等游戏中的成功应用得到了证明。然而,虽然在游戏环境中通过简单地使用RL算法玩游戏来评估RL算法的性能是简单的,但在临床环境中评估是一个主要挑战,在临床环境中,在实践中遵循RL策略可能是不安全的。因此,了解RL政策对实施过程中所做决策的敏感性是建立最终临床应用所需的RL信任类型的重要一步。在这项工作中,我们对最先进的RL算法(Dueling Double Deep Q-Networks)进行了敏感性分析,该算法适用于ICU中脓毒症患者的血流动力学稳定治疗策略。我们考虑了学习策略对输入特征、嵌入模型结构、时间离散化、奖励函数和随机种子的敏感性。我们发现,改变这些设置可以显着影响学习的政策,这表明在解释RL代理输出时需要谨慎。
2020-08-27 cs.LG stat.ML
A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London(伦敦大学学院)
该综述形式化分析了深度强化学习的泛化性问题,阐释过拟合根源,分类讲解各类提升泛化性的方法,覆盖多类子领域,可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
Sequential Triggers for Watermarking of Deep Reinforcement Learning Policies
Kansas State University(堪萨斯州立大学)
提出了一种新的深度强化学习(DRL)策略水印方案。该方案提供了一种机制,用于将唯一标识符以其对指定的状态转换序列的响应的形式集成在策略内,同时对策略的标称性能产生最小的影响。该水印方案的应用包括检测专有策略的未授权复制,以及使授权实体能够优雅地中断或终止DRL活动。我们证明了我们的建议的可行性,通过实验评估水印的DQN政策在Cartpole环境中训练。
2019-06-03 cs.AI cs.CR cs.LG
Deep Reinforcement Learning for Human-Like Driving Policies in Collision Avoidance Tasks of Self-Driving Cars
Ben-Gurion University of the Negev(本-古里安大学)
自动驾驶汽车(AV)开发所涉及的技术和科学挑战目前是许多汽车公司和研究实验室的主要兴趣。然而,人类控制的车辆可能会在未来几十年内继续在道路上行驶,并可能与自动驾驶汽车共享未来的交通环境。在这样的混合环境中,自动驾驶汽车应该部署类似人类的驾驶策略和谈判技巧,以实现顺畅的交通流。为了生成自动化的类人驾驶策略,我们引入了一种无模型的深度强化学习方法来模仿有经验的人类驾驶员的行为。我们研究了一个静态避障任务的双车道公路模拟(Unity)。我们的控制算法从两个来源接收随机反馈信号:模型驱动的部分,编码简单的驾驶规则,如车道保持和速度控制,和随机的,数据驱动的部分,结合人类的专家知识,从驾驶数据。为了评估机器和人类驾驶之间的相似性,我们将轨道位置和速度的分布建模为高斯过程。我们证明,我们的方法导致类似人类的驾驶政策。
2020-06-19 cs.LG cs.RO stat.ML
Understanding the Stability of Deep Control Policies for Biped Locomotion
Seoul National University(首尔大学);Hanyang University(汉阳大学);NC Soft(NC Soft公司)
实现稳定性和鲁棒性是机器人运动控制的主要目标。最近,深度强化学习(DRL)引起了极大的关注,作为一种通用的方法来构建可重构控制策略,并表现出显着的改进,比以前的国家的最先进的。虽然深度控制策略比以前的控制器设计方法的优势,许多问题仍然没有答案。深度控制策略是否像人类走路一样健壮?模拟行走是否使用与人类行走相似的策略来保持平衡?一个特定的步态模式是否同样影响人类和模拟行走?深度政策学了什么来提高步态稳定性?本研究的目标是通过评估与人类受试者和以前的反馈控制器相比,深度策略的推送-恢复稳定性来回答这些问题。我们还进行了实验,以评估DRL算法的变体的有效性。
2020-07-30 cs.GR cs.LG
Adversarial Policies: Attacking Deep Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
众所周知,深度强化学习(RL)策略容易受到对其观察结果的对抗性扰动的影响,类似于分类器的对抗性示例。然而,攻击者通常不能直接修改另一个代理的观察结果。这可能会让人怀疑:是否有可能通过选择在多智能体环境中采取对抗性策略来攻击RL智能体,从而创建对抗性的自然观察?我们证明了对抗性政策的存在与本体感受观察模拟人形机器人之间的零和游戏,对国家的最先进的受害者通过自我发挥训练是强大的对手。对抗性策略可靠地战胜了受害者,但产生了看似随机和不协调的行为。我们发现,这些政策是更成功的高维环境中,并诱导实质上不同的激活受害者的政策网络比当受害者对一个正常的对手。视频可在https://adversarialpolicies.github.io/上获得。
2021-01-17 cs.AI cs.CR cs.LG
SPRINT: A Unified Toolkit for Evaluating and Demystifying Zero-shot Neural Sparse Retrieval
University of Waterloo(滑铁卢大学);TU Darmstadt(达姆施塔特工业大学)
本研究推出基于Pyserini和Lucene的统一神经稀疏检索评估工具包SPRINT,在BEIR基准上建立零样本稀疏检索基线,揭示SPLADEv2性能最优的关键原因。
2023-07-19 cs.CL cs.IR cs.LG
Envisioning Future Deep Learning Theories: Some Basic Concepts and Characteristics
University of Pennsylvania(宾夕法尼亚大学)
本文提出未来深度学习理论应具备层级架构、随机梯度迭代参数和压缩式信息演化三大特征,并构建图模型 neurashed 以解释隐式正则化、信息瓶颈和局部弹性等经验现象。
2024-08-09 cond-mat.dis-nn cond-mat.stat-mech cs.CV
Targeted Adversarial Attacks on Deep Reinforcement Learning Policies via Model Checking
Radboud University(拉德堡德大学);University of Antwerp(安特卫普大学)
深度强化学习(RL)代理在其观察中容易受到对抗性噪声的影响,这可能会误导其策略并降低其性能。然而,对手可能不仅对减少奖励感兴趣,而且还对修改策略的特定时间逻辑属性感兴趣。本文提出了一个度量标准,衡量对抗攻击对这些属性的确切影响。我们使用这个指标来设计最佳的对抗攻击。此外,我们引入了一个模型检验方法,使我们能够验证RL策略对对抗攻击的鲁棒性。我们的实证分析证实了(1)我们针对时态逻辑属性进行对抗攻击的指标的质量,以及(2)我们能够简洁地评估系统对攻击的鲁棒性。
2022-12-10 cs.LG
OpenWebRL: Demystifying Online Multi-turn Reinforcement Learning for Visual Web Agents
UIUC(伊利诺伊大学香槟分校);Microsoft(微软)
提出OpenWebRL框架,通过在线多轮强化学习在真实网站上训练视觉网络代理,以4B参数模型在基准测试中达到开源最优,并与闭源系统竞争。
2026-06-04 cs.AI cs.CL cs.CV
Multi-Agent Deep Reinforcement Learning with Adaptive Policies
University of Science and Technology of China(中国科学技术大学)
针对多智能体强化学习(RL)中的非平稳性问题,提出了一种新的解决方法。这违反了大多数单智能体RL方法的马尔可夫假设,是多智能体RL的关键挑战之一。为了解决这个问题,我们建议训练多个政策,为每个代理,并推迟执行时的最佳政策的选择。具体来说,我们模拟环境的非平稳性与一组有限的场景和训练政策适合每个场景。除了多个策略之外,每个代理还学习策略预测器,以确定哪个策略是最好的。通过这样做,每个代理都能够在环境变化时调整其策略,并且因此其他代理在执行期间更改其策略。我们在文献中为多智能体深度RL提出的各种常见基准问题上对我们的方法进行了经验评估。我们的实验结果表明,我们的算法训练的代理人有更好的适应性,在不断变化的环境中,并在所有测试环境中优于国家的最先进的方法。
2019-11-28 cs.AI cs.LG cs.MA
RL-Based Method for Benchmarking the Adversarial Resilience and Robustness of Deep Reinforcement Learning Policies
Kansas State University(堪萨斯州立大学)
本文提出区分DRL智能体漏洞来源的方法,并开发两种基于RL的定量基准测试技术,以评估DRL策略在状态转换扰动下的对抗韧性与鲁棒性,并在Cartpole环境中验证了其可行性。
2019-06-03 cs.AI cs.CR cs.LG
Composing Task-Agnostic Policies with Deep Reinforcement Learning
UC San Diego(加州大学圣地亚哥分校);University of Washington(华盛顿大学)
解决具有挑战性的迁移学习问题的基本行为组合是构建智能机器的关键要素之一。到目前为止,已经有大量的工作学习特定于任务的政策或技能,但几乎没有关注组成必要的,任务不可知的技能,以找到解决新问题的方法。在本文中,我们提出了一种新的基于深度强化学习的技能转移和组合方法,该方法采用代理的原始策略来解决看不见的任务。我们评估我们的方法在困难的情况下,通过标准的强化学习(RL),甚至分层RL的训练策略是不可行的,或表现出高的样本复杂性。我们表明,我们的方法不仅将技能转移到新的问题设置,而且还解决了具有挑战性的环境,需要高数据效率的任务规划和运动控制。
2019-12-30 cs.AI cs.LG cs.RO
Compatible Value Gradients for Reinforcement Learning of Continuous Deep Policies
Victoria University of Wellington(惠灵顿维多利亚大学)
本文提出了GProp,一个深度强化学习算法的连续政策与兼容函数近似。该算法是基于两个创新。首先,我们提出了一种基于时间差的学习值函数梯度的方法。其次,我们提出了偏离者-行动者-批评者(DAC)模型,它包括三个神经网络,估计的价值函数,其梯度,并确定行动者的政策分别。我们在两个具有挑战性的任务上评估GProp:一个由非参数回归数据集构建的上下文强盗问题,该问题旨在探索强化学习算法准确估计梯度的能力;以及章鱼臂,一个具有挑战性的强化学习基准。GProp在强盗任务上与完全监督方法竞争,并在章鱼臂上实现了迄今为止的最佳性能。
2015-09-10 cs.AI cs.LG cs.NE
Curvature-based Comparison of Two Neural Networks
Shanghai Jiao Tong University(上海交通大学)
本文通过比较两个深度神经网络的每一个全连通层中由激活向量组成的流形,展示了它们的异同。本文的主要贡献包括:1)一个新的数据生成算法,这是至关重要的确定维数的流形; 2)一个系统的战略比较流形。特别地,我们把黎曼曲率和截面曲率作为判据的一部分,它能反映流形的内在几何性质。给出了一些有趣的结果和现象,有助于说明两种网络提取的特征之间的异同,揭开深层神经网络内在机理的神秘面纱。
2018-01-21 cs.CV cs.LG
Direct Random Search for Fine Tuning of Deep Reinforcement Learning Policies
University of California, Santa Barbara(加州大学圣巴巴拉分校)
研究人员已经证明,深度强化学习(DRL)是一种强大的工具,可以找到在复杂机器人系统上表现良好的策略。然而,这些政策往往是不可预测的,可以诱导高度可变的行为时,只有略有不同的初始条件进行评估。训练考虑因素约束DRL算法设计,因为大多数算法在训练期间必须使用随机策略。然而,在部署过程中使用的最终策略可以并且经常是确定性的,在每一步都使用最大可能性操作(MLA)。在这项工作中,我们表明,直接随机搜索是非常有效的微调DRL政策,直接优化他们使用确定性推出。我们通过大量的强化学习环境来说明这一点,使用从不同算法获得的各种各样的策略。我们的研究结果表明,这种方法在我们测试的环境中产生更一致和更高性能的代理。此外,我们还演示了如何使用这种方法来扩展我们以前的工作,缩小深度神经网络(DNN)策略下运行的闭环系统的可达状态空间的维数。
2022-03-04 cs.LG cs.RO
Adversarial Attacks on Deep Algorithmic Trading Policies
Instituto Superior de Economia e Gestão(里斯本大学经济与管理高等学院);Universidade de Lisboa(里斯本大学);University of New Haven(纽黑文大学);Royal Bank of Canada(加拿大皇家银行)
深度强化学习(DRL)已成为算法交易(如股票和加密货币的高频交易)的一种有吸引力的解决方案。然而,DRL已被证明易受对抗攻击的影响。因此,算法交易DRL代理也可能受到这种对抗性技术的损害,导致政策操纵。在本文中,我们为深度交易策略开发了一个威胁模型,并提出了两种在测试时操纵此类策略性能的攻击技术。此外,我们证明了针对基准和现实世界的DQN交易代理的攻击的有效性。
2020-10-22 cs.LG q-fin.TR
Co-Activation Graph Analysis of Safety-Verified and Explainable Deep Reinforcement Learning Policies
Simula Research Laboratory(西穆拉研究院)
本文结合RL策略模型检查与共激活图分析,解释经过安全验证的深度强化学习策略的内部机制,并通过多类实验验证该方法的适用性。
2025-01-06 cs.AI cs.LG
Parametric PDE Control with Deep Reinforcement Learning and Differentiable L0-Sparse Polynomial Policies
University of Twente(特文特大学);Imperial College London(帝国理工学院)
针对参数化偏微分方程控制中深度强化学习策略参数过多、鲁棒性差、缺乏可解释性的问题,提出结合字典学习与可微L₀正则化的稀疏策略,在两类PDE任务上性能更优、可解释且能泛化到未知参数。
2024-10-09 cs.LG
Adversarial Robust Deep Reinforcement Learning Requires Redefining Robustness
通过利用深度神经网络,已经有效地实现了经由与给定环境的交互从原始高维数据中学习。然而,观察到的由沿着高灵敏度方向的不可察觉的最坏情况的策略依赖转换(即对抗性扰动)引起的策略性能的下降引起了对深度强化学习策略的鲁棒性的关注。在我们的论文中,我们证明了这些高敏感度的方向不仅存在于特定的最坏情况方向上,而且在深层神经策略领域中更丰富,并且可以通过更自然的方式在黑盒环境中找到。此外,我们发现,与通过最先进的对抗训练技术学习的策略相比,香草训练技术有趣地导致学习更强大的策略。我们相信我们的工作展示了深度强化学习策略流形的有趣特性,我们的结果可以帮助构建强大且可推广的深度强化学习策略。
2023-01-17 cs.AI cs.CR cs.LG
Continuous State-Space Models for Optimal Sepsis Treatment - a Deep Reinforcement Learning Approach
Computer Science and Artificial Intelligence Lab, MIT(麻省理工学院计算机科学与人工智能实验室)
脓毒症是重症监护病房(ICU)死亡的主要原因,每年花费医院数十亿美元。治疗脓毒症患者具有高度挑战性,因为个体患者对医疗干预的反应非常不同,并且没有普遍认可的脓毒症治疗方法。更多地了解患者在特定时间的生理状态可能是有效治疗策略的关键。在这项工作中,我们提出了一种新的方法,推导出最佳的治疗策略,脓毒症患者使用连续状态空间模型和深度强化学习。在连续空间上学习治疗策略是很重要的,因为我们保留了更多的患者生理信息。我们的模型能够学习临床上可解释的治疗策略,在重要方面与医生的治疗策略相似。在过去的ICU患者数据上评估我们的算法,我们发现我们的模型可以将医院中的患者死亡率从13.7%的基线死亡率降低3.6%。学习的治疗策略可以用于帮助重症监护临床医生进行医疗决策,并提高患者生存的可能性。
2017-05-23 cs.LG
Improving Exploration in Soft-Actor-Critic with Normalizing Flows Policies
McGill University(麦吉尔大学);Mila(米拉研究所)
已知用于连续动作空间的深度强化学习(DRL)算法对于超参数是脆弱的,并且\cut{being}样本效率低下。Soft Actor Critic(SAC)在最大熵RL框架内提出了一种离线深度演员评论算法,该算法提供了更大的稳定性和经验增益。策略分布的选择,一个因子高斯,是由\cut{chosen due}它的容易重新参数化,而不是它的建模能力。我们在SAC框架内引入了规范化流策略,该策略比简单的因子高斯算法更具表达性。\cut{We also present a series of stabilization tricks that enable effective training of these policies in the RL setting.}我们在连续网格世界任务上的经验表明,我们的方法增加了稳定性,更适合于稀疏奖励设置中的困难探索。
2019-06-06 cs.AI cs.LG stat.ML
Selecting and Composing Learning Rate Policies for Deep Neural Networks
Georgia Institute of Technology(佐治亚理工学院)
为了提高深度神经网络(DNN)的精度和减少训练时间,学习率(LR)函数和策略的选择已经从简单的固定LR发展到衰减LR和循环LR。本文提出了一种系统的方法来选择和组成LR策略,以进行有效的DNN训练,以满足所需的目标精度并减少预定义训练迭代内的训练时间。它有三个原创性的贡献。首先,我们开发了一种LR调整机制,用于在预定义的训练时间约束下自动验证给定的LR策略是否达到所需的准确性目标。其次,我们开发了一个LR策略推荐系统(LRBench),通过动态调整从相同和/或不同的LR函数中选择和组合好的LR策略,并避免错误的选择,对于给定的学习任务,DNN模型和数据集。第三,我们通过支持不同的DNN优化器来扩展LRBench,并显示不同LR策略和不同优化器的显著相互影响。使用流行的基准数据集和不同的DNN模型(LeNet,CNN 3,ResNet)进行评估,我们表明我们的方法可以有效地提供高DNN测试精度,优于现有推荐的默认LR策略,并将DNN训练时间减少1.6 $\sim$ 6.7 $\times$,以满足目标模型精度。
2022-10-24 cs.LG
Deep reinforcement learning for feedback control in a collective flashing ratchet
Korea Advanced Institute of Science and Technology(韩国科学技术院)
集体闪烁棘轮传输布朗粒子使用空间周期性的,不对称的,和时间依赖的开关可切换的潜力。通过基于颗粒位置的反馈控制,该系统中颗粒的净电流可以显著增加。已经提出了几个最大化电流的反馈政策,但还没有找到最佳的政策,为一个中等数量的粒子。在这里,我们使用深度强化学习(RL)来寻找最佳策略,结果表明,使用合适的神经网络架构构建的策略优于以前的策略。此外,即使在延迟反馈的情况下,潜在的开关切换延迟,我们证明了深RL提供的政策提供更高的电流比以前的策略。
2021-03-25 cond-mat.stat-mech cs.LG
Demonstration-Guided Deep Reinforcement Learning of Control Policies for Dexterous Human-Robot Interaction
ETH Zurich(苏黎世联邦理工学院)
在本文中,我们提出了一种通过深度强化学习训练人机交互控制策略的方法,例如握手或拍手。该策略控制一个人形的影子灵巧手,连接到一个机器人arm.We提出了一个参数化的多目标奖励函数,允许学习的各种互动,而不改变奖励结构。奖励函数的参数直接从人与人交互的运动捕捉数据估计,以产生被观察者感知为自然和人性化的策略。我们评估我们的方法上三个显着不同的手的相互作用:握手,拍手和手指触摸。我们提供了详细的分析建议的奖励功能和由此产生的政策,并进行了大规模的用户研究,表明我们的政策产生自然的外观运动。
2020-01-13 cs.LG cs.RO
Verified Probabilistic Policies for Deep Reinforcement Learning
University of Birmingham(伯明翰大学)
深度强化学习是一种越来越流行的技术,用于合成策略以控制代理与其环境的交互。人们对正式验证这些策略是否正确并安全执行的兴趣也越来越大。在这一领域取得的进展是建立在现有工作的基础上,对深层神经网络和连续状态动力系统进行验证。在本文中,我们解决了验证深度强化学习的概率策略的问题,例如,用于解决对抗性环境,打破对称性和管理权衡。我们提出了一个抽象的方法,基于区间马尔可夫决策过程,产生概率保证政策的执行,目前的技术来建立和解决这些模型,使用抽象的解释,混合整数线性规划,基于熵的细化和概率模型检验。我们实现我们的方法,并说明其有效性的选择强化学习基准。
2022-06-01 cs.AI cs.LG cs.LO
Training Adversarial Agents to Exploit Weaknesses in Deep Control Policies
University of Surrey(萨里大学)
深度学习已成为解决各种控制问题的一种越来越常见的技术,例如机械臂操作、机器人导航和自动驾驶汽车。然而,使用深度神经网络学习控制策略的缺点是它们的不透明性和验证其安全性的困难。随着用于获得最先进结果的网络变得越来越深入和复杂,它们所学到的规则以及它们的运作方式变得越来越难以理解。这提出了一个问题,因为在安全关键的应用中,控制策略的安全性必须被确保到高置信水平。在本文中,我们提出了一个基于对抗性强化学习的自动化黑盒测试框架。该技术使用对抗代理,其目标是降低测试中目标模型的性能。我们通过训练对抗性强化学习代理来测试自动驾驶汽车问题的方法,该代理旨在引起深度神经网络驱动的自动驾驶汽车碰撞。两个神经网络训练的自动驾驶进行了比较,并从测试的结果被用来比较其学习的控制策略的鲁棒性。我们表明,拟议的框架是能够找到在这两个控制政策,在在线测试过程中不明显的弱点,因此,表现出显着的优势,手动测试方法。
2020-02-27 cs.LG cs.RO cs.SY