The Challenges of Using Reinforcement Learning for Controlling Industrial Energy Systems
Institute for Production Management, Technology and Machine Tools (PTW), Technical University of Darmstadt(技术大学达姆施塔特生产管理、技术与机床研究所);DFKI GmbH, SAIROL(DFKI GmbH,SAIROL);Department of Computer Science, Technical University of Darmstadt(技术大学达姆施塔特计算机科学系);Hessian.ai, Technical University of Darmstadt(黑森人工智能公司,技术大学达姆施塔特)
本文以热力供暖网络为例,研究强化学习在真实工业能源系统部署中的挑战,包括部分可观测性、动作空间设计、奖励设计及仿真到现实的差距,并基于实际部署发现强化学习虽能实现运行稳定性但存在性能差距。
2026-08-10 cs.LG
Controlling an Autonomous Vehicle with Deep Reinforcement Learning
University of Bremen(不来梅大学)
提出了一种基于深度强化学习的自主车辆控制方法。一个神经网络代理被训练来映射其估计的状态,以加速和转向命令给定的目标,达到一个特定的目标状态,同时考虑检测到的障碍。使用最先进的近端策略优化结合模拟环境来执行学习。从头开始的训练需要五到九个小时。由此产生的代理在模拟和随后应用到控制一个全尺寸的研究车辆进行评估。为此,考虑了停车场的自主探索,包括转弯机动和避障。总而言之,这项工作是第一个成功将深度强化学习应用于真实车辆的例子。
2020-03-13 cs.AI cs.LG cs.RO
Controlling Fish Schools via Reinforcement Learning of Virtual Fish Movement
Faculty of Engineering, Kyoto University(京都大学工学部)
本文通过强化学习训练虚拟鱼,实现对鱼群的引导与控制,实验证明该方法在模拟和实际环境中均能有效引导鱼群向目标方向移动,优于基线方法。
2026-03-17 cs.LG cs.RO q-bio.PE
Controlling the Solo12 Quadruped Robot with Deep Reinforcement Learning
LAAS-CNRS(法国国家科学研究中心实验室分析与建筑系统实验室);Université de Toulouse(图卢兹大学);NAVER LABS Europe(NAVER欧洲实验室)
本文提出在 Solo12 四足机器人上实现基于深度强化学习的端到端关节阻抗参考控制器,并验证其速度跟踪、能效、鲁棒性与真机部署价值。
2023-08-02 cs.LG cs.RO
Controlling dynamics of stochastic systems with deep reinforcement learning
Arnold Sommerfeld Center for Theoretical Physics(阿诺德·索末菲理论物理中心);Center for NanoScience(纳米科学中心);Ludwig-Maximilians-Universität München(慕尼黑大学)
本文提出一种基于深度强化学习的模拟算法,利用训练好的神经网络作为控制器驱动随机系统的状态转移,并在粒子凝聚和全不对称排斥过程中验证了其有效性。
2025-02-25 cond-mat.stat-mech cs.LG physics.comp-ph
Controlling chaotic itinerancy in laser dynamics for reinforcement learning
Saitama University(埼玉大学);Kanazawa University(金泽大学);Japan Science and Technology Agency(日本科学技术振兴机构);The University of Tokyo(东京大学)
光子人工智能在加速机器学习方面引起了人们的极大兴趣;然而,独特的光学特性尚未充分利用来实现更高阶的功能。混沌巡游,其多个准吸引子之间的自发瞬态动力学,可以用来实现类脑功能。在本文中,我们提出了一种方法来控制混沌巡回多模半导体激光器解决机器学习任务,被称为多臂强盗问题,这是强化学习的基础。所提出的方法利用超快混沌巡回运动的模式竞争动力学通过光注入控制。我们发现,探索机制是完全不同于传统的搜索算法,是高度可扩展的,优于传统的方法,大规模的强盗问题。这项研究为利用混沌巡回有效解决复杂的机器学习任务铺平了道路,作为光子硬件加速器。
2022-05-12 cs.LG cs.SY eess.SY
Controlling Commercial Cooling Systems Using Reinforcement Learning
DeepMind(深度思维);Trane(特灵);Google(谷歌)
本文是DeepMind和Google最近在控制商业冷却系统的强化学习方面的技术概述。基于从更有效地冷却Google数据中心开始的专业知识,我们最近与建筑管理系统提供商Trane Technologies合作,在两个真实世界的设施上进行了现场实验。这些现场实验在评估、从离线数据中学习和约束满足等领域存在各种挑战。我们的论文描述了这些挑战,希望对它们的认识将有利于未来的应用RL工作。我们还描述了我们调整RL系统以应对这些挑战的方式,在两个现场实验场地分别节省了约9%和13%的能源。
2022-12-14 cs.AI cs.LG cs.SY
Gauging, Measuring, and Controlling Critic Complexity in Actor-Critic Reinforcement Learning
Peking University(北京大学)
提出用谱有效秩熵衡量评论家模型复杂度,在TD3和PPO实验中追踪复杂度与回报、偏差的关系,并通过谱熵惩罚实现复杂度控制。
2026-07-02 cs.AI cs.LG
Controlling Topological Defects in Polar Fluids via Reinforcement Learning
School of Engineering and Applied Sciences, Harvard University, Cambridge, MA, USA(工程与应用科学学院,哈佛大学,马萨诸塞州剑桥)
本文提出用强化学习调节受限活性极性流体的活性空间分布,以闭环方式引导整数电荷拓扑缺陷沿预定轨迹稳健输运。
2025-07-25 cond-mat.soft cs.AI cs.LG
Deep Reinforcement Learning for Online Control of Stochastic Partial Differential Equations
University of Toronto(多伦多大学);Vector Institute(向量研究所)
在许多领域,如物理科学,生命科学和金融,控制方法被用来实现由微分方程控制的复杂动力系统的预期目标。在这项工作中,我们制定了控制随机偏微分方程(SPDE)的问题作为一个强化学习问题。提出了一种基于学习的分布式控制方法,利用深度确定性策略梯度方法对具有高维状态-动作空间的SPDE系统进行在线控制。我们测试了我们的方法控制随机Burgers方程的问题上的性能,描述了一个湍流流体流动在一个无限大的域。
2021-12-08 cs.LG math.DS
Controlling Underestimation Bias in Constrained Reinforcement Learning for Safe Exploration
Shanghai Jiao Tong University, Shanghai, China(上海交通大学)
本文提出MICE方法,通过引入内在成本和偏差校正策略,有效控制约束强化学习中的低估偏差,减少约束违反并保持策略性能。
2026-01-17 cs.LG
Controlling Rayleigh-Bénard convection via Reinforcement Learning
Eindhoven University of Technology(埃因霍温理工大学);University of Rome Tor Vergata(罗马第二大学);CNR-IAC(国家研究委员会建筑科学研究所)
热对流在自然界和许多工业应用中普遍存在。确定有效的控制策略,例如,在固定的外部温度梯度下抑制或增强对流换热是一个突出的基础和技术问题。在这项工作中,我们探索了一种新的方法,基于最先进的强化学习(RL)算法,该算法能够通过将小的温度波动应用于系统的下边界来显着减少二维Rayleigh-Bénard系统中的热传输。通过使用数值模拟,我们表明,我们的RL为基础的控制是能够稳定的导电制度,使对流的发生到瑞利数$Ra_c \approx 3 \cdot 10^4$,而在不受控制的情况下,它持有$Ra_{c}=1708$。此外,对于$Ra > 3 \cdot 10^4$,我们的方法优于其他国家的最先进的控制算法,减少约$2.5$的因子的热通量。在手稿的最后一部分,我们解决了与控制不稳定和混沌动力学有关的理论限制,如这里所考虑的。我们表明,可控性受到阻碍的可观测性和/或能力的致动行动,这可以量化的特征时间延迟。当这些延迟变得与系统的李雅普诺夫时间相当时,控制变得不可能。
2020-03-31 cs.LG cs.SY eess.SY
Controlling the Latent Space of GANs through Reinforcement Learning: A Case Study on Task-based Image-to-Image Translation
University of California, Irvine(加州大学欧文分校);Stanford University(斯坦福大学);Toyota Motor North America(丰田汽车北美公司)
本文提出将强化学习智能体与潜在空间GAN结合,通过精心设计的奖励策略控制生成过程,并在MNIST数据集上验证了该方法在基于任务的图像生成中的有效性。
2023-07-26 cs.AI cs.CV cs.LG
Controlling Behavioral Diversity in Multi-Agent Reinforcement Learning
University of Cambridge(剑桥大学)
本研究提出多样性控制(DiCo)方法,通过策略架构约束将多智能体行为多样性精确控制到设定值,保持学习目标不变,理论证明有效,并在合作与竞争任务中提升性能和样本效率。
2024-05-23 cs.AI cs.LG cs.MA
SPQR: Controlling Q-ensemble Independence with Spiked Random Model for Reinforcement Learning
Seoul National University(首尔大学);Hodoo AI Labs(Hodoo AI实验室)
本文针对深度强化学习中的高估偏差问题,基于随机矩阵理论提出了 spiked Wishart Q-ensemble 独立性正则化(SPQR),通过将独立性假设检验转化为谱分布间的 KL 散度,在多个在线和离线 RL 基准上优于基线算法。
2024-01-06 cs.AI cs.LG stat.ML
Controlling Level of Unconsciousness by Titrating Propofol with Deep Reinforcement Learning
Picower Institute for Learning and Memory, Massachusetts Institute of Technology(麻省理工学院皮考尔学习与记忆研究所);Department of Brain and Cognitive Sciences, Massachusetts Institute of Technology(麻省理工学院脑与认知科学系);Department of Anesthesiology, Critical Care and Pain Medicine, Massachusetts General Hospital(麻省总医院麻醉、重症监护与疼痛医学科)
强化学习(RL)可用于拟合从患者状态到药物方案的映射。先前的研究已经使用确定性和基于值的表格学习来从观察到的麻醉状态学习丙泊酚剂量。深度RL用深度神经网络取代了表格,并已用于从注册数据库中学习药物方案。在这里,我们执行深度RL的第一个应用程序在模拟环境中的麻醉剂剂量的闭环控制。我们使用交叉熵方法来训练深度神经网络,以将观察到的麻醉状态映射到输注固定剂量丙泊酚的概率。在测试过程中,我们实施了一个确定性的政策,将输液的概率转换为连续的输液速率。该模型在具有随机参数的模拟药代动力学/药效学模型上进行训练和测试,以确保对患者变异性的稳健性。深度RL代理的性能明显优于比例-积分-微分控制器(中位绝对性能误差为1.7% +/- 0.6和3.4% +/- 1.2)。对连续输入变量而不是表格建模提供了更鲁棒的模式识别,并利用了我们的先验领域知识。Deep RL学习了一个平滑的策略,对数据科学家和麻醉护理提供者都有自然的解释。
2020-09-09 cs.AI cs.LG stat.ML
Learning by Doing: Controlling a Dynamical System using Causality, Control, and Reinforcement Learning
University of Copenhagen(哥本哈根大学);Lund University(隆德大学);Carnegie Mellon University(卡内基梅隆大学);Uppsala University(乌普萨拉大学);Université Paris-Saclay(巴黎萨克雷大学);RWTH Aachen University(亚琛工业大学)
因果关系、控制和强化学习中的问题超越了经典的机器学习在i.i.d.下的预测任务。意见。相反,这些领域考虑学习如何主动扰动系统以实现对响应变量的特定影响的问题。可以说,他们在这个问题上有互补的观点:在控制中,通常旨在首先通过激励策略识别系统,然后应用基于模型的设计技术来控制系统。在(非基于模型的)强化学习中,人们直接优化奖励。在因果关系中,一个焦点是因果结构的可识别性。我们相信,将不同的观点结合起来可能会产生协同效应,而这种竞争是实现这种协同效应的第一步。参与者可以访问动态系统生成的观测和(离线)干预数据。Track CHEM考虑的是一个开环问题,其中可以在动态开始时设置单个脉冲,而Track ROBO考虑的是一个闭环问题,其中可以在每个时间步设置控制变量。这两条轨道的目标都是推断出驱动系统到所需状态的控制。代码是开源的(https://github.com/LearningByDoingCompetition/learningbydoing-comp),以复制比赛的获奖解决方案,并促进在比赛任务中尝试新方法。
2022-02-12 cs.LG cs.RO cs.SY
Empowering Epidemic Response: The Role of Reinforcement Learning in Infectious Disease Control
Hong Kong Baptist University(香港浸会大学)
本文探讨强化学习在传染病防控中的应用,涵盖资源分配、生命与生计平衡、多干预混合政策及区域协调控制等关键问题,总结最新研究进展与未来研究方向。
2026-03-26 cs.AI cs.CY cs.LG
L1: Controlling How Long A Reasoning Model Thinks With Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
本研究提出强化学习方法LCPO,训练出可精准控制思维链长度的推理模型L1,实现计算成本与准确率的平滑权衡,还发现其短推理能力,1.5B规模在等推理长度下超越GPT-4o。
2025-10-03 cs.AI cs.CL cs.LG
Controlling the Inductive Bias of Wide Neural Networks by Modifying the Kernel's Spectrum
Weizmann Institute of Science(魏茨曼科学研究所);Meta AI
针对宽神经网络学习偏置影响梯度下降收敛与可达函数的问题,提出利用MSKs近似核与预条件梯度下降方法改变GD轨迹,实现多项式或指数级训练加速且不改变最终解。
2024-03-20 cs.LG
Controlling Neural Level Sets
Weizmann Institute of Science(魏茨曼科学研究所)
神经网络的水平集代表了分类器的基本属性,如决策边界,并用于对曲线和曲面等非线性流形数据进行建模。因此,用于控制神经水平集的方法可以在机器学习中找到许多应用。在本文中,我们提出了一个简单的和可扩展的方法来直接控制深度神经网络的水平集。我们的方法包括两个部分:(i)神经水平集的采样,以及(ii)将样本的位置与网络参数相关联。后者是通过向原始网络添加单个固定线性层而构建的样本网络来实现的。进而,样本网络可用于将水平集样本合并到感兴趣的损失函数中。我们已经在三个不同的学习任务上测试了我们的方法:改进对未知数据的泛化,训练对对抗攻击鲁棒的网络,以及从点云重建曲线和曲面。对于表面重建,我们直接从原始3D点云生成高保真表面。当训练中小型网络对对抗攻击具有鲁棒性时,我们获得了与最先进方法相当的鲁棒准确性。
2019-10-27 cs.LG stat.ML
Controlling Information Capacity of Binary Neural Network
Russian Research Center Huawei Technologies, Russia(华为技术有限公司俄罗斯研究中心);Department of Computer Science ETH Zurich, Switzerland(苏黎世联邦理工学院计算机科学系)
尽管深度学习技术越来越受欢迎,但高内存要求和功耗本质上限制了其在移动和物联网领域的应用。虽然二进制卷积网络可以缓解这些问题,但权重的有限位宽通常会导致预测精度的显着下降。在本文中,我们提出了一种训练二进制网络的方法,通过将基于香农熵的惩罚应用于卷积滤波器,在整个训练过程中保持其信息容量的稳定预定义水平。在SVHN、CIFAR和ImageNet数据集上进行的实验结果表明,该方法可以显著提高二进制网络的准确性。
2020-08-04 cs.CV cs.LG cs.NE
Controlling Neural Collapse Enhances Out-of-Distribution Detection and Transfer Learning
Rochester Institute of Technology(罗切斯特技术学院);University of Rochester(罗切斯特大学)
本文揭示了神经坍缩程度与OOD检测和泛化之间的反向权衡关系,提出通过熵正则化和固定ETF投影器在不同网络层控制神经坍缩,从而同时提升OOD检测与泛化性能。
2025-09-22 cs.LG
Neural Logic Reinforcement Learning
University of Liverpool(利物浦大学)
深度强化学习(DRL)在多项任务中取得了重大突破。然而,大多数DRL算法遭受的问题,泛化的学习策略,这使得学习性能在很大程度上受到影响,即使是轻微的修改的训练环境。除此之外,深度神经网络的使用使得学习到的策略难以解释。为了解决这两个问题,我们提出了一种新的算法命名为神经逻辑强化学习(NLRL)表示的强化学习的政策,一阶逻辑。NLRL基于策略梯度方法和可微归纳逻辑程序设计,在监督任务的可解释性和可推广性方面表现出显着的优势。在悬崖行走和块操作任务上进行的大量实验表明,NLRL可以诱导可解释的策略,实现接近最优的性能,同时对不同初始状态和问题大小的环境表现出良好的通用性。
2019-07-10 cs.LG
Balancing a CartPole System with Reinforcement Learning -- A Tutorial
Edge Hill University(边山大学)
在本文中,我们提供了实现各种强化学习(RL)算法来控制Cart-Pole系统的细节。特别是,我们描述了各种RL概念,如Q学习,深度Q网络(DQN),双DQN,决斗网络,(优先级)经验重放,并显示它们对学习性能的影响。在此过程中,读者将被介绍用于实现上述概念的OpenAI/Gym和Keras实用程序。据观察,具有PER的DQN在所有其他架构中提供最佳性能,能够在150集内解决问题。
2020-06-12 cs.LG cs.RO
Multi-fidelity Reinforcement Learning Control for Complex Dynamical Systems
Lawrence Livermore National Lab(劳伦斯利弗莫尔国家实验室);University of Notre Dame(圣母大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出多保真强化学习框架,利用可微分混合模型与频谱奖励函数控制复杂动力系统,在有限高保真数据下实现与高保真多查询评估匹配的控制效果。
2025-04-08 cs.AI cs.LG
Scalable Reinforcement Learning-based Neural Architecture Search
University of Antwerp(安特卫普大学);imec(校际微电子中心);IDLab - Faculty of Applied Engineering(IDLab应用工程学院)
本文提出一种基于强化学习的神经架构搜索方法,智能体学习搜索良好架构而非返回单一最优解,实验表明该方法在搜索空间大小方面具有强可扩展性,但对超参数变化的鲁棒性有限。
2024-10-02 cs.LG
ARiA: Utilizing Richard's Curve for Controlling the Non-monotonicity of the Activation Function in Deep Neural Nets
Michigan Technological University(密歇根理工大学);Symbiosis Centre for Medical Image Analysis(共生医学图像分析中心);Symbiosis Institute of Technology(共生技术学院)
这项工作引入了一种新的激活单元,可以有效地用于深度神经网络(DNN),并且比传统的整流线性单元(ReLU)表现得更好。开发的函数是专门的理查德曲线的两个参数版本,我们称之为自适应理查德曲线加权激活(ARiA)。该函数是非单调的,类似于新引入的Swish,但是允许通过改变超参数来精确控制其非单调凸性。我们首先展示了两个参数ARiA的数学意义,然后将其应用于MNIST、CIFAR-10和CIFAR-100等基准问题,并将其与ReLU和Swish单元进行了性能比较。我们的研究结果表明,ARiA在所有这些数据集上都具有显著的优越性能,使其成为DNN中ReLU和其他激活的潜在替代品。
2018-05-22 cs.LG cs.NE
Dynamic Modeling and Adaptive Controlling in GPS-Intelligent Buoy (GIB) Systems Based on Neural-Fuzzy Networks
School of Forestry, Henan Agricultural University(河南农业大学林学院);University of Malaya(马来亚大学);School of Management, Henan University of Technology(河南工业大学管理学院);Islamic Azad University(伊斯兰阿扎德大学);Obuda University(欧布达大学);Oxford Brookes University(牛津布鲁克斯大学)
近来,已经提出了各种关系和标准来建立控制系统之间的适当关系并控制全球定位系统(GPS)-智能浮标系统。鉴于浮标位置控制的重要性和智能系统的构建,本文采用动态系统建模方法,通过改进的神经网络和反推技术,对海洋浮标的定位进行了研究。本研究的目的是开发一种新的控制器的自适应模糊神经网络的基础上,以最佳跟踪动态定位的车辆在水面上不可用的速度和未知的控制参数。为了用所提出的技术对网络进行建模,在神经网络中研究了不确定性和不必要的干扰。针对水面舰艇在不确定扰动和矛盾情况下的动态定位问题,提出了一种基于矢量反步法的神经网络控制方法。此外,目标函数是最小化输出误差的神经网络(NN)的闭环系统的基础上。定位浮标的拟议模型的最重要的特点是它的独立性,从比较知识或信息的动态和不必要的干扰船舶。数值计算和实测结果表明,该控制系统能够以较小的位置误差将浮标的航线和位置调整到期望的目标。
2020-04-03 cs.LG cs.SY eess.SY
A Threshold-based Scheme for Reinforcement Learning in Neural Networks
提出了一种通用的、可扩展的人工神经网络强化学习方案,提供了一种通用的学习机。通过参考节点阈值,描述了三个特征:1)用于初级强化的机制,能够解决线性不可分割的问题; 2)学习方案被扩展为包括用于条件强化的机制,能够形成长期策略; 3)学习方案被修改为使用基于阈值的深度学习算法,为反向传播提供了鲁棒的和生物启发的替代方案。该模型可以用于监督以及无监督的训练制度。
2017-01-14 cs.LG cs.NE
Reinforcement Learning for Joint V2I Network Selection and Autonomous Driving Policies
York University(约克大学)
车辆到基础设施(V2I)通信对于增强自动驾驶车辆(AV)的可靠性至关重要。然而,道路交通和自动驾驶汽车无线连接的不确定性可能严重影响及时决策。因此,同时优化AV的网络选择和驾驶策略以最小化道路碰撞同时最大化通信数据率是至关重要的。在本文中,我们开发了一个强化学习(RL)框架,以表征在传统的子6 GHz频谱和太赫兹(THz)频率上运行的多频带车辆网络(VNet)中的有效网络选择和自动驾驶策略。所提出的框架被设计为(i)通过控制车辆的运动动力学(即,速度和加速度),以及(ii)通过从电信角度联合控制车辆的运动动态和网络选择来最大化数据率并最小化抖动。我们将这个问题转化为马尔可夫决策过程(MDP),并开发了一个基于深度Q学习的解决方案,以优化给定AV状态的加速、减速、换道和AV基站分配等操作。基于AV的速度和通信信道状态来定义AV的状态。数值结果表明,有趣的见解相关的相互依赖的车辆的运动动力学,噪声,和通信数据率。所提出的策略使自动驾驶汽车能够采用安全的驾驶行为,并改善连接性。
2022-08-03 cs.LG
Improving Generalization by Controlling Label-Noise Information in Neural Network Weights
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所)
在存在噪声或不正确的标签的情况下,神经网络具有不期望的记住关于噪声的信息的倾向。标准的正则化技术,如dropout、权重衰减或数据增强有时会有所帮助,但不能防止这种行为。如果将神经网络的权值看作是依赖于训练数据和随机性的随机变量,那么记忆的信息量可以用权值和给定输入的所有训练标签的向量$I(w ; \mathbf{y} \mid \mathbf{x})$之间的香农互信息来量化。我们表明,对于任何训练算法,这一项的低值对应于标签噪声记忆的减少和更好的泛化范围。为了获得这些低值,我们提出了采用辅助网络的训练算法,该辅助网络在不访问标签的情况下预测分类器最后几层的梯度。我们说明了我们的方法对MNIST,CIFAR-10和CIFAR-100的版本与各种噪声模型损坏的有效性,并在一个大规模的数据集Clothing 1 M有噪声标签。
2020-11-20 cs.LG stat.ML
Optimizing the Neural Architecture of Reinforcement Learning Agents
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
强化学习(RL)在过去几年中取得了重大进展。其中最重要的一步是神经网络的广泛应用。然而,这些神经网络的架构通常是手动构建的。在这项工作中,我们研究了最近提出的神经架构搜索(NAS)方法优化RL代理的架构。我们进行了实验的Atari基准,并得出结论,现代NAS方法发现架构的RL代理优于手动选择的。
2021-04-28 cs.AI cs.LG
Neural Network Compression for Reinforcement Learning Tasks
Lomonosov Moscow State University(莫斯科罗蒙诺索夫国立大学);Institute of Applied Physics of the R.A.S.(俄罗斯科学院应用物理研究所);Chuvash State University(楚瓦什国立大学);Cifrum(西夫鲁姆公司)
针对强化学习实际应用中对低延迟、高能效推理的需求,系统研究稀疏化与剪枝技术在不同算法和环境下的应用,实现神经网络规模最高400倍的压缩。
2024-05-13 cs.LG
Arbitrage of Energy Storage in Electricity Markets with Deep Reinforcement Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Virginia Tech(弗吉尼亚理工学院暨州立大学);South China University of Technology(华南理工大学)
在这封信中,我们解决的问题,控制储能系统(ESS)的套利在实时电力市场价格不确定性。我们首先将这个问题公式化为马尔可夫决策过程,然后开发基于深度强化学习的算法来学习随机控制策略,该策略将一组由递归神经网络处理的可用信息映射到ESS的充电/放电动作。最后,我们使用PJM的实时电价验证了我们的算法的有效性。
2019-05-04 cs.LG math.OC stat.ML
DNS: Determinantal Point Process Based Neural Network Sampler for Ensemble Reinforcement Learning
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
集成神经网络的应用正在成为推进深度强化学习算法的最新技术的一个迫在眉睫的工具。然而,在集成中训练这些大量的神经网络具有极高的计算成本,这可能成为训练大规模系统的障碍。在本文中,我们提出了DNS:一个基于确定性点过程的神经网络采样器,专门使用k-dpp在每个训练步骤中对神经网络的子集进行采样,从而显着减少了训练时间和计算成本。我们在REDQ中集成了DNS,用于连续控制任务,并在MuJoCo环境中进行了评估。我们的实验表明,DNS增强的REDQ优于基线REDQ的平均累积奖励,并实现这一目标时,使用不到50%的计算测量的FLOPS。
2022-05-17 cs.LG
Neural Network Optimization for Reinforcement Learning Tasks Using Sparse Computations
Cifrum;Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);Chuvash State University(楚瓦什国立大学)
本文提出了一种基于稀疏计算的方法,用于优化强化学习(RL)任务的神经网络。这种方法结合了两种思想:神经网络修剪和考虑输入数据相关性;它使得只有当神经元状态的变化超过一定阈值时才能更新神经元状态。它显著减少了运行神经网络时的乘法次数。我们测试了不同的RL任务,并实现了乘法次数减少20- 150倍。没有实质性的性能损失;有时性能甚至有所改善。
2022-04-07 cs.LG cs.NE
Towards AI-controlled FES-restoration of arm movements: neuromechanics-based reinforcement learning for 3-D reaching
Imperial College London(帝国理工学院);University of Bayreuth(拜罗伊特大学)
残疾影响生活质量。功能性电刺激(FES)可以恢复失去的运动功能。然而,在控制FES以诱导期望的运动方面仍然存在挑战。神经力学模型是开发FES控制方法的有价值的工具。然而,集中在上肢区域,几个现有的模型要么过于简化或过于计算要求的控制目的。除了模型相关的问题,找到一个通用的方法来管理不同的任务和主题的控制规则仍然是一个工程挑战。在这里,我们提出了我们的方法对FES为基础的恢复手臂运动,以解决这些基本问题,在控制FES。首先,我们提出了我们的表面FES面向人类手臂的神经力学模型,使用公认的,开源软件。该模型的目的是捕捉显着的动态FES控制以最小的计算成本。我们的模型是可定制的,可用于测试不同的控制方法。其次,我们提出了应用强化学习(RL)作为一种通用的方法来管理控制规则。我们的可定制模型和基于RL的控制方法相结合,可以为不同的主题和设置提供定制的FES控制,并最大限度地减少工程干预。我们在平面和3D设置中展示了我们的方法。
2023-03-17 cs.LG cs.SY eess.SY
Controlling the privacy loss with the input feature maps of the layers in convolutional neural networks
Samsung Electronics(三星电子)
我们提出了一种方法来净化输入特征映射(IFM)的隐私,这些IFM被馈送到CNN(卷积神经网络)的层。该方法引入了使使用CNN的应用能够控制隐私损失的净化程度,该隐私损失表示为原始IFM和净化后的IFM的概率准确度的比率。对于IFM的净化,设计了基于采样保持的近似方案以满足特定于应用的净化程度。该方案通过用最接近采样窗口均值的非零样本替换窗口中的所有样本来逼近IFM。它还通过将多维IFM张量展开为待近似的一维流来消除对CNN配置的依赖性。
2018-12-05 cs.CR cs.CV cs.LG
Mapping Neural Signals to Agent Performance, A Step Towards Reinforcement Learning from Neural Feedback
Department of Computer Science Tufts University(计算机科学系塔夫茨大学)
该研究提出隐式反馈框架NEURO-LOOP,验证了用fNIRS采集的前额叶脑信号映射强化学习智能体性能的可行性,构建相关数据集,为人在环强化学习及神经交互应用提供基础。
2025-06-14 cs.LG
Temporal Logic Guided Safe Reinforcement Learning Using Control Barrier Functions
使用强化学习来学习控制策略是一个挑战,当任务是复杂的,具有潜在的长期视野。确保充分但安全的勘探对于控制物理系统也至关重要。在本文中,我们使用时序逻辑,以促进规范和学习的复杂任务。我们结合时序逻辑与控制李雅普诺夫函数,以提高勘探。我们整合了控制屏障功能,以保护探索和部署过程。我们开发了一个灵活的和可学习的系统,允许用户指定任务的目标和限制,在不同的形式和不同的水平。该框架还能够利用已知的系统动态和处理未知的环境动态集成无模型学习与基于模型的规划。
2019-03-23 cs.LG stat.ML
Reinforcement Learning using Augmented Neural Networks
University of Kent(肯特大学)
神经网络允许Q学习强化学习代理,如深度Q网络(DQN),以近似从状态空间到价值函数的复杂映射。然而,当与其他函数逼近器(例如瓦片编码或其泛化、径向基函数(RBF))相比时,这也带来缺点,因为它们由于神经网络中存在的全局化更新的副作用而引入不稳定性。这种不稳定性甚至不会在没有任何隐藏层的神经网络中消失。在本文中,我们表明,简单的修改结构的神经网络可以提高稳定性的DQN学习时,多层感知器用于函数逼近。
2018-06-20 cs.LG stat.ML
StainFuser: Controlling Diffusion for Faster Neural Style Transfer in Multi-Gigapixel Histology Images
University of Warwick(华威大学);Histofy Ltd(Histofy有限公司)
本研究针对组织学图像染色外观不一致问题,提出基于条件潜在扩散架构的染色归一化方法StainFuser,构建超200万张图像的SPI-2M数据集,在图像质量和下游任务性能上均优于现有方法。
2024-07-12 cs.CV cs.LG eess.IV
Auction-Based RIS Allocation With DRL: Controlling the Cost-Performance Trade-Off
Institute of Telecommunications TU Wien(电信研究所 TU 威尼斯)
本文提出基于拍卖和深度强化学习的RIS分配方法,通过动态租赁和智能体学习实现成本与性能的最优权衡。
2026-02-18 cs.LG cs.MA cs.NI
Controlling Model Complexity in Probabilistic Model-Based Dynamic Optimization of Neural Network Structures
Yokohama National University(横滨国立大学);SkillUp AI Co., Ltd.(SkillUp AI株式会社)
在单个训练循环中同时优化神经网络结构和连接权值的方法可以减少神经结构搜索的巨大计算成本。研究了基于概率模型的动态神经网络结构优化方法,该方法考虑了网络结构参数的概率分布,并基于梯度法同时优化了网络的分布参数和连接权值。由于现有算法只搜索最小化训练损失的结构,因此该方法可能会发现过于复杂的结构。在本文中,我们提出了一个惩罚项的引入,以控制模型的复杂性得到的结构。我们制定了一个惩罚项使用的重量或单位的数量,并推导出其分析自然梯度。该方法基于随机梯度下降算法,使目标函数最小化并注入惩罚项。我们将所提出的方法应用于全连接神经网络的单元选择和卷积神经网络的连接选择。实验结果表明,该方法可以在保持性能的同时控制模型复杂度。
2019-07-15 cs.LG cs.NE stat.ML
Continuous Diagnosis and Prognosis by Controlling the Update Process of Deep Neural Networks
Peking University(北京大学)
连续的诊断和预后是重症监护患者必不可少的。它可以为及时治疗和合理资源分配提供更多机会,特别是对于ICU死亡的主要原因脓毒症和新的全球流行病COVID-19。尽管深度学习方法在许多医疗任务中表现出了巨大的优越性,但当以连续模式进行诊断和预后时,它们往往会灾难性地忘记,过度拟合,并且太晚得到结果。本文总结了这一任务的三个要求,提出了时间序列连续分类(CCTS)的概念,设计了一种新的模型训练方法--神经网络约束更新策略(RU)。在连续预后的背景下,我们的方法优于所有基线,在脓毒症预后、COVID-19死亡率预测和八种疾病分类方面的平均准确率分别达到90%、97%和85%。此外,我们的方法还可以赋予深度学习可解释性,具有探索疾病机制的潜力,并为医学研究提供新的视野。我们已经实现了脓毒症和COVID-19的疾病分期,分别发现了四个阶段和三个阶段的典型生物标志物。此外,我们的方法是一个数据无关和模型无关的插件,它可以用来不断诊断其他疾病的分期,甚至在其他领域实现CCTS。
2022-10-06 cs.LG
Controlling Computation versus Quality for Neural Sequence Models
Google Research(谷歌研究院)
大多数神经网络对每个例子都使用相同的计算量,而与输入的固有复杂性无关。此外,使计算量适应示例的方法集中于每个示例找到固定的推理时间计算图,忽略任何外部计算预算或变化的推理时间限制。在这项工作中,我们利用条件计算,使神经序列模型(Transformer)更有效和计算感知推理。我们首先修改了Transformer架构,使每组操作都可以根据学习的控制网络的输出有条件地执行。然后,我们在多任务设置中训练该模型,其中每个任务对应于特定的计算预算。这允许我们训练单个模型,该模型可以被控制以在计算质量权衡曲线的不同点上操作,这取决于推断时的可用计算预算。我们在两个任务上评估我们的方法:(i)WMT英法翻译和(ii)无监督表示学习(BERT)。我们的实验表明,所提出的条件计算Transformer(CCT)是有竞争力的香草Transformers时,允许利用其全部计算预算,同时提高显着的计算等效基线时,较小的计算预算。
2020-04-16 cs.CL cs.LG stat.ML
Reinforcement Learning of the Prediction Horizon in Model Predictive Control
SINTEF Digital(SINTEF数字研究院);Department of Engineering Cybernetics, NTNU(挪威科技大学工程控制论系);Centre for Autonomous Marine Operations and Systems(自主海洋作业与系统中心)
模型预测控制(MPC)是一种功能强大的轨迹优化控制技术,能够控制复杂的非线性系统,同时考虑系统约束并确保安全运行。MPC的能力是以高在线计算复杂性、系统动态的精确模型的要求以及根据特定控制应用调整其参数的必要性为代价的。影响计算复杂性的主要可调参数是预测范围长度,控制MPC预测系统响应的未来距离,从而评估其计算轨迹的最优性。较长的时域通常会提高控制性能,但需要越来越强大的计算平台,不包括某些控制应用。性能对预测时域长度的敏感度在状态空间上变化,这激发了自适应时域模型预测控制(AHMPC),它根据某些标准来调整预测时域。在本文中,我们建议使用强化学习(RL)来学习作为状态函数的最佳预测范围。我们展示了如何制定RL学习问题,并在两个控制任务上测试我们的方法,显示出比固定时域MPC方案明显的改进,同时只需要几分钟的学习。
2021-02-22 cs.LG cs.SY eess.SY
Controlling Neural Networks with Rule Representations
Google Cloud AI(谷歌云AI)
我们提出了一种新的训练方法,将规则集成到深度学习中,在某种程度上,规则的强度在推理时是可控的。具有可控规则表示的深度神经网络(DeepCTRL)将规则编码器与基于规则的目标结合在一起,从而实现决策的共享表示。DeepCTRL对数据类型和模型体系结构是不可知的。它可以应用于为输入和输出定义的任何类型的规则。DeepCTRL的关键方面是它不需要重新训练来适应规则强度-在推理时,用户可以根据所需的操作点对准确度与规则验证比率进行调整。在现实世界的领域中,融入规则是至关重要的-例如物理,零售和医疗保健-我们展示了DeepCTRL在教授深度学习规则方面的有效性。DeepCTRL通过显着提高规则验证率来提高训练模型的信任度和可靠性,同时还在下游任务中提供准确性增益。此外,DeepCTRL还支持新的用例,例如对数据样本的规则进行假设测试,以及基于数据集之间共享规则的无监督自适应。
2021-11-17 cs.LG stat.ML
Measuring and Controlling Solution Degeneracy across Task-Trained Recurrent Neural Networks
Harvard University(哈佛大学);Harvard Medical School(哈佛医学院);Kempner Institute(凯普纳研究所);EPFL(苏黎世联邦理工学院)
本研究开发了统一框架,量化和控制任务训练RNN中的解退化,揭示任务复杂性和网络规模对解退化的影响。
2025-11-20 cs.IT cs.LG cs.NE
SNeRL: Semantic-aware Neural Radiance Fields for Reinforcement Learning
Seoul National University(首尔国立大学);ASRI(自动化与系统研究所);AIIS(人工智能创新研究所)
本文提出SNeRL,通过在NeRF中并行引入三维语义场和蒸馏特征场,联合优化卷积编码器学习语义感知的三维神经隐式表示,在无模型和基于模型的强化学习中均优于现有像素级和三维感知表示。
2023-05-31 cs.AI cs.CV cs.LG
A Reinforcement Learning Model Using Neural Networks for Music Sight Reading Learning Problem
音乐视奏是一个复杂的过程,当它在大脑中发生时,就会出现一些学习属性。在强化学习中,提出了一种基于行动者-批评者方法的智能体模型,并将智能体看作一个神经网络结构。我们研究了视读过程发生在哪里,以及如何通过学习过程来调整突触权重。我们在这里提供的模型是一个计算模型,其上还伴随有一个更新的权重方程来固定权重。
2011-11-18 cs.LG cs.NE
Control in Stochastic Environment with Delays: A Model-based Reinforcement Learning Approach
Stevens Institute of Technology(斯蒂文斯理工学院)
针对带延迟反馈的随机环境控制问题,提出一种采用随机规划、可嵌入风险偏好的基于模型的强化学习方法,该方法可恢复确定性转移问题的最优策略,在Atari游戏控制任务中性能优于现有两种方法。
2024-02-01 cs.LG cs.SY eess.SY
Model-based Reinforcement Learning for Semi-Markov Decision Processes with Neural ODEs
Harvard University(哈佛大学)
我们提出了两个优雅的解决方案建模连续时间动态,在一个新的基于基于模型的强化学习(RL)框架半马尔可夫决策过程(SMDP),使用神经常微分方程(ODE)。我们的模型准确地描述了连续时间动态,使我们能够使用少量数据开发高性能的策略。我们还开发了一种基于模型的方法来优化时间表,以减少与环境的交互率,同时保持接近最佳的性能,这是不可能的无模型的方法。我们通过实验证明了我们的方法在各种连续时间域的有效性。
2020-10-25 cs.LG stat.ML