Optimizing Information Asset Investment Strategies in the Exploratory Phase of the Oil and Gas Industry: A Reinforcement Learning Approach
ISCTE Business School(ISCTE商学院);Oxaala Technologies(Oxaala技术公司)
本文通过强化学习方法,提出在油气勘探早期优先获取高质量信息资产的策略,以减少冗余成本并提高储量估值精度,挑战传统投资策略的经济效率。
2025-11-28 cs.AI cs.MA econ.TH
Facilitating Reinforcement Learning for Process Control Using Transfer Learning: Overview and Perspectives
College of Control Science and Engineering Zhejiang University(控制科学与工程学院浙江大学);Department of Chemical Engineering Chung-Yuan Christian University(化学工程系 Chung-Yuan Christian University)
本文从迁移学习视角综述深度强化学习在过程控制中的应用,分析其挑战与必要性,并提出未来研究方向,以提升工业控制的安全性和样本效率。
2025-04-22 cs.AI cs.LG cs.SY
Robust Multi-Modal Policies for Industrial Assembly via Reinforcement Learning and Demonstrations: A Large-Scale Study
Google X(谷歌X);DeepMind(深度思维)
在过去的几年里,已经有相当大的研究投资到基于学习的方法,以工业组装,但尽管取得了重大进展,这些技术尚未被采用的行业。我们认为,深度强化学习(DRL)的设计空间过大,而不是算法本身的限制,才是导致这种缺乏采用的真正原因。将这些技术推向工业主流需要一个与学术思维截然不同的面向工业的范式。在本文中,我们定义了面向行业的DRL的标准,并进行了彻底的比较,根据这些标准的一个家庭的学习方法,DRL从示范,对专业的工业集成商在最近建立的NIST组装基准。我们解释的设计选择,代表了几年的调查,使我们的日间行车灯系统,以一贯优于集成商的速度和可靠性方面的基线。最后,我们得出结论,我们的DRL系统和人类之间的竞争插入到一个随机移动的目标的挑战性任务。这项研究表明,DRL不仅能够超越已建立的工程方法,而且还能够超越人类运动系统,并且仍然有很大的改进空间。视频可以在我们的项目网站上找到:https://sites.google.com/view/shield-nist。
2021-07-31 cs.AI cs.RO
Reinforcement Learning-based Virtual Fixtures for Teleoperation of Hydraulic Construction Machine
RWTH Aachen University(亚琛工业大学)
针对液压施工机械遥操作中多关节控制困难的问题,提出基于强化学习的虚拟夹具方法,通过用户研究验证其能提升任务性能。
2023-06-23 cs.AI cs.RO
Do Artificial Reinforcement-Learning Agents Matter Morally?
人工强化学习(RL)是人工智能中广泛使用的技术,其提供用于训练代理执行各种各样的行为的通用方法。在计算机科学中使用的强化学习与动物和人类大脑中的奖励和惩罚学习有着惊人的相似之处。我认为,当今的人工RL代理具有非常小但非零的道德重要性。这对于那些认为感知力是基于心智的能力和复杂性的观点来说尤其合理,但即使是关于意识的二元观点也应该为具有道德相关经验的强化学习程序分配非零概率。虽然强化学习计划在今天并不是最重要的道德优先事项,但随着强化学习越来越多地应用于工业、机器人、视频游戏和其他领域,它们在未来几十年可能会变得更加重要。我鼓励科学家、哲学家和公民开始讨论我们的道德义务,以减少我们对无能为力、毫无责任感的RL代理人造成的伤害。
2014-10-30 cs.AI
Multi-Agent Deep Reinforcement Learning for Multi Objective Battery Management in Dairy Farms
University of Galway(Galway大学)
针对爱尔兰奶牛场可再生能源整合问题,提出基于差分进化和多智能体深度强化学习的多目标优化控制系统,分两层进行控制,模拟结果显示该系统能提高能源套利利润、增加分布式发电使用且符合电网规范。
2026-07-08 cs.AI
A Survey of Deep Reinforcement Learning in Recommender Systems: A Systematic Review and Future Directions
University of New South Wales(新南威尔士大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);University of Technology Sydney(悉尼科技大学)
鉴于深度强化学习(DRL)在推荐系统研究中的出现以及近年来取得的一些丰硕成果,本文旨在对深度强化学习在推荐系统中的最新发展趋势进行及时而全面的综述。我们首先介绍了在推荐系统中应用DRL的动机。然后,我们提供了一个分类目前基于DRL推荐系统和现有的方法的总结。我们讨论新出现的主题和开放的问题,并提供我们对推进该领域的观点。本调查作为学术界和工业界读者对这一主题的介绍材料,并确定了进一步研究的重要机会。
2021-09-09 cs.AI cs.IR
Dynamic Dispatching for Large-Scale Heterogeneous Fleet via Multi-agent Deep Reinforcement Learning
Hitachi America Ltd.(日立美国有限公司);Stevens Institute of Technology(史蒂文斯理工学院)
动态调度是采矿等传统行业运营优化的核心问题之一,因为它涉及如何在正确的时间将正确的资源智能地分配到正确的地点。传统上,该行业依赖于直觉甚至人类直觉,这通常是短视和次优的解决方案。利用人工智能和物联网(IoT)的力量,数据驱动的自动化正在重塑这一领域。然而,面对其自身的挑战,例如在高度动态环境中运行的大型和异质卡车,它几乎不能采用在其他领域开发的方法(例如,共乘)。本文提出了一种新的深度强化学习方法来解决采矿中的动态调度问题。我们首先开发了一个基于事件的采矿模拟器,在真实的矿山中校准参数。然后,我们提出了一个经验共享的Deep Q网络,它具有一种新的抽象状态/动作表示,可以从异构代理中学习记忆,并以集中的方式实现学习。我们证明,所提出的方法显着优于$5.56\%$在生产力方面的行业中最广泛采用的方法。所提出的方法在更广泛的行业(例如,制造业、物流业),这些行业具有在高度动态环境中工作的大规模异构设备,作为动态资源分配的一般框架。
2020-08-24 cs.AI cs.LG
Comparing Heuristics, Constraint Optimization, and Reinforcement Learning for an Industrial 2D Packing Problem
Technische Hochschule Rosenheim(罗森海姆应用技术大学);Technische Universität München(慕尼黑工业大学);Institut für nachhaltige Energieversorgung(可持续能源供应研究所);Technische Hochschule Ingolstadt(因戈尔施塔特应用技术大学)
切割和包装问题发生在不同的行业,直接影响企业的收入。通常,“剪切和打包”中的目标是将一组较小的对象指定给一组较大的对象。为了解决切割和包装问题,从业者可以诉诸启发式和精确的方法。最近,机器学习越来越多地用于解决此类问题。本文考虑了家具行业的二维装箱问题,其中一组木制工件必须以最节省空间的方式分配到手推车的不同模块。我们提出了一个实验设置来比较算法,约束优化和深度强化学习的给定问题。所使用的方法及其结果根据其解决方案质量和运行时间进行整理。在给定的用例中,贪婪启发式产生最佳结果,并在运行时间方面优于其他方法。约束优化也会产生最佳结果,但需要更多的时间来执行。深度强化学习方法并不总是产生最佳甚至可行的解决方案。虽然我们认为这可以通过更多的训练来弥补,但考虑到启发式的良好结果,深度强化学习似乎不适合给定的用例。
2021-10-27 cs.AI
Human-Like Goalkeeping in a Realistic Football Simulation: a Sample-Efficient Reinforcement Learning Approach
University of Edinburgh(爱丁堡大学);KTH Royal Institute of Technology(皇家理工学院);University of California, Berkeley(加州大学伯克利分校)
提出一种样本高效的深度强化学习方法,通过利用预收集数据和增加网络可塑性,在EA SPORTS FC 25中训练出守门员智能体,其扑救率比内置AI高10%,训练速度比标准DRL快50%,且行为更接近人类。
2026-06-02 cs.AI cs.LG
Learning is planning: near Bayes-optimal reinforcement learning via Monte-Carlo tree search
Rutgers University(罗格斯大学)
贝叶斯最优行为虽然定义明确,但往往难以实现。蒙特卡罗树搜索(MCTS)的最新进展表明,它是可能的行动接近最佳的马尔可夫决策过程(MDP)非常大或无限的状态空间。未知MDP中的贝叶斯最优行为等同于已知置信空间MDP中的最优行为,尽管该置信空间MDP的大小随着所保留的历史量呈指数增长,并且可能是无限的。我们展示了一个代理如何使用一个特定的MCTS算法,前向搜索稀疏采样(FSSS),在一个有效的方式采取行动几乎贝叶斯最优的所有步骤,但多项式数量,假设FSSS可以用来有效地采取行动,在任何可能的底层MDP。
2012-02-14 cs.AI
Near-Optimal Representation Learning for Hierarchical Reinforcement Learning
Google Brain(谷歌大脑)
研究目标条件分层强化学习中的表示学习问题。在这样的分层结构中,较高级别的控制器通过迭代地传达较低级别的策略被训练以达到的目标来解决任务。因此,表示的选择--观察空间到目标空间的映射--是至关重要的。为了研究这个问题,我们开发了一个概念的次优的表示,定义在预期回报的最优层次的政策,使用这种表示。我们推导出表达式的约束次优,并显示这些表达式可以被翻译为表示学习的目标,可以在实践中进行优化。许多困难的连续控制任务的结果表明,与现有方法相比,我们的表示学习方法在质量上更好地表示,在数量上更好地分层策略(参见https://sites.google.com/view/representation-hrl上的视频)。
2019-01-09 cs.AI
Managing caching strategies for stream reasoning with reinforcement learning
University of Calabria(卡拉布里亚大学);Vienna University of Technology(维也纳技术大学)
对不断变化的数据进行有效的决策对于许多应用领域都是必不可少的,例如网络物理系统,工业数字化等。现代流推理框架允许人们在新数据到达流时使用增量和连续评估程序来建模和解决各种现实问题。应用技术使用,例如,类似数据记录的实体化或真值维护算法,以避免昂贵的重新计算,从而确保流推理器的低延迟和高吞吐量。然而,现有方法的表现力是相当有限的,例如,它们不能用于编码在实践中经常出现的具有约束的问题。在本文中,我们提出了一种新的方法,使用的约束驱动的约束学习(CDCL),有效地更新遗留的解决方案,通过使用智能管理的学习约束。特别是,我们研究了强化学习的适用性,以不断评估在以前调用的求解算法为当前计算的学习约束的效用。对现实世界的重构问题进行的评估表明,提供一个CDCL算法与相关的学习约束,从以前的迭代结果显着的性能改进的算法在流推理的情况下。正在考虑接受TPLP。
2020-08-07 cs.AI
Concept and the implementation of a tool to convert industry 4.0 environments modeled as FSM to an OpenAI Gym wrapper
UTFPR - Federal University of Technology Paraná(巴拉那联邦技术大学(UTFPR))
工业4.0系统在其任务中对优化有很高的要求,无论是最大限度地降低成本,最大限度地提高产量,还是同步其执行器以完成或加快产品的制造。这些挑战使得工业环境成为应用所有现代强化学习(RL)概念的合适场景。然而,主要的困难是缺乏这种工业环境。通过这种方式,这项工作提出了一个工具的概念和实现,该工具允许我们将任何建模为FSM的动态系统转换为开源的Gym包装器。在此之后,可以使用任何RL方法来优化任何所需的任务。在该工具的第一个测试中,我们展示了在两个简单环境中运行的传统Q学习和深度Q学习方法。
2020-06-29 cs.AI cs.FL cs.LG
A Deep Reinforcement Learning Strategy for UAV Autonomous Landing on a Platform
Zhejiang University(浙江大学)
随着工业的发展,无人机出现在各个领域。近年来,深度强化学习在游戏领域取得了令人瞩目的成绩,我们致力于将深度强化学习算法应用于机器人领域,将强化学习算法从游戏场景走向现实应用场景。我们受到OpenAI Gym的LunarLander的启发,决定在强化学习领域进行一次大胆的尝试,来控制无人机。目前,将强化学习算法应用于机器人控制的工作还比较缺乏,与机器人控制相关的物理仿真平台只适合于经典算法的验证,不适合接入强化学习算法进行训练。在本文中,我们将面对这个问题,弥合物理仿真平台和智能代理之间的差距,将智能代理连接到物理仿真平台,让代理在近似真实世界的模拟器中学习和完成无人机飞行任务。提出了一种基于Gazebo的物理仿真平台(ROS-RL)的强化学习框架,并在该框架中使用三种连续动作空间强化学习算法来处理无人机自主着陆问题。实验证明了算法的有效性,基于强化学习的无人机自主着陆任务取得了圆满成功。
2022-09-07 cs.AI cs.RO
Generating Interpretable Fuzzy Controllers using Particle Swarm Optimization and Genetic Programming
Technical University of Munich(慕尼黑工业大学);Siemens AG(西门子股份公司)
使用预先存在的工厂轨迹数据自主训练可解释的控制策略(称为策略)在工业应用中具有极大的兴趣。模糊控制器作为可解释的、有效的系统控制器已经在工业中使用了几十年。在这项研究中,我们引入了一个模糊遗传编程(GP)的方法,称为模糊GP强化学习(FGPRL),可以选择相关的状态特征,确定所需的模糊规则集的大小,并自动调整所有的控制器参数同时。每个GP个体的适应度使用基于模型的批处理强化学习(RL)来计算,该批处理首先使用可用的系统样本来训练模型,然后执行Monte Carlo推出以预测每个策略候选者的性能。我们比较FGPRL的相关方法称为模糊粒子群强化学习(FPSRL),它使用群体智能调整模糊政策参数的扩展版本。使用工业基准的实验表明,FGPRL能够自主学习可解释的模糊策略,具有较高的控制性能。
2018-04-29 cs.AI
A Validation Tool for Designing Reinforcement Learning Environments
Northeastern University(东北大学);Facebook(脸书)
强化学习(RL)在学术界和科技行业中越来越受到关注,推出了各种有影响力的应用程序和产品。虽然在许多方面正在积极进行研究(例如,离线RL、性能等),许多强化学习的实践者面临着一个很大程度上被忽视的挑战:确定设计的马尔可夫决策过程(MDP)是否有效和有意义。本研究提出一种基于经验的特征分析方法来验证MDP是否是良好的制定。我们认为,适合应用RL的MDP应该包含一组状态特征,这些特征既对动作敏感,又能预测奖励。我们在构建的环境中测试了我们的方法,表明我们的方法可以识别某些无效的环境配方。据我们所知,进行有效性分析的RL问题制定是一个新的方向。我们设想我们的工具将作为一个激励性的例子,帮助从业者更容易地将RL应用于现实世界的问题。
2021-12-10 cs.AI cs.LG
A Memetic Algorithm with Reinforcement Learning for Sociotechnical Production Scheduling
Center for Applied Data Science (CfADS), Bielefeld University of Applied Sciences(应用数据科学中心,比勒费尔德应用科学大学)
本文针对复杂工业双资源约束柔性作业车间调度问题,提出融合深度强化学习与模因算法的调度框架,结合离散事件仿真和多准则优化,在真实生产数据上实现了对完工时间和总拖期的可靠高效优化。
2023-07-07 cs.AI cs.LG
Beyond Temporal Proximity: Explanatory World Models for Credit Assignment in Reinforcement Learning
Spotify;University of Cambridge(剑桥大学)
该研究针对强化学习中延迟奖励导致的信用分配低效问题,提出Explanatory World Models(EWM)框架,结合因果解释等理论设计变体,在多类基准及工业推荐系统上验证其性能优于现有方法。
2026-10-12 cs.AI cs.IR cs.LG
Towards Optimal District Heating Temperature Control in China with Deep Reinforcement Learning
EDF R&D China Center(法国电力研发中国中心)
实现中国区域供热网络的效率提高,从而减少其碳足迹,需要超越当前行业工具的新的优化控制方法。针对二级网络,我们提出了一种数据驱动的深度强化学习(DRL)方法来解决这一任务。我们建立了一个递归神经网络,在模拟数据上进行训练,以预测室内温度。然后,该模型用于训练两个DRL代理,有或没有专家指导,供水温度的最优控制。我们在多公寓环境中的测试表明,与优化的基线策略相比,这两种代理都可以确保更高的热舒适度,同时降低能源成本。
2020-12-18 cs.AI cs.LG cs.SY
Horizon: Facebook's Open Source Applied Reinforcement Learning Platform
Facebook(脸书);Mila(米拉);McGill University(麦吉尔大学)
在本文中,我们介绍了地平线,Facebook的开源应用强化学习(RL)平台。Horizon是一个端到端平台,旨在解决数据集很大(数百万到数十亿个观察结果)、反馈循环很慢(与模拟器相比)、实验必须小心完成(因为它们不在模拟器中运行)的行业应用RL问题。与其他RL平台不同,这些平台通常是为快速原型设计和实验而设计的,Horizon的设计以生产用例为首要考虑。该平台包含训练流行的深度RL算法的工作流,包括数据预处理、特征转换、分布式训练、反事实策略评估、优化服务和基于模型的数据理解工具。我们还展示和描述了使用Horizon训练的强化学习模型显著优于并取代Facebook的监督学习系统的真实例子。
2019-09-04 cs.AI cs.LG stat.ML
A Versatile and Efficient Reinforcement Learning Framework for Autonomous Driving
Tsinghua University(清华大学);China University of Mining and Technology(中国矿业大学);Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院(AIR))
关于最佳自动驾驶框架的激烈辩论仍在继续。经典的模块化流水线由于其强大的可解释性和稳定性而在行业中被广泛采用,而完全端到端的范式随着深度学习的兴起而表现出相当的简单性和可学习性。作为结合两种方法的优点的一种方式,学习语义上有意义的表示,然后在下游的驱动策略学习任务中使用,提供了一个可行的和有吸引力的解决方案。然而,仍有几个关键的挑战有待解决,包括确定最有效的表示,缓解模拟到真实的泛化问题以及平衡模型训练成本。在这项研究中,我们提出了一个通用的和有效的强化学习框架,并建立一个功能齐全的自动驾驶汽车的真实世界的验证。我们的框架对各种复杂的现实世界场景具有很大的通用性,并且与竞争基线相比具有优越的训练效率。
2022-03-03 cs.AI cs.RO
Autonomous Industrial Management via Reinforcement Learning: Self-Learning Agents for Decision-Making -- A Review
Arcada University of Applied Sciences(阿尔卡达应用科学大学);University of Aberdeen(阿伯丁大学)
工业一直在追求提高经济效率,目前的重点是利用现代技术减少人力。即使拥有从包装机器人到故障检测人工智能的尖端技术,一些新系统的目标仍然存在一些模糊性,即它们是自动化的还是自主的。在本文中,我们指出了自动化和自治系统之间的区别,以及审查目前的文献,并确定创建自主智能体的学习机制的核心挑战。我们讨论了使用不同类型的扩展现实,如数字孪生,训练强化学习代理通过泛化学习特定的任务。一旦实现泛化,我们将讨论如何使用这些来开发自学习代理。然后,我们介绍自我发挥的情况下,他们如何可以用来教自学代理通过一个支持性的环境,重点是代理如何能够适应不同的现实世界的环境。
2019-10-20 cs.AI cs.MA
Scheduling Distributed Flexible Assembly Lines using Safe Reinforcement Learning with Soft Shielding
Contemporary Amperex Technology Co., Limited(宁德时代新能源科技股份有限公司)
本文提出基于优势演员-评论家的强化学习方法实时调度分布式柔性装配线,结合紧凑环境表示与蒙特卡洛树搜索软屏蔽组件,有效解决长序列不安全行为并监控逾期风险。
2023-11-21 cs.AI cs.NE
High Quality Related Search Query Suggestions using Deep Reinforcement Learning
LinkedIn(领英)
“高质量相关搜索查询建议”任务旨在推荐真实、准确、多样、相关和吸引人的搜索查询。获得大量查询质量的人工注释是昂贵的。关于监督查询建议模型的先前工作遭受选择和暴露偏差,并且依赖于稀疏和嘈杂的即时用户反馈(例如,点击),导致低质量的建议。用于使用来自搜索结果的术语来重构查询的强化学习技术对于大规模行业应用具有有限的可扩展性。为了推荐高质量的相关搜索查询,我们训练了一个深度强化学习模型来预测用户接下来要输入的查询。奖励信号由长期会话用户反馈、句法相关度和生成查询的自然度估计组成。在基线监督模型上,我们提出的方法在推荐多样性(3%),下游用户参与度(4.2%)和每句单词重复率(82%)方面取得了显着的相对改善。
2021-08-10 cs.AI cs.IR cs.LG
A Deep Reinforcement Learning Based Multi-Criteria Decision Support System for Textile Manufacturing Process Optimization
ENSAIT(法国国立高等纺织艺术工业学院);Wuhan Textile University(武汉纺织大学)
纺织制造业是一个典型的传统产业,涉及高度复杂的相互关联的过程,在现代技术的应用能力有限。在这一领域的决策通常需要考虑多个标准,这通常会引起更多的复杂性。针对这一问题,提出了一种基于智能数据的随机森林(RF)模型和基于人类知识的层次分析法(AHP)多准则结构相结合的决策支持系统,该系统根据纺织生产过程的客观和主观因素,对纺织生产过程进行决策支持。更重要的是,将纺织品生产过程描述为马尔可夫决策过程(MDP)范式,并采用深度强化学习方案--深度Q网络(DQN)对纺织品臭氧氧化过程进行优化,通过实例验证了该系统的有效性,表明该系统能够更好地掌握纺织品生产过程中具有挑战性的决策任务。
2020-12-29 cs.AI cs.LG
Affordance-based Reinforcement Learning for Urban Driving
Carnegie Mellon University(卡内基梅隆大学)
遵循模块化方法的传统自动驾驶汽车管道过去在学术界和工业界都非常成功,这导致了道路上的自动驾驶。虽然这种方法提供了方便的解释,其推广到看不见的环境是有限的,需要手工设计的许多参数,特别是在预测和规划系统。最近,深度强化学习已被证明可以学习复杂的战略游戏并执行具有挑战性的机器人任务,这为学习驾驶提供了一个有吸引力的框架。在这项工作中,我们提出了一个深度强化学习框架,使用航点和低维视觉表示(也称为启示)来学习最优控制策略。我们证明,我们的代理从零开始训练时学习的任务车道跟踪,驾驶周围的交叉路口,以及停止在前面的其他演员或交通灯,即使在密集的交通设置。我们注意到,我们的方法在CARLA模拟器上实现了与原始基准方法和NoCrash基准方法相当或更好的性能。
2021-01-15 cs.AI cs.LG cs.RO
schlably: A Python Framework for Deep Reinforcement Learning Based Scheduling Experiments
University of Wuppertal(伍珀塔尔大学);Institute for Technologies and Management of the Digital Transformation(数字转型技术与管理研究所)
本文提出schlably框架,为基于深度强化学习的生产调度研究提供标准化Python工具集,减少重复开发工作并提升实验的可比性与可复用性。
2023-02-24 cs.AI cs.LG
The Case for Automatic Database Administration using Deep Reinforcement Learning
Big Data Analytics Group(大数据分析组);Saarland Informatics Campus(萨尔兰信息学园区);https://infosys.uni-saarland.de(萨尔兰大学信息系统)
像任何大型软件系统一样,一个成熟的DBMS提供了大量的配置旋钮。这些范围从静态初始化参数(例如缓冲区大小、并发程度或复制级别)到复杂的运行时决策(例如在特定列上创建二级索引或重新组织存储的物理布局)。为了简化配置,工业级DBMS通常附带各种咨询工具,为给定的工作负载和机器提供建议。然而,现实表明,实际的配置、调优和维护通常仍然是由人类管理员依靠直觉和经验完成的。最近关于深度强化学习的工作在解决需要这种直觉的问题方面显示出非常有希望的结果。例如,它已经非常成功地应用于学习如何玩具有巨大搜索空间的复杂游戏。受这些成就的激励,在这项工作中,我们将探索如何深度强化学习可以用来管理DBMS。首先,我们将描述如何使用深度强化学习通过定义问题环境来自动调优任意软件系统(如DBMS)。其次,我们在索引选择的具体示例中展示了NoDBA的概念,并评估了它为给定工作负载推荐索引的效果。
2018-01-17 cs.AI cs.DB
Fine-tuning Behavioral Cloning Policies with Preference-Based Reinforcement Learning
Department of Informatics, University of Zurich(苏黎世大学信息学院);ETH AI Center(ETH人工智能中心)
提出两阶段框架BRIDGE,先从无奖励专家数据学习安全初始策略,再用基于偏好的人类反馈在线微调,理论分析与实验均证明其能显著降低遗憾并提升样本效率。
2025-10-13 cs.AI cs.LG
A Survey on Applications of Reinforcement Learning in Spatial Resource Allocation
East China Normal University(华东师范大学);University of Dar es Salaam(达累斯萨拉姆大学);Shanghai University of Sport(上海体育大学)
本文针对传统空间资源分配算法计算压力大、难兼顾效率与实时性的问题,全面综述强化学习在该领域的理论方法、应用研究及基本原理,指出未来待解决的关键问题。
2024-03-07 cs.AI cs.LG
Pearl: A Production-ready Reinforcement Learning Agent
AI at Meta(Meta人工智能部门)
本文提出生产就绪的强化学习软件包Pearl,以模块化方式解决探索-利用、部分可观测、动态动作空间和安全等挑战,并通过基准测试与行业采用案例验证其生产实用性。
2024-09-02 cs.AI cs.LG
Soft Actor-Critic With Integer Actions
Princeton University(普林斯顿大学);Siemens Technology(西门子技术研究院)
强化学习在离散行为下得到了很好的研究。动作设置在行业中很受欢迎,但由于其高维性,仍然具有挑战性。为此,我们研究了整数动作下的强化学习,将软演员-评论家(SAC)算法与整数重新参数化。我们对整数动作的关键观察是,它们的离散结构可以使用它们的可比性来简化。因此,所提出的整数重新参数化不需要独热编码并且具有低维度。实验结果表明,在整数行为下,SAC算法在机器人控制任务上的性能与连续行为下的SAC算法相当,在配电系统控制任务上的性能优于近端策略优化.
2022-03-14 cs.AI cs.LG
A Modular Test Bed for Reinforcement Learning Incorporation into Industrial Applications
Salzburg University of Applied Sciences(萨尔茨堡应用科学大学);Paris Lodron University Salzburg(萨尔茨堡巴黎洛德隆大学)
本文提出一个模块化工业测试平台,通过模型工厂中按颜色分流、铆钉组装与运输的用例,验证强化学习提升工业4.0生产效率的可行性。
2023-06-02 cs.AI cs.SY eess.SY
Model-Free Reinforcement Learning for Financial Portfolios: A Brief Survey
金融投资组合管理是投资行业中最常遇到的问题之一。然而,凯利准则和风险平价在一定条件下都可以分解为均值方差,这意味着投资组合优化问题可能存在一个普适解,这一点尚未得到广泛的认可。实际上,在一定风险预算下,最大化投资组合的预期收益率的最优成分权重的顺序计算过程可以被重新表述为离散时间马尔可夫决策过程(MDP),因此可以被重新表述为随机最优控制,其中被控制的系统是由多个投资成分组成的投资组合,控制是其成分权重。因此,可以使用无模型强化学习(RL)来解决这个问题,而无需知道特定的组件动态。通过研究现有的方法,基于价值和基于政策的无模型RL的投资组合优化问题,我们确定了一些关键的未解决的问题和困难,今天的投资组合经理应用无模型RL到他们的投资组合。
2019-05-03 cs.AI cs.LG q-fin.PM
A Review of Reinforcement Learning in Financial Applications
North Carolina State University(北卡罗来纳州立大学);Amazon(亚马逊公司)
本文系统综述了强化学习在金融领域的应用,通过元分析揭示影响其性能的关键因素,并指出可解释性、MDP建模与鲁棒性等挑战及未来研究方向。
2024-11-01 cs.AI cs.LG q-fin.CP
Model-based reinforcement learning for protein backbone design
InstaDeep Ltd(英斯塔迪普公司);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出将AlphaZero与改进的MCTS框架结合,引入基于阈值的奖励和次级目标,用于蛋白质骨架设计,在自上而下任务中性能超越基线MCTS超过100%,展示了基于模型的强化学习在蛋白质设计中的潜力。
2024-05-03 cs.AI q-bio.BM
Online 3D Bin Packing Reinforcement Learning Solution with Buffer
Sungkyunkwan University(成均馆大学)
三维装箱问题(3D-BPP)是工业中需求量最大且最具挑战性的问题之一,其中智能体必须将按顺序递送的可变尺寸物品打包到有限的箱子中,以最大化空间利用率。它代表了一个强NP-Hard优化问题,因此迄今为止还没有提供具有高空间利用率的解决方案。在本文中,我们提出了一个新的强化学习(RL)框架的三维BPP解决方案,以提高性能。首先,引入缓冲区以允许多项动作选择。通过增加动作选择的自由度,可以导出导致更好的打包性能的更复杂的策略。其次,我们提出了一个不可知的数据增强策略,利用两个bin项目的对称性,以提高样本效率。第三,我们实现了一种基于模型的RL方法,该方法改编自流行的算法AlphaGo,该算法在零和游戏中表现出超人的性能。我们的适应是能够在单人游戏和分数为基础的环境中工作。尽管AlphaGo版本的计算量很大,但我们设法用单线程和GPU训练了所提出的框架,同时获得了在空间利用率方面优于最先进结果的解决方案。
2022-08-15 cs.AI cs.RO
Technical Challenges of Deploying Reinforcement Learning Agents for Game Testing in AAA Games
Electronic Arts (EA)(美国艺电(EA))
本文针对AAA级游戏生产中开发环境与最终产品差异大、测试能力不足的问题,介绍了在现有脚本机器人自动化测试方案中集成强化学习系统以提升测试覆盖率的实践,总结了落地中的耗时难点并提出相关研究方向,助力游戏行业应用强化学习技术。
2023-07-19 cs.AI cs.LG cs.SE
TranDRL: A Transformer-Driven Deep Reinforcement Learning Enabled Prescriptive Maintenance Framework
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
本文提出 TranDRL 框架,结合 Transformer 的 RUL 预测与 DRL 维护决策优化,并在 NASA C-MPASS 上验证其精度、维护优化及降本增效效果。
2024-08-03 cs.AI cs.LG
Solving the flexible job-shop scheduling problem through an enhanced deep reinforcement learning approach
TECNALIA, Basque Research and Technology Alliance (BRTA)(TECNALIA,巴斯克研究与技术联盟(BRTA));University of the Basque Country(巴斯克大学)
针对柔性作业车间调度尤其是大规模算例的实时调度需求,提出结合异构图神经网络、多样策略生成及DRL与分派规则融合的增强DRL方法,在公开基准上优于现有方法。
2024-01-30 cs.AI cs.LG
Multi-Mode Process Control Using Multi-Task Inverse Reinforcement Learning
State Key Laboratory of Industrial Control Technology, Institute of Cyber-Systems and Control, Zhejiang University(工业控制技术国家重点实验室,系统与控制研究院,浙江大学);Department of Chemical Engineering, Chung-Yuan Christian University(化学工程系, Chung-Yuan Christian University);Department of Chemical and Materials Engineering, University of Alberta(化学与材料工程系,阿尔伯塔大学)
本文提出将逆强化学习与多任务学习结合的框架,利用历史闭环数据提取奖励函数和控制策略,并引入潜在上下文变量实现多模式过程控制,解决了强化学习依赖数字孪生和奖励函数设计的问题。
2025-05-27 cs.AI cs.LG cs.SY
RLLTE: Long-Term Evolution Project of Reinforcement Learning
The Hong Kong Polytechnic University(香港理工大学);Ningbo Institute of Digital Twin, Eastern Institute of Technology(东方理工高等研究院宁波数字孪生研究院);Purdue University(普渡大学);Shenzhen Dajiang Innovation Technology Co., Ltd(深圳市大疆创新科技有限公司);University of Science and Technology of China(中国科学技术大学)
本文提出开源、模块化的强化学习框架 RLLTE,通过从利用—探索视角解耦算法并提供训练、评估、部署、基准与 LLM 副驾驶生态,支持算法开发与工程实践。
2024-12-04 cs.AI cs.LG
Leveraging Reinforcement Learning for evaluating Robustness of KNN Search Algorithms
TU Kaiserslautern(凯泽斯劳滕工业大学);German Research Center for Artificial Intelligence(德国人工智能研究中心)
在给定的数据集中为给定的查询点找到K-最近邻居的问题已经研究了好几年。在非常高维的空间中,K-最近邻搜索(KNNS)在计算高维距离的复杂性方面受到影响。由于维数灾难的问题,可靠地依靠各种近似最近邻搜索方法的结果变得相当繁琐。在本文中,我们调查了一些新的K-最近邻搜索方法,从计算的角度来解决搜索问题,近似结果的准确性和利用并行加速计算。我们试图推导出一个给定的KNNS方法的真阳性和假点之间的关系。最后,为了评估KNNS方法对对抗点的鲁棒性,我们提出了一个通用的基于强化学习的框架。
2021-02-10 cs.AI cs.LG
Vehicle routing problem using deep reinforcement learning - A case study about truck planning in the industry
Bosch Center for Artificial Intelligence(博世人工智能中心);School of Electronic Information and Electrical Engineering(电子信息与电气工程学院);School of Computer Science, Macau University of Science and Technology(澳门科技大学计算机学院)
本文以工业卡车规划为案例,针对三个物流场景,提出基于深度强化学习的车辆路径优化方法,其优化后路径总成本较基线降低10%以上,还提出可将该算法推广至更多VRP变体。
2026-08-10 cs.AI
K-nearest Multi-agent Deep Reinforcement Learning for Collaborative Tasks with a Variable Number of Agents
Hitachi Industrial AI Lab(日立工业人工智能实验室)
传统上,多智能体深度强化学习算法的性能是在游戏环境中展示和验证的,在游戏环境中,我们通常有固定数量的智能体。在许多工业应用中,可用试剂的数量可以在任何给定的一天改变,并且即使当试剂的数量提前已知时,试剂在操作期间中断并且在一段时间内变得不可用也是常见的。在本文中,我们提出了一种新的深度强化学习算法的多智能体协作任务与可变数量的代理。我们演示了我们的算法使用日立开发的车队管理模拟器在生产现场生成逼真的场景中的应用。
2022-01-18 cs.AI cs.LG cs.MA
Style Miner: Find Significant and Stable Explanatory Factors in Time Series with Constrained Reinforcement Learning
Huawei EI Innovation Lab(华为EI创新实验室)
在高维时间序列分析中,必须有一组关键因子(即风格因子)来解释观测变量的变化。例如,金融中的波动性建模依赖于一组风险因素,气候学中的气候变化研究依赖于一组因果因素。理想的低维风格因素应该平衡显著性(具有高解释力)和稳定性(一致,无显著波动)。然而,以前的监督和无监督特征提取方法很难解决的折衷。在本文中,我们提出了风格矿工,一个强化学习方法来生成风格因素。我们首先制定的问题作为一个约束马尔可夫决策过程的解释能力的回报和稳定性的约束。然后,我们设计细粒度的即时奖励和成本,并使用拉格朗日启发式自适应地平衡它们。在真实世界的金融数据集上进行的实验表明,Style Miner的性能大大优于现有的基于学习的方法,并且与人类专家提出的行业知名因素相比,R平方解释力提高了10%。
2023-03-21 cs.AI cs.LG q-fin.RM
Cooperative Multi-Agent Deep Reinforcement Learning for Reliable Surveillance via Autonomous Multi-UAV Control
Korea University(高丽大学);Mofl Inc.(Mofl公司);Hallym University(翰林大学);University of Central Florida(中佛罗里达大学);Ajou University(亚洲大学)
使用无人机(UAV)进行基于CCTV的监控被认为是智能城市环境中安全的关键技术。本文创建了一个案例,其中的无人机与闭路电视摄像机飞越城市地区的灵活和可靠的监视服务。无人机的部署应覆盖大面积,同时尽量减少重叠和阴影区域,以建立可靠的监视系统。然而,无人机的操作受到高度不确定性的影响,需要自主回收系统。这项工作开发了一种基于多智能体深度强化学习的管理方案,用于智能城市应用中的可靠行业监控。本文采用的核心思想是自主补充无人机的通信不足的网络需求。通过密集的模拟,我们提出的算法优于国家的最先进的算法在监视覆盖范围,用户支持能力和计算成本。
2022-01-15 cs.AI cs.LG cs.RO
DeepThermal: Combustion Optimization for Thermal Power Generating Units Using Offline Reinforcement Learning
JD Technology(京东科技)
优化火力发电机组(TPGU)的燃烧效率是能源行业中极具挑战性的关键任务。我们开发了一个新的数据驱动的AI系统,即DeepThermal,以优化TPGU的燃烧控制策略。其核心是一个新的基于模型的离线强化学习(RL)框架,称为MORE,它利用TGPU的历史操作数据通过纯离线训练来解决高度复杂的约束马尔可夫决策过程问题。在DeepThermal中,我们首先从离线数据集学习数据驱动的燃烧过程模拟器。然后,通过结合真实的历史数据以及经过仔细过滤和处理的模拟数据,通过一种新的限制性探索方案来训练MORE的RL代理。DeepThermal已成功部署在中国的四个大型燃煤火电厂。真实世界的实验表明,DeepThermal有效地提高了TPGU的燃烧效率。我们还报告了更优越的性能,通过比较与国家的最先进的算法在标准的离线RL基准。
2022-04-05 cs.AI cs.LG cs.SY
Clinician-in-the-Loop Decision Making: Reinforcement Learning with Near-Optimal Set-Valued Policies
University of Michigan(密歇根大学);Michigan Medicine, University of Michigan(密歇根大学密歇根医学院);Institute for Healthcare Policy & Innovation, University of Michigan(密歇根大学医疗政策与创新研究所)
标准的强化学习(RL)旨在找到一个最优策略,为每个状态确定最佳行动。然而,在医疗保健环境中,许多动作可以相对于奖励几乎等同(例如,生存)。我们考虑了另一个目标-学习集值策略,以捕获导致类似累积奖励的近似等价行为。我们提出了一个无模型算法的基础上的时间差异学习和一个近似贪婪的启发式动作选择。我们分析了所提出的算法的理论特性,提供最优性保证,并在模拟环境和实际临床任务上演示了我们的方法。经验上,该算法表现出良好的收敛性能,并发现有意义的近等价行动。我们的工作为临床医生/人在环决策提供了理论和实践基础,其中人类(例如,临床医生,患者)可以结合额外的知识(例如,副作用、患者偏好)。
2020-07-24 cs.AI cs.LG stat.ML
Towards Human-Centered Construction Robotics: A Reinforcement Learning-Driven Companion Robot for Contextually Assisting Carpentry Workers
Carnegie Mellon University(卡内基梅隆大学);Computational Design Laboratory(计算设计实验室);Robotics Institute(机器人研究所)
针对建筑机器人忽视人因复杂性的问题,本文提出以人为本的“工作伙伴漫游车”,通过情境化RL模块化框架在木工模板场景中实现安全、流畅的人机协作。
2024-09-14 cs.AI cs.HC cs.LG
Automatic Truss Design with Reinforcement Learning
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);Tongji University(同济大学)
本文提出两阶段框架AutoTruss,结合蒙特卡洛树搜索与强化学习,解决物理约束下桁架布局设计的稀疏奖励与组合优化难题,在3D测试中超越最佳布局25.1%。
2023-06-27 cs.AI cs.LG
Domain Adaptation of Reinforcement Learning Agents based on Network Service Proximity
Ericsson Research (Artificial Intelligence) India(爱立信研究院(人工智能)印度);Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
针对无线网络服务动态变化,提出基于服务邻近性的域适应方法,使RL智能体无需重新训练即可快速适应新服务类型,提升计算与成本效益。
2023-03-02 cs.AI cs.LG
A User Study on Explainable Online Reinforcement Learning for Adaptive Systems
Ruhr Institute for Software Technology(鲁尔软件技术研究所);University of Duisburg-Essen(杜伊斯堡-埃森大学)
本文通过54名软件工程师的用户研究,评估可解释在线强化学习技术XRL-DINE在自适应系统调试中的任务表现、感知有用性与易用性。
2023-07-09 cs.AI cs.SE