Automation and Feature Selection Enhancement with Reinforcement Learning (RL)
Portland State University(波特兰州立大学)
本文综述强化学习在自动化特征工程中的应用,涵盖单/多智能体、MCRFS、双智能体特征-实例选择及级联自优化框架,以提升高维数据预测性能与可解释性。
2025-03-15 cs.LG
A Survey on Neural Architecture Search Based on Reinforcement Learning
Tianjin University of Science and Technology(天津科技大学)
本文综述了基于强化学习的神经架构搜索方法,梳理其整体发展、改进与变体,重点讨论面向复杂结构和资源受限环境的自动网络结构搜索。
2024-09-30 cs.AI cs.LG
AutoDOViz: Human-Centered Automation for Decision Optimization
IBM Research(IBM研究院);University of Massachusetts Boston(马萨诸塞大学波士顿分校)
我们提出了AutoDOViz,一个交互式用户界面的自动决策优化(AutoDO)使用强化学习(RL)。决策优化(DO)通常由专门的DO研究人员实践,专家需要花很长时间通过试错来微调解决方案。AutoML管道搜索试图通过利用自动化来搜索和调整解决方案,使数据科学家更容易找到最好的机器学习管道。最近,这些进展已被应用到AutoDO领域,其目标类似于通过算法选择和参数调整找到最佳强化学习管道。然而,与ML问题相比,决策优化需要更复杂的问题规范。AutoDOViz旨在降低数据科学家在强化学习问题规范方面的准入门槛,利用AutoDO算法的优势进行RL管道搜索,最后,创建可视化和政策见解,以便在DO专家和领域专家之间交流问题制定和解决方案建议时促进典型的交互性。在本文中,我们报告了我们的调查结果,从半结构化的专家访谈DO从业者以及业务顾问,导致以人为本的自动化设计要求与RL的DO。我们与数据科学家一起评估了一个系统实现,发现在使用我们提出的解决方案后,他们对参与DO更加开放。AutoDOViz进一步增加了对RL代理模型的信任,并使自动化训练和评估过程更易于理解。如ML任务中的其他自动化所示,我们还得出结论,当界面促进人在回路时,用于DO的RL的自动化可以受益于用户,反之亦然。
2023-02-19 cs.AI cs.HC cs.LG
UI-S1: Advancing GUI Automation via Semi-online Reinforcement Learning
Zhejiang University(浙江大学);Tongyi Lab, Alibaba Group(通义实验室,阿里巴巴集团)
针对GUI智能体离线与在线强化学习的困境,提出半在线强化学习范式,在离线轨迹上模拟在线交互,引入折扣回报和双级优势优化,并在多个基准上显著提升性能。
2025-09-24 cs.AI cs.LG
Towards Learning-automation IoT Attack Detection through Reinforcement Learning
University of California(加利福尼亚大学);ARM Research(ARM研究院)
随着物联网(IoT)设备的大量部署,IoT中的安全和隐私问题引起了越来越多的关注。物联网攻击给物联网网络造成了巨大的损失,甚至威胁到人类的安全。与传统网络相比,物联网网络具有独特的特点,这使得攻击检测更具挑战性。首先,平台、协议、软件和硬件的异构性暴露了各种漏洞。其次,除了传统的高速率攻击外,低速率攻击也被物联网攻击者广泛用于混淆合法和恶意流量。这些低速率攻击很难检测到,并且可能在网络中持续存在。最后,攻击者正在变得更加智能,并且可以根据环境反馈动态地改变他们的攻击策略以避免被检测到,这使得防御者更难发现一致的模式来识别攻击。为了适应物联网攻击的新特点,提出了一种基于强化学习的攻击检测模型,能够自动学习和识别攻击模式的变化。因此,我们可以在更少的人为干预下持续检测物联网攻击。在本文中,我们探索了物联网流量的关键特征,并利用基于熵的指标来检测高速率和低速率的物联网攻击。然后,利用强化学习技术,根据检测反馈不断调整攻击检测阈值,优化检测和虚警率。我们对真实的物联网攻击数据集进行了广泛的实验,并证明了我们的物联网攻击检测框架的有效性。
2020-06-29 cs.AI cs.CR cs.LG
Automating the resolution of flight conflicts: Deep reinforcement learning in service of air traffic controllers
University of Piraeus(比雷埃夫斯大学);CRIDA
密集和复杂的空中交通场景需要比空中交通管制员(ATCO)今天使用的战术冲突检测和解决(CD\&R)工具所表现出的更高水平的自动化。然而,空中交通管制(ATC)领域对安全至关重要,需要人工智能系统,操作员可以放心地放弃控制,确保操作完整性和自动化采用。实现这一目标的两个主要因素是解决方案的质量和决策的透明度。本文提出了使用图卷积强化学习方法在多智能体环境中运行,其中每个智能体(飞行)与其他智能体一起执行CD\&R任务。我们表明,这种方法可以提供高质量的解决方案,就利益相关者的利益(空中交通管制员和空域用户),解决运营透明度问题。
2022-06-15 cs.LG cs.MA
A Survey on Offline Model-Based Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
该综述梳理了离线强化学习与基于模型的强化学习的概念及进展,聚焦二者交叉的离线基于模型强化学习领域,总结现有方法解决分布偏移问题的思路,提出领域挑战与未来研究方向。
2023-05-05 cs.AI cs.LG cs.SY
SimpleDS: A Simple Deep Reinforcement Learning Dialogue System
Heriot-Watt University(赫瑞-瓦特大学)
本文介绍了“SimpleDS”,这是一个简单且公开可用的对话系统,经过深度强化学习训练。与之前的强化学习对话系统相比,该系统通过直接从最后一个系统的原始文本和(嘈杂的)用户响应执行动作选择来避免手动特征工程。我们的初步结果,在餐厅领域,表明它确实是可能的,以诱导合理的对话行为的方法,其目的是高水平的自动化对话控制智能交互代理。
2016-01-18 cs.AI cs.LG
Trustworthy AI for Process Automation on a Chylla-Haase Polymerization Reactor
Siemens AG(西门子股份公司)
本文采用遗传编程强化学习(GPRL)方法对Chylla-Haase聚合反应器进行控制策略生成。这种带夹套冷却的连续搅拌釜式反应器(CSTR)广泛用于化学工业、精细化学品、颜料、聚合物和医疗产品的生产。尽管看起来相当简单,但在实际应用中控制CSTR是一个相当具有挑战性的问题。GPRL利用来自反应堆的现有数据,并全自动生成一组优化的简单化控制策略,即所谓的策略,领域专家可以从中选择。注意,这些策略是低复杂度的白盒模型,这使得它们易于在目标控制系统中验证和实现,例如,SIMATIC PCS 7.然而,尽管其复杂性低,自动生成的政策产生了高性能的反应器温度控制偏差,我们凭经验评估的原始反应器模板。
2021-08-30 cs.AI cs.LG cs.NE
Training High-Level Schedulers with Execution-Feedback Reinforcement Learning for Long-Horizon GUI Automation
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机科学学院)
本文提出CES多代理框架,通过训练高阶调度器解决GUI代理在长周期任务中的责任耦合和状态管理问题,提升任务规划与执行效率。
2026-03-04 cs.AI
GUI-Shift: Enhancing VLM-Based GUI Agents through Self-supervised Reinforcement Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Unaffiliated(无隶属机构)
提出GUI-Shift框架,通过自监督逆动力学任务K步GUI转换和强化学习,利用未标注轨迹提升VLM智能体的GUI自动化与接地性能,准确率提升达11.2%。
2025-10-10 cs.AI
Learning Control Barrier Functions and their application in Reinforcement Learning: A Survey
Polytechnique Montréal(蒙特利尔理工学院)
本文综述了安全强化学习中控制障碍函数的应用,并探讨了自动学习控制障碍函数的数据驱动方法,以提升强化学习在真实机器人应用中的安全性与有效性。
2024-04-22 cs.AI cs.LG cs.RO
A Survey of Deep Network Solutions for Learning Control in Robotics: From Reinforcement to Imitation
University of Freiburg(弗赖堡大学)
本文综述了深度学习在机器人学习控制中的应用,探讨了深度强化学习和模仿学习两大主流方法,分析了其在导航、 manipulation 任务中的应用及现实差距挑战。
2018-04-09 cs.AI cs.LG cs.RO
Reinforcement Learning for UAV control with Policy and Reward Shaping
Universidade de Pernambuco(伯南布哥大学);Universidad Central de Chile(智利中央大学);University of New South Wales(新南威尔士大学)
近年来,无人机(UAV)相关技术扩大了该领域的知识,揭示了需要解决的新问题和挑战。此外,由于该技术允许通常由人进行的过程自动化,因此在工业部门需求量很大。这些车辆的自动化已经在文献中提出,应用不同的机器学习策略。强化学习(RL)是一种自动化框架,经常用于训练自主智能体。RL是一种机器学习范例,其中代理与环境交互以解决给定任务。然而,自主学习可能是耗时的,计算昂贵的,并且在高度复杂的场景中可能不实用。交互式强化学习允许外部训练器在智能体学习任务时向其提供建议。在这项研究中,我们开始教RL代理同时使用奖励整形和策略整形技术来控制无人机。为训练提出了两种模拟情景;一种没有障碍物,一种有障碍物。我们还研究了每种技术的影响。结果表明,与只使用基于策略的方法训练的代理相比,同时使用这两种技术训练的代理获得更低的奖励。尽管如此,该代理在训练期间实现了更低的执行时间和更少的分散。
2022-12-06 cs.AI cs.LG cs.RO
NVCell: Standard Cell Layout in Advanced Technology Nodes with Reinforcement Learning
NVIDIA(英伟达)
由于复杂的设计规则,在先进技术节点中的高质量标准单元布局自动化在当今的行业中仍然具有挑战性。在本文中,我们介绍了一个自动的标准单元布局生成器称为NVCell,可以生成相同的或更小的面积超过90%的单行单元在一个先进的技术节点上的工业标准单元库的布局。NVCell利用强化学习(RL)来修复布线过程中的设计规则违规并生成有效的布局。
2021-07-09 cs.LG
A Survey of Exploration Methods in Reinforcement Learning
McGill University(麦吉尔大学);University of Amsterdam(阿姆斯特丹大学)
探索是强化学习算法的重要组成部分,其中代理需要学习如何预测和控制未知且通常是随机的环境。强化学习智能体非常依赖于探索来获得学习过程中的信息数据,因为缺乏足够的信息可能会阻碍有效的学习。在这篇文章中,我们提供了(顺序)强化学习中的现代探索方法的调查,以及探索方法的分类。
2021-09-02 cs.AI cs.LG
Boosting Reinforcement Learning and Planning with Demonstrations: A Survey
University of California, San Diego(加州大学圣地亚哥分校)
虽然强化学习最近取得了巨大的成功,但这种试错学习在复杂环境中可能不切实际或效率低下。另一方面,演示的使用使智能体能够从专家知识中受益,而不必通过探索来发现最佳行动。在本调查中,我们讨论了在顺序决策中使用演示的优点,在基于学习的决策范式中应用演示的各种方法(例如,强化学习和学习模型中的规划),以及如何在各种场景中收集演示。此外,我们在最近提出的ManiSkill机器人学习基准中创建了一个用于生成和利用演示的实用管道。
2023-03-27 cs.AI cs.LG cs.RO
Safe Continual Reinforcement Learning Methods for Nonstationary Environments. Towards a Survey of the State of the Art
McMaster Centre for Software Certification(麦克斯特软件认证中心);Department of Computing and Software(计算与软件系);McMaster University(麦克斯特大学)
本文综述了非平稳环境下安全持续强化学习的最新方法,探讨了理论挑战和未来发展方向。
2026-01-08 cs.AI cs.LG
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich(慕尼黑大学)
为了提供一个全面而简洁的教程综述,本文对概率图模型的变分推理和强化学习进行了回顾,并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导,作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
Learning-guided Prioritized Planning for Lifelong Multi-Agent Path Finding in Warehouse Automation
Massachusetts Institute of Technology(麻省理工学院)
本文提出RL-RH-PP框架,结合强化学习与搜索规划,提升仓库自动化中多智能体路径寻找的效率与适应性。
2026-03-25 cs.AI cs.RO
Deep Reinforcement Learning for Autonomous Driving: A Survey
Navya(纳维亚);Valeo(法雷奥);ENSTA Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎高等先进技术学院);AKKA Technologies(AKKA科技公司);National University of Ireland, Galway(爱尔兰国立高威大学)
随着深度表示学习的发展,强化学习(RL)领域已经成为一个强大的学习框架,现在能够在高维环境中学习复杂的策略。本文总结了深度强化学习(DRL)算法,并提供了一个分类的自动驾驶任务,其中(D)RL方法已被采用,同时解决关键的计算挑战,在现实世界中部署的自动驾驶代理。它还描绘了相邻的领域,如行为克隆,模仿学习,逆强化学习,相关的,但不是经典的RL算法。模拟器在训练代理中的作用,验证,测试和鲁棒化RL中现有解决方案的方法进行了讨论。
2021-01-23 cs.AI cs.LG cs.RO
The Factory Must Grow: Automation in Factorio
Michigan State University(密歇根州立大学)
在当今面临的许多问题中,资源的有效优化是成功的关键。在业务研究领域,员工的有效调度、货车的包装、车辆的路线、航空公司的物流和材料的运输可能是减少或过量排放、利润或损失以及可行性或不可行的解决方案之间的区别。Wube Software的视频游戏Factorio有无数类似于现实世界问题的问题,并且是开发这些问题的解决方案的有用模拟器。本文定义了物流运输带问题,建立了物流运输带问题的数学整数规划模型,开发了一个接口,允许任何程序设计语言的优化器与Factorio交互,并提供了物流运输带问题的初始基准。我们目前的结果模拟退火,快速遗传编程和进化强化学习,三种不同的元启发式技术来优化这个新的问题。
2021-02-09 cs.AI cs.NE
Reinforcement Learning for Sustainable Energy: A Survey
Leiden University(莱顿大学)
本文综述了强化学习在可持续能源领域的应用,系统梳理了能源生产到消费各环节的决策挑战及其强化学习建模方法,并探讨了多智能体、离线和安全强化学习等核心主题,为该交叉领域提供了广泛概述和未来方向。
2024-07-26 cs.AI cs.CY cs.LG
Group-wise Reinforcement Feature Generation for Optimal and Explainable Representation Space Reconstruction
University of Central Florida(中佛罗里达大学);Portland State University(波特兰州立大学);Nanjing University(南京大学)
表示(特征)空间是一个环境,其中数据点被矢量化,距离被计算,模式被表征,几何结构被嵌入。提取一个好的表示空间对于解决维数灾难、提高模型泛化能力、克服数据稀疏性以及提高经典模型的可用性至关重要。现有的文献,例如特征工程和表示学习,在实现完全自动化方面受到限制(例如,过度依赖于密集劳动和经验经验),可解释的明确性(例如,可追踪的重建过程和可解释的新特征),以及灵活的最优(例如,最优特征空间重构不嵌入到下游任务中)。我们能否同时解决机器学习任务中表示空间重构的自动化、显式性和最优性挑战?为了回答这个问题,我们提出了一个组明智的增强生成的角度来看。我们将表示空间重构转化为嵌套特征生成和选择的交互过程,其中特征生成是为了生成新的有意义的显式特征,而特征选择是为了消除冗余特征以控制特征尺寸。我们开发了一种级联强化学习方法,利用三个级联马尔可夫决策过程来学习最优生成策略,以自动化特征和操作的选择以及特征交叉。我们设计了一个分组生成策略,通过一个特征组,一个操作,和另一个特征组来生成新的特征,并找到可以提高探索效率和增加级联代理的奖励信号的策略。最后,我们提出了广泛的实验来证明我们的系统的有效性,效率,可追溯性和明确性。
2022-05-28 cs.AI cs.LG
A Survey of In-Context Reinforcement Learning
University of Virginia(弗吉尼亚大学);University of Oxford(牛津大学)
本文针对强化学习智能体需通过反向传播更新参数优化策略的问题,综述了无需更新参数、仅以额外上下文为条件解决新任务的上下文强化学习相关研究。
2025-02-11 cs.LG
A Brief Survey of Deep Reinforcement Learning
深度强化学习有望彻底改变人工智能领域,并代表着构建对视觉世界有更高理解的自主系统的一步。目前,深度学习使强化学习能够扩展到以前难以解决的问题,例如直接从像素学习玩视频游戏。深度强化学习算法也被应用于机器人技术,允许机器人的控制策略直接从现实世界中的摄像机输入中学习。在本调查中,我们首先介绍强化学习的一般领域,然后介绍基于价值观和基于政策的方法的主流。我们的调查将涵盖深度强化学习中的核心算法,包括深度$Q$网络,信任区域策略优化和异步优势演员-评论家。同时,我们强调了深度神经网络的独特优势,重点是通过强化学习进行视觉理解。最后,我们描述了该领域内的几个当前研究领域。
2017-09-28 cs.AI cs.CV cs.LG
Reinforcement Learning for Ridesharing: An Extended Survey
Lyft Rideshare Labs(来福车拼车实验室);University of North Carolina(北卡罗来纳大学);University of Michigan(密歇根大学)
在本文中,我们提出了一个全面的,深入的调查文献的强化学习方法的决策优化问题,在一个典型的共乘系统。涵盖了关于共乘匹配,车辆重新定位,共乘,路由和动态定价主题的论文。大多数文献都是在过去几年中出现的,几个核心挑战将继续得到解决:模型复杂性,代理协调和多个杠杆的联合优化。因此,我们还引入了流行的数据集和开放的仿真环境,以促进进一步的研究和开发。随后,我们讨论了一些强化学习研究在这个重要领域的挑战和机遇。
2022-10-24 cs.AI cs.LG
Tradeoffs When Considering Deep Reinforcement Learning for Contingency Management in Advanced Air Mobility
NASA Langley Research Center(NASA兰利研究中心)
本文研究先进空中交通中应急管理问题,将深度强化学习与经典方法进行对比,从性能、验证难度和开发过程等方面分析其权衡。
2024-06-28 cs.AI cs.LG
Transfer Learning in Deep Reinforcement Learning: A Survey
Michigan State University(密歇根州立大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文系统综述了深度强化学习中迁移学习方法的最新进展,提出分类框架并分析其目标、方法、兼容主干网络与应用,同时探讨了与其他相关主题的联系及未来挑战。
2023-07-04 cs.AI cs.LG stat.ML
A Survey on Explainable Deep Reinforcement Learning
Northwestern University(西北大学)
本综述针对深度强化学习(DRL)的黑箱不可解释性问题,系统梳理了可解释深度强化学习(XRL)的多维度解释技术、评估框架及应用场景,并探讨了其与大语言模型的集成及未来方向。
2025-02-08 cs.AI cs.LG
A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization
Yonsei University(延世大学)
深度强化学习(Deep Reinforcement Learning,DRL)旨在创建智能代理,这些智能代理可以学习在现实环境中有效地解决复杂问题。通常,两个学习目标:适应和泛化用于基线DRL算法的性能在不同的任务和领域。本文综述了基于DRL的自适应和泛化方法的最新进展。我们首先在任务和领域的背景下制定这些目标。然后,我们回顾了这些方法下的最新工作,并讨论了未来的研究方向,通过DRL算法的适应性和泛化能力可以提高,并可能使它们适用于广泛的现实世界的问题。
2022-02-17 cs.AI cs.LG
Causal Reinforcement Learning: A Survey
Australian Artificial Intelligence Institute, University of Technology Sydney(悉尼科技大学澳大利亚人工智能研究所)
本文综述了因果强化学习领域,探讨如何将因果关系纳入学习过程以解决传统强化学习在泛化、可解释性和试错效率上的核心挑战,并系统分类现有方法及未来方向。
2023-11-21 cs.AI cs.LG
Agentic Electronic Design Automation: A Handoff Perspective
The Chinese University of Hong Kong(香港中文大学);Primarius Technologies(Primarius技术公司)
本文从交接有效性角度出发,将EDA流程中的代理系统分为三类,并提出五层代理通信协议,以解决多阶段、多工具间的状态传递和验证问题。
2026-09-09 cs.AI cs.SE
Reinforcement Learning: A Survey
本文从计算机科学的角度对强化学习进行了综述。它是为了让熟悉机器学习的研究人员可以访问而编写的。这两个领域的历史基础和广泛的选择目前的工作进行了总结。强化学习是智能体通过与动态环境的试错交互来学习行为所面临的问题。这里描述的工作与心理学的工作有相似之处,但在细节和“强化”一词的使用上有很大的不同。本文讨论了强化学习的核心问题,包括权衡探索和利用,通过马尔可夫决策理论建立该领域的基础,从延迟强化中学习,构建经验模型来加速学习,利用泛化和层次结构,以及处理隐藏状态。它的结论与调查的一些实施系统和评估的实际效用,目前的方法强化学习。
1996-05-01 cs.AI
A Survey of Text Games for Reinforcement Learning informed by Natural Language
University of Manchester(曼彻斯特大学)
强化学习在许多复杂的虚拟环境中取得了成功。然而,以自然语言为核心组件解决问题仍然存在许多挑战。交互式小说游戏(或文本游戏)就是这样一种问题类型,它提供了一组部分可观察的环境,其中需要自然语言作为强化学习解决方案的一部分。因此,这项调查的目的是协助开发新的文本游戏问题设置和自然语言告知的强化学习解决方案。具体而言,本次调查总结:1)引入文本游戏强化学习问题的挑战,2)生成工具,用于评估文本游戏和随后产生的环境,3)目前应用的代理架构进行比较,为未来的研究人员提供基准方法和机会的系统性审查。
2021-09-20 cs.AI
A survey of benchmarking frameworks for reinforcement learning
University of South Africa(南非大学)
强化学习最近在机器学习社区中越来越突出。随着新技术的不断发展,解决强化学习问题的方法也越来越多。当使用强化学习解决问题时,有各种困难的挑战需要克服。为了确保该领域的进展,基准测试对于测试新算法和与其他方法进行比较非常重要。因此,公平比较结果的可重复性对于确保准确判断改进至关重要。本文概述了强化学习基准测试的不同贡献,并讨论了它们如何帮助研究人员解决强化学习面临的挑战。讨论的贡献是最常用的和最近的文献。本文讨论的贡献方面的实施,任务和提供的算法实现与基准。该调查旨在引起人们对广泛的强化学习基准测试任务的关注,并鼓励以标准化的方式进行研究。此外,这项调查还为不熟悉可用于开发和测试新的强化学习算法的不同任务的研究人员提供了概述。
2020-11-27 cs.LG
An Autonomous Performance Testing Framework using Self-Adaptive Fuzzy Reinforcement Learning
RISE Research Institutes of Sweden(瑞典RISE研究院);Mälardalen University(梅拉达伦大学)
测试自动化带来了降低成本和人力的潜力,但是软件测试的几个方面仍然具有自动化的挑战。一个这样的例子是自动化性能测试,以找到性能突破点。目前的性能测试用例自动生成方法主要涉及使用源代码或系统模型分析或基于用例的技术。但是,源代码和系统模型在测试时可能并不总是可用的。另一方面,如果测试系统可以学习测试过程中针对预期目标的最佳性能测试策略,则可以在没有高级性能模型的情况下实现测试自动化。此外,学习的策略可以在以后被重用于类似的软件系统中,从而导致更高的测试效率。我们提出了SaFReL,一个自适应模糊强化学习为基础的性能测试框架。SaFReL通过初始学习阶段学习最优策略以生成性能测试用例,然后在迁移学习阶段重用它,同时保持学习运行并长期更新策略。通过在模拟环境中的多次实验,我们证明了我们的方法比典型的测试过程更有效地为不同的程序生成目标性能测试用例,并且在不访问源代码和性能模型的情况下自适应地执行。
2020-07-30 cs.AI cs.PF cs.SE
A Survey on Reinforcement Learning in Aviation Applications
George Washington University(乔治·华盛顿大学);Ecole Nationale de l’Aviation Civile(法国国立民用航空学院);Rochester Institute of Technology(罗切斯特理工学院)
本文综述了强化学习在航空领域的应用,介绍了标准RL表述与求解方法,调查了现有基于RL的航空应用,并指出了技术差距与未来研究方向。
2024-07-25 cs.LG cs.SY eess.SY
Logic-Free Building Automation: Learning the Control of Room Facilities with Wall Switches and Ceiling Camera
The University of Tokyo(东京大学)
针对传统强化学习在楼宇自动化实际部署中存在挑战的问题,提出无逻辑楼宇自动化架构,以墙壁开关为监督信号、天花板摄像头感知环境,让深度学习模型直接学习用户偏好控制,VGG模型实现93%-98%的控制准确率,优于其他模型。
2024-09-18 cs.AI cs.CV cs.HC
A Survey of Explainable Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学)
可解释强化学习(XRL)是近年来引起广泛关注的可解释机器学习的一个新兴子领域。XRL的目标是阐明学习代理在顺序决策设置中的决策过程。在这项调查中,我们提出了一种新的分类法,用于组织XRL文献,优先考虑RL设置。我们根据这种分类法概述技术。我们指出文献中的差距,我们用它来激励和概述未来工作的路线图。
2022-02-17 cs.LG
Deep Reinforcement Learning for Intelligent Transportation Systems: A Survey
最新的技术改进提高了运输质量。新的数据驱动方法为所有基于控制的系统带来了新的研究方向,例如,在交通、机器人、物联网和电力系统中。将数据驱动的应用程序与交通系统相结合在最近的交通应用中起着关键作用。在本文中,最新的深度强化学习(RL)为基础的交通控制应用进行了调查。具体而言,交通信号控制(TSC)的应用程序的基础上(深)RL,这已被广泛研究的文献中,详细讨论。不同的问题配方,RL参数,和仿真环境的TSC进行了全面讨论。在文献中,也有一些使用深度RL模型研究的自动驾驶应用。我们的调查广泛总结了现有的作品在这一领域进行分类,它们与应用类型,控制模型和研究算法。最后,我们讨论了基于深度RL的交通应用的挑战和开放性问题。
2020-05-02 cs.LG cs.MA cs.SY
Deep Reinforcement Learning for Clinical Decision Support: A Brief Survey
National University of Singapore(新加坡国立大学);National University Hospital(国立大学医院)
由于人工智能特别是深度学习的最新进展,已经实现了许多数据驱动的决策支持系统,以促进医生提供个性化护理。本文重点研究了深度强化学习(DRL)模型。DRL模型在计算机视觉和游戏(如围棋和Atari游戏)中表现出了人类水平甚至更高的性能。然而,深度强化学习技术在临床决策优化中的采用仍然很少见。我们提出了第一个调查,总结了强化学习算法与深度神经网络(DNN)的临床决策支持。我们还讨论了一些案例研究,其中不同的DRL算法被应用于解决各种临床挑战。我们进一步比较和对比各种DRL算法的优点和局限性,并提出了一个初步的指导,如何选择合适的DRL算法的特定的临床应用。
2019-07-22 cs.AI cs.LG stat.ML
Efficient Connected and Automated Driving System with Multi-agent Graph Reinforcement Learning
McGill University(麦吉尔大学)
互联和自动驾驶汽车(CAV)最近引起了越来越多的关注。快速的驱动时间使它们具有提高整个运输系统的效率和安全性的潜力。由于技术挑战,将有一部分车辆可以配备自动化,而其他车辆则没有自动化。我们不是学习自我自动驾驶汽车的可靠行为,而是专注于如何通过让每个自动驾驶汽车学习相互合作并调节人类驾驶的交通流量来改善整个交通系统的结果。最先进的方法之一是使用强化学习来学习智能决策策略。然而,直接强化学习框架不能提高整个系统的性能。在这篇文章中,我们证明,考虑问题的多代理设置共享的政策,可以帮助实现更好的系统性能比非共享的政策,在单代理设置。此外,我们发现,利用注意力机制的互动功能,可以捕捉每个代理之间的相互作用,以促进合作。据我们所知,虽然以前的自动驾驶研究主要集中在提高个人的驾驶性能,这项工作作为一个起点,系统级的多智能体合作性能的研究,使用图形信息共享。我们进行了广泛的实验,在汽车跟随和无信号交叉口设置。结果表明,我们的方法控制的CAV可以达到最佳的性能对几个国家的最先进的基线。
2021-10-22 cs.LG stat.ML
Deep Reinforcement Learning Versus Evolution Strategies: A Comparative Survey
Delft University of Technology(代尔夫特理工大学);VU Amsterdam(阿姆斯特丹自由大学)
深度强化学习(DRL)和演化策略(ES)在许多顺序决策问题中已经超越了人类控制,但仍然存在许多开放的挑战。为了深入了解DRL与ES的优势和劣势,分析了它们各自的能力和局限性。在介绍了它们的基本概念和算法之后,在可扩展性、探索性、适应动态环境和多智能体学习等关键方面进行了比较。然后,混合算法的好处,结合DRL和ES的概念突出。最后,有一个关于他们如何在现实世界中的应用程序进行比较的指示,他们支持的应用程序集的文献调查提供。
2021-09-28 cs.AI cs.LG
Offline Reinforcement Learning: Tutorial, Review, and Perspectives on Open Problems
UC Berkeley(加州大学伯克利分校);Google Research, Brain Team(谷歌研究大脑团队)
在这篇教程文章中,我们的目标是为读者提供开始研究离线强化学习算法所需的概念工具:强化学习算法利用以前收集的数据,而无需额外的在线数据汇集。离线强化学习算法在将大型数据集转化为强大的决策引擎方面具有巨大的潜力。有效的离线强化学习方法将能够从可用数据中提取具有最大可能效用的策略,从而实现从医疗保健和教育到机器人等广泛决策领域的自动化。然而,当前算法的局限性使得这很困难。我们的目标是让读者了解这些挑战,特别是在现代深度强化学习方法的背景下,并描述在最近的工作中探索的一些潜在解决方案,以减轻这些挑战,以及最近的应用,以及对该领域开放问题的观点的讨论。
2020-11-01 cs.AI cs.LG stat.ML
New Challenges in Reinforcement Learning: A Survey of Security and Privacy
University of Technology Sydney(悉尼科技大学);City University of Macau(澳门城市大学)
强化学习(Reinforcement Learning,RL)是人工智能的重要分支之一。由于其在动态环境中的自适应和决策能力,强化学习已广泛应用于医疗保健、数据市场、自动驾驶和机器人等多个领域。然而,其中一些应用程序和系统已被证明容易受到安全或隐私攻击,导致服务不可靠或不稳定。大量的研究集中在强化学习中的这些安全和隐私问题上。然而,很少有调查对现有问题和最先进的解决办法进行系统审查和比较,以跟上新出现的威胁的步伐。因此,我们在此提出了这样一个全面的审查,解释和总结的挑战与安全和隐私的强化学习从一个新的角度,即马尔可夫决策过程(MDP)。在本调查中,我们首先介绍与该领域相关的关键概念。接下来,我们将分别讨论与MDP流程的状态、操作、环境和奖励函数相关的安全和隐私问题。我们进一步强调了与强化学习相关的安全和隐私方法的特殊性。最后,我们讨论了该领域未来可能的研究方向。
2022-12-31 cs.AI cs.CR cs.LG
A Short Survey on Probabilistic Reinforcement Learning
University of New Hampshire(新罕布什尔大学);Department of Computer Science(计算机科学系)
一个强化学习智能体试图通过在未知环境中的交互来最大化其累积收益。重要的是,智能体要探索次优行动,以及选择具有最高已知奖励的行动。然而,在敏感领域,通过探索收集更多数据并不总是可能的,但重要的是要找到一个具有一定性能保证的策略。在本文中,我们提出了一个简短的调查,在文献中的方法平衡探索-开发权衡和计算强大的解决方案,从固定的样本在强化学习。
2019-01-21 cs.LG stat.ML
Reinforcement Learning for IoT Security: A Comprehensive Survey
Howard University(霍华德大学)
对于不同的物联网(IoT)应用,连接的智能设备数量呈指数级增长。安全性一直是物联网系统中的一个长期挑战,物联网系统具有许多攻击向量,安全缺陷和漏洞。确保物联网中数十亿B连接设备的安全是实现物联网应用全部潜力的必要任务。最近,研究人员为物联网提出了许多安全解决方案。机器学习已被提出作为物联网安全的新兴解决方案之一,强化学习在保护物联网系统方面越来越受欢迎。与其他机器学习技术不同,强化学习可以通过具有关于要学习的参数的最小信息来学习环境。它通过与环境交互来动态地调整参数来解决优化问题。在本文中,我们全面调查了针对不同物联网系统的不同类型的网络攻击,然后我们提出了强化学习和基于深度强化学习的安全解决方案,以打击不同物联网系统中的不同类型的攻击。此外,我们提出了用于保护CPS系统的强化学习(即,具有反馈和控制的物联网),如智能电网和智能交通系统。还以表格的形式总结了最近在物联网中使用强化学习B的重要攻击和对策。通过本文,读者可以更深入地了解使用强化学习的物联网安全攻击和对策,以及该领域的研究趋势。
2021-02-14 cs.AI cs.LG
Model-based Reinforcement Learning: A Survey
Leiden University(莱顿大学);TU Delft(代尔夫特理工大学)
序列决策通常形式化为马尔可夫决策过程(MDP)优化,是人工智能中的一个重要挑战。解决这个问题的两个关键方法是强化学习(RL)和规划。本文介绍了这两个领域的整合,更好地称为基于模型的强化学习的调查。基于模型的RL有两个主要步骤。首先,我们系统地介绍了动态模型学习的方法,包括处理随机性、不确定性、部分可观测性和时间抽象等挑战。其次,我们提出了一个系统的分类规划学习集成,包括这样的方面:从哪里开始规划,什么预算分配到规划和真正的数据汇集,如何规划,以及如何整合规划的学习和行动循环。在这两个部分之后,我们还讨论了隐式的基于模型的强化学习作为模型学习和规划的端到端替代方案,并介绍了基于模型的强化学习的潜在好处。在此过程中,调查还与几个相关的RL领域建立了联系,如分层RL和迁移学习。总而言之,调查提出了一个广泛的概念概述的MDP优化的规划和学习相结合。
2022-03-31 cs.AI cs.LG stat.ML
Multi-Agent Reinforcement Learning for Resources Allocation Optimization: A Survey
University of South Australia(南澳大学)
本文综述了用于资源分配优化(RAO)的最新多智能体强化学习(MARL)算法,涵盖核心概念、分类与结构化分类法,并指出当前挑战与未来方向,以助力工业4.0发展。
2025-04-29 cs.AI cs.LG cs.MA
A Survey Analyzing Generalization in Deep Reinforcement Learning
University College London(伦敦大学学院)
该综述形式化分析了深度强化学习的泛化性问题,阐释过拟合根源,分类讲解各类提升泛化性的方法,覆盖多类子领域,可为领域发展提供指南并助力构建鲁棒高泛化性的深度神经策略。
2024-10-30 cs.AI cs.LG stat.ML
A Survey of Deep Reinforcement Learning in Recommender Systems: A Systematic Review and Future Directions
University of New South Wales(新南威尔士大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);University of Technology Sydney(悉尼科技大学)
鉴于深度强化学习(DRL)在推荐系统研究中的出现以及近年来取得的一些丰硕成果,本文旨在对深度强化学习在推荐系统中的最新发展趋势进行及时而全面的综述。我们首先介绍了在推荐系统中应用DRL的动机。然后,我们提供了一个分类目前基于DRL推荐系统和现有的方法的总结。我们讨论新出现的主题和开放的问题,并提供我们对推进该领域的观点。本调查作为学术界和工业界读者对这一主题的介绍材料,并确定了进一步研究的重要机会。
2021-09-09 cs.AI cs.IR
A Survey on Large-Population Systems and Scalable Multi-Agent Reinforcement Learning
Technische Universität Darmstadt(达姆施塔特工业大学)
大种群系统的分析和控制对不同的研究和工程领域都有很大的兴趣,从流行病学到机器人群到经济和金融。在多智能体系统中实现顺序决策的一种越来越流行和有效的方法是通过多智能体强化学习,因为它允许对高度复杂的系统进行自动和无模型的分析。然而,可扩展性的关键问题使控制和强化学习算法的设计复杂化,特别是在具有大量代理的系统中。虽然强化学习在许多只有少数智能体的场景中取得了巨大的经验成功,但许多智能体的问题很快变得棘手,需要特别考虑。在这项调查中,我们将阐明当前的方法来可追溯地理解和分析大人口系统,无论是通过多智能体强化学习,并通过相邻的研究领域,如平均场游戏,集体智慧,或复杂网络理论。这些经典独立的学科领域提供了各种方法来理解或建模大人口系统,这可能是非常有用的制定易于处理的MARL算法在未来。最后,我们调查潜在的大规模控制的应用领域,并确定在实际系统中的学习算法富有成效的未来应用。我们希望我们的调查可以提供洞察力和未来的方向,初级和高级研究人员在理论和应用科学一样。
2022-09-08 cs.AI cs.LG cs.MA
A Survey of WebAgents: Towards Next-Generation AI Agents for Web Automation with Large Foundation Models
The Hong Kong Polytechnic University(香港理工大学);City University of Hong Kong(香港城市大学);Michigan State University(密歇根州立大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本综述从架构、训练和可信度三方面全面梳理基于大型基础模型的WebAgents研究,旨在利用AI自动处理繁琐网络任务以提升效率,并展望未来方向。
2025-08-05 cs.AI