Memory-Augmented Reinforcement Learning Agent for CAD Generation
Zhejiang University(浙江大学)
本文提出了一种记忆增强的强化学习框架,用于生成CAD模型,通过引入强化学习进行检索和策略优化,有效避免了检索陷阱,提高了复杂CAD模型生成的成功率和几何一致性。
2026-08-12 cs.AI cs.MA
CADRE: A Cascade Deep Reinforcement Learning Framework for Vision-based Autonomous Urban Driving
Beijing Institute of Technology(北京理工大学);Syracuse University(雪城大学);Midea Group(美的集团)
本文提出级联深度强化学习框架 CADRE,通过离线 CoPM 协同注意力感知与在线分布式 PPO 策略学习,实现基于视觉的无模型城市自动驾驶,并在 CARLA NoCrash 及避障场景中显著优于现有方法。
2023-04-19 cs.AI cs.CV
Efficient Reinforcement Learning in Block MDPs: A Model-free Representation Learning Approach
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学);Google Research(谷歌研究院)
我们提出了BRIEE(具有交织探索利用的块结构表示学习),这是一种在具有块结构动态的马尔可夫决策过程中进行有效强化学习的算法(即,块MDP),其中丰富的观测结果是从一组未知的潜在状态中生成的。BRIEE将潜在状态发现、探索和利用交织在一起,并且可以证明学习一个接近最优的策略,其样本复杂度在潜在状态、动作和时间范围的数量上呈多项式缩放,而不依赖于潜在无限观测空间的大小。从经验上讲,我们表明,BRIEE比最先进的块MDP算法HOMER和其他经验RL基线更具样本效率,具有挑战性的丰富观测组合锁问题,需要深入探索。
2022-10-11 cs.AI cs.LG
Blockwise Sequential Model Learning for Partially Observable Reinforcement Learning
School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院)
本文提出了一种新的序列模型学习结构来解决部分可观测马尔可夫决策问题。与传统的基于递归神经网络的方法在每个时间步压缩顺序信息不同,所提出的架构在每个数据块中生成具有多个时间步长度的潜在变量,并将最相关的信息传递到下一个块进行策略优化。所提出的分块顺序模型是基于自注意实现的,使得该模型能够在部分可观察设置下进行详细的顺序学习。该模型利用自归一化重要性采样建立了一个额外的学习网络,有效地实现了梯度估计,在模型学习中不需要复杂的分块输入数据重构。数值结果表明,所提出的方法显着优于以往的方法在各种部分可观测的环境。
2021-12-10 cs.AI cs.LG
Recomposing the Reinforcement Learning Building Blocks with Hypernetworks
Bar-Ilan University(巴伊兰大学)
强化学习(RL)构建块,即Q函数和策略网络,通常将来自两个域的卡络积的元素作为输入。特别地,Q函数的输入是状态和动作,并且在多任务问题(Meta-RL)中,策略可以采用状态和上下文。标准架构倾向于忽略这些变量的底层解释,并简单地将它们的特征连接到单个向量中。在这项工作中,我们认为,这种选择可能会导致不良的梯度估计的演员-评论家算法和高方差学习步骤的元-RL算法。为了考虑输入变量之间的相互作用,我们建议使用超网络架构,其中主网络确定条件动态网络的权重。我们表明,这种方法提高了梯度近似,降低了学习步长方差,这既加快了学习,提高了最终的性能。我们在RL(TD 3和SAC)和Meta-RL(MAML和PEARL)中展示了不同运动任务和不同算法的一致改进。
2021-06-12 cs.AI cs.LG
SOV-CAD: Stepwise Orthographic Views Guided CAD Modeling Sequence Reconstruction
School of Software Technology, Zhejiang University(浙江大学软件学院);Zhejiang Key Laboratory of Digital-Intelligence Service Technology, Zhejiang University(浙江大学数字智能服务技术重点实验室);ZWSOFT Co., Ltd.(ZWSOFT公司)
研究从图像重建CAD建模序列,引入逐步视觉监督,提出SOV-CAD框架将其作为序列决策任务,用离线强化学习及决策变压器架构,利用几何对齐奖励的视觉反馈,提升重建准确性与数据效率。
2026-09-25 cs.AI cs.CV
Tackling Snow-Induced Challenges: Safe Autonomous Lane-Keeping with Robust Reinforcement Learning
Department of Electrical Engineering, Amirkabir University of Technology(电气工程系,阿米尔卡比尔技术大学);Department of Mechanical Engineering, Amirkabir University of Technology(机械工程系,阿米尔卡比尔技术大学)
本文提出两种基于鲁棒强化学习的算法,用于提升自动驾驶车辆在雪地条件下的车道保持性能,通过结合时间记忆、对抗鲁棒性和注意力机制提高路径跟踪的准确性和稳定性。
2025-12-15 cs.AI cs.CV cs.LG
Blockchain-assisted Demonstration Cloning for Multi-Agent Deep Reinforcement Learning
Concordia University(康考迪亚大学);Khalifa University(哈利法大学)
本文提出区块链辅助的多专家演示克隆框架,利用专家演示和区块链模型共享指导多智能体强化学习,提升学习速度与抗恶意模型韧性。
2025-01-19 cs.AI cs.LG
Assessing Policy, Loss and Planning Combinations in Reinforcement Learning using a New Modular Architecture
INESC-ID / Instituto Superior Técnico(INESC-ID / 里斯本高等理工学院)
基于模型的强化学习范式使用规划算法和神经网络模型,最近在各种应用中取得了前所未有的成果,导致了现在被称为深度强化学习的东西。这些代理人是相当复杂的,涉及多个组件,因素,可以创造研究的挑战。在这项工作中,我们提出了一种适合这些类型代理的新模块化软件架构,以及一组可以轻松重用和组装的构建块,以构建新的基于基于模型的强化学习代理。这些构建块包括规划算法、策略和损失函数。我们说明了使用这种架构相结合的几个这些构建块来实现和测试代理,优化到三个不同的测试环境:Cartpole,Minigrid和Tictactoe。一个特定的规划算法,在我们的实现中可用,以前没有在强化学习中使用,我们称之为平均极大极小,在三个测试环境中取得了良好的效果。用这种结构进行的实验表明,规划算法、策略和损失函数的最佳组合严重依赖于问题。这一结果提供了证据表明,所提出的架构,这是模块化和可重用的,是有用的强化学习研究人员谁想要研究新的环境和技术。
2022-01-08 cs.AI cs.LG
Blockchain-based Crowdsourced Deep Reinforcement Learning as a Service
Concordia University(康考迪亚大学);Khalifa University(哈利法大学)
本文提出了一种基于联盟区块链的众包深度强化学习即服务(DRLaaS)框架,通过众包和模型共享降低用户使用DRL的门槛,并利用智能合约和IPFS确保可追溯与防篡改。
2025-01-22 cs.AI cs.LG
Block Contextual MDPs for Continual Learning
Facebook AI Research(Facebook人工智能研究院);McGill University(麦吉尔大学);UC Berkeley(加州大学伯克利分校)
在强化学习(RL)中,当定义马尔可夫决策过程(MDP)时,环境动态被隐含地假设为是平稳的。这种平稳性的假设虽然简单,但在许多情况下可能是不现实的。在连续强化学习场景中,任务序列是非平稳性的另一个来源。在这项工作中,我们建议通过块上下文MDP(BC-MDP)框架来检查这种连续的强化学习设置,这使我们能够放松平稳性的假设。这个框架挑战RL算法处理非平稳性和丰富的观察设置,并通过额外利用平滑特性,使我们能够研究此设置的泛化边界。最后,我们从自适应控制的灵感,提出了一种新的算法,解决了这个更现实的BC-MDP设置所带来的挑战,允许zero-shot适应在评估时间,并在几个非平稳环境中实现强大的性能。
2021-10-13 cs.AI cs.LG
Break the Block: Dynamic-size Reasoning Blocks for Diffusion Large Language Models via Monotonic Entropy Descent with Reinforcement Learning
School of Electrical Engineering and Computer Science, The University of Queensland, Brisbane, Queensland, Australia(电气工程与计算机科学学院,昆士兰大学,布里斯班,昆士兰,澳大利亚)
针对扩散大语言模型中固定大小推理块导致的逻辑连贯性差和效率低问题,提出基于单调熵下降目标与强化学习的后训练框架b1,学习动态大小推理块以提升推理连贯性。
2026-05-27 cs.LG
DeciCAD: Harness-Grounded Learning of Action Policies for CAD Agents
University of Science and Technology of China(中国科学技术大学);Nanyang Technological University(南洋理工大学)
该研究针对CAD领域提出DeciCAD工具集,结合SFT与在线RL优化动作策略,在四个CAD基准上实现最优F1与IoU,同时大幅减少模型输出令牌,验证了工具集决策空间对智能体学习的关键作用。
2026-10-16 cs.AI cs.CL cs.LG
Reinforcement Learning Approach to Optimizing Profilometric Sensor Trajectories for Surface Inspection
Oviedo University(奥维耶多大学);CIN Systems(CIN系统公司)
本文提出基于强化学习和Boustrophedon扫描的轮廓测量传感器检测轨迹优化方法,通过PPO训练智能体动态调整传感器位姿与间距,实现均匀高质量表面扫描。
2024-09-05 cs.AI cs.RO
Draw it like Euclid: Teaching transformer models to generate CAD profiles using ruler and compass construction steps
Autodesk Research(Autodesk研究院)
本文提出通过直尺和圆规构造步骤生成CAD轮廓的方法,结合强化学习提升生成质量,并实现参数化编辑。
2026-01-14 cs.GR cs.LG
Block-R1: Rethinking the Role of Block Size in Multi-domain Reinforcement Learning for Diffusion Large Language Models
The University of Queensland(昆士兰大学)
本文从领域冲突角度研究多领域场景下扩散大语言模型强化学习中的块大小问题,提出领域块大小冲突公式、Block-R1-41K数据集、Block-R1基准和跨领域强化学习方法,通过13个数据集和7种算法验证方法有效性。
2026-05-13 cs.LG
Carbon-aware decentralized dynamic task offloading in MIMO-MEC networks via multi-agent reinforcement learning
School of Computer Science and Artificial Intelligence(计算机科学与人工智能学院);Wuhan University of Technology(武汉理工大学);School of Computer Science and Information Engineering(计算机科学与信息工程学院);Qilu Institute of Technology(齐鲁工业大学);Department of Computer Science(计算机科学系);Prince Sultan University(普天大学)
本文提出基于多智能体强化学习的碳感知分布式动态任务卸载框架,通过优化减少碳排放和能源浪费,提升MIMO-MEC网络的可持续性。
2026-02-21 cs.AI cs.DC cs.LG
Sustainable broadcasting in Blockchain Networks with Reinforcement Learning
L3S Research Center, Hannover, Germany(汉诺威德国L3S研究中心)
本文提出基于强化学习的区块链网络区块广播优化方案,通过改进网络动态处理能力,提升广播效率并降低碳足迹。
2025-04-02 cs.AI cs.NI
Action-List Reinforcement Learning Syndrome Decoding for Binary Linear Block Codes
Department of Electrical and Computer Engineering, the University of Arizona, Tucson, AZ(电气与计算机工程系,亚利桑那大学,图森,亚利桑那)
本文将迭代译码建模为 MDP,提出动作列表强化学习译码、截断状态、自同构群增强及反馈式后处理方法,并在 BSC 上的 LDPC 码中验证性能提升。
2025-07-28 cs.AI cs.IT cs.LG
Analysis of Information Propagation in Ethereum Network Using Combined Graph Attention Network and Reinforcement Learning to Optimize Network Efficiency and Scalability
Geneva School of Business Administration(日内瓦工商管理学院);Cambridge University(剑桥大学);Alan Turing Institute(阿兰·图灵研究所)
提出结合 GAT 与 RL 的以太坊信息传播分析与优化模型,通过交易图、节点嵌入和稀疏矩阵实现 gas 限制优化,并在大规模数据集上优于其他 GCN 模型。
2023-11-02 cs.AI cs.LG
Learning Robotic Assembly from CAD
UC Berkeley(加州大学伯克利分校);Siemens Corporation(西门子公司)
在这项工作中,最近的制造趋势的动机,我们研究自主机器人装配。工业装配任务需要接触丰富的操作技能,这是具有挑战性的获得使用经典的控制和运动规划方法。因此,用于装配领域的机器人控制器目前被设计为解决特定任务,并且不能容易地处理产品或环境中的变化。强化学习(RL)是一种很有前途的方法,自主获取机器人技能,涉及接触丰富的动态。然而,RL依赖于随机探索来学习控制策略,这需要许多机器人执行,并且经常陷入局部次优解。相反,我们认为先验知识,当可用时,可以提高RL性能。我们利用的事实,在现代装配领域,有关任务的几何信息是很容易通过CAD设计文件。我们建议利用这种先验知识,引导RL沿几何运动计划,使用CAD数据计算。我们表明,我们的方法有效地改善了传统的控制方法跟踪运动计划,可以解决装配任务,需要高精度,即使没有准确的状态估计。此外,我们提出了一个神经网络架构,可以学习跟踪的运动计划,并概括的装配控制器的对象位置的变化。
2018-07-24 cs.LG cs.RO
Deep Reinforcement Learning and Permissioned Blockchain for Content Caching in Vehicular Edge Computing and Networks
University of Electronic Science and Technology of China(电子科技大学);Simula Metropolitan Center for Digital Engineering(Simula都市数字工程中心);University of Oslo(奥斯陆大学)
车辆边缘计算(VEC)是一种很有前途的范例,可以使大量数据和多媒体内容在车辆附近缓存。然而,车辆的高移动性和动态的无线信道条件使得设计一个最佳的内容缓存策略具有挑战性。此外,对于许多敏感的个人信息,车辆可能不愿意将其内容缓存到不可信的缓存提供商。深度强化学习(Deep Reinforcement Learning,DRL)是一种解决高维时变问题的新兴技术。权限区块链能够建立一个安全和去中心化的点对点交易环境。在本文中,我们将DRL和许可区块链集成到车辆网络中,以实现智能和安全的内容缓存。我们首先提出了一个区块链授权的分布式内容缓存框架,其中车辆执行内容缓存,基站维护许可的区块链。然后,我们利用先进的DRL的方法来设计一个最佳的内容缓存方案,考虑到移动性。最后,我们提出了一种新的块验证器选择方法,效用证明(PoU),以加速块验证过程。安全性分析表明,我们提出的区块链授权的内容缓存可以实现安全和隐私保护。基于Uber真实数据集的数值结果表明,DRL启发的内容缓存方案显着优于两个基准策略。
2020-11-19 cs.CR cs.LG
Chip Placement with Deep Reinforcement Learning
Google(谷歌)
在这项工作中,我们提出了一种基于学习的方法来芯片布局,芯片设计过程中最复杂和耗时的阶段之一。与以前的方法不同,我们的方法能够从过去的经验中学习并随着时间的推移而改进。特别是,当我们训练更多数量的芯片块,我们的方法变得更好地快速生成优化的布局,以前看不见的芯片块。为了实现这些结果,我们提出的位置作为一个强化学习(RL)的问题和训练代理放置到芯片画布上的芯片网表的节点。为了使我们的RL策略能够推广到看不见的块,我们在预测放置质量的监督任务中进行表示学习。通过设计一个可以准确预测各种网表及其位置的奖励的神经架构,我们能够生成输入网表的丰富特征嵌入。然后,我们使用这个架构作为我们的策略和价值网络的编码器,以实现迁移学习。我们的目标是最大限度地减少PPA(功率,性能和面积),我们表明,在6小时内,我们的方法可以在现代加速器网表上生成超人或可比的布局,而现有的基线需要人类专家在循环中,需要几个星期。
2020-04-22 cs.AI cs.LG
Multi-Agent Connected Autonomous Driving using Deep Reinforcement Learning
Microsoft AI + R(微软人工智能与研发部)
学习和适应驾驶环境变化的能力对于开发可扩展到地理围栏操作设计领域之外的自动驾驶系统至关重要。深度强化学习(RL)为开发基于自适应学习的解决方案提供了一个有前途的可扩展框架。深度强化学习方法通常将问题建模为(部分可观察的)马尔可夫决策过程,其中代理在静态环境中行动以学习最佳行为策略。然而,驾驶涉及在高度不稳定的环境中多个智能(人工或人类)代理之间的复杂交互。在本文中,我们提出使用部分可观察马尔可夫博弈(POSG)来制定具有现实假设的连接自动驾驶问题。我们提供了一个分类的多智能体学习环境的任务的性质,代理的性质和环境的性质的基础上,以帮助分类的各种自动驾驶问题,可以根据建议的制定。作为我们的主要贡献,我们提供了MACAD-Gym,一个多智能体连接的自主驾驶智能体学习平台,用于进一步研究这一方向。我们的MACAD-Gym平台提供了一套可扩展的互联自动驾驶(CAD)仿真环境,可在逼真的多智能体设置下,为具有无限操作设计域的CAD系统研究和开发基于深度RL的集成传感、感知、规划和控制算法。我们还分享了使用MACAD-Gym平台成功训练的MACAD-Agents,以在部分可观察的,停车标志控制的,3路城市交叉口环境中学习多个车辆代理的控制策略,并使用原始(摄像头)传感器观察。
2019-11-11 cs.AI cs.LG cs.MA
FPGA Divide-and-Conquer Placement using Deep Reinforcement Learning
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii))
本文研究 FPGA 逻辑块布局问题,提出一种基于深度强化学习以最小化线长的方法,并引入新颖的分解策略应对大搜索空间,实验验证了其有效性。
2024-04-11 cs.AI cs.AR cs.LG
Resource Management for Blockchain-enabled Federated Learning: A Deep Reinforcement Learning Approach
Nanyang Technological University(南洋理工大学);PHENIKAA University(PHENIKAA大学);Sungkyunkwan University(成均馆大学);Umeå University(于默奥大学)
支持区块链的联邦学习(BFL)使移动设备能够协作地训练机器学习模型所有者(MLMO)所需的神经网络模型,同时将数据保存在移动设备上。然后,模型更新以分散和可靠的方式存储在区块链中。然而,BFL的问题是,移动设备具有能量和CPU约束,这可能会降低系统寿命和训练效率。另一个问题是,由于区块链挖掘过程,训练延迟可能会增加。为了解决这些问题,MLMO需要(i)决定移动设备使用多少数据和能量进行训练,以及(ii)确定块生成速率,以最大限度地减少系统延迟、能耗和激励成本,同时实现模型的目标准确度。在BFL环境的不确定性下,MLMO确定最优决策是具有挑战性的。我们建议使用深度强化学习(DRL)来获得MLMO的最佳决策。
2020-05-01 cs.DC cs.LG cs.NI
Bi-Manual Block Assembly via Sim-to-Real Reinforcement Learning
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
大多数成功的机器人操作已被限制在单臂夹持机器人,其灵活性低,限制了范围内的可解决的任务,拾取和放置,插入,和对象的重排。更复杂的任务,如装配,需要双臂和多臂平台,但也带来了一系列独特的挑战,如双臂协调和避免碰撞,稳健的抓取和长期规划。在这项工作中,我们研究了在模拟中训练深度强化学习(RL)策略并将其转移到现实世界(Sim 2 Real)的可行性,作为一种通用方法,用于获得真实世界双手动机器人操作任务的性能控制器。作为双手操作的试验平台,我们开发了U型磁块装配任务,其中两个机器人具有平行的夹具必须连接3个磁块形成U形。没有手动设计的控制器,也没有人的演示,我们证明,通过仔细的Sim 2 Real考虑,我们的策略在仿真中使用RL训练,使两个xArm 6机器人能够解决U形装配任务,在仿真中的成功率超过90%,在真实硬件上的成功率为50%,而无需任何额外的真实世界的微调。通过仔细的消融,我们强调了系统的每个组成部分是如何对这种简单而成功的策略学习和转移至关重要的,包括任务规范,学习算法,直接关节空间控制,行为约束,感知和驱动噪声,动作延迟和动作插值。我们的研究结果为真实硬件上的双臂能力向前迈出了重要的一步,我们希望我们的系统可以激发未来对双手动策略的深度RL和Sim 2 Real传输的研究,大幅提升现实世界机器人操作器的能力。
2023-03-27 cs.AI cs.LG cs.RO
Blocks Assemble! Learning to Assemble with Large-Scale Structured Reinforcement Learning
Department of XXX, University of YYY, Location, Country;School of ZZZ, Institute of WWW, Location, Country
多部件物理结构的组装既是自主机器人的有价值的最终产品,也是嵌入式智能代理的开放式培训的有价值的诊断任务。我们引入了一个自然主义的物理为基础的环境,一套可连接的磁铁块的灵感来自儿童的玩具包。目标是将块组装成一系列目标蓝图。尽管这个目标很简单,但从一组块构建不同蓝图的组成性质导致了代理遇到的结构复杂性的爆炸。此外,装配强调智能体的多步规划,物理推理和双手协调。我们发现,大规模强化学习和基于图的策略的结合-令人惊讶的是没有任何额外的复杂性-是训练代理的有效方法,不仅以zero-shot的方式概括复杂的看不见的蓝图,甚至在没有经过训练的情况下在无重置设置中操作。通过大量的实验,我们强调了大规模训练的重要性,结构化表示,多任务与单任务学习的贡献,以及训练的效果,并讨论了受过训练的代理的定性行为。
2022-04-12 cs.LG cs.RO
Learning Robust State Abstractions for Hidden-Parameter Block MDPs
Facebook AI Research(脸书人工智能研究院);McGill University(麦吉尔大学);Mila(米拉研究所)
许多控制任务表现出类似的动态,可以建模为具有共同的潜在结构。隐参数马尔可夫决策过程(HiP-MDP)显式地对该结构进行建模,以提高多任务设置中的样本效率。然而,这种设置对状态的可观测性做出了很强的假设,这限制了它在具有丰富观测空间的真实世界场景中的应用。在这项工作中,我们利用的想法,共同的结构从HiP-MDP设置,并扩展它,使强大的状态抽象块MDP的启发。我们得到的多任务强化学习(MTRL)和Meta强化学习(元-RL)设置这一新框架的实例。此外,我们提供了基于任务和状态相似性的转移和泛化边界,以及依赖于跨任务的样本总数而不是任务数量的样本复杂性边界,这是对使用相同环境假设的先前工作的重大改进。为了进一步证明所提出的方法的有效性,我们实证比较并显示了多任务和Meta强化学习基线的改进。
2021-02-12 cs.AI cs.LG stat.ML
Artificial Intelligence for Secured Information Systems in Smart Cities: Collaborative IoT Computing with Deep Reinforcement Learning and Blockchain
Politecnico di Milano(米兰理工大学);University of Texas at Arlington(德克萨斯大学阿灵顿分校);Florida International University(佛罗里达国际大学);University of Malayer(马雷大学)
本文综述了区块链与深度强化学习在物联网智慧城市中的集成方法,提出实用分类体系,以优化移动传输、保障隐私安全并指出未来研究方向。
2025-03-11 cs.AI cs.CR
Efficient Algorithms for Mitigating Uncertainty and Risk in Reinforcement Learning
Harbin Institute of Technology(哈尔滨工业大学);University of New Hampshire(新罕布什尔大学)
本文针对强化学习中的模型不确定性与风险规避问题,提出 CADP 及 ERM-TRC、EVaR-TRC 的规划与无模型 Q-learning 算法,并证明其收敛性与最优策略存在性。
2025-10-20 cs.LG
From Building Blocks to Planning: Multi-Step Spatial Reasoning in LLMs with Reinforcement Learning
Department of Computer Science(计算机科学系)
本文提出了一种两阶段方法,通过强化学习在LLMs中实现多步骤空间推理,通过微调和LoRA适配器提升模型在结构环境中的空间推理能力。
2025-12-31 cs.AI cs.CL
IterCAD: An Iterative Multimodal Agent for Visually-Grounded CAD Generation and Editing
University of Science and Technology of China(中国科学技术大学)
提出IterCAD,一种闭环交互式CAD生成与编辑的多模态智能体框架,通过渐进式SFT和几何感知强化学习优化,在代码可执行性和几何精度上显著超越现有方法。
2026-09-01 cs.AI cs.CV
Survey on Strategic Mining in Blockchain: A Reinforcement Learning Approach
Zhongguancun Laboratory(中关村实验室);Peking University(北京大学);Beihang University(北京航空航天大学);Hangzhou International Innovation Institute of Beihang University(北京航空航天大学杭州国际创新研究院)
本综述探讨强化学习在区块链策略性挖矿分析中的应用,对比MDP方法,分类共识协议并指出多智能体与现实验证等开放挑战。
2025-02-25 cs.GT cs.LG cs.MA
A Blockchain-empowered Multi-Aggregator Federated Learning Architecture in Edge Computing with Deep Reinforcement Learning Optimization
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对边缘计算中联邦学习的安全与多聚合器异构问题,提出基于区块链的BMA-FL架构,设计轻量级拜占庭共识机制PBCM,并采用多智能体深度强化学习优化训练策略,实验验证其高效性。
2023-10-14 cs.CR cs.DC cs.LG
Design Process is a Reinforcement Learning Problem
ETH Zurich(苏黎世联邦理工学院)
虽然在过去的几年里,强化学习已在研究中得到广泛应用,但由于强化学习算法存在一些弱点,例如从模拟器过渡到现实世界时的性能下降,它发现的现实世界应用比监督学习少。世界。在这里,我们认为设计过程是一个强化学习问题,并且可能是RL算法的适当应用,因为它是一个离线过程,并且通常是在CAD软件中完成的-一种模拟器。这为使用RL方法创造了机会,同时也带来了挑战。虽然设计过程是如此多样化,在这里,我们专注于空间布局规划(SLP),框架下的马尔可夫决策过程的RL问题,并使用PPO来解决布局设计问题。为此,我们开发了一个名为RLDesigner的环境来模拟SLP。RLDesigner是一个OpenAI Gym兼容环境,可以轻松自定义以定义各种设计场景。我们公开分享环境,以鼓励RL和架构社区使用它来测试不同的RL算法或在他们的设计实践中。代码可以在以下GitHub存储库中找到:https://github.com/ RezaKakooee/rldesigner/tree/Second_Paper
2022-11-06 cs.LG
RL-Ballast: Ship Ballast Water Path Planning and Clog Prediction via Reinforcement Learning
National Taiwan Ocean University(台湾海洋大学);AI Research Center(人工智能研究中心);Shinsoft Corporation(Shinsoft公司);Department of Electrical Engineering(电子工程系)
针对船舶压载水控制问题,提出基于图的深度强化学习框架RL-Ballast,将阀门排列问题转化为可行路径,利用堆叠水箱水位等近似部分可观测环境,能自适应规划路径并进行堵塞诊断。
2026-07-07 cs.LG
Heterogeneous Information-Bottleneck Coordination Graphs for Multi-Agent Reinforcement Learning
Australian Artificial Intelligence Institute (AAII)(澳大利亚人工智能研究所)
本文提出异质信息瓶颈协调图(HIBCG),通过理论指导机制解决多智能体强化学习中协调图的边存在性和信息传递容量分配问题,通过信息瓶颈方法构建组对齐的块对角先验,实现边存在性和信息容量的理论验证。
2026-07-13 cs.AI cs.LG cs.MA
Towards Practical Multi-Object Manipulation using Relational Reinforcement Learning
Massachusetts Institute of Technology(麻省理工学院);University of California Berkeley(加州大学伯克利分校)
使用具有稀疏奖励的强化学习来学习机器人操作任务目前是不切实际的,因为数据要求非常高。许多实际任务需要操纵多个对象,并且这些任务的复杂性随着对象的数量而增加。从日益复杂的任务课程中学习似乎是一种自然的解决方案,但不幸的是,在许多情况下都不起作用。我们假设,最先进的算法无法有效地利用任务课程源于缺乏归纳偏见,从简单到复杂的任务转移知识。我们表明,基于图的关系架构克服了这一限制,并使学习复杂的任务时,提供了一个简单的课程的任务与越来越多的对象。我们演示了我们的框架上的模拟块堆叠任务的实用程序。从零开始,我们的智能体学习将六个街区堆叠成一座塔。尽管使用了逐步稀疏奖励,但我们的方法的数据效率要高出几个数量级,并且优于现有的利用人类演示的最先进方法。此外,学习到的策略表现出零射击(zero-shot)概括,无需任何进一步的训练即可成功地将积木堆叠成更高的塔楼和以前从未见过的配置,例如金字塔。
2019-12-23 cs.AI cs.LG cs.RO
Multi-agent Motion Planning for Dense and Dynamic Environments via Deep Reinforcement Learning
Isfahan University of Technology(伊斯法罕理工大学);Ryerson University(瑞尔森大学);University of Toronto(多伦多大学);Massachusetts Institute of Technology(麻省理工学院)
针对密集动态环境下的分布式运动规划问题,提出了一种深度强化学习(RL)和基于力的运动规划(FMP)的混合算法。单独地,RL和FMP算法都有自己的局限性。FMP不能产生时间最优路径,现有的RL解决方案不能在密集环境中产生无冲突路径。因此,我们首先尝试通过引入新的奖励函数来提高最近RL方法的性能,该函数不仅消除了预监督学习(SL)步骤的要求,而且还减少了拥挤环境中发生碰撞的机会。这改善了事情,但仍然有很多失败的案例。因此,我们开发了一种混合方法,利用简单的FMP方法在卡住,简单和高风险的情况下,并继续使用RL的正常情况下,FMP不能产生最优路径。仿真结果表明,该算法优于深度RL和FMP算法,产生高达50%的成功场景比深度RL和高达75%的额外时间比FMP达到目标。
2020-01-18 cs.AI cs.LG cs.RO
Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent
Chongqing University(重庆大学);North Carolina State University(北卡罗来纳州立大学);Oklahoma State University(俄克拉荷马州立大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
本文提出一种利用网络结构进行局部零阶梯度估计的异步分布式优化算法,无需共识协议,并将其应用于分布式LQR控制的强化学习设计。
2024-05-03 cs.AI cs.LG cs.SY
DeepSim: A Reinforcement Learning Environment Build Toolkit for ROS and Gazebo
Amazon Web Services(亚马逊云科技)
我们提出了DeepSim,一个用于ROS和Gazebo的强化学习环境构建工具包。它允许机器学习或强化学习研究人员访问机器人领域,并在ROS和Gazebo仿真环境中创建复杂且具有挑战性的自定义任务。该工具包提供了高级功能的构建块,如冲突检测,行为控制,域随机化,产卵器等。DeepSim旨在通过提供Python接口来减少机器人和机器学习社区之间的边界。在本文中,我们讨论了DeepSim Toolkit的组件和设计决策。
2022-05-17 cs.AI cs.LG cs.RO
Message-Dropout: An Efficient Training Method for Multi-Agent Deep Reinforcement Learning
KAIST(韩国科学技术院)
在本文中,我们提出了一种新的学习技术,称为消息丢弃,以提高性能的多智能体深度强化学习在两个应用场景:1)经典的多智能体强化学习与代理之间的直接消息通信和2)集中式训练与分散执行。在第一个应用场景中的多代理系统,其中代理之间的直接消息通信是允许的,消息丢弃技术放弃了从其他代理接收到的消息,在一个块的方式与一定的概率在训练阶段,并补偿这种影响,通过乘以权重的丢失块单元的校正概率。应用的消息丢弃技术有效地处理了多智能体强化学习中增加的输入维度,并使学习对执行阶段的通信错误具有鲁棒性。在第二个应用场景的集中训练与分散执行,我们特别考虑的应用程序提出的消息丢弃多代理深度确定性策略梯度(MADDPG),它使用一个集中的批评训练每个代理的分散演员。我们评估了几个游戏的建议的消息丢弃技术,数值结果表明,建议的消息丢弃技术与适当的丢弃率提高强化学习的性能显着的训练速度和执行阶段的稳态性能。
2019-02-18 cs.AI cs.LG cs.MA
Markovian Nonconvex ADMM for Reinforcement Learning: Bellman-Resolvent Stability Beyond Smooth Blocks
本研究揭示马尔可夫非凸ADMM中折扣Bellman预解算子可提供乘子稳定性,建立强化学习收敛性,并给出迭代与样本复杂度,证明覆盖的KKT点全局最优,提出可复用的结构原则。
2026-09-30 cs.LG
Learning 3D Navigation Protocols on Touch Interfaces with Cooperative Multi-Agent Reinforcement Learning
Itekube;LIRIS(里昂信息与智能系统实验室);Inria(法国国家信息与自动化研究所);CITI-Lab(CITI实验室);INSA-Lyon(里昂国立应用科学学院);LITIS(鲁昂信息与智能系统实验室);INSA-Rouen(鲁昂国立应用科学学院)
使用触摸设备在诸如计算机辅助设计(CAD)模型或地理信息系统(GIS)之类的虚拟3D环境中导航对于人类来说固有地是困难的,因为3D操作必须由用户在2D触摸表面上执行。这个不适定的问题是经典的解决与固定的和手工制作的交互协议,这必须由用户学习。我们建议自动学习一个新的交互协议,允许使用强化学习(RL)在虚拟环境中将2D用户输入映射到3D动作。RL方法的一个基本问题是经常需要大量的交互,当人类参与时很难实现。为了克服这个限制,我们使用两个合作代理。第一代理通过学习执行2D手指轨迹来对人类进行建模。第二代理充当交互协议,将来自第一代理的2D手指轨迹解释并转换为3D操作。我们通过在强化学习之前首先执行状态表示学习,将学习的2D轨迹限制为与收集的人类手势的训练集相似。这种状态表示学习通过将手势投影到由变分自动编码器(VAE)学习的潜在空间中来解决。
2019-08-27 cs.AI cs.HC cs.LG
Intelligent Replication Management for HDFS Using Reinforcement Learning
Sungkyunkwan University(成均馆大学)
用于云计算的存储系统将大量商用计算机合并到单个大型存储池中。它通过不可靠的动态网络提供高性能存储,成本低于购买和维护大型主机。在本文中,我们研究将强化学习(RL)应用于系统域问题是否可行。实验结果表明,RL模型在解决块管理问题上具有可比性,甚至优于其他算法。然而,我们的实验在可扩展性和保真度方面是有限的。尽管我们的公式不是很实用,但将强化学习应用于系统领域可以为现有的算法提供很好的替代方案。
2020-08-19 cs.AI cs.DC cs.LG
Graph-based Reinforcement Learning meets Mixed Integer Programs: An application to 3D robot assembly discovery
Technical University of Darmstadt(达姆施塔特工业大学)
机器人装配发现是一个具有挑战性的问题,生活在资源分配和运动规划的交叉点。我们的目标是将一组预定义的对象组合起来,形成新的东西,同时考虑使用机器人在环执行任务。在这项工作中,我们解决的问题,建立任意的,预定义的目标结构完全从头开始使用一组俄罗斯方块一样的积木和机器人操纵器。我们的新的分层方法的目的是有效地分解成三个可行的水平,相互受益的整体任务。在高层次上,我们运行一个经典的混合整数程序,用于块类型选择和块的最终姿态的全局优化,以重新创建所需的形状。然后利用其输出来有效地指导底层强化学习(RL)策略的探索。这种RL策略从一个灵活的基于图的表示中提取其泛化属性,该表示是通过Q学习学习的,可以通过搜索进行细化。此外,它还考虑了结构稳定性和机器人可行性的必要条件,这些条件在前一层中无法有效反映。最后,抓取和运动规划器将所需的装配命令转换为机器人关节运动。我们展示了我们提出的方法的性能在一组竞争激烈的模拟RAD环境,展示现实世界的传输,并报告性能和鲁棒性增益相比,非结构化的端到端的方法。有关视频,请访问https://sites.google.com/view/rl-meets-milp。
2022-08-02 cs.AI cs.LG cs.RO
Tool-Augmented Agent for Closed-loop Optimization,Simulation,and Modeling Orchestration
Northwestern Polytechnical University(西北工业大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出COSMO-Agent框架,通过强化学习使大语言模型完成闭环CAD-CAE流程,解决CAD-CAE语义鸿沟问题,提升工业设计仿真优化的可行性、效率和稳定性。
2026-04-01 cs.AI cs.GR
UAV-assisted Internet of Vehicles: A Framework Empowered by Reinforcement Learning and Blockchain
Concordia University(康考迪亚大学);Khalifa University(哈利法大学)
针对无人机辅助车联网中继选择与协调的局限,提出融合双向中继选择、去中心化MDRL协调与区块链的框架,经PPO训练验证可提升中继稳定性与网络覆盖连通性。
2025-01-22 cs.AI cs.NI
COSMO-Agent: Tool-Augmented Agent for Closed-loop Optimization,Simulation,and Modeling Orchestration
Northwestern Polytechnical University(西北工业大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出COSMO-Agent框架,通过强化学习使LLM完成闭环CAD-CAE流程,解决CAD-CAE语义鸿沟问题,提升设计效率和稳定性。
2026-04-07 cs.AI cs.GR
Playing to Par: Reinforcement Learning for Provably Optimal Quadrilateral Block Decompositions
本文提出用强化学习智能体直接操作网格半边结构,通过局部编辑和基于网格连通性的卷积策略,生成达到离散高斯-博内下界(标准杆)的四边形分解,在保留域上显著优于Gmsh,实现可证明最优的网格生成。
2026-09-29 cs.LG
A Reinforcement Learning Approach for Scheduling in mmWave Networks
UCLA(加州大学洛杉矶分校);USC(南加州大学);ARL, USARMY(美国陆军研究实验室)
我们考虑希望在毫米波网络上以期望速率与目的地通信的源,在毫米波网络中,链路遭受阻塞并且节点遭受故障(例如,在敌对的军事环境中)。为了实现对链路和节点故障的恢复能力,我们在这里探索了一种最先进的Soft Actor-Critic(SAC)深度强化学习算法,该算法在不使用链路容量或网络拓扑知识的情况下调整通过网络的信息流。数值计算表明,该算法即使在动态环境中也能达到期望的速率,并且对阻塞具有鲁棒性。
2021-08-01 cs.IT cs.LG math.IT
LightningRL: Breaking the Accuracy-Parallelism Trade-off of Block-wise dLLMs via Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Huazhong University of Science and Technology(华中科技大学)
本文提出LightningRL框架,通过强化学习优化预训练dLLMs的速度-质量帕累托前沿,提升并行生成性能。
2026-08-03 cs.LG
Reinforcement learning for automatic quadrilateral mesh generation: a soft actor-critic approach
Concordia University(康考迪亚大学);Old Dominion University(奥多明尼昂大学);Dalian University of Technology(大连理工大学)
本文提出将网格生成建模为马尔可夫决策过程,并采用soft actor-critic强化学习算法实现全自动四边形网格生成,实验表明其在可扩展性、泛化性和有效性上优于代表性商业软件。
2022-10-12 cs.AI cs.CG cs.LG