AACC: Asymmetric Actor-Critic in Contextual Reinforcement Learning
Artificial Intelligence Research Center DII(DII人工智能研究中心)
强化学习(RL)技术在许多具有挑战性的任务中受到了极大的关注,但当应用于现实世界的问题时,其性能急剧下降。已经提出了各种方法,如域随机化,通过在不同的环境设置下训练代理来处理这种情况,因此它们可以在部署过程中推广到不同的环境。然而,他们通常不包括潜在的环境因素的信息,代理人进行适当的互动,因此可能会过于保守,当面对周围环境的变化。在本文中,我们首先形式化的任务,适应不断变化的环境动态RL作为一个泛化问题,使用上下文马尔可夫决策过程(CMDPs)。然后,我们提出了非对称Actor-Critic在上下文RL(AACC)作为一个端到端的Actor-Critic方法来处理这样的泛化任务。我们证明了AACC的性能在一系列模拟环境中的实验超过现有基线的根本改善。
2022-08-03 cs.LG stat.ML
OPAC: Opportunistic Actor-Critic
Ramakrishna Mission Vivekananda Educational and Research Institute (RKMVERI)(罗摩克里希纳传道会维韦卡南达教育与研究所(RKMVERI))
Actor-critic方法是一种无模型强化学习(RL)方法,在连续控制的许多实际领域都取得了很好的效果。尽管取得了成功,但这些模型的大规模部署仍然很遥远。这些行动者-批评者方法的主要问题是效率低下的探索和次优的政策。软演员-评论家(SAC)和双延迟深度确定性策略梯度(TD 3)是两种前沿的此类算法,但都存在这些问题。SAC有效地解决了超参数的样本复杂性和收敛脆弱性问题,因此在更困难的任务中优于所有最先进的算法,包括TD 3,而TD 3在所有环境中产生中等结果。SAC由于其策略的高斯性质而遭受低效率的探索,这导致在简单任务中的边界性能。在本文中,我们介绍了一种新的无模型深度强化学习算法--启发式Actor-Critic(OPAC),它采用了更好的探索策略和更小的方差。OPAC结合了TD 3和SAC的一些最强大的功能,旨在以非策略的方式优化随机策略。为了计算目标Q值,而不是两个批评家,OPAC使用三个批评家,并根据环境的复杂性,机会主义地选择如何从批评家的评价计算目标Q值。我们在MuJoCo环境中系统地评估了该算法,它实现了最先进的性能,优于或至少等于TD 3和SAC的性能。
2020-12-11 cs.AI cs.LG
Actor-Critic Reinforcement Learning with Phased Actor
提出相位actor(PAAC)方法,通过结合Q值和TD误差改进策略梯度估计,减少方差,提升连续控制任务中的性能与稳定性。
2024-04-18 cs.LG
S2Act: Simple Spiking Actor
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
S2Act通过构建基于速率脉冲神经元的actor-critic模型,利用梯度训练并转换为物理参数,有效解决SNN中的梯度消失问题,提升多机器人任务的实时推理性能。
2026-03-16 cs.ET cs.LG cs.MA
ZAPS-DA: Zero-Phase Action Policy Smoothing with Decoupled Actor for Continuous Control in Reinforcement Learning
Independent Researcher(独立研究者)
提出ZAPS-DA框架,通过解耦演员网络模仿零相位滤波目标,在不引入相位延迟和后处理的情况下减少连续控制策略的动作抖动,并在驾驶仿真中验证了其有效性。
2026-07-10 cs.LG cs.RO cs.SY
Soft Actor-Critic with Beta Policy via Implicit Reparameterization Gradients
Gina Cody School of Engineering and Computer Science(吉娜·科迪工程与计算机科学学院);Concordia University(康考迪亚大学)
针对 SAC 无法直接重参数化 beta 分布的限制,本文采用隐式重参数化梯度训练 beta 策略,并在模拟机器人运动任务中验证其优于正态策略且媲美压缩正态策略。
2024-09-08 cs.AI cs.LG
ISAACS: Iterative Soft Adversarial Actor-Critic for Safety
Princeton University(普林斯顿大学)
本文提出ISAACS方法,通过博弈论安全分析与对抗强化学习相结合,可扩展地合成鲁棒保安全控制器,并构建具有鲁棒安全保证的实时安全屏障,在5D赛车模拟器中验证了其有效性。
2024-06-07 cs.LG cs.RO cs.SY
Actor-Accelerated Policy Dual Averaging for Reinforcement Learning in Continuous Action Spaces
School of Chemical and Biomolecular Engineering, Georgia Institute of Technology, GA, USA(化学与生物分子工程学院,佐治亚理工学院,美国加利福尼亚州);H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology, GA, USA(H.米尔顿·斯图尔特工业与系统工程学院,佐治亚理工学院,美国加利福尼亚州)
本文提出加速器PDA,通过学习策略网络加速连续动作空间中的强化学习,提升性能并保持收敛保证。
2026-03-10 cs.LG
Deep Actor-Critics with Tight Risk Certificates
Department of Mathematics and Computer Science(数学与计算机科学系);University of Southern Denmark(南方丹麦大学);Department of Computer Science(计算机科学系);Aalborg University(奥胡斯大学)
本文提出了一种基于递归PAC-Bayes理论的方法,用于为深度动作-评论者算法生成紧密的风险证书,以提高其在物理系统中的可靠性与实用性。
2025-11-26 cs.LG
Learning from Mixed-Quality Deployment Experience for Robot Manipulation
Nanyang Technological University(南洋理工大学);Chongqing Changan Automobile Co., Ltd(重庆长安汽车股份有限公司);Guangzhou Cloudbutterfly Technology Co., Ltd.(广州云蝶科技有限公司)
针对机器人部署后混合质量经验利用问题,提出预测性动作块学习(PACL),通过块级评论家与未来预测增强价值估计,并指导扩散演员学习,实验证明其优于现有基线。
2026-09-25 cs.LG
DR-SAC: Distributionally Robust Soft Actor-Critic for Reinforcement Learning under Uncertainty
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);New York University(纽约大学)
本文提出DR-SAC,首个基于Actor-Critic的分布鲁棒强化学习算法,用于连续动作空间的离线学习。通过最大化熵正则化奖励,对抗最坏可能的转移模型,在KL散度约束的不确定性集内实现收敛保证,并结合生成建模方法估计未知的名义转移模型。
2026-04-18 cs.AI cs.LG math.OC
EVOL: Simulator-Guided Evolutionary Expert Synthesis for Deployment-Free Learning Path Recommendation
Sungkyunkwan University(成均馆大学)
EVOL利用知识追踪模拟器通过进化搜索合成专家示范,并训练免部署策略,在多个数据集上超越8种基线,解决学习路径推荐中的稀疏奖励问题。
2026-10-05 cs.AI
Pareto Actor-Critic for Communication and Computation Co-Optimization in Non-Cooperative Federated Learning Services
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院);Shenzhen CyberAray Network Technology Co., Ltd, China(深圳 CyberAray 网络技术有限公司);Information and Communication Branch of State Grid Hebei Electric Power Co., Ltd, China(国网河北电力信息通信分部);Zhejiang Lab as well as Zhejiang University(浙江实验室以及浙江大学)
多服务提供商(SP)生态系统中的联邦学习(FL)从根本上受到非合作动态的阻碍,其中隐私约束和竞争利益排除了多SP通信和计算资源的集中优化。在本文中,我们介绍PAC-MCoFL,博弈论的多智能体强化学习(MARL)框架,SP作为代理,共同优化客户端分配,自适应量化,和资源分配。在这个框架内,我们将帕累托演员-评论家(PAC)原则与预期回归相结合,使代理人能够推测最佳联合政策,以实现帕累托最优均衡,同时建模异构风险配置文件。为了管理高维的动作空间,我们设计了一个三元笛卡尔分解(TCAD)机制,便于细粒度的控制。此外,我们开发PAC-MCoFL-p,一个可扩展的变种,具有参数化的猜想生成器,大大降低了计算复杂性与可证明的有界误差。除了理论上的收敛保证,我们的框架的优越性通过广泛的模拟验证-PAC-MCoFL实现了约5.8%和4.2%的总回报和超容量指标(HVI)的改善,分别超过最新的MARL解决方案。结果还表明,我们的方法可以更有效地平衡单个SP和系统的性能,在规模化部署和不同的数据异构性。
2025-08-28 cs.AI cs.LG
Learning Off-Policy with Online Planning
Robotics Institute(机器人研究所);Carnegie Mellon University(卡内基梅隆大学);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
低数据和风险敏感域中的强化学习(RL)需要高性能和灵活的部署策略,这些策略可以在部署过程中轻松纳入约束。一类这样的策略是半参数H步前瞻策略,其在具有终端价值函数的固定时间范围的动态模型上使用轨迹优化来选择动作。在这项工作中,我们研究了一种新的实例化的H-步骤前瞻与学习模型和终端价值函数学习的无模型的离线策略算法,名为学习离线策略与在线规划(LOOP)。我们对这种方法进行了理论分析,提出了模型误差和价值函数误差之间的权衡,并实证证明了这种权衡在深度强化学习中是有益的。此外,我们确定在这个框架中的“演员发散”的问题,并提出演员正则化控制(ARC),修改后的轨迹优化过程。我们评估了我们的方法对一组机器人任务离线和在线RL,并展示了改进的性能。我们还展示了LOOP的灵活性,在部署过程中将安全约束与一组导航环境。我们证明,循环是一个理想的框架,机器人应用程序的基础上,其强大的性能在各种重要的RL设置。项目视频和详细信息可以在https://hari-sikchi.github.io/loop上找到。
2021-10-05 cs.AI cs.LG cs.RO
Distributional Actor-Critic Ensemble for Uncertainty-Aware Continuous Control
Hitachi America, Ltd.(日立美国有限公司);Industrial AI Lab(工业人工智能实验室)
本文提出一种扩展 DDPG 的不确定性感知连续控制算法,同时利用认知不确定性加速探索和偶然不确定性学习风险敏感策略,并在机器人控制与电网优化任务中优于原始 DDPG。
2022-07-27 cs.LG cs.SY eess.SY
Locally-Guided Actor-Critic: Training a Goal-conditioned Actor with a Subgoal-aware Critic
ISIR;Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
针对目标条件强化学习长 horizon 稀疏奖励的问题,该文提出 LG-AC 方法,以子目标条件值函数总和实现密集事后重标记,在目标链任务中性能优于 RIS、RS 等方法。
2026-09-01 cs.LG
The Law-Following AI Framework: Legal Foundations and Technical Constraints. Legal Analogues for AI Actorship and technical feasibility of Law Alignment
本文评估了O'Keefe等人提出的
2026-03-14 cs.AI cs.CY
Spiking Neural Networks for Continuous Control: Neuromorphic Reinforcement Learning in Conventional Computing
New Mexico Institute of Mining and Technology(新墨西哥矿业技术学院);The University of Texas at El Paso(德克萨斯大学埃尔帕索分校)
该研究提出SANSAC算法,在传统硬件上验证其性能与SAC近乎相当,证明基于脉冲神经网络的算法可用于复杂连续环境,为神经形态强化学习研究奠定了基础。
2026-08-25 cs.LG cs.NE
Supervised Learning-enhanced Multi-Group Actor Critic for Live Stream Allocation in Feed
Kuaishou Technology(快手科技)
针对直播流分配问题,提出监督学习增强的多组演员-评论家算法(SL-MGAC),通过方差缩减、多组状态分解和新型奖励函数提升稳定性与性能,实验验证其优于基线方法。
2025-05-26 cs.AI cs.IR
FootstepNet: an Efficient Actor-Critic Method for Fast On-line Bipedal Footstep Planning and Forecasting
Univ. Bordeaux(波尔多大学);CNRS(法国国家科学研究中心);ENS Rennes(雷恩高等师范学院)
提出FootstepNet,一种基于深度强化学习的Actor-Critic方法,用于快速在线双足机器人步态规划与预测,无需启发式规则,计算需求低,并在仿真和RoboCup 2023竞赛中验证了其有效性。
2024-12-17 cs.AI cs.RO
Robust Koopman Control Barrier Filters for Safe Actor-Critic Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
提出鲁棒Koopman-CBF SAC框架,通过数据驱动学习Koopman预测器、构建提升空间中的仿射CBF约束并利用二次规划安全层实施,同时通过投影残差裕度处理近似误差,实现零约束违反或减少违规。
2026-06-05 cs.LG cs.RO cs.SY
Privy to the Foil: Recasting Value Estimation with a Self-Privileged Critic for RLVR
Peking University(北京大学);Tencent(腾讯)
针对 LLM 多步推理中信用分配困难,本文提出自特权演员-评论家框架 πPPO,利用已验证轨迹作对比证据提升价值估计质量,在数学推理基准上超越现有基线。
2026-09-30 cs.AI cs.LG
The Three-Ring Architecture: Governing Agents in the Era of On-Platform Organisations
针对企业AI部署中缺乏治理基础设施导致失败率高达95%的问题,提出三环架构:环1为现有生产架构,环2为基于策略的智能体联邦层,环3为LLM前沿智能层,其中环2作为智能体企业的操作系统,实现资源抽象、进程协调、权限执行和智能积累,并区分环2与环3的风险轮廓。
2026-06-05 cs.AI cs.ET cs.MA
ACCRUE: Continual Off-Policy Reinforcement Learning for Robot Foundation Models
NVIDIA(英伟达);KAIST(韩国科学技术院)
ACCRUE是一种持续离线策略强化学习框架,可跨任务复用轻量级演员与评论家网络,在近零遗忘的前提下加速后续任务学习,将真实机器人训练时间降低31.0%至68.5%。
2026-10-14 cs.AI cs.LG cs.RO
Federated Physics-Grounded Reinforcement Learning for Distributed Stability Control in Smart Grids
研究智能电网暂态稳定性控制问题,提出FedPPO-PG框架,将其转化为协作多智能体强化学习问题,通过物理基础邻域、引导策略初始化和集中评论家等方法,在模拟中取得良好效果,减少稳定时间、降低控制功率且满足实时要求。
2026-07-08 cs.LG cs.SY eess.SY
Development of a Soft Actor Critic Deep Reinforcement Learning Approach for Harnessing Energy Flexibility in a Large Office Building
University College Dublin(都柏林大学学院)
本研究关注基于深度强化学习(DRL)的“软演员批评”(SAC)的新应用和调查,以控制大型商业建筑的冷却设定点(从而控制冷却负荷),以利用能源灵活性。这项研究的动机是与传统的基于模型的控制方法的开发和应用规模更广泛的建筑库存的挑战。SAC是一种无模型的DRL技术,能够处理连续的动作空间,并且在建筑能源系统的自动化和智能控制的背景下,该技术在现实生活或高保真仿真实现中的应用有限。这种控制技术被视为支持智能、可持续和未来电网运行的一种可能解决方案。本研究测试的SAC DRL技术的适用性,通过培训和部署的代理EnergyPlus为基础的环境中的办公楼。SAC DRL被发现学习最优控制策略,与默认的基于规则的控制(RBC)方案相比,该策略能够将能量成本最小化9.7%,并且能够在一周的测试期间内改善或保持热舒适性限制。该算法被证明是鲁棒的不同的超参数和这个最优控制政策是通过使用一个最小的状态空间,包括容易获得的变量。该算法的鲁棒性进行了测试,通过调查的学习速度和部署到不同的季节和气候的能力。结果发现,SAC DRL需要最少的训练样本点,并在三个月的操作后优于RBC,并且在此期间也没有中断热舒适性。该代理可转移到其他气候和季节,但建议进一步重新训练或超参数调整。
2021-04-25 cs.LG cs.SY eess.SY
Policy Networks with Two-Stage Training for Dialogue Systems
Maluuba Research(Maluuba研究院)
在本文中,我们建议使用深度策略网络,这些网络是用统计优化的对话系统的优势演员-评论家方法训练的。首先,我们表明,在汇总状态和动作空间上,深度强化学习(RL)优于高斯过程方法。摘要状态和动作空间可以带来良好的性能,但需要前期工作、RL知识和领域专业知识。为了消除定义这种摘要空间的需要,我们证明了深度RL也可以在原始状态和动作空间上进行有效训练。基于部分可观测马尔可夫决策过程的对话系统已知需要许多对话来进行训练,这使得它们对于实际部署没有吸引力。我们表明,基于演员-评论家架构的深度RL方法可以非常有效地利用少量数据。事实上,只有几百个对话通过手工策略收集,演员-评论家深度学习器在很大程度上是从监督和批量RL的组合中引导出来的。此外,与使用批量RL在数据上初始化的其他深度RL方法相比,收敛到最优策略的速度显着加快。所有实验都是在从对话状态跟踪挑战2(DSTC 2)数据集导出的餐馆域上进行的。
2016-09-12 cs.AI cs.CL
Direction-Conditioned Policies via Compositional Subgoal Scoring for Online Goal-Conditioned Reinforcement Learning
Department of Computer Science and Engineering, Indian Institute of Technology Kharagpur(计算机科学与工程系,印度理工学院Kharagpur分校);Department of Mechanical Engineering, Indian Institute of Technology Kharagpur(机械工程系,印度理工学院Kharagpur分校)
提出方向条件策略(DCP),通过共享InfoNCE表示将目标达成分解为子目标评分和方向条件动作,理论证明方向充分性、训练与部署一致性及可控子空间失效条件,在九个环境中优于对比RL。
2026-06-16 cs.AI cs.LG cs.RO
No One to Blame: A Framework of Constitutive AI Unaccountability
Technical University of Munich(慕尼黑工业大学);University of Kassel(卡塞尔大学)
针对自主AI系统带来的问责挑战,该研究提出构成型AI不可问责性概念,构建诊断框架,在OpenClaw中检测到多数相关条件,为识别AI问责缺口提供实用工具。
2026-08-18 cs.AI cs.CY
Distributional Soft Actor-Critic with Three Refinements
School of Mechanical Engineering, University of Science and Technology Beijing(北京科技大学机械工程学院);School of Vehicle and Mobility, Tsinghua University(清华大学车辆与移动性学院);College of Engineering, Peking University(北京大学工程学院);Institute for AI Industry Research, Tsinghua University(清华大学人工智能产业研究院)
本文提出DSAC-T算法,通过期望值替换、孪生价值分布学习和基于方差的评论家梯度调整三项改进,解决DSACv1的训练不稳定和奖励尺度敏感问题,在多个基准任务上无需调参即匹配或超越SAC等主流算法,并在轮式机器人控制中验证有效性。
2025-08-06 cs.LG cs.SY eess.SY
Scalable Multi-Agent Reinforcement Learning for Residential Load Scheduling under Data Governance
EPFL(洛桑联邦理工学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
针对住宅负荷调度中分布式训练的通信开销和隐私问题,提出基于actor-critic的MARL框架,通过局部观测计算全局评论家,在保护隐私和降低通信成本的同时实现与最先进框架相当的性能。
2025-03-04 cs.CR cs.LG cs.MA
A Closed-Loop Evaluation of Capability Loss and Recovery in Compressed Driving Policies
Universitas Muhammadiyah Yogyakarta(日惹穆罕马迪亚大学);Nara Institute of Science and Technology (NAIST)(奈良科学技术研究所);King Fahd University of Petroleum and Minerals (KFUPM)(法赫德国王石油与矿业大学)
本研究提出分阶段闭环评估方法,在 Gym-Duckietown 中训练 PPO 策略后分阶段压缩驾驶策略,发现结构化剪枝致能力首次损失,蒸馏受数据限制,整数量化影响部分课程,未剪枝则保留全部课程,为自动驾驶安全部署提供实证分析。
2026-09-02 cs.AI cs.CV
Governing Actions, Not Agents: Institutional Attestation as a Governance Model for Autonomous AI Systems
针对自主AI系统可能执行不可逆高风险行动的问题,提出一种基于机构证明的计算治理模型,将执行权限与规划推理分离,通过独立权威源证明前提条件,并采用防篡改日志记录决策。
2026-06-26 cs.AI cs.CR
Towards Robust Policy: Enhancing Offline Reinforcement Learning with Adversarial Attacks and Defenses
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
针对离线强化学习策略鲁棒性不足、易受观测扰动和攻击影响的问题,提出一种结合对抗攻击与防御的框架,通过训练时扰动观测并以防御为正则项增强策略,在D4RL基准上验证了防御的有效性。
2024-05-18 cs.AI cs.LG cs.RO
TLE-Based A2C Agent for Terrestrial Coverage Orbital Path Planning
针对近地轨道拥挤与碰撞风险,提出基于A2C算法的强化学习框架优化卫星轨道参数以实现精确地表覆盖,实验证明其比PPO收敛快31.5倍且奖励更高,为实时LEO任务规划提供了高效方案。
2025-08-14 cs.AI cs.RO
Sense Once, Serve Many: Common-Trace Factorized Constrained PPO for Online Sensing-Session Consolidation in Multi-Tenant ISAC Networks
VNU University of Engineering and Technology (VNU-UET)(越南国家大学工程技术大学(VNU-UET))
针对多租户ISAC网络在线感知会话整合问题,提出CT-PPO算法,通过公共轨迹奖励信用等设计,提升回报、降低感知资源成本,在多负载场景下表现优于对比算法。
2026-09-01 cs.LG cs.NI
Learning to Fly in Seconds
New York University(纽约大学);Technology Innovation Institute(技术创新研究院)
本文提出基于非对称演员-评论家架构与课程学习的端到端四旋翼控制方法,实现18秒训练后Sim2Real直接RPM控制与微控制器部署,并开源高速仿真器以降低研究门槛。
2024-04-08 cs.AI cs.LG cs.RO
Dynamic Co-Optimization Compiler: Leveraging Multi-Agent Reinforcement Learning for Enhanced DNN Accelerator Performance
University of Southern California(南加州大学)
该研究提出新型动态协同优化编译器DCOC,通过含三个专用演员-评论家智能体的自适应MARL框架实现软硬件协同优化,缩减搜索空间,在多种DNN模型上吞吐量最高提升37.95%、优化时间最多缩短42.2%,优于现有前沿框架。
2025-02-21 cs.AI cs.AR cs.LG
Decentralized Granular Access Control for Agentic AI Systems in Critical Infrastructure
研究关键基础设施中智能体人工智能系统的安全挑战,提出去中心化多层访问控制架构,含复合身份模型等四项创新,基于OWASP威胁分类法设计,经云提供商生产验证,能有效实施粒度访问控制并防止特权升级。
2026-07-28 cs.AI cs.CR cs.ET
Accelerating Reinforcement Learning for Wind Farm Control via Expert Demonstrations
Department of Wind and Energy Systems, Technical University of Denmark(丹麦技术大学风能与能源系统系)
提出一种利用稳态尾流模型生成的专家演示预训练方法,通过行为克隆初始化Soft Actor-Critic网络,消除初始学习阶段,使初始性能接近基线水平,并在在线微调后超越查表控制器。
2026-04-13 cs.LG cs.SY eess.SY
The Stochastic Gap: A Markovian Framework for Pre-Deployment Reliability and Oversight-Cost Auditing in Agentic Artificial Intelligence
CARDS (Center for Real-Time Distributed Sensing and Autonomy), University of Maryland Baltimore County, Baltimore, MD, USA(实时分布式传感与自主性中心,马里兰大学巴尔的摩县);Massachusetts Institute of Technology, Cambridge, MA, USA(麻省理工学院)
本文提出一种马尔可夫框架,用于评估代理人工智能在部署前的可靠性及监督成本审计,通过分析业务流程日志,展示了如何通过扩展状态空间来提高决策的统计支持度和经济可控性。
2026-03-25 cs.AI
A Distributionally Robust Reinforcement Learning Framework for Constrained Urban EV Dispatch
College of Engineering and Computer Science, VinUniversity, Hanoi, Vietnam(VinUniversity 工程与计算机科学学院,河内,越南);Center for Environmental Intelligence, VinUniversity, Hanoi, Vietnam(VinUniversity 环境智能中心,河内,越南)
针对城市电动汽车调度中充电站和馈线容量约束及不确定需求,提出基于半马尔可夫决策过程与分布鲁棒软演员-评论家算法,通过图卷积编码器和滚动混合整数线性规划保证可行性,在纽约出租车数据仿真中实现最高净利润且零违规。
2026-06-18 cs.AI
AirFed: A Federated Graph-Enhanced Multi-Agent Reinforcement Learning Framework for Multi-UAV Cooperative Mobile Edge Computing
Indian Institute of Science(印度科学理工学院)
AirFed通过联邦图增强的多智能体强化学习框架,解决多无人机协同移动边缘计算中的轨迹规划、任务卸载和资源分配问题,实现高效知识共享和显著性能提升。
2025-11-25 cs.DC cs.LG
Learning Decentralized LLM Collaboration with Multi-Agent Actor Critic
Northeastern University, Boston, MA(波士顿马萨诸塞大学)
针对分散式LLM协作优化,提出两种多智能体Actor-Critic方法(CoLLM-CC和CoLLM-DC),实验表明在长时域或稀疏奖励任务中集中式Critic方法优于蒙特卡洛方法和分散式Critic方法。
2026-05-26 cs.AI cs.DC cs.MA
Access Point Deployment for Localizing Accuracy and User Rate in Cell-Free Systems
Southeast University(东南大学);Purple Mountain Laboratories(紫金山实验室)
针对无蜂窝系统中AP部署需兼顾定位精度与用户速率的问题,提出融合D-最优性和Euclidean准则的综合优化目标,并用SAC求解高维非凸问题,显著提升整体与最低性能。
2024-12-10 cs.AI cs.NI
PAVE: Predictive Alignment and Value-Guided Evolution for World-Action Policies
East China Normal University(华东师范大学);EBKernel Shanghai Artificial Intelligence Laboratory(上海人工智能实验室EBKernel)
本研究提出PAVE策略,通过多时间步转换对齐与分布价值评论者优化,在三个模拟基准中实现最优性能,同时保留在线直接动作生成路径。
2026-09-21 cs.AI cs.RO
TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors
Uber ATG(优步先进技术集团);University of Toronto(多伦多大学);University of Waterloo(滑铁卢大学)
仿真具有大规模评估自动驾驶系统的潜力,从而实现快速开发和安全部署。为了缩小仿真和现实世界之间的差距,我们需要模拟真实的多智能体行为。现有的仿真环境依赖于直接编码交通规则的基于几何学的模型,其不能捕获不规则的机动(例如,轻推,U形转弯)和复杂的相互作用(例如,屈服、合并)。相比之下,我们利用真实世界的数据直接从人类演示中学习,从而捕捉到更多样化的演员行为。为此,我们提出了一个多智能体的行为模型,现实的交通模拟的marticsim。特别是,我们利用隐式潜变量模型参数化的联合演员的政策,产生社会一致的计划,在现场的所有演员联合。为了学习适合长期模拟的鲁棒策略,我们在训练中展开策略,并通过随时间的完全可微模拟进行优化。我们的学习目标既包括人类示范,也包括常识。我们表明,与一组不同的基线相比,EschericSim生成的流量场景更加真实和多样化。值得注意的是,我们可以利用轨迹生成的MixicSim作为有效的数据增强训练更好的运动规划。
2021-01-17 cs.AI cs.CV cs.LG
SafeBranch: Branch-Pair Safety Alignment for Embodied Agents
Dongguk University(东国大学);Seoul National University(首尔大学)
针对具身智能体的交互式安全问题,提出SafeBranch框架,通过自身不安全回滚生成的分支对对齐执行器安全性,在多基准及分布外变体上实现安全成功数约为未训练基线十倍的效果,且不牺牲任务成功。
2026-10-14 cs.AI cs.CV cs.RO
Improbotics: Exploring the Imitation Game using Machine Intelligence in Improvised Theatre
University of Alberta(阿尔伯塔大学);HumanMachine(人机(公司))
即兴表演(impro或improv)是一种要求很高的现场合作表演形式。即兴是一种幽默和好玩的艺术形式,建立在一个开放式的叙事结构,同时庆祝努力和失败。因此,它是开发和部署基于交互式人工智能(AI)的会话代理或人工即兴创作者的理想测试平台。本案例研究介绍了一个即兴表演实验,具有人类演员和人工即兴表演。我们之前开发了一种基于深度学习的人工即兴创作者,在电影字幕上进行训练,可以生成合理的,基于上下文的,适合戏剧的对话(Mathewson和Mirowski 2017)。在这项工作中,我们采用它来控制一个子集的人类演员说在即兴表演。我们还将人工生成的线条赋予不同的表演者子集。所有线路都提供给演员戴耳机,所有表演者都戴耳机。本文描述了一个图灵测试,或模仿游戏,发生在一个剧院,与观众和表演者都离开猜测谁是人,谁是机器。为了测试关于人类与机器感知的科学假设,我们收集了志愿者表演者和观众的匿名反馈。我们的研究结果表明,排练提高了熟练程度和可能性,以控制事件的表现。也就是说,与真实世界体验的一致性受到界面和用于执行节目的机制的限制。我们还表明,人类生成的线条更短,更积极,有更多的语法和拼写错误比人工即兴创作的线条更难的话。
2018-09-06 cs.AI cs.HC
Risks and Controls for Multi-Agent Systems: an analytical framework for deployment of AI agents across organisational boundaries
Gradient Institute(梯度研究所);Department of Industry, Science and Resources(工业、科学与资源部)
本研究提出跨组织边界部署AI智能体的分析框架,定义三类部署层级并分析各层级的风险、管控缺口与所需集体行动,为相关方应对多智能体交互风险提供支撑。
2026-08-28 cs.AI cs.MA
Beyond the Mandate: A Systematic Security Analysis of the Agent Payments Protocol (AP2)
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Intuit(Intuit公司)
本文对谷歌AP2 v0.2开展系统性安全分析,识别出48种威胁及8种高风险威胁,构建测试平台与扫描器,发现授权签名无法保障智能体交易反映用户意图。
2026-08-26 cs.AI cs.CR