Optimizing Interpretable Decision Tree Policies for Reinforcement Learning
Delft University of Technology(代尔夫特理工大学)
针对强化学习中神经网络策略缺乏可解释性的问题,提出决策树策略优化(DTPO)算法,利用策略梯度直接优化完整决策树,实验证明其性能优于模仿学习等基线方法。
2024-08-21 cs.LG
Optimizing Market Making using Multi-Agent Reinforcement Learning
本文将强化学习应用于做市优化问题。一个多智能体强化学习框架被用来最佳地放置限价订单,导致成功的交易。该框架由两个代理组成。宏观主体优化购买、出售或持有资产的决策。微代理优化在限价订单簿内下限价订单。在本文的背景下,所提出的框架在比特币加密货币市场上应用和研究。本文的目的是表明强化学习是一种可行的策略,可以应用于复杂的问题(复杂的环境),如做市。
2018-12-26 cs.LG q-fin.TR stat.ML
Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning
Intel Labs(英特尔实验室);Intel Israel(英特尔以色列);Technion(以色列理工学院)
对于深度神经网络加速器来说,内存移动既消耗能量又会限制计算。因此,张量到存储层次结构的最佳映射对性能至关重要。随着神经网络复杂性的增加,需要自动化的内存映射来代替人工的启发式方法;然而,神经网络计算图的搜索空间以前非常大。我们介绍了进化图强化学习(EGRL),一种为大搜索空间设计的方法,它结合了图神经网络,强化学习和进化搜索。一组快速的、无状态的策略引导进化搜索以提高其样本效率。我们直接在英特尔NNP-I芯片上对我们的方法进行训练和验证,以进行推理。EGRL在BERT、ResNet-101和ResNet-50上的性能优于策略梯度、进化搜索和动态规划基线。我们还实现了28-78\%的速度相比,本机NNP-I编译器在所有三个工作负载。
2020-10-15 cs.AI cs.LG
Optimizing Quantum Error Correction Codes with Reinforcement Learning
University of Innsbruck(因斯布鲁克大学);Microsoft Research(微软研究院);Leiden University(莱顿大学);University of Konstanz(康斯坦茨大学);Austrian Academy of Sciences(奥地利科学院)
量子纠错被广泛认为是容错量子计算的关键。然而,为未知的错误通道或特定的实验室设置确定最合适的编码是非常具有挑战性的。在这里,我们提出了一个强化学习框架优化和容错适应量子纠错码。我们考虑一个强化学习代理,其任务是修改一系列表面码量子存储器,直到达到所需的逻辑错误率。使用具有任意连接性的大约70个数据量子位的有效模拟,我们证明了这样的强化学习代理可以确定各种感兴趣的错误模型的数据量子位数量的接近最优的解决方案。此外,我们表明,在一个设置上训练的代理能够成功地将他们的经验转移到不同的设置。这种迁移学习的能力展示了强化学习的内在优势,以及我们的方法从离线模拟到在线实验室设置的优化适用性。
2020-04-09 cs.AI cs.LG quant-ph
Optimizing Differentiable Relaxations of Coreference Evaluation Metrics
University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学)
共指评价指标很难直接优化,因为它们是不可微函数,不容易分解成基本决策。因此,大多数方法优化的目标只是间接相关的最终目标,导致次优性能。相反,我们提出了一种可微的放松,适合于基于梯度的优化,从而绕过了对交叉熵的强化学习或启发式修改的需要。我们表明,通过修改竞争性神经共指系统的训练目标,我们获得了很大的性能增益。这表明我们的方法可以被视为使用强化学习或计算成本更高的模仿学习的可行替代方案。
2017-06-22 cs.AI cs.CL cs.LG
PoBRL: Optimizing Multi-Document Summarization by Blending Reinforcement Learning Policies
Princeton University(普林斯顿大学);University of British Columbia(英属哥伦比亚大学)
我们提出了一种新的强化学习为基础的框架PoBRL解决多文档摘要。PoBRL共同优化了高质量摘要所需的以下三个目标:重要性,相关性和长度。我们的策略将这种多目标优化分解为不同的子问题,这些子问题可以通过强化学习单独解决。然后,利用PoBRL,我们将每个学习到的策略混合在一起,以生成一个摘要,该摘要是原始输入的简洁而完整的表示。我们的实证分析显示了几个多文档数据集的最先进的性能。人工评估也表明,我们的方法产生高质量的输出。
2021-05-18 cs.AI
Optimizing Sensory Neurons: Nonlinear Attention Mechanisms for Accelerated Convergence in Permutation-Invariant Neural Networks for Reinforcement Learning
针对强化学习训练成本高的问题,提出一种非线性注意力机制,通过增强键向量表示提升置换不变神经网络的收敛速度与训练效率,同时保持性能与基线相当。
2025-06-23 cs.AI cs.LG
Selective Perception: Optimizing State Descriptions with Reinforcement Learning for Language Model Actors
University of California Irvine(加州大学欧文分校)
针对LLM智能体决策时高维状态描述冗余低效的问题,提出BLINDER方法,通过学习任务条件下的状态描述值函数自动筛选简洁状态描述,在NetHack游戏和机器人操作任务中提升了成功率、降低了成本且可跨LLM泛化。
2023-07-21 cs.AI cs.CL cs.LG
Optimizing Vehicular Networks with Variational Quantum Circuits-based Reinforcement Learning
York University(约克大学)
本文提出基于变分量子电路的多目标强化学习框架,用于车载网络中的网络选择与自动驾驶决策,相比传统深度Q网络在收敛速度和奖励上均有显著提升。
2024-05-29 cs.AI cs.LG cs.NI
DearFSAC: An Approach to Optimizing Unreliable Federated Learning via Deep Reinforcement Learning
University of Electronic Science and Technology of China(电子科技大学);Shenzhen Institute for Advanced Study, UESTC(电子科技大学深圳高等研究院)
在联邦学习(FL)中,模型聚合被广泛用于数据隐私。近年来,为局部模型分配不同的权重已被用来缓解局部数据集之间的差异所导致的FL性能下降。然而,当各种缺陷使得FL过程不可靠时,大多数现有的FL方法暴露出弱鲁棒性。本文提出DEfect-AwaRe联邦软行动者-批评者(DearFSAC)算法,动态分配局部模型的权重,提高FL的鲁棒性。采用深度强化学习软行动者-批评者算法,获得接近最优的性能和稳定的收敛。此外,自动编码器被训练以输出低维嵌入向量,其进一步用于评估模型质量。在实验中,DearFSAC优于现有的三种方法在四个数据集上的独立同分布(IID)和非IID设置下的缺陷场景。
2022-01-30 cs.AI cs.LG
Optimizing Low-Speed Autonomous Driving: A Reinforcement Learning Approach to Route Stability and Maximum Speed
本文提出一种基于强化学习的低速自动驾驶策略优化方法,在保证安全和路线准确性的前提下,使车辆稳定保持接近最高速度行驶。
2024-12-20 cs.AI cs.RO
Optimizing Fantasy Sports Team Selection with Deep Reinforcement Learning
Dream11
本文针对梦幻板球组队优化问题,将队伍创建建模为序贯决策过程,利用历史球员数据训练强化学习算法预测表现并优化阵容,实验证明RL方法优于传统选秀策略。
2024-12-26 cs.AI cs.LG
Optimizing Quantum Variational Circuits with Deep Reinforcement Learning
Rensselaer Polytechnic Institute(伦斯勒理工学院)
量子机器学习(QML)被认为是近期量子器件最有前途的应用之一。然而,量子机器学习模型的优化提出了许多挑战,这些挑战来自硬件的不完善和导航指数缩放希尔伯特空间的根本障碍。在这项工作中,我们评估了当代方法在深度强化学习中的潜力,以增强量子变分电路中基于梯度的优化例程。我们发现,强化学习增强优化器在噪声环境中始终优于梯度下降。所有代码和预训练的权重都可用于复制结果或部署模型:https://github.com/lockwo/rl_qvc_opt。
2022-05-14 cs.LG quant-ph
Optimizing Language Models for Inference Time Objectives using Reinforcement Learning
Meta GenAI(Meta 生成式人工智能);Meta FAIR
本文提出在语言模型训练中显式优化推理时间目标(如pass@k和多数投票),并在代码生成任务上验证该方法能显著提升模型推理性能。
2025-08-17 cs.LG
Optimizing Medical Treatment for Sepsis in Intensive Care: from Reinforcement Learning to Pre-Trial Evaluation
Imperial College London(帝国理工学院)
我们的目标是建立一个框架,其中强化学习(RL)的优化干预措施回顾性地允许我们的监管合规的途径,在临床部署的前瞻性临床测试的学习政策。我们专注于重症监护病房的感染,这是死亡的主要原因之一,由于复杂和不透明的患者动态,以及临床上有争议的,每个患者所需的高度分歧的干预政策,而重症监护病房自然数据丰富。在我们的工作中,我们建立在医疗保健中的RL方法(“AI临床医生”)的基础上,并使用部分可观察MDP(POMDP)下的历史重症监护数据来学习用于脓毒症治疗的药物的政策外连续给药政策。POMPD通过吸收所有历史信息更好地捕捉患者状态的不确定性,从而产生有效的表示,我们通过消融进行调查。我们弥补了缺乏探索,在我们的回顾性数据,评估每个遇到的状态,最好的优先树搜索。我们减轻状态分布的转变,优化我们的政策在附近的临床医生的复合政策。至关重要的是,我们不仅使用传统的政策评估来评估我们的模型建议,而且还使用了一个新的框架,该框架包含了人类专家:一种与模型无关的临床前评估方法,用于评估临床医生的决策与我们的系统建议的准确性和不确定性,当面对相同的个体患者病史时(“阴影模式”)。
2020-03-18 cs.AI cs.LG
Personalized HeartSteps: A Reinforcement Learning Algorithm for Optimizing Physical Activity
University of Michigan(密歇根大学);IBM Research(IBM研究院);Harvard University(哈佛大学)
随着移动健康技术的发展,健康科学家对开发及时适应性干预(JITAI)越来越感兴趣,JITAI通常通过移动终端上的通知提供,旨在帮助用户预防负面健康结果,并促进健康行为的采用和维持。JITAI涉及一系列决策规则(即,治疗策略),其将用户的当前上下文作为输入,并指定此时是否应该提供干预以及应该提供什么类型的干预。在本文中,我们开发了一种强化学习(RL)算法,该算法在从用户收集数据时不断学习和改进JITAI中嵌入的治疗策略。这项工作的动机是我们在HeartSteps V2中基于HeartSteps V1的数据设计RL算法的合作。HeartSteps是一个身体活动移动健康应用程序。本文开发的RL算法正在HeartSteps V2中使用,每天五次,以决定是否提供上下文定制的活动建议。
2019-09-08 cs.AI cs.LG
Optimizing Conversational Product Recommendation via Reinforcement Learning
Independent Researcher(独立研究者)
本文提出基于强化学习的对话策略优化方法,通过反馈学习最优推荐时机与方式,在遵守约束的同时提升用户参与度和产品转化率。
2025-06-30 cs.IR cs.LG
Optimizing Industrial HVAC Systems with Hierarchical Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);DeepMind(深度思维)
强化学习(RL)技术已经被开发用于优化工业冷却系统,与传统的启发式策略相比,提供了大量的能量节省。工业控制中的一个主要挑战涉及由于机械约束而在现实世界中可行的学习行为。例如,某些操作只能每隔几个小时执行一次,而其他操作可以更频繁地执行。如果没有广泛的奖励工程和实验,RL代理可能无法学习机器的实际操作。为了解决这个问题,我们使用分层强化学习与多个代理,控制子集的行动,根据他们的操作时间尺度。我们的分层方法在现有基准上实现了节能,同时保持了限制,例如在模拟HVAC控制环境中在安全范围内运行制冷机。
2022-09-16 cs.AI cs.LG cs.MA
Optimizing Search Advertising Strategies: Integrating Reinforcement Learning with Generalized Second-Price Auctions for Enhanced Ad Ranking and Bidding
Columbia University(哥伦比亚大学);University of Michigan(密歇根大学);University of California, Irvine(加利福尼亚大学尔湾分校)
本文针对电商搜索广告排名与竞价机制,结合强化学习与进化策略提出动态模型,有效平衡广告主成本、用户相关性与平台收入,显著提升广告投放准确率与成本效率。
2024-05-29 cs.LG
Optimizing Nitrogen Management with Deep Reinforcement Learning and Crop Simulations
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
氮素管理对于维持土壤肥力和作物生产至关重要,同时最大限度地减少负面环境影响,但优化具有挑战性。本文提出了一个智能氮管理系统,使用深度强化学习(RL)和作物模拟与农业技术转让决策支持系统(DSSAT)。我们首先将N管理问题表述为RL问题。然后,我们训练管理策略与深度Q网络和软演员评论家算法,以及Gym-DSSAT接口,允许模拟作物环境和RL代理之间的日常互动。根据在美国爱荷华州和佛罗里达州的玉米作物上的实验,我们的RL训练的政策通过在使用更少的肥料的情况下获得更高或相似的产量而优于先前的经验方法
2022-04-21 cs.LG
Optimizing Variational Quantum Circuits Using Metaheuristic Strategies in Reinforcement Learning
LMU Munich(慕尼黑大学)
本文研究将粒子群优化、模拟退火等元启发式算法引入量子强化学习,以解决梯度方法在平坦解景观中失效的问题,并在MiniGrid和Cart Pole环境中验证了粒子群优化与模拟退火的优越性能。
2024-08-02 cs.AI cs.LG quant-ph
Coordinated Reinforcement Learning for Optimizing Mobile Networks
Ericsson Research(爱立信研究院)
移动网络由许多基站组成,并且对于每个基站,必须优化许多参数以提供良好的服务。自动和动态地优化所有这些实体是具有挑战性的,因为它们对环境的变化很敏感,并且可以通过干扰相互影响。强化学习(RL)算法是从传入数据自动学习基站配置策略的良好候选者,但它们通常难以扩展到许多代理。在这项工作中,我们演示了如何在涉及数百个合作代理的复杂应用程序中使用协调图和强化学习。我们展示了如何使用协调图对移动网络进行建模,以及如何使用多智能体强化学习有效地解决网络优化问题。图形结构自然地从关于网络的专家知识中产生,并且允许通过由神经网络表示的边缘价值函数来明确地学习天线之间的协调行为。我们的经验表明,协调强化学习优于其他方法。使用本地RL更新和参数共享可以处理大量代理,而不会牺牲协调,这使得它非常适合优化5G及以后带来的更密集的网络。
2021-09-30 cs.LG cs.NI
Optimizing Sequential Experimental Design with Deep Reinforcement Learning
CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所);CSIRO’s Land and Water(澳大利亚联邦科学与工业研究组织土地与水研究所)
贝叶斯方法解决序贯实验的最优设计是数学上优雅,但计算上具有挑战性。最近,已经提出了使用摊销的技术,通过训练在部署时有效地提出设计的参数化策略,使这些贝叶斯方法变得实用。然而,这些方法可能无法充分探索设计空间,需要访问可微概率模型,并且只能在连续的设计空间上进行优化。在这里,我们解决这些限制,表明优化政策的问题可以减少到解决马尔可夫决策过程(MDP)。我们用现代深度强化学习技术解决了等效的MDP。我们的实验表明,我们的方法在部署时也是计算效率高的,并且在连续和离散设计空间上都表现出最先进的性能,即使概率模型是黑盒。
2022-06-17 cs.LG stat.ML
Reinforcement Learning for Optimizing Large Qubit Array based Quantum Sensor Circuits
Cleveland State University(克利夫兰州立大学)
本文将强化学习与MPS张量网络仿真结合,用于最多60量子比特的量子传感器电路优化,在提升QFI与纠缠熵的同时显著降低门数和电路深度。
2025-08-28 cs.AI quant-ph
Optimizing Collision Avoidance in Dense Airspace using Deep Reinforcement Learning
Stanford University(斯坦福大学);Airbus UTM(空客UTM)
随着交通密度的增加,需要新的方法来确保空域保持安全和高效,以适应新的无人驾驶操作。本文探讨了无人驾驶自由飞行交通如何在密集的空域中运行。我们开发和分析了在密集空域中运行的飞机的自主防撞系统,传统的防撞系统失败。我们提出了一个度量的决策负担量化的防撞系统,以及度量的防撞系统对空域的影响。我们使用深度强化学习来计算现有防撞方法的修正,以解决密集空域的问题。结果表明,修正后的防撞系统可以在密集空域中比传统方法更有效地运行,同时保持高水平的安全性。
2019-12-20 cs.AI cs.LG cs.RO
Optimizing Traffic Lights with Multi-agent Deep Reinforcement Learning and V2X communication
Harbin Engineering University(哈尔滨工程大学)
我们考虑使用多智能体深度强化学习和车辆到一切(V2X)通信来优化交通信号持续时间的系统。该系统旨在分析多智能体的独立和共享的奖励,以控制交通灯的持续时间。学习代理交通灯在圆形V2X覆盖范围内沿其车道获取信息。交通灯的持续时间周期被建模为马尔可夫决策过程。我们研究了四种不同的奖励函数。前两个是非共享奖励:基于等待数量和两个红绿灯周期之间的车辆等待时间。第三和第四个功能是:基于等待车辆的共享奖励,以及所有代理的等待时间。每个代理都有一个内存,用于通过目标网络进行优化和优先级经验重放。我们通过城市移动性模拟(SUMO)模拟器评估多智能体。结果表明,该系统可以有效地优化交通信号,与传统的周期性交通控制系统相比,平均等待车辆减少到41.5%。
2020-02-23 cs.AI cs.LG cs.MA
Optimizing Large-Scale Fleet Management on a Road Network using Multi-Agent Deep Reinforcement Learning with Graph Neural Network
Seoul National University(首尔国立大学)
提出了一种将多智能体强化学习与图神经网络相结合的车队管理优化方法。为了提供乘车服务,需要优化空间域上的动态资源和需求。虽然空间结构以前是用规则网格近似的,但我们的方法用图形表示道路网络,这更好地反映了底层的几何结构。将动态资源分配问题描述为多智能体强化学习,其动作价值函数(Q函数)用图神经网络逼近。我们使用随机策略更新规则的图与深Q网络(DQN),并取得了优越的结果比贪婪的策略更新。我们设计了一个逼真的模拟器,模拟经验出租车呼叫数据,并确认所提出的模型在各种条件下的有效性。
2021-08-06 cs.LG cs.SY eess.SY
Knowledge Transfer in Deep Reinforcement Learning for Slice-Aware Mobility Robustness Optimization
Nokia Bell Labs(诺基亚贝尔实验室);Technical University of Munich(慕尼黑工业大学);Nokia Software(诺基亚软件部门)
自组织网络中的传统移动性鲁棒性优化(MRO)旨在通过优化小区特定的切换参数来提高切换性能。然而,这样的解决方案不能满足下一代网络的需求与网络切片,因为它只保证接收信号的强度,而不是每个切片的服务质量。为了提供真正无缝的移动服务,我们提出了一种基于深度强化学习的切片感知移动鲁棒性优化(SAMRO)方法,该方法通过优化切片特定的切换参数来提高切换性能,并确保切片服务。此外,为了允许安全和样本有效的在线训练,我们开发了一个两步迁移学习方案:1)正则化的离线强化学习,以及2)有效的在线微调与混合经验重放。系统级仿真结果表明,与传统的MRO算法相比,SAMRO算法在优化切换性能的同时,显著提高了切片感知服务的连续性。
2022-03-07 cs.AI cs.LG cs.NI
Optimizing Warfarin Dosing using Deep Reinforcement Learning
Tippie College of Business, University of Iowa(爱荷华大学蒂皮商学院)
华法林是一种广泛使用的抗凝剂,但治疗范围较窄。华法林的剂量应个体化,因为轻微的过量或剂量不足可能会产生灾难性甚至致命的后果。尽管对华法林给药进行了大量研究,但目前的给药方案并没有达到预期,特别是对于对华法林敏感的患者。我们提出了一个基于深度强化学习的华法林给药模型。为了克服给药试验中样本量相对较小的问题,我们使用华法林的药代动力学/药效学(PK/PD)模型来模拟虚拟患者的剂量反应。将所提出的算法应用于虚拟测试患者表明,该模型优于一组临床上接受的给药方案的广泛利润。我们在第二个PK/PD模型上测试了我们的给药方案的稳健性,并表明其性能与基线方案相当。
2022-12-23 cs.LG
ReSpec: Towards Optimizing Speculative Decoding in Reinforcement Learning Systems
通过强化学习(RL)对大语言模型(LLM)进行自适应训练时,生成阶段通常会消耗超过75%的训练时间。推测解码(SD)加速了服务系统中的自回归生成,但其在RL训练下的行为在很大程度上仍未被探索。我们确定了三个关键的差距,阻碍了天真的SD到RL系统的集成:在大批量的加速下降,起草人陈旧下不断演员更新,和起草人引起的政策退化。为了解决这些差距,我们提出了ReSpec,一个系统,通过三个互补的机制,适应SD RL:动态调整SD配置,通过知识蒸馏发展的起草者,并通过推出奖励加权更新。在Qwen模型(3B-14 B)上,ReSpec实现了高达4.5倍的加速,同时保持了奖励收敛和训练稳定性,为基于RL的LLM自适应提供了一个实用的解决方案。
2025-10-30 cs.DC cs.LG
Optimizing Coverage and Difficulty in Reinforcement Learning for Quiz Composition
CNRS, Univ. Grenoble Alpes(法国国家科学研究中心,格勒诺布尔阿尔卑斯大学)
本文旨在自动化从多项选择题中生成测验,通过强化学习方法优化测验的覆盖范围和难度,通过实验验证不同算法在不同数据分布下的表现。
2026-03-29 cs.LG
Optimizing HIV Patient Engagement with Reinforcement Learning in Resource-Limited Settings
Causal Foundry(因果研究所);mothers2mothers(母婴组织)
该研究介绍了面向资源有限地区社区卫生工作者的AI原生移动应用CHARM,其将推出基于强化学习的适应性干预功能,以提升卫生工作者效率与患者预后,优化HIV患者管理。
2024-08-14 cs.AI cs.CY cs.LG
Interpretable Deep Reinforcement Learning for Optimizing Heterogeneous Energy Storage Systems
East China University of Science and Technology(华东理工大学);Nantong University(南通大学);University of New South Wales(新南威尔士大学);Nanyang Technological University(南洋理工大学)
针对异构PV-ESS的能源套利调度,提出一种基于原型的策略网络,通过人工设计的原型比较情境相似性实现透明决策,克服黑箱模型局限,在四案例中验证了有效性与实用性。
2023-10-20 cs.AI cs.LG
Optimizing Tensor Network Contraction Using Reinforcement Learning
NVIDIA Research(英伟达研究院)
量子计算(QC)是一种革命性的计算技术,但目前仍受到限制。为了开发和测试量子算法,通常在经典计算机上模拟量子线路。模拟一个复杂的量子线路需要计算一个大型张量网络的收缩。收缩的顺序(路径)可能对计算成本产生巨大影响,但找到一个有效的顺序是一个具有挑战性的组合优化问题。我们提出了一种结合图神经网络(GNN)的强化学习(RL)方法来解决收缩排序问题。该问题是极具挑战性的,由于巨大的搜索空间,重尾奖励分布,并具有挑战性的信用分配。我们展示了如何使用GNN作为基本策略构建的精心实现的RL代理可以解决这些挑战,并在三种电路中获得最先进技术的显着改进,包括当代QC中使用的最大规模网络。
2022-04-18 cs.LG quant-ph
Optimizing thermodynamic trajectories using evolutionary and gradient-based reinforcement learning
University of Ottawa(渥太华大学);National Research Council of Canada(加拿大国家研究委员会);University of Ontario Institute of Technology(安大略理工大学);University of Victoria(维多利亚大学);Vector Institute for Artificial Intelligence(矢量人工智能研究所);Molecular Foundry, Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室分子铸造厂)
使用模型热机,我们表明,基于神经网络的强化学习可以识别最大效率的热力学轨迹。我们考虑梯度和无梯度强化学习。我们使用进化学习算法来进化神经网络的种群,服从一个指令,以最大限度地提高由一组基本热力学过程组成的轨迹的效率;由此产生的网络学习进行最有效的卡诺,斯特林或奥托循环。当给定一个额外的不可逆过程时,这个进化方案学习了一个以前未知的热力学循环。基于递归的强化学习能够学习斯特林循环,而进化方法实现最佳卡诺循环。我们的研究结果表明,如何强化学习策略开发的游戏可以应用于解决物理问题的条件下,路径广泛的顺序参数。
2021-11-22 cond-mat.stat-mech cs.LG cs.NE
Beyond Traditional DoE: Deep Reinforcement Learning for Optimizing Experiments in Model Identification of Battery Dynamics
Eatron Technologies Ltd.(伊创科技有限公司);Istanbul Technical University Artificial Intelligence and Data Science Application and Research Center(伊斯坦布尔理工大学人工智能与数据科学应用研究中心)
本文提出基于深度强化学习的实验设计方法,动态调整电流剖面以优化电池模型辨识,在保持模型精度的同时减少85%资源消耗。
2023-10-12 cs.AI cs.LG
Beyond Training: Optimizing Reinforcement Learning Based Job Shop Scheduling Through Adaptive Action Sampling
Institute for Technologies and Management of Digital Transformation(数字化转型技术与管理研究所)
本文针对作业车间调度中训练好的深度强化学习智能体在推理阶段使用不充分的问题,提出δ-采样方法以自适应调节探索与利用,并给出最优参数化算法,实验验证其能有效提升解的质量。
2024-06-11 cs.AI cs.LG
On Jointly Optimizing Partial Offloading and SFC Mapping: A Cooperative Dual-agent Deep Reinforcement Learning Approach
Southwest Jiaotong University(西南交通大学)
多接入边缘计算(MEC)和网络功能虚拟化(NFV)是支持新兴物联网应用的有前途的技术,特别是那些计算密集型应用。在支持NFV的MEC环境中,服务功能链(SFC),即,一组有序的虚拟网络功能(VNF)可以被映射到MEC服务器上。移动设备(MD)可以将计算密集型应用(可以由SFC表示)全部或部分卸载到MEC服务器以供远程执行。本文研究了支持NFV的MEC系统中的部分卸载和SFC映射联合优化(POSMJO)问题,其中传入任务可以划分为两部分,一部分用于本地执行,另一部分用于远程执行。目标是最大限度地减少长期的平均成本,这是执行延迟,MD的能耗和边缘计算的使用费用的组合。该问题包括两个密切相关的决策步骤,即任务划分和VNF放置,这是非常复杂和具有挑战性的。为了解决这个问题,我们提出了一个合作的双代理深度强化学习(CDADRL)算法,在那里我们设计了一个框架,使两个代理之间的互动。仿真结果表明,该算法在累积和平均情节奖励方面优于三种深度强化学习算法组合,在执行延迟、能耗和使用费用方面优于许多基线算法。
2022-05-20 cs.AI cs.LG cs.NI
Optimizing Audio Recommendations for the Long-Term: A Reinforcement Learning Perspective
Spotify(Spotify( Spotify 公司));Columbia University(哥伦比亚大学)
本文提出一种工业级播客推荐系统,基于强化学习框架优化数亿用户的长期收听体验,通过定制价值函数与用户状态表示,在A/B测试中显著提升长期性能,且大幅降低数据需求。
2024-07-27 cs.AI cs.IR cs.LG
Optimizing Life Sciences Agents in Real-Time using Reinforcement Learning
Nihir Chadderwala(独立研究者)
本研究提出一种结合AWS Strands Agents与汤普森采样上下文带障的框架,通过用户反馈实时优化生命科学代理的决策策略,提升用户满意度15-30%。
2025-11-26 cs.AI cs.LG cs.MA
LoopTune: Optimizing Tensor Computations with Reinforcement Learning
Rice University(莱斯大学);Meta AI;Dabun AI
针对传统编译器性能不足、自动调优耗时长等问题,提出深度强化学习编译器LoopTune,结合图表示与LoopNest代码生成器,可快速针对CPU优化张量计算,性能比肩手动调优库。
2023-11-08 cs.LG cs.PL
Optimizing Long-term Value for Auction-Based Recommender Systems via On-Policy Reinforcement Learning
Meta AI
本研究采用时序差分学习实现单步策略改进,使基于拍卖的推荐系统在保持与拍卖框架兼容的同时优化长期用户参与度指标,并在大规模在线A/B测试中验证了其优于现有生产系统。
2023-07-30 cs.AI cs.IR
PathletRL++: Optimizing Trajectory Pathlet Extraction and Dictionary Formation via Reinforcement Learning
York University(约克大学)
针对轨迹路径片段字典构建中的冗余与高内存问题,提出自底向上合并的深度强化学习方法PathletRL++,显著压缩字典并保持轨迹可表示性。
2024-12-04 cs.AI cs.LG
Optimizing RAG Rerankers with LLM Feedback via Reinforcement Learning
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学)
本文提出RRPO框架,通过强化学习将重排序与LLM生成质量对齐,消除了对昂贵人工标注的依赖,实验显示其在知识密集型基准上优于基线模型。
2026-07-03 cs.AI cs.CL cs.IR
A Deep Reinforcement Learning Framework for Optimizing Congestion Control in Data Centers
Huawei Technologies Canada(华为技术加拿大公司);University of Toronto(多伦多大学)
针对数据中心在线学习拥塞控制难以收敛的问题,利用多智能体强化学习设计动态调参系统,基于网络与流量状态优化吞吐量和延迟,实验表明其能缓解静态参数问题。
2023-01-29 cs.LG cs.NI
Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks
Autodesk(欧特克);Innovyze(Innovyze公司);Autodesk Research(欧特克研究院)
本文提出混合强化学习方法,结合历史数据与强化学习优化供水管网泵调度,降低能耗和成本,增强可解释性和鲁棒性,提升可持续性与运行效率。
2023-10-13 cs.AI cs.LG
Cooper: Co-Optimizing Policy and Reward Models in Reinforcement Learning for Large Language Models
Zhejiang University(浙江大学)
针对强化学习奖励模型易受奖励黑客攻击和规则奖励鲁棒性不足的问题,提出Cooper框架,协同优化策略与奖励模型,并引入混合标注和基于参考的奖励建模,实验证明其缓解奖励黑客并提升性能。
2025-08-07 cs.AI cs.CL
Stabilizing reinforcement learning control: A modular framework for optimizing over all stable behavior
University of British Columbia(不列颠哥伦比亚大学);Honeywell Process Solutions(霍尼韦尔过程解决方案公司)
提出一种结合深度强化学习与Youla-Kucera参数化的模块化反馈控制器设计框架,通过数据驱动模型和稳定算子集合确保控制稳定性,并支持非线性扩展与固定结构控制器调优。
2024-03-21 cs.AI cs.LG cs.SY
Optimizing Automatic Differentiation with Deep Reinforcement Learning
Peter Grünberg Institute(彼得·格伦贝格研究所);Forschungszentrum Jülich(于利希研究中心);RWTH Aachen(亚琛工业大学)
本文提出一种基于深度强化学习和跨区域消除的新方法,通过将寻找最优消除顺序建模为单人游戏,在计算精确雅可比矩阵的同时优化乘法次数,在多个任务上实现高达33%的改进并转化为实际运行时提升。
2025-01-27 cs.AI cs.LG
Optimizing Crop Management with Reinforcement Learning and Imitation Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Tasmania(塔斯马尼亚大学);Stockholm University(斯德哥尔摩大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
作物管理包括氮肥运筹和灌溉管理,对作物产量、经济效益和环境有着重要的影响。虽然有管理指南,但在特定的种植环境和作物下,找到最佳管理做法是一项挑战。以前的工作使用强化学习(RL)和作物模拟器来解决这个问题,但经过训练的策略要么性能有限,要么无法在现实世界中部署。在本文中,我们提出了一个智能作物管理系统,优化氮肥和灌溉同时通过RL,模仿学习(IL),作物模拟使用农业技术转移决策支持系统(DSSAT)。我们首先使用深度RL,特别是深度Q网络,来训练管理策略,这些策略需要来自模拟器的所有状态信息作为观测(表示为完整观测)。然后,我们调用IL来训练管理策略,这些策略只需要有限的状态信息,这些信息可以通过模仿先前RL训练的策略在完全观察下的动作在现实世界中容易地获得(表示为部分观察)。我们在佛罗里达州使用玉米的案例研究进行实验,并在模拟中将训练的政策与玉米管理指南进行比较。我们在完全和部分观测下训练的策略都能获得更好的结果,从而获得更高的利润或类似的利润,同时对环境的影响更小。此外,部分观测管理策略可直接部署在现实世界中,因为它们使用现成的信息。
2023-02-27 cs.AI cs.LG
Optimizing Power Grid Topologies with Reinforcement Learning: A Survey of Methods and Challenges
Vrije Universiteit(阿姆斯特丹自由大学)
本文综述强化学习在电网拓扑优化中的应用,梳理L2RPN推动的方法分类、设计选择与研究空白,并通过比较数值实验评估其有效性。
2025-05-15 cs.AI cs.LG cs.SY
Deep Reinforcement Learning for Optimizing Energy Consumption in Smart Grid Systems
Iran university of Science and Technology(伊朗科技大学);Islamic Azad university(伊斯兰阿扎德大学)
本文提出利用物理信息神经网络改进强化学习,以提高智能电网能耗优化的效率和性能。
2026-02-20 cs.AI cs.DC cs.LG
Optimizing Airborne Wind Energy with Reinforcement Learning
University of Groningen(格罗宁根大学);SISSA International School for Advanced Studies(SISSA国际高等研究院);PSL University(巴黎文理研究大学);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学);Université de Paris(巴黎大学);Université Libre de Bruxelles(布鲁塞尔自由大学)
空中风能是一种轻型技术,允许使用风筝和滑翔机等空中设备从风中提取电力,其中可以动态控制机翼方向,以最大限度地提高性能。湍流空气动力学的动力学复杂性使得该优化问题无法通过常规方法(例如经典控制理论)来解决,所述常规方法依赖于手头的动力学系统的精确且易处理的分析模型。在这里,我们建议通过强化学习来解决这个问题,强化学习是一种技术,通过与环境的反复试错交互,学习将观察与有利可图的行为相关联,而不需要系统的先验知识。我们证明,在模拟环境中,强化学习找到了一种有效的方法来控制风筝,使其能够长距离牵引车辆。我们使用的算法是基于一个小的直观的观察和它的物理透明的解释允许描述的近似最优策略作为一个简单的列表的操纵指令。
2022-03-27 cs.LG cs.SY eess.SY
RLPrompt: Optimizing Discrete Text Prompts with Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);UC San Diego(加州大学圣地亚哥分校);MIT(麻省理工学院);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Petuum Inc.(Petuum公司)
在使大型预训练的语言模型(LM)能够执行各种NLP任务方面,特别是当只有很少的下游数据可用时,编译已经取得了令人印象深刻的成功。然而,自动为每个任务找到最佳提示是具有挑战性的。大多数现有的工作采取调整软提示(例如,嵌入),其缺乏可解释性、跨LM的可重用性以及当梯度不可访问时的适用性。另一方面,离散提示难以优化,并且通常通过“枚举”(例如,释义)-然后选择”的策略,不系统地探索提示空间。提出了一种基于强化学习(RL)的高效离散提示优化方法RLPrompt。RLPrompt制定了一个参数有效的策略网络,该网络在带奖励的训练后生成所需的离散提示。为了克服大型LM环境中奖励信号的复杂性和随机性,我们引入了有效的奖励稳定性,大大提高了训练效率。RLPrompt可灵活地应用于不同类型的LM,例如掩码(例如,BERT)和从左到右模型(例如,GPT),用于分类和生成任务。在Few-Shot分类和无监督文本风格转换上的实验表明,该方法优于现有的各种微调或提示方法。有趣的是,所得到的优化提示通常是不合语法的胡言乱语文本;并且令人惊讶的是,这些胡言乱语提示可以在不同的LM之间转移以保持显著的性能,这表明LM提示可能不遵循人类语言模式。
2022-10-22 cs.CL cs.LG