Optimizing Conversational Product Recommendation via Reinforcement Learning
Independent Researcher(独立研究者)
本文提出基于强化学习的对话策略优化方法,通过反馈学习最优推荐时机与方式,在遵守约束的同时提升用户参与度和产品转化率。
2025-06-30 cs.IR cs.LG
Optimizing Search Advertising Strategies: Integrating Reinforcement Learning with Generalized Second-Price Auctions for Enhanced Ad Ranking and Bidding
Columbia University(哥伦比亚大学);University of Michigan(密歇根大学);University of California, Irvine(加利福尼亚大学尔湾分校)
本文针对电商搜索广告排名与竞价机制,结合强化学习与进化策略提出动态模型,有效平衡广告主成本、用户相关性与平台收入,显著提升广告投放准确率与成本效率。
2024-05-29 cs.LG
Optimizing Nitrogen Management with Deep Reinforcement Learning and Crop Simulations
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
氮素管理对于维持土壤肥力和作物生产至关重要,同时最大限度地减少负面环境影响,但优化具有挑战性。本文提出了一个智能氮管理系统,使用深度强化学习(RL)和作物模拟与农业技术转让决策支持系统(DSSAT)。我们首先将N管理问题表述为RL问题。然后,我们训练管理策略与深度Q网络和软演员评论家算法,以及Gym-DSSAT接口,允许模拟作物环境和RL代理之间的日常互动。根据在美国爱荷华州和佛罗里达州的玉米作物上的实验,我们的RL训练的政策通过在使用更少的肥料的情况下获得更高或相似的产量而优于先前的经验方法
2022-04-21 cs.LG
Coordinated Reinforcement Learning for Optimizing Mobile Networks
Ericsson Research(爱立信研究院)
移动网络由许多基站组成,并且对于每个基站,必须优化许多参数以提供良好的服务。自动和动态地优化所有这些实体是具有挑战性的,因为它们对环境的变化很敏感,并且可以通过干扰相互影响。强化学习(RL)算法是从传入数据自动学习基站配置策略的良好候选者,但它们通常难以扩展到许多代理。在这项工作中,我们演示了如何在涉及数百个合作代理的复杂应用程序中使用协调图和强化学习。我们展示了如何使用协调图对移动网络进行建模,以及如何使用多智能体强化学习有效地解决网络优化问题。图形结构自然地从关于网络的专家知识中产生,并且允许通过由神经网络表示的边缘价值函数来明确地学习天线之间的协调行为。我们的经验表明,协调强化学习优于其他方法。使用本地RL更新和参数共享可以处理大量代理,而不会牺牲协调,这使得它非常适合优化5G及以后带来的更密集的网络。
2021-09-30 cs.LG cs.NI
Optimizing Sequential Experimental Design with Deep Reinforcement Learning
CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61研究所);CSIRO’s Land and Water(澳大利亚联邦科学与工业研究组织土地与水研究所)
贝叶斯方法解决序贯实验的最优设计是数学上优雅,但计算上具有挑战性。最近,已经提出了使用摊销的技术,通过训练在部署时有效地提出设计的参数化策略,使这些贝叶斯方法变得实用。然而,这些方法可能无法充分探索设计空间,需要访问可微概率模型,并且只能在连续的设计空间上进行优化。在这里,我们解决这些限制,表明优化政策的问题可以减少到解决马尔可夫决策过程(MDP)。我们用现代深度强化学习技术解决了等效的MDP。我们的实验表明,我们的方法在部署时也是计算效率高的,并且在连续和离散设计空间上都表现出最先进的性能,即使概率模型是黑盒。
2022-06-17 cs.LG stat.ML
Optimizing Quantum Error Correction Codes with Reinforcement Learning
University of Innsbruck(因斯布鲁克大学);Microsoft Research(微软研究院);Leiden University(莱顿大学);University of Konstanz(康斯坦茨大学);Austrian Academy of Sciences(奥地利科学院)
量子纠错被广泛认为是容错量子计算的关键。然而,为未知的错误通道或特定的实验室设置确定最合适的编码是非常具有挑战性的。在这里,我们提出了一个强化学习框架优化和容错适应量子纠错码。我们考虑一个强化学习代理,其任务是修改一系列表面码量子存储器,直到达到所需的逻辑错误率。使用具有任意连接性的大约70个数据量子位的有效模拟,我们证明了这样的强化学习代理可以确定各种感兴趣的错误模型的数据量子位数量的接近最优的解决方案。此外,我们表明,在一个设置上训练的代理能够成功地将他们的经验转移到不同的设置。这种迁移学习的能力展示了强化学习的内在优势,以及我们的方法从离线模拟到在线实验室设置的优化适用性。
2020-04-09 cs.AI cs.LG quant-ph
Optimizing Large-Scale Fleet Management on a Road Network using Multi-Agent Deep Reinforcement Learning with Graph Neural Network
Seoul National University(首尔国立大学)
提出了一种将多智能体强化学习与图神经网络相结合的车队管理优化方法。为了提供乘车服务,需要优化空间域上的动态资源和需求。虽然空间结构以前是用规则网格近似的,但我们的方法用图形表示道路网络,这更好地反映了底层的几何结构。将动态资源分配问题描述为多智能体强化学习,其动作价值函数(Q函数)用图神经网络逼近。我们使用随机策略更新规则的图与深Q网络(DQN),并取得了优越的结果比贪婪的策略更新。我们设计了一个逼真的模拟器,模拟经验出租车呼叫数据,并确认所提出的模型在各种条件下的有效性。
2021-08-06 cs.LG cs.SY eess.SY
Optimizing Vehicular Networks with Variational Quantum Circuits-based Reinforcement Learning
York University(约克大学)
本文提出基于变分量子电路的多目标强化学习框架,用于车载网络中的网络选择与自动驾驶决策,相比传统深度Q网络在收敛速度和奖励上均有显著提升。
2024-05-29 cs.AI cs.LG cs.NI
Optimizing a domestic battery and solar photovoltaic system with deep reinforcement learning
Imperial College London(帝国理工学院);Newcastle University(纽卡斯尔大学)
电池和太阳能光伏系统成本的降低导致了太阳能电池家用系统的高度采用。在这项工作中,我们使用深度确定性策略梯度算法来优化这样的系统内的电池的充电和放电行为。我们的方法输出一个连续的动作空间,当它充电和放电的电池,并能很好地在随机环境中工作。我们通过在一年内选定的几周内将单个家庭的电力支出降低到近1AUD的大型电池来展示该算法的良好性能。
2021-09-10 cs.AI cs.LG
Optimizing Industrial HVAC Systems with Hierarchical Reinforcement Learning
Carnegie Mellon University(卡内基梅隆大学);DeepMind(深度思维)
强化学习(RL)技术已经被开发用于优化工业冷却系统,与传统的启发式策略相比,提供了大量的能量节省。工业控制中的一个主要挑战涉及由于机械约束而在现实世界中可行的学习行为。例如,某些操作只能每隔几个小时执行一次,而其他操作可以更频繁地执行。如果没有广泛的奖励工程和实验,RL代理可能无法学习机器的实际操作。为了解决这个问题,我们使用分层强化学习与多个代理,控制子集的行动,根据他们的操作时间尺度。我们的分层方法在现有基准上实现了节能,同时保持了限制,例如在模拟HVAC控制环境中在安全范围内运行制冷机。
2022-09-16 cs.AI cs.LG cs.MA
Optimizing Warfarin Dosing using Deep Reinforcement Learning
Tippie College of Business, University of Iowa(爱荷华大学蒂皮商学院)
华法林是一种广泛使用的抗凝剂,但治疗范围较窄。华法林的剂量应个体化,因为轻微的过量或剂量不足可能会产生灾难性甚至致命的后果。尽管对华法林给药进行了大量研究,但目前的给药方案并没有达到预期,特别是对于对华法林敏感的患者。我们提出了一个基于深度强化学习的华法林给药模型。为了克服给药试验中样本量相对较小的问题,我们使用华法林的药代动力学/药效学(PK/PD)模型来模拟虚拟患者的剂量反应。将所提出的算法应用于虚拟测试患者表明,该模型优于一组临床上接受的给药方案的广泛利润。我们在第二个PK/PD模型上测试了我们的给药方案的稳健性,并表明其性能与基线方案相当。
2022-12-23 cs.LG
Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning
Intel Labs(英特尔实验室);Intel Israel(英特尔以色列);Technion(以色列理工学院)
对于深度神经网络加速器来说,内存移动既消耗能量又会限制计算。因此,张量到存储层次结构的最佳映射对性能至关重要。随着神经网络复杂性的增加,需要自动化的内存映射来代替人工的启发式方法;然而,神经网络计算图的搜索空间以前非常大。我们介绍了进化图强化学习(EGRL),一种为大搜索空间设计的方法,它结合了图神经网络,强化学习和进化搜索。一组快速的、无状态的策略引导进化搜索以提高其样本效率。我们直接在英特尔NNP-I芯片上对我们的方法进行训练和验证,以进行推理。EGRL在BERT、ResNet-101和ResNet-50上的性能优于策略梯度、进化搜索和动态规划基线。我们还实现了28-78\%的速度相比,本机NNP-I编译器在所有三个工作负载。
2020-10-15 cs.AI cs.LG
ReSpec: Towards Optimizing Speculative Decoding in Reinforcement Learning Systems
通过强化学习(RL)对大语言模型(LLM)进行自适应训练时,生成阶段通常会消耗超过75%的训练时间。推测解码(SD)加速了服务系统中的自回归生成,但其在RL训练下的行为在很大程度上仍未被探索。我们确定了三个关键的差距,阻碍了天真的SD到RL系统的集成:在大批量的加速下降,起草人陈旧下不断演员更新,和起草人引起的政策退化。为了解决这些差距,我们提出了ReSpec,一个系统,通过三个互补的机制,适应SD RL:动态调整SD配置,通过知识蒸馏发展的起草者,并通过推出奖励加权更新。在Qwen模型(3B-14 B)上,ReSpec实现了高达4.5倍的加速,同时保持了奖励收敛和训练稳定性,为基于RL的LLM自适应提供了一个实用的解决方案。
2025-10-30 cs.DC cs.LG
Optimizing Coverage and Difficulty in Reinforcement Learning for Quiz Composition
CNRS, Univ. Grenoble Alpes(法国国家科学研究中心,格勒诺布尔阿尔卑斯大学)
本文旨在自动化从多项选择题中生成测验,通过强化学习方法优化测验的覆盖范围和难度,通过实验验证不同算法在不同数据分布下的表现。
2026-03-29 cs.LG
Optimizing Tensor Network Contraction Using Reinforcement Learning
NVIDIA Research(英伟达研究院)
量子计算(QC)是一种革命性的计算技术,但目前仍受到限制。为了开发和测试量子算法,通常在经典计算机上模拟量子线路。模拟一个复杂的量子线路需要计算一个大型张量网络的收缩。收缩的顺序(路径)可能对计算成本产生巨大影响,但找到一个有效的顺序是一个具有挑战性的组合优化问题。我们提出了一种结合图神经网络(GNN)的强化学习(RL)方法来解决收缩排序问题。该问题是极具挑战性的,由于巨大的搜索空间,重尾奖励分布,并具有挑战性的信用分配。我们展示了如何使用GNN作为基本策略构建的精心实现的RL代理可以解决这些挑战,并在三种电路中获得最先进技术的显着改进,包括当代QC中使用的最大规模网络。
2022-04-18 cs.LG quant-ph
Optimizing thermodynamic trajectories using evolutionary and gradient-based reinforcement learning
University of Ottawa(渥太华大学);National Research Council of Canada(加拿大国家研究委员会);University of Ontario Institute of Technology(安大略理工大学);University of Victoria(维多利亚大学);Vector Institute for Artificial Intelligence(矢量人工智能研究所);Molecular Foundry, Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室分子铸造厂)
使用模型热机,我们表明,基于神经网络的强化学习可以识别最大效率的热力学轨迹。我们考虑梯度和无梯度强化学习。我们使用进化学习算法来进化神经网络的种群,服从一个指令,以最大限度地提高由一组基本热力学过程组成的轨迹的效率;由此产生的网络学习进行最有效的卡诺,斯特林或奥托循环。当给定一个额外的不可逆过程时,这个进化方案学习了一个以前未知的热力学循环。基于递归的强化学习能够学习斯特林循环,而进化方法实现最佳卡诺循环。我们的研究结果表明,如何强化学习策略开发的游戏可以应用于解决物理问题的条件下,路径广泛的顺序参数。
2021-11-22 cond-mat.stat-mech cs.LG cs.NE
DearFSAC: An Approach to Optimizing Unreliable Federated Learning via Deep Reinforcement Learning
University of Electronic Science and Technology of China(电子科技大学);Shenzhen Institute for Advanced Study, UESTC(电子科技大学深圳高等研究院)
在联邦学习(FL)中,模型聚合被广泛用于数据隐私。近年来,为局部模型分配不同的权重已被用来缓解局部数据集之间的差异所导致的FL性能下降。然而,当各种缺陷使得FL过程不可靠时,大多数现有的FL方法暴露出弱鲁棒性。本文提出DEfect-AwaRe联邦软行动者-批评者(DearFSAC)算法,动态分配局部模型的权重,提高FL的鲁棒性。采用深度强化学习软行动者-批评者算法,获得接近最优的性能和稳定的收敛。此外,自动编码器被训练以输出低维嵌入向量,其进一步用于评估模型质量。在实验中,DearFSAC优于现有的三种方法在四个数据集上的独立同分布(IID)和非IID设置下的缺陷场景。
2022-01-30 cs.AI cs.LG
Optimizing Collision Avoidance in Dense Airspace using Deep Reinforcement Learning
Stanford University(斯坦福大学);Airbus UTM(空客UTM)
随着交通密度的增加,需要新的方法来确保空域保持安全和高效,以适应新的无人驾驶操作。本文探讨了无人驾驶自由飞行交通如何在密集的空域中运行。我们开发和分析了在密集空域中运行的飞机的自主防撞系统,传统的防撞系统失败。我们提出了一个度量的决策负担量化的防撞系统,以及度量的防撞系统对空域的影响。我们使用深度强化学习来计算现有防撞方法的修正,以解决密集空域的问题。结果表明,修正后的防撞系统可以在密集空域中比传统方法更有效地运行,同时保持高水平的安全性。
2019-12-20 cs.AI cs.LG cs.RO
Optimizing Fantasy Sports Team Selection with Deep Reinforcement Learning
Dream11
本文针对梦幻板球组队优化问题,将队伍创建建模为序贯决策过程,利用历史球员数据训练强化学习算法预测表现并优化阵容,实验证明RL方法优于传统选秀策略。
2024-12-26 cs.AI cs.LG
LoopTune: Optimizing Tensor Computations with Reinforcement Learning
Rice University(莱斯大学);Meta AI;Dabun AI
针对传统编译器性能不足、自动调优耗时长等问题,提出深度强化学习编译器LoopTune,结合图表示与LoopNest代码生成器,可快速针对CPU优化张量计算,性能比肩手动调优库。
2023-11-08 cs.LG cs.PL
A Deep Reinforcement Learning Framework for Optimizing Congestion Control in Data Centers
Huawei Technologies Canada(华为技术加拿大公司);University of Toronto(多伦多大学)
针对数据中心在线学习拥塞控制难以收敛的问题,利用多智能体强化学习设计动态调参系统,基于网络与流量状态优化吞吐量和延迟,实验表明其能缓解静态参数问题。
2023-01-29 cs.LG cs.NI
Optimizing Medical Treatment for Sepsis in Intensive Care: from Reinforcement Learning to Pre-Trial Evaluation
Imperial College London(帝国理工学院)
我们的目标是建立一个框架,其中强化学习(RL)的优化干预措施回顾性地允许我们的监管合规的途径,在临床部署的前瞻性临床测试的学习政策。我们专注于重症监护病房的感染,这是死亡的主要原因之一,由于复杂和不透明的患者动态,以及临床上有争议的,每个患者所需的高度分歧的干预政策,而重症监护病房自然数据丰富。在我们的工作中,我们建立在医疗保健中的RL方法(“AI临床医生”)的基础上,并使用部分可观察MDP(POMDP)下的历史重症监护数据来学习用于脓毒症治疗的药物的政策外连续给药政策。POMPD通过吸收所有历史信息更好地捕捉患者状态的不确定性,从而产生有效的表示,我们通过消融进行调查。我们弥补了缺乏探索,在我们的回顾性数据,评估每个遇到的状态,最好的优先树搜索。我们减轻状态分布的转变,优化我们的政策在附近的临床医生的复合政策。至关重要的是,我们不仅使用传统的政策评估来评估我们的模型建议,而且还使用了一个新的框架,该框架包含了人类专家:一种与模型无关的临床前评估方法,用于评估临床医生的决策与我们的系统建议的准确性和不确定性,当面对相同的个体患者病史时(“阴影模式”)。
2020-03-18 cs.AI cs.LG
Optimizing Variational Quantum Circuits Using Metaheuristic Strategies in Reinforcement Learning
LMU Munich(慕尼黑大学)
本文研究将粒子群优化、模拟退火等元启发式算法引入量子强化学习,以解决梯度方法在平坦解景观中失效的问题,并在MiniGrid和Cart Pole环境中验证了粒子群优化与模拟退火的优越性能。
2024-08-02 cs.AI cs.LG quant-ph
Personalized HeartSteps: A Reinforcement Learning Algorithm for Optimizing Physical Activity
University of Michigan(密歇根大学);IBM Research(IBM研究院);Harvard University(哈佛大学)
随着移动健康技术的发展,健康科学家对开发及时适应性干预(JITAI)越来越感兴趣,JITAI通常通过移动终端上的通知提供,旨在帮助用户预防负面健康结果,并促进健康行为的采用和维持。JITAI涉及一系列决策规则(即,治疗策略),其将用户的当前上下文作为输入,并指定此时是否应该提供干预以及应该提供什么类型的干预。在本文中,我们开发了一种强化学习(RL)算法,该算法在从用户收集数据时不断学习和改进JITAI中嵌入的治疗策略。这项工作的动机是我们在HeartSteps V2中基于HeartSteps V1的数据设计RL算法的合作。HeartSteps是一个身体活动移动健康应用程序。本文开发的RL算法正在HeartSteps V2中使用,每天五次,以决定是否提供上下文定制的活动建议。
2019-09-08 cs.AI cs.LG
Optimizing Traffic Lights with Multi-agent Deep Reinforcement Learning and V2X communication
Harbin Engineering University(哈尔滨工程大学)
我们考虑使用多智能体深度强化学习和车辆到一切(V2X)通信来优化交通信号持续时间的系统。该系统旨在分析多智能体的独立和共享的奖励,以控制交通灯的持续时间。学习代理交通灯在圆形V2X覆盖范围内沿其车道获取信息。交通灯的持续时间周期被建模为马尔可夫决策过程。我们研究了四种不同的奖励函数。前两个是非共享奖励:基于等待数量和两个红绿灯周期之间的车辆等待时间。第三和第四个功能是:基于等待车辆的共享奖励,以及所有代理的等待时间。每个代理都有一个内存,用于通过目标网络进行优化和优先级经验重放。我们通过城市移动性模拟(SUMO)模拟器评估多智能体。结果表明,该系统可以有效地优化交通信号,与传统的周期性交通控制系统相比,平均等待车辆减少到41.5%。
2020-02-23 cs.AI cs.LG cs.MA
Optimizing Airborne Wind Energy with Reinforcement Learning
University of Groningen(格罗宁根大学);SISSA International School for Advanced Studies(SISSA国际高等研究院);PSL University(巴黎文理研究大学);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学);Université de Paris(巴黎大学);Université Libre de Bruxelles(布鲁塞尔自由大学)
空中风能是一种轻型技术,允许使用风筝和滑翔机等空中设备从风中提取电力,其中可以动态控制机翼方向,以最大限度地提高性能。湍流空气动力学的动力学复杂性使得该优化问题无法通过常规方法(例如经典控制理论)来解决,所述常规方法依赖于手头的动力学系统的精确且易处理的分析模型。在这里,我们建议通过强化学习来解决这个问题,强化学习是一种技术,通过与环境的反复试错交互,学习将观察与有利可图的行为相关联,而不需要系统的先验知识。我们证明,在模拟环境中,强化学习找到了一种有效的方法来控制风筝,使其能够长距离牵引车辆。我们使用的算法是基于一个小的直观的观察和它的物理透明的解释允许描述的近似最优策略作为一个简单的列表的操纵指令。
2022-03-27 cs.LG cs.SY eess.SY
Optimizing Plastic Waste Collection in Water Bodies Using Heterogeneous Autonomous Surface Vehicles with Deep Reinforcement Learning
University of Sevilla(塞维利亚大学)
针对异构自主水面车辆的水体塑料垃圾收集问题,提出由侦察艇建模、清洁艇收集的无模型深度强化学习协调框架,并在两类场景中验证其优于启发式基准。
2024-12-03 cs.LG cs.RO
POSET-RL: Phase ordering for Optimizing Size and Execution Time using Reinforcement Learning
IIT Hyderabad(印度理工学院海得拉巴分校)
几个应用程序的不断增加的内存需求导致了嵌入式设备可能无法满足的需求增加。在这种情况下,限制内存的使用至关重要。重要的是,这种代码大小的改进不应该对运行时产生负面影响。在优化代码大小的同时改善执行时间是一项重要的任务。现代编译器中标准优化序列的顺序是固定的,并且由编译器领域专家基于他们的专业知识来创建。然而,这种排序是次优的,并且不能很好地推广到所有情况。我们提出了一个基于强化学习的解决方案的阶段排序问题,其中排序提高了执行时间和代码大小。我们提出了两种不同的方法来建模的序列:一个手动排序,和其他基于一个图称为奥兹依赖图(ODG)。我们的方法使用最少的数据作为训练集,并与LLVM集成。我们在SPEC-CPU 2006、SPEC-CPU 2017和MiBench的基准测试中展示了x86和AArch 64架构的结果。我们观察到,在SPEC 2017基准测试中,基于ODG的拟议模型在大小和执行时间方面均优于当前的Oz序列,平均分别为6.19%和11.99%。
2022-07-27 cs.LG cs.PL
Knowledge Transfer in Deep Reinforcement Learning for Slice-Aware Mobility Robustness Optimization
Nokia Bell Labs(诺基亚贝尔实验室);Technical University of Munich(慕尼黑工业大学);Nokia Software(诺基亚软件部门)
自组织网络中的传统移动性鲁棒性优化(MRO)旨在通过优化小区特定的切换参数来提高切换性能。然而,这样的解决方案不能满足下一代网络的需求与网络切片,因为它只保证接收信号的强度,而不是每个切片的服务质量。为了提供真正无缝的移动服务,我们提出了一种基于深度强化学习的切片感知移动鲁棒性优化(SAMRO)方法,该方法通过优化切片特定的切换参数来提高切换性能,并确保切片服务。此外,为了允许安全和样本有效的在线训练,我们开发了一个两步迁移学习方案:1)正则化的离线强化学习,以及2)有效的在线微调与混合经验重放。系统级仿真结果表明,与传统的MRO算法相比,SAMRO算法在优化切换性能的同时,显著提高了切片感知服务的连续性。
2022-03-07 cs.AI cs.LG cs.NI
Offline Reinforcement Learning for Optimizing Production Bidding Policies
Meta
针对在线广告出价优化,提出基于离线强化学习的混合架构,优化可微基础策略参数并丢弃神经网络,在模拟与生产环境中实现统计显著的性能提升,且不增加基础设施、安全或可解释性成本。
2023-10-13 cs.LG stat.ML
Optimizing Audio Recommendations for the Long-Term: A Reinforcement Learning Perspective
Spotify(Spotify( Spotify 公司));Columbia University(哥伦比亚大学)
本文提出一种工业级播客推荐系统,基于强化学习框架优化数亿用户的长期收听体验,通过定制价值函数与用户状态表示,在A/B测试中显著提升长期性能,且大幅降低数据需求。
2024-07-27 cs.AI cs.IR cs.LG
High-Performance Reinforcement Learning on Spot: Optimizing Simulation Parameters with Distributional Measures
RAI Institute(RAI研究所);Department of Electrical Engineering and Computer Science(电气工程与计算机科学系)
本文提出利用Wasserstein距离和最大均值差异量化sim2real差距,并作为CMA-ES的评分函数优化Spot机器人仿真参数,首次在Spot硬件上公开部署端到端强化学习策略,实现超过5.2 m/s的运动速度及多种步态。
2025-07-03 cs.LG cs.RO
Optimizing 2D+1 Packing in Constrained Environments Using Deep Reinforcement Learning
organization= Institute of Science
针对带高度约束的2D+1装箱问题,本文开发了支持多离散动作的OpenAI Gym模拟器,采用PPO和A2C两种深度强化学习方法,经与启发式基线MaxRect-BL对比,验证了PPO方法在优化工业资源利用率方面的潜力。
2025-03-21 cs.LG
Optimizing Load Scheduling in Power Grids Using Reinforcement Learning and Markov Decision Processes
South China University of Technology(华南理工大学);China Southern Power Grid(中国南方电网)
本文提出基于强化学习和马尔可夫决策过程的电网负荷调度方法,通过Q-Learning、DQN和Actor-Critic等算法在模拟环境中验证了其提高调度效率、适应需求波动的鲁棒性与可扩展性。
2024-10-23 cs.LG
Optimizing Data Collection in Deep Reinforcement Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所)
众所周知,强化学习(RL)工作负载需要很长的训练时间,因为在运行时从模拟器收集了大量的样本。不幸的是,集群扩展方法仍然昂贵,并且模拟器的常用CPU实现在GPU计算之间来回切换时会产生很高的开销。我们探索了两种优化方法,通过提高GPU利用率来提高RL数据汇集效率:(1)GPU矢量化:在GPU上并行化模拟以提高硬件并行性,以及(2)模拟器内核融合:融合多个模拟步骤以在单个GPU中运行内核启动以降低全局内存带宽需求。我们发现,GPU矢量化可以实现高达$1024\times$加速比常用的CPU模拟器。我们分析了不同实现的性能,并表明对于一个简单的模拟器,GPU矢量化的ML编译器实现(XLA)通过减少重复Python到DL后端API调用的CPU开销,通过$13.4\times$优于DNN框架(PyTorch)。我们发现,模拟器内核融合加速与一个简单的模拟器$11.3\times$和增加高达$1024\times$作为模拟器的复杂性增加方面的内存带宽的要求。我们表明,从模拟器内核融合的加速是正交的,并与GPU矢量化相结合,导致乘法加速。
2022-07-15 cs.LG
Optimizing HIV Patient Engagement with Reinforcement Learning in Resource-Limited Settings
Causal Foundry(因果研究所);mothers2mothers(母婴组织)
该研究介绍了面向资源有限地区社区卫生工作者的AI原生移动应用CHARM,其将推出基于强化学习的适应性干预功能,以提升卫生工作者效率与患者预后,优化HIV患者管理。
2024-08-14 cs.AI cs.CY cs.LG
Optimizing Portfolio with Two-Sided Transactions and Lending: A Reinforcement Learning Framework
Virginia Tech(弗吉尼亚理工大学);Tehran Institute for Advanced Studies (TeIAS)(德黑兰高等研究院)
本文提出结合PnL奖励、SAC与CNN-MHA的RL框架,通过双边交易和USDT借贷管理12种加密资产永续期货组合,并在两个16个月测试期内显著跑赢基准。
2024-08-09 cs.LG q-fin.PM
Optimizing Trading Strategies in Quantitative Markets using Multi-Agent Reinforcement Learning
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
本文融合CPPI与TIPP策略于MADDPG框架,提出CPPI-MADDPG和TIPP-MADDPG两种多智能体强化学习方法,在100只真实股票上验证其优于传统交易策略,提升量化交易绩效。
2023-12-22 cs.LG cs.MA q-fin.TR
Methodology for Interpretable Reinforcement Learning for Optimizing Mechanical Ventilation
University of California, Berkeley(加州大学伯克利分校);University of California, San Francisco(加州大学旧金山分校)
针对机械通气控制缺乏可解释性的问题,提出结合因果非参数离策略评估的可解释RL方法,决策树策略在MIMIC-III上达到深度RL水平并优于行为克隆。
2025-01-09 cs.LG math.OC
RecoMind: A Reinforcement Learning Framework for Optimizing In-Session User Satisfaction in Recommendation Systems
Pinterest Inc.(Pinterest公司)
针对超大规模推荐系统应用RL优化会话目标的难题,提出基于模拟器的RecoMind框架,结合现有推荐模型与定制探索策略,经实验验证显著提升会话内用户满意度。
2025-07-31 cs.LG
Stabilizing reinforcement learning control: A modular framework for optimizing over all stable behavior
University of British Columbia(不列颠哥伦比亚大学);Honeywell Process Solutions(霍尼韦尔过程解决方案公司)
提出一种结合深度强化学习与Youla-Kucera参数化的模块化反馈控制器设计框架,通过数据驱动模型和稳定算子集合确保控制稳定性,并支持非线性扩展与固定结构控制器调优。
2024-03-21 cs.AI cs.LG cs.SY
Backpropagation through the Void: Optimizing control variates for black-box gradient estimation
University of Toronto(多伦多大学);Vector Institute(向量研究所)
基于直觉的优化是深度学习和强化学习的基础。即使当被优化的机制是未知的或不可微的,使用高方差或有偏梯度估计的优化通常仍然是最好的策略。我们介绍了一个一般的框架,学习低方差,无偏梯度估计的黑箱函数的随机变量。我们的方法使用梯度的神经网络训练联合模型参数或政策,并适用于离散和连续设置。我们展示了这个框架来训练离散潜变量模型。我们还给出了一个无偏的,行动条件的优势演员-评论家强化学习算法的扩展。
2018-02-23 cs.LG
An initial investigation on optimizing tandem speaker verification and countermeasure systems using reinforcement learning
National Institute of Informatics (NII)(日本国立信息学研究所)
自动说话人确认(ASV)中的欺骗对抗(CM)系统通常不是彼此孤立地使用的。例如,这些系统可以组合成级联系统,其中CM首先产生输入是合成语音还是真实语音的判定。如果CM决定它是真实的样本,那么ASV系统将考虑它用于说话者验证。系统的最终用户对各个子模块的性能不感兴趣,而是对组合系统的性能感兴趣。这种组合可以用串联检测代价函数(t-DCF)测量来评估,而各个组件使用它们自己的性能度量彼此分开地训练。在这项工作中,我们研究通过使用强化学习来训练ASV和CM组件,以获得更好的t-DCF度量。我们证明,这种训练过程确实能够提高组合系统的性能,并且比我们比较的标准监督学习技术具有更可靠的结果。
2020-04-08 cs.LG cs.SD eess.AS
Attentive Convolutional Deep Reinforcement Learning for Optimizing Solar-Storage Systems in Real-Time Electricity Markets
Monash University(莫纳什大学)
针对实时电力市场下的光储系统优化问题,提出结合注意力机制与多粒度特征卷积的AC-DRL算法,相较基准方法收益提升11%-23%,光伏弃电降低76%,实现光储协同增效。
2024-01-29 cs.LG cs.SY eess.SY
Optimizing Operation Recipes with Reinforcement Learning for Safe and Interpretable Control of Chemical Processes
TU Dortmund University(图卢兹大学)
本文提出利用强化学习优化操作配方,结合专家知识提升化学过程控制的安全性和可解释性,通过仿真验证其性能优势。
2025-11-20 cs.LG cs.SY eess.SY
Optimizing Power Grid Topologies with Reinforcement Learning: A Survey of Methods and Challenges
Vrije Universiteit(阿姆斯特丹自由大学)
本文综述强化学习在电网拓扑优化中的应用,梳理L2RPN推动的方法分类、设计选择与研究空白,并通过比较数值实验评估其有效性。
2025-05-15 cs.AI cs.LG cs.SY
Optimizing Electric Bus Charging Scheduling with Uncertainties Using Hierarchical Deep Reinforcement Learning
School of Engineering, University of Guelph(圭尔夫大学工程学院);EthicalAI(伦理AI);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
针对电动公交车充电在能耗、行程与电价不确定性下的多时间尺度调度难题,提出分层DRL算法DAC-MAPPO-E,通过注意力与MAPPO增强可扩展性、计算效率和收敛性能。
2025-05-15 cs.LG
On Jointly Optimizing Partial Offloading and SFC Mapping: A Cooperative Dual-agent Deep Reinforcement Learning Approach
Southwest Jiaotong University(西南交通大学)
多接入边缘计算(MEC)和网络功能虚拟化(NFV)是支持新兴物联网应用的有前途的技术,特别是那些计算密集型应用。在支持NFV的MEC环境中,服务功能链(SFC),即,一组有序的虚拟网络功能(VNF)可以被映射到MEC服务器上。移动设备(MD)可以将计算密集型应用(可以由SFC表示)全部或部分卸载到MEC服务器以供远程执行。本文研究了支持NFV的MEC系统中的部分卸载和SFC映射联合优化(POSMJO)问题,其中传入任务可以划分为两部分,一部分用于本地执行,另一部分用于远程执行。目标是最大限度地减少长期的平均成本,这是执行延迟,MD的能耗和边缘计算的使用费用的组合。该问题包括两个密切相关的决策步骤,即任务划分和VNF放置,这是非常复杂和具有挑战性的。为了解决这个问题,我们提出了一个合作的双代理深度强化学习(CDADRL)算法,在那里我们设计了一个框架,使两个代理之间的互动。仿真结果表明,该算法在累积和平均情节奖励方面优于三种深度强化学习算法组合,在执行延迟、能耗和使用费用方面优于许多基线算法。
2022-05-20 cs.AI cs.LG cs.NI
Optimizing Electric Vehicle Charging Station Placement Using Reinforcement Learning and Agent-Based Simulations
organization= Center for Environmental Intelligence, VinUniversity , city= Hanoi , country= Vietnam;organization= College of Engineering \& Computer Science, VinUniversity , city= Hanoi , country= Vietnam
提出结合深度RL与基于智能体仿真的框架,利用双Q网络和混合奖励函数优化充电站布局,在河内案例中使平均等待时间减少53.28%。
2025-11-03 cs.LG
Optimizing Trajectories for Highway Driving with Offline Reinforcement Learning
University of Freiburg(弗莱堡大学);BMW Group(宝马集团)
实现能够输出可行、平滑和高效轨迹的自动驾驶车辆是一项长期挑战。已经考虑了几种方法,大致分为两类:基于规则的方法和基于学习的方法。基于规则的方法虽然保证了安全性和可行性,但在长期规划和推广方面存在不足。基于学习的方法能够解释长期规划和对未知情况的概括,但可能无法实现基于规则的方法所确保的平滑性,安全性和可行性。因此,将这两种方法结合起来,显然是朝着在两者之间取得最佳折衷的方向迈出的一步。我们提出了一种基于强化学习的方法,该方法可以学习高速公路上完全自动驾驶的目标轨迹参数。经过训练的代理输出连续的轨迹参数,基于这些参数生成并执行可行的基于多项式的轨迹。我们比较我们的代理对其他四个高速公路驾驶代理的性能。实验是在相扑模拟器中进行的,考虑到各种现实的,动态变化的高速公路场景,包括周围的车辆与不同的驾驶员行为。我们证明,我们的离线训练代理,随机收集的数据,学习驾驶平稳,实现速度尽可能接近所需的速度,同时优于其他代理。代码、训练数据和详细信息请访问:www.example.com。de/branka. mirchevska/offline-rl-tp.
2022-03-21 cs.LG cs.RO
Optimizing Differentiable Relaxations of Coreference Evaluation Metrics
University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学)
共指评价指标很难直接优化,因为它们是不可微函数,不容易分解成基本决策。因此,大多数方法优化的目标只是间接相关的最终目标,导致次优性能。相反,我们提出了一种可微的放松,适合于基于梯度的优化,从而绕过了对交叉熵的强化学习或启发式修改的需要。我们表明,通过修改竞争性神经共指系统的训练目标,我们获得了很大的性能增益。这表明我们的方法可以被视为使用强化学习或计算成本更高的模仿学习的可行替代方案。
2017-06-22 cs.AI cs.CL cs.LG
Risk-Averse Offline Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
在高风险应用中训练强化学习(RL)代理可能过于禁止,因为与探索相关的风险。因此,代理只能使用安全策略先前收集的数据。虽然以前的工作考虑使用离线数据优化平均性能,我们专注于优化风险规避标准,即CVaR。特别是,我们提出了离线规避风险的演员批评(O-RAAC),一个无模型的RL算法,能够在完全离线的设置学习规避风险的政策。我们表明,O-RAAC学习策略具有更高的CVaR比风险中性的方法在不同的机器人控制任务。此外,考虑风险厌恶的标准,保证分布鲁棒性的平均性能相对于特定的分布偏移。我们的经验表明,在存在自然分布的变化,O-RAAC学习政策具有良好的平均性能。
2021-02-10 cs.LG
Optimizing Life Sciences Agents in Real-Time using Reinforcement Learning
Nihir Chadderwala(独立研究者)
本研究提出一种结合AWS Strands Agents与汤普森采样上下文带障的框架,通过用户反馈实时优化生命科学代理的决策策略,提升用户满意度15-30%。
2025-11-26 cs.AI cs.LG cs.MA
Optimizing ZX-Diagrams with Deep Reinforcement Learning
Max Planck Institute for the Science of Light(马克斯·普朗克光科学研究所);Friedrich-Alexander-Universität Erlangen-Nürnberg(弗里德里希-亚历山大-埃尔兰根-纽伦堡大学)
本文提出用深度强化学习优化ZX-图变换规则序列,通过图神经网络编码策略,在性能上显著超越贪心、模拟退火及手工算法,并具备对更大规模图的泛化能力。
2024-09-30 cs.LG quant-ph