Planning in Branch-and-Bound: Model-Based Reinforcement Learning for Exact Combinatorial Optimization
本文提出PlanB&B，一种基于模型的强化学习方法，用于改进分支定界中的分支策略，通过在四个标准MILP基准上优于现有方法的实验验证其有效性。
2026-04-02 cs.LG
Online Feature Selection for Activity Recognition using Reinforcement Learning with Multiple Feedback
University of Bristol（布里斯托大学）
机器学习和物联网的最新进展吸引了人们对自动活动识别的关注，其中用户佩戴具有传感器的设备，并且他们的输出被映射到预定义的活动集合。然而，很少有研究考虑可穿戴设备功耗和活动识别准确性之间的平衡。当计算负载的一部分发生在可穿戴设备上时，这是特别重要的。在本文中，我们提出了一种新的方法来执行特征选择的设备上的基础上强化学习（RL），找到功耗和准确性之间的最佳平衡。为了加快学习速度，我们扩展了RL算法来处理多个反馈源，并使用它们来调整策略，同时估计反馈精度。我们在SPHERE挑战数据集上评估了我们的系统，这是一个公开的研究数据集。结果表明，我们提出的方法实现了可穿戴功耗和活动识别精度之间的良好权衡。
2019-08-16 cs.LG stat.ML
Complexity of stochastic branch and bound methods for belief tree search in Bayesian reinforcement learning
最近有很多关于强化学习的贝叶斯方法的工作，表现出接近最佳的在线性能。这些方法面临的主要障碍是，在大多数感兴趣的问题中，最优解涉及在无限大的树中进行规划。然而，可以获得每个树节点的值的随机上下界。这使我们能够使用随机分支定界算法来有效地搜索树。本文提出了两个这样的算法，并在这种情况下，他们的复杂性。
2009-12-26 cs.AI cs.LG
Cost-Sensitive Portfolio Selection via Deep Reinforcement Learning
South China University of Technology（华南理工大学）；Guangzhou Laboratory（广州实验室）；Tencent AI Lab（腾讯人工智能实验室）；Wuhan University（武汉大学）
投资组合选择是一个重要的现实世界的金融任务，并引起了广泛的关注，在人工智能社区。然而，这项任务有两个主要的困难：（i）非平稳的价格序列和复杂的资产相关性使得特征表示的学习非常困难;（ii）金融市场中的实用性原则要求控制交易成本和风险成本。大多数现有的方法采用手工特征和/或不考虑对成本的限制，这可能使它们在实践中表现得不令人满意并且不能控制这两种成本。本文提出了一种基于深度强化学习的投资组合选择方法。具体而言，一个新的双流投资组合策略网络的设计，以提取价格序列模式和资产的相关性，而一个新的成本敏感的奖励函数的开发，以最大限度地提高累计回报和约束成本通过强化学习。我们从理论上分析了建议的奖励的近最优性，这表明，该政策的增长率关于这个奖励函数可以接近理论最优。我们还在现实世界的数据集上对所提出的方法进行了经验评估。实验结果表明，该方法在盈利能力、成本敏感性和代表性等方面具有很好的效果和优越性。
2020-03-06 cs.LG stat.ML
Sequential Knockoffs for Variable Selection in Reinforcement Learning
London School of Economics and Political Science（伦敦政治经济学院）；University of California, Irvine（加州大学欧文分校）；George Washington University（乔治华盛顿大学）；Duke University（杜克大学）
提出SEEK算法估计MDP中的最小充分状态，实现选择一致性，提升变量选择精度与regret表现。
2024-07-30 cs.LG stat.ML
Auxiliary-task Based Deep Reinforcement Learning for Participant Selection Problem in Mobile Crowdsourcing
Baidu Inc.（百度公司）；IIIS, Tsinghua University（清华大学交叉信息研究院）；Lancaster University（兰卡斯特大学）；Nanjing University（南京大学）；Tencent Holdings Ltd.（腾讯控股有限公司）
在移动众包（MCS）中，平台选择参与者来完成来自招聘人员的位置感知任务，旨在实现多个目标（例如，利润最大化、能源效率和公平）。然而，不同的MCS系统具有不同的目标，并且即使在一个MCS系统中也可能存在冲突的目标。因此，设计一种适用于不同MCS系统的参与者选择算法以实现多个目标是至关重要的。为了解决这个问题，我们将参与者选择问题表示为强化学习问题，并提出了一种新的方法来解决这个问题，我们称之为基于任务的深度强化学习（ADRL）。我们使用Transformers从MCS系统的上下文中提取表示，并使用指针网络来处理组合优化问题。为了提高样本效率，我们采用了一个任务训练过程，训练网络预测招聘人员即将完成的任务，这有利于深度学习模型的嵌入式学习。此外，我们发布了一个模拟的环境中的一个特定的MCS任务，共乘任务，并在此环境中进行广泛的性能评估。实验结果表明，ADRL优于和提高样本效率比其他公认的基线在各种设置。
2020-08-26 cs.LG stat.ML
Interactive Reinforcement Learning for Feature Selection with Decision Tree in the Loop
Department of Computer Science, University of Central Florida（中佛罗里达大学计算机科学系）；Business Intelligence Lab, Baidu Research（百度研究院商业智能实验室）；Eller College of Management, University of Arizona（亚利桑那大学埃勒管理学院）；Rutgers University（罗格斯大学）
研究了自动特征选择中有效性和效率的平衡问题。在探索了许多特征选择方法之后，我们发现了一个计算困境：1）传统的特征选择大多数是有效的，但难以识别最佳子集; 2）新兴的增强特征选择自动导航到最佳子集，但通常效率低下。我们能否在自动化下弥合有效性和效率之间的差距？出于这种困境，我们的目标是开发一种新的特征空间导航方法。在我们的初步工作中，我们利用交互式强化学习通过外部训练器-代理交互来加速特征选择。在这个期刊版本中，我们提出了一种新的交互式和闭环架构，以同时建模交互式强化学习（IRL）和决策树反馈（DTF）。具体来说，IRL是创建一个交互式特征选择循环，DTF是将结构化特征知识反馈给循环。首先，利用决策树的树结构特征层次来改进状态表示。特别是，我们表示所选择的特征子集作为一个无向图的特征-特征的相关性和有向树的决策功能。我们提出了一种新的嵌入方法，能够授权图卷积网络，以共同学习状态表示的图和树。其次，利用树结构的特征层次来开发一种新的奖励方案。特别是，我们个性化的奖励分配代理的基础上决策树功能的重要性。此外，观察Agent的行为可以得到反馈，我们设计了另一种奖励方案，根据历史行为记录中的特征选择频率比来加权和分配奖励。最后，我们在现实世界的数据集上进行了广泛的实验，以显示改进的性能。
2020-10-02 cs.LG stat.ML
Improved Training Mechanism for Reinforcement Learning via Online Model Selection
Boston University（波士顿大学）；Broad Institute of MIT and Harvard（MIT和哈佛大学Broad研究所）
本文提出通过在线模型选择改进强化学习训练，提升效率和性能，探讨了资源分配、非平稳动态适应及训练稳定性等理论问题，并通过实验验证。
2025-12-01 cs.AI cs.LG
Towards Hyperparameter-free Policy Selection for Offline Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
如何在离线强化学习（RL）中选择由不同训练算法产生的策略和价值函数-这对于超参数调整至关重要-是一个重要的开放问题。现有的基于离政策评估（OPE）的方法通常需要额外的函数近似，因此需要超参数，从而造成鸡和蛋的情况。在本文中，我们设计了超参数无算法的基础上BVFT [XJ 21]，价值函数选择的最新理论进展的政策选择，并证明其有效性在离散行动基准，如雅达利。为了解决性能下降，由于穷人的批评，在连续的行动领域，我们进一步结合BVFT与OPE得到最好的两全其美，并获得一个超参数调整方法的Q函数为基础的OPE与理论保证作为副产品。
2021-11-02 cs.AI cs.LG stat.ML
A Bandit Framework for Optimal Selection of Reinforcement Learning Agents
Zalando Research（Zalando研究）；OLX Berlin Hub（OLX柏林中心）
深度强化学习已经被证明在复杂的游戏中非常成功，例如Atari或Go。这些游戏有明确定义的规则，因此允许模拟。然而，在许多实际应用中，与环境的交互是昂贵的，并且没有良好的环境模拟器。此外，由于环境因应用而异，最佳归纳偏差（架构、超参数等）增强剂的量取决于应用。在这项工作中，我们提出了一个多臂强盗框架，从一组不同的强化学习代理选择一个最好的归纳偏见。为了缓解稀疏奖励的问题，强化学习代理增加了代理奖励。这有助于bandit框架尽早选择最佳代理，因为这些奖励比环境奖励更平滑且更稀疏。强盗有双重目标，最大化的奖励，而代理人学习和选择最好的代理后，有限数量的学习步骤。我们在标准环境中的实验结果表明，所提出的框架是能够始终如一地选择最佳代理有限的步骤后，同时收集更多的累积奖励相比，选择一个次优架构或均匀交替不同的代理。
2019-02-10 cs.LG stat.ML
Reinforcement Learning for Branch-and-Bound Optimisation using Retrospective Trajectories
InstaDeep
混合整数线性规划（MILP）的组合优化问题在实际应用中是普遍存在的。典型的分支定界算法通过构造一个搜索树来精确求解MILP问题。在实践中，它的求解时间性能取决于算法，例如选择下一个要约束的变量（“分支”）。最近，机器学习（ML）已经成为分支的一个有前途的范例。然而，以前的工作一直在努力应用强化学习（RL），引用稀疏奖励，困难的探索和部分可观察性作为重大挑战。相反，领先的机器学习方法采用模仿学习（IL）来近似高质量的手工算法，这排除了新策略的发现，并需要昂贵的数据标签。在这项工作中，我们提出了逆向分支;一种简单而有效的分支RL方法。通过回顾性地将搜索树解构为多条路径，每条路径都包含在一个子树中，我们使智能体能够从更短的轨迹中学习，并具有更可预测的下一个状态。在四个组合任务的实验中，我们的方法可以在没有任何专家指导或预训练的情况下学习分支。我们的性能优于目前最先进的RL分支算法3- 5倍，并且在具有500个约束和1000个变量的MILP上的最佳IL方法性能的20%以内，消融验证了我们回顾性构建的轨迹对于实现这些结果至关重要。
2022-12-05 cs.LG
Reinforcement Learning-based Adaptive Path Selection for Programmable Networks
Institute of Informatics, University of Amsterdam（阿姆斯特丹大学信息学院）；Ericsson Research（爱立信研究）
本研究提出分布式网络内强化学习框架，结合随机学习自动机与带内网络遥测数据实现可编程网络自适应路径选择，经测试验证其可快速收敛并适应网络变化。
2025-08-31 cs.LG
Model-free Reinforcement Learning for Branching Markov Decision Processes
University of Twente（特文特大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Liverpool（利物浦大学）
研究了分支马尔可夫决策过程（BMDPs）的最优控制的强化学习，BMDPs是（多类型）分支马尔可夫链（BMC）的自然扩展.（离散时间）BMC的状态是各种类型的实体的集合，这些实体在产生其他实体的同时产生回报。与BMC相比，其中相同类型的每个实体的演变遵循相同的概率模式，BMDP允许外部控制器从一系列选项中进行选择。这使我们能够研究系统的最佳/最差行为。我们推广无模型强化学习技术来计算一个未知的BMDP在极限的最优控制策略。我们提出的实施结果表明，该方法的实用性。
2021-06-12 cs.LG cs.LO cs.SY
Hyperparameter Selection for Offline Reinforcement Learning
DeepMind；Google（谷歌）
离线强化学习（RL纯粹来自日志数据）是在现实世界场景中部署RL技术的重要途径。然而，现有的超参数选择方法离线RL打破了离线的假设，通过评估对应于每个超参数设置的环境中的政策。这种在线执行通常是不可行的，因此破坏了离线RL的主要目标。因此，在这项工作中，我们专注于\textit{offline hyperparameter selection}，即从一组使用不同超参数训练的许多策略中选择最佳策略的方法，只给出记录的数据。通过大规模的实证评估，我们发现：1）离线RL算法对超参数选择不鲁棒，2）诸如离线RL算法和估计Q值的方法等因素可能对超参数选择产生很大影响，以及3）当我们仔细控制这些因素时，我们可以可靠地跨超参数选择对策略进行排名，并因此选择接近该组中的最佳策略的策略。总的来说，我们的研究结果提出了一个乐观的观点，即离线超参数选择是触手可及的，即使在具有像素观测，高维动作空间和长视野的挑战性任务中。
2020-07-17 cs.AI cs.LG stat.ML
ReviBranch: Deep Reinforcement Learning for Branch-and-Bound with Revived Trajectories
针对分支定界算法中传统启发式泛化性差、现有学习方法存在缺陷的问题，提出ReviBranch深度RL框架，通过复活轨迹和奖励重分配机制提升性能，在MILP基准上优于现有RL方法，减少节点和迭代次数。
2025-08-24 cs.LG
Automation and Feature Selection Enhancement with Reinforcement Learning (RL)
Portland State University（波特兰州立大学）
本文综述强化学习在自动化特征工程中的应用，涵盖单/多智能体、MCRFS、双智能体特征-实例选择及级联自优化框架，以提升高维数据预测性能与可解释性。
2025-03-15 cs.LG
Enhancing Classification Performance via Reinforcement Learning for Feature Selection
本研究针对分类模型性能提升问题，采用Q-learning、SARSA两种强化学习算法进行特征选择，在BCCDS数据集结合三种归一化方法测试，最高准确率达88%，验证了强化学习特征选择的有效性。
2024-03-09 cs.LG
Reinforcement Learning of Speech Recognition System Based on Policy Gradient and Hypothesis Selection
Tokyo Institute of Technology（东京工业大学）
语音识别系统已经实现了几个任务的高识别性能。然而，这种系统的性能取决于准备大量任务匹配的转录语音数据用于监督训练的非常昂贵的开发工作。这里的关键问题是转录语音数据的成本。为支持新的语言和新的任务，一再需要这笔费用。假设为许多用户转录语音数据的广泛网络服务，如果系统具有从来自用户的非常轻微的反馈中学习而不打扰用户的能力，则系统将变得更加自给自足和更加有用。本文提出了一种基于策略梯度方法的语音识别系统的通用强化学习框架。作为该框架的一个特例，我们还提出了一种基于假设选择的强化学习方法。建议的框架提供了一个新的观点，现有的几个培训和适应方法。实验结果表明，该方法提高了识别性能相比，无监督的适应。
2017-11-10 cs.CL cs.LG stat.ML
Feature and Instance Joint Selection: A Reinforcement Learning Perspective
University of Central Florida（中佛罗里达大学）；Hong Kong University of Science and Technology（香港科技大学）；Baidu Talent Intelligence Center（百度人才智库）；Rutgers University（罗格斯大学）
特征选择和实例选择是数据处理的两项重要技术。然而，这种选择大多是单独研究，而现有的工作对联合选择进行特征/实例选择粗糙，从而忽略了潜在的细粒度的特征空间和实例空间之间的相互作用。为了解决这一挑战，我们提出了一种强化学习解决方案来完成联合选择任务，并同时捕获每个特征的选择和每个实例之间的交互。特别是，顺序扫描机制被设计为代理的行动策略，和协作变化的环境被用来增强代理的协作。此外，一个交互式的范例引入先验选择知识，以帮助代理更有效的探索。最后，在真实世界数据集上的广泛实验证明了性能的提高。
2022-05-12 cs.AI cs.LG
Reinforcement-based Simultaneous Algorithm and its Hyperparameters Selection
ITMO University（ITMO大学）
存在许多用于数据分析的算法，特别是用于分类问题。要解决数据分析问题，需要选择合适的算法，也需要选择其超参数。在本文中，我们提出了一个新的方法，同时选择一个算法和它的超参数。为了做到这一点，我们把这个问题简化为多臂强盗问题。我们把算法看作一个手臂，在一定时间内搜索算法超参数作为相应的手臂动作。我们还提出了一个特定问题的奖励功能。我们在10个真实数据集上进行了实验，并将所提出的方法与Auto-WEKA中实现的现有方法进行了比较。结果表明，我们的方法在大多数情况下都明显优于Auto-WEKA。
2016-11-07 cs.AI cs.LG stat.ML
Finite-Time Performance Bounds and Adaptive Learning Rate Selection for Two Time-Scale Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Arizona State University（亚利桑那州立大学）
我们研究了两种时间尺度线性随机近似算法，它们可以用来模拟著名的强化学习算法，如GTD，GTD 2和TDC。我们给出了学习率固定的情况下的有限时间性能界限。在获得这些界限的关键思想是使用李雅普诺夫函数的奇异摄动理论的线性微分方程。我们使用的界限设计一个自适应学习率计划，显着提高了收敛速度在我们的实验中已知的最佳多项式衰减规则，并可以用来潜在地提高性能的任何其他时间表，其中的学习率在预定的时刻改变。
2019-07-14 cs.AI cs.LG stat.ML
Measuring Data Quality for Dataset Selection in Offline Reinforcement Learning
Siemens Technology（西门子技术）；Technical University of Munich（慕尼黑工业大学）
最近开发的离线强化学习算法使得直接从预先收集的数据集学习策略成为可能，这给从业者带来了一个新的困境：由于算法能够提供的性能在很大程度上取决于呈现给他们的数据集，从业者需要在可用的数据集中选择正确的数据集。这个问题迄今为止还没有在相应的文献中讨论过。我们讨论了如何选择有前途的数据集的想法，并提出了三个非常简单的指标：估计相对收益改善（ERI）和估计行动随机性（EAS），以及两者的组合（COI），并根据经验表明，尽管它们很简单，但它们可以非常有效地用于数据集选择。
2021-11-26 cs.LG
Verifying Neural Networks with Reinforcement Learning
George Mason University（乔治梅森大学）
本文提出RSB，一种基于强化学习的框架，通过训练演员-评论家模型优化分支启发式，在600个实例上多解决11%并减少50%分支探索，提升DNN形式化验证效率。
2026-09-29 cs.LG cs.SE
Time Series Anomaly Detection via Reinforcement Learning-Based Model Selection
McGill University（麦吉尔大学）
时间序列异常检测对于真实世界系统的可靠和高效运行至关重要。基于对异常特征的各种假设，已经开发了许多异常检测方法。然而，由于真实世界数据的复杂性，时间序列内的不同异常通常具有不同的配置文件，支持不同的异常假设。这使得很难找到一个单一的异常检测器，可以始终优于其他模型。在这项工作中，利用不同的基础模型的好处，我们提出了一个基于强化学习的模型选择框架。具体来说，我们首先学习一个不同的异常检测模型池，然后利用强化学习从这些基本模型中动态选择候选模型。对真实数据的实验表明，所提出的策略确实可以在整体性能方面胜过所有基线模型。
2022-07-27 cs.LG
Reinforcement Learning based Dynamic Model Selection for Short-Term Load Forecasting
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
随着智能网格技术的日益普及，短期负荷预测（STLF）在电力系统运行中变得尤为重要。有大量的方法开发的STLF，但选择一个合适的方法在不同的条件下仍然是具有挑战性的。提出了一种基于强化学习的STLF动态模型选择方法。首先建立预测模型池，包括十个最先进的基于机器学习的预测模型。然后，Q学习代理根据模型性能学习为下一时间步选择最佳预测模型的最优策略。最优DMS策略被应用于在每个时间步选择最佳模型，并具有移动窗口。对两年负荷和气象数据的仿真结果表明，Q-学习算法收敛速度快，能有效地提高DMS的性能。与最先进的基于机器学习的STLF模型相比，开发的基于Q学习的DMS的STLF模型将预测精度提高了约50%。
2018-11-05 cs.AI cs.LG stat.ML
A Markov Decision Process for Variable Selection in Branch & Bound
EDF R&D（EDF研发部）；CNAM Paris（CNAM巴黎分校）；ENSTA IP Paris（ENSTA IP巴黎分校）；ISAE-SUPAERO
本文提出BBMDP，一个用于分支定界中变量选择的标准马尔可夫决策过程框架，可适配多种强化学习算法，实验证明其在四个标准MILP基准上优于现有最先进RL智能体。
2025-10-22 cs.LG
Nonconvex Regularization for Feature Selection in Reinforcement Learning
Institute of Science Tokyo, Japan Department of Information
本文针对强化学习特征选择提出基于非凸PMC惩罚的批量算法，并给出FRBS算法的新收敛条件，在噪声特征多的场景下显著优于现有方法。
2025-09-19 cs.LG
StackFeat RL: Reinforcement Learning over Iterative Dual Criterion Feature Selection for Stable Biomarker Discovery
CEA List；Université Grenoble Alpes（格勒诺布尔大学）
本文提出StackFeat-RL框架，通过REINFORCE策略梯度优化迭代双准则特征选择算法的超参数，提升高维基因组数据中生物标志物发现的准确性、稀疏性和稳定性。
2026-04-24 cs.LG
Selection in Scale-Free Small World
在本文中，我们比较我们的选择为基础的学习算法的Web爬虫的性能特点与强化学习算法的特点。爬虫的任务是在网上寻找新的信息。选择算法称为weblog update，它根据包含新信息的URL来修改爬虫的起始URL列表。强化学习算法基于所接收的针对所提交文档的强化来修改爬虫的URL排序。我们根据从网上收集的数据进行了模拟。收集到的部分Web是典型的，并表现出无标度小世界（SFSW）结构。我们发现，在这个SFSW上，weblog更新算法的性能优于强化学习算法。它比强化学习算法更快地找到新信息，并且具有更好的新信息/所有提交的文档比率。我们认为，选择算法优于强化学习算法是由于Web的小世界属性。
2005-04-14 cs.IR cs.LG
Constrained Attractor Selection Using Deep Reinforcement Learning
Duke University（杜克大学）
本文描述了一种具有约束驱动的非线性动力系统的吸引子选择（或多稳定控制）方法。吸引子选择使用两种不同的深度强化学习方法获得：1）交叉熵方法（CEM）和2）深度确定性策略梯度（DDPG）方法。应用这些控制方法的框架和算法。Duffing振子是一个典型的具有多个吸引子的非线性动力系统，实验在该振子上进行.这两种方法实现了各种控制约束下的吸引子选择。虽然这些方法具有几乎相同的成功率，但DDPG方法具有高学习率，低性能方差和平滑控制方法的优点。这项研究证明了两种强化学习方法实现约束吸引子选择的能力。
2020-05-30 cs.LG cs.SY eess.SY
Information-theoretic Task Selection for Meta-Reinforcement Learning
School of Computing（计算学院）；University of Leeds（利兹大学）
在Meta-强化学习（meta-RL）中，智能体在一组任务上进行训练，以便在新的、看不见的但相关的任务中更快地准备和学习。训练任务通常是手工制作的，以代表测试任务的预期分布，因此全部用于训练。我们表明，给定一组训练任务，如果训练任务选择得当，学习可以更快，更有效（导致测试任务中更好的性能）。我们提出了一个任务选择算法，信息理论任务选择（ITTS），基于信息论，优化用于元强化学习训练的任务集，而不管它们是如何产生的。该算法确定哪些训练任务既与测试任务充分相关，又彼此足够不同。我们再现了文献中不同的元RL实验，并表明ITTS提高了所有实验的最终性能。
2021-07-01 cs.LG
AutoFS: Automated Feature Selection via Diversity-aware Interactive Reinforcement Learning
University of Central Florida（中佛罗里达大学）；Baidu Research（百度研究院）；University of Arizona（亚利桑那大学）
本文研究了自动特征选择中有效性和效率的平衡问题。特征选择是机器学习和预测分析的基本智能。在探索了许多特征选择方法之后，我们观察到一个计算困境：1）传统的特征选择方法（例如，mRMR）大多是有效的，但难以识别最佳子集; 2）新兴的增强特征选择方法自动导航特征空间以探索最佳子集，但通常是低效的。自动化和效率总是相互分离的吗？我们能否在自动化下弥合有效性和效率之间的差距？基于这种计算困境，本研究旨在开发一种新的特征空间导航方法。为此，我们提出了一个交互式增强特征选择（IRFS）框架，指导代理不仅自我探索的经验，但也有不同的外部熟练的培训师，以加快学习的功能探索。具体来说，我们制定的特征选择问题到一个互动的强化学习框架。在这个框架中，我们首先建立了两个训练器的模型：（1）基于KBest的训练器;（2）基于决策树的训练器。然后，我们开发了两种策略：（1）识别断言和犹豫代理，以多样化代理培训，（2）使两个培训师在不同的阶段担任教学角色，融合培训师的经验，使教学过程多样化。这种混合教学策略可以帮助代理人学习更广泛的知识，并在此后更有效。最后，我们在真实世界的数据集上进行了大量的实验，以证明我们的方法的改进性能：比现有的增强选择更有效，比经典选择更有效。
2020-09-16 cs.AI cs.LG stat.ML
Action Branching Architectures for Deep Reinforcement Learning
Imperial College London（帝国理工学院）
离散动作算法是深度强化学习最近许多成功的核心。然而，将这些算法应用于高维动作任务需要处理可能动作的数量与动作维度的数量的组合增加。对于需要通过离散化对动作进行精细控制的连续动作任务，该问题进一步恶化。在本文中，我们提出了一种新的神经架构，具有一个共享的决策模块，然后是几个网络分支，每个动作维度一个。这种方法通过允许每个单独动作维度的独立性水平，实现了网络输出的数量与自由度的数量的线性增加。为了说明这种方法，我们提出了一种新的代理，称为分支决斗Q网络（BDQ），作为决斗双深Q网络（决斗DDQN）的分支变体。我们评估我们的代理在一组具有挑战性的连续控制任务的性能。实证结果表明，所提出的代理规模优雅的环境与行动维度的增加，并表明在协调分布式行动分支的共享决策模块的意义。此外，我们表明，所提出的代理执行竞争力对国家的最先进的连续控制算法，深度确定性策略梯度（DDPG）。
2019-01-25 cs.AI cs.LG
Model Selection in Reinforcement Learning with General Function Approximations
Halıcıoğlu Data Science Institute (HDSI), UC San Diego（加州大学圣地亚哥分校哈利奇奥卢数据科学研究所（HDSI））；Boston University（波士顿大学）
我们考虑在一般函数近似下经典强化学习（RL）环境--多臂强盗（MABs）和马尔可夫决策过程（MDP）--的模型选择。在模型选择框架中，我们不知道分别由$\mathcal{F}$和$\mathcal{M}$表示的函数类，其中真正的模型--MAB的奖励生成函数和MDP的转换内核--分别位于何处。相反，我们给出了$M$嵌套函数（假设）类，使得真实模型包含在至少一个这样的类中。在本文中，我们提出并分析了有效的模型选择算法的MAB和MDP，即\emph{adapt}到最小的功能类（嵌套的$M$类）包含真正的底层模型。在嵌套假设类的可分性假设下，我们证明了我们的自适应算法的累积遗憾与知道正确函数类（即，$\cF$和$\cM$）。此外，对于这两种设置，我们表明，模型选择的成本是一个附加项的遗憾有弱（对数）依赖于学习视野$T$。
2022-07-06 cs.IT cs.LG math.IT
Reinforcement Learning Algorithm Selection
Microsoft Research Maluuba（微软研究院 Maluuba）；Orange Labs（Orange 实验室）
本文形式化了强化学习背景下的在线算法选择问题。设置如下所示：给定一个情节任务和有限数量的非策略RL算法，元算法必须决定在下一个情节期间哪个RL算法处于控制中，以便最大化预期回报。本文提出了一种新的元算法，称为时代随机强盗算法选择（ESBAS）。它的原理是在每个时期冻结策略更新，并留下一个重新启动的随机强盗负责算法选择。在一定的假设条件下，充分的理论分析表明，考虑到结构抽样预算的限制，它的近最优性。ESBAS首先在对话任务上进行经验评估，在大多数配置中，它表现出优于每个单独的算法。然后ESBAS适应真正的在线设置，算法在每次转换后更新其策略，我们称之为SSBAS。SSBAS的水果收集任务，它被证明是适应步长参数更有效地比经典的双曲衰减，并在雅达利游戏，它提高了性能的大幅提高。
2017-11-14 cs.AI cs.LG math.OC
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对有限反馈下强化学习的奖励标注样本选择问题，本文形式化了RLLF问题框架，研究两类选择策略，发现关键奖励需引导最优轨迹与偏差恢复，仅用少量标签即可实现近最优策略，为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
Model Selection for Generic Reinforcement Learning
UCSD（加州大学圣地亚哥分校）；Boston University（波士顿大学）；UC Berkeley（加州大学伯克利分校）
我们解决了有限时域情景强化学习（RL）问题的模型选择问题，其中过渡核$P^*$属于具有有限度量熵的模型族$\mathcal{P}^*$。在模型选择框架中，代替$\mathcal{P}^*$，我们给出了过渡核的$M$嵌套族$\cP_1 \subset \cP_2 \subset \ldots \subset \cP_M$。我们提出并分析了一种新的算法，即\emph{Adaptive Reinforcement Learning (General)}（\texttt{ARL-GEN}），适应最小的这样的家庭，真正的过渡内核$P^*$所在。\texttt{ARL-GEN}使用上置信度强化学习（\texttt{UCRL}）算法，将值目标回归作为黑盒，并在每个epoch的开始处放置模型选择模块。在一个温和的可分性假设下的模型类，我们表明，\texttt{ARL-GEN}获得遗憾的$\Tilde{\mathcal{O}}(d_{\mathcal{E}}^*H^2+\sqrt{d_{\mathcal{E}}^* \mathbb{M}^* H^2 T})$，具有很高的概率，其中$H$是地平线的长度，$T$是步骤的总数，$d_{\mathcal{E}}^*$是Eluder维数和$\mathbb{M}^*$是度量熵对应于$\mathcal{P}^*$。注意，该遗憾缩放与预先知道$\mathcal{P}…
2021-12-10 cs.IT cs.LG math.IT
Reinforcement Learning for Node Selection in Branch-and-Bound
Fraunhofer Institute for Integrated Circuits (IIS)（弗劳恩霍夫集成电路研究所）
针对分支定界中节点选择问题，提出基于强化学习与图神经网络的模拟技术，考虑全局树状态生成概率分布，在严格时间限制下显著提升了多个基准上的最优性差距减少和每节点效率。
2024-06-05 cs.LG
DORA The Explorer: Directed Outreaching Reinforcement Action-Selection
School of Computer Science and Engineering（计算机科学与工程学院）；Department of Cognitive Sciences（认知科学系）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；The Edmond and Lily Safra Center for Brain Sciences（埃德蒙与莉莉·萨夫拉脑科学中心）；Departments of Neurobiology and Cognitive Sciences（神经生物学与认知科学系）；the Federmann Center for the Study of Rationality（费德曼理性研究中心）
探索是强化学习的一个基本方面，通常使用随机动作选择来实现。然而，如果探索的目的是获得新的世界知识，那么它会更有效率。访问计数器已被证明是有用的，在实践中和理论上的直接勘探。然而，计数器的一个主要限制是它们的位置。虽然有一些基于模型的解决方案来解决这个缺点，但仍然缺少无模型的方法。我们提出了$E$ -值，计数器的泛化，可用于评估传播的探索性值的状态动作轨迹。我们将我们的方法与常用的RL技术进行比较，并表明使用$E$值可以提高传统计数器的学习和性能。我们还展示了如何使用函数逼近来实现我们的方法，以有效地学习连续的MDP。我们证明了这一点，表明我们的方法超越了高速公路雅达利2600游戏的最先进的性能。
2018-04-11 cs.AI cs.LG stat.ML
An Improved Reinforcement Learning Algorithm for Learning to Branch
Beihang University（北京航空航天大学）；MIRA Lab, USTC（中国科学技术大学 MIRA 实验室）；Huawei Cloud Co.（华为云计算有限公司）
大多数组合优化问题都可以转化为混合整数线性规划（MILP）问题，其中分支定界法（B\&B）是一种通用且广泛应用的方法。近年来，分支学习已成为机器学习与组合优化交叉领域的研究热点。在本文中，我们提出了一种新的强化学习为基础的B\&B算法。与离线强化学习类似，我们最初在演示数据上进行训练，以大规模加速学习。随着训练效果的提高，Agent逐渐开始使用其学习到的策略与环境进行交互。通过确定演示数据和自生成数据之间的混合比例来提高算法的性能是至关重要的。因此，我们提出了一个优先存储机制来自动控制这个比例。为了提高训练过程的鲁棒性，在双DQN的基础上引入了一个高级网络，它始终充当具有竞争力性能的Q网络。我们评估所提出的算法在三个公共研究基准的性能，并将其与强基线进行比较，包括三个经典的算法和一个最先进的基于模仿学习的分支算法。实验结果表明，该算法在所有算法中性能最优，具有不断提高B &B算法性能的潜力.
2022-01-17 cs.AI cs.LG math.OC
Learning to Transfer Learn: Reinforcement Learning-Based Selection for Adaptive Transfer Learning
Google Cloud AI（谷歌云AI）；University of Technology Sydney（悉尼科技大学）
我们提出了一种新的自适应迁移学习框架，学习迁移学习（L2TL），通过仔细提取源数据集的相关信息来提高目标数据集的性能。我们的框架考虑了源和目标任务模型之间的共享权重的合作优化，并自适应地调整组成损失权重。权重的自适应是基于强化学习（RL）选择策略，以目标验证集上的性能度量为指导。我们证明了L2TL在八个数据集上的性能优于微调基线和其他自适应迁移学习方法。在小规模目标数据集和源数据集和目标数据集之间的显著标签不匹配的情况下，L2TL显示出特别大的好处。
2020-07-16 cs.AI cs.LG
The Evolution theory of Learning: From Natural Selection to Reinforcement Learning
本文探讨进化与强化学习两个领域的关联，指出二者联系比此前认知的更紧密，提出强化学习原理可助力理解进化及反馈在进化系统中的作用。
2023-06-16 cs.LG cs.NE nlin.AO
On the consistency of hyper-parameter selection in value-based deep reinforcement learning
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Google DeepMind（谷歌DeepMind）
本文针对基于价值的深度强化学习中超参数选择常被算法进步掩盖的问题，通过广泛实证研究并引入新分数量化超参数一致性，明确了关键调优超参数及不同训练机制下的一致调优方向。
2024-11-29 cs.AI cs.LG
Dynamic feature selection in medical predictive monitoring by reinforcement learning
Tsinghua University（清华大学）；Institute for Precision Medicine, Tsinghua University（清华大学精准医学研究院）；Center for Big Data and Clinical Research（大数据与临床研究中心）
针对多变量时间序列医疗预测监测中静态特征选择方法无法有效利用时序信息的问题，提出基于强化学习的动态特征选择方法，在最大成本限制下优化策略生成合成数据更新模型，实验证明其在严格成本限制下优于基线方法。
2024-05-30 cs.AI cs.LG
Action Shapley: A Training Data Selection Metric for World Model in Reinforcement Learning
Nutanix Inc.（Nutanix公司）
本文提出动作夏普利度量，用于高效选择强化学习世界模型的训练数据，通过随机动态算法提升计算效率并改进数据选择性能。
2026-01-15 cs.LG stat.ME
Deep Reinforcement Learning for Exact Combinatorial Optimization: Learning to Branch
University of Alberta（阿尔伯塔大学）；Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）
分支定界法是求解组合优化的一种系统枚举方法，其性能高度依赖于变量选择策略。最先进的手工制作的启发式策略遭受每个选择的相对较慢的推理时间，而当前的机器学习方法需要大量的标记数据。提出了一种基于强化学习（RL）范式的组合优化中数据标记和推理延迟问题的解决方法。我们使用模仿学习来引导RL代理，然后使用近端策略优化（PPO）来进一步探索全局最优动作。然后，使用价值网络运行蒙特卡罗树搜索（MCTS）来增强策略网络。我们评估了我们的方法在四个不同类别的组合优化问题的性能，并表明我们的方法相比，最先进的机器学习和基于数学的方法表现强劲。
2022-06-14 cs.AI cs.LG cs.RO
Reinforcement Learning Methods for Neighborhood Selection in Local Search
CETIC research center（CETIC研究中心）
本文研究了强化学习在局部搜索中用于邻域选择的效果，发现ε-贪心表现优异，而深度强化学习需更长运行时间才能竞争
2026-01-12 cs.AI cs.LG
Model Selection for Offline Reinforcement Learning: Practical Considerations for Healthcare Settings
University of Michigan（密歇根大学）
强化学习（RL）可用于学习治疗策略并辅助医疗保健决策。然而，考虑到需要在复杂的状态/动作空间上进行推广，函数逼近器（例如，深度神经网络）需要模型选择以减少过拟合并提高部署时的策略性能。然而，用于模型选择的标准验证管道需要在实际环境中运行学习的策略，这在医疗保健环境中通常是不可行的。在这项工作中，我们研究了离线RL的模型选择管道，该管道依赖于离线策略评估（OPE）作为验证性能的代理。我们对流行的OPE方法进行了深入分析，突出了用于对一组候选策略进行排名时的额外超参数和计算要求（辅助模型的拟合/推理）。我们比较了不同OPE方法的效用，作为学习治疗脓毒症患者的模型选择管道的一部分。在我们考虑的所有OPE方法中，拟合Q评估（Fitted Q Evaluation，简称QFE）始终导致最佳验证排名，但计算成本很高。为了平衡排名准确性和计算效率之间的权衡，我们提出了一个简单的两阶段方法，通过避免潜在的不必要的计算来加速模型选择。我们的工作可以作为离线RL模型选择的实用指南，并可以帮助RL从业者使用真实世界的数据集选择策略。为了便于重复性和将来的扩展，本文附带的代码可在https://github.com/MLD3/OfflineRL_ModelSelection上在线获得。
2021-07-23 cs.LG
Learning to Construct Knowledge through Sparse Reference Selection with Reinforcement Learning
Department of Electrical and Computer Engineering, University of Minnesota, Twin City, MN（电气与计算机工程系，明尼苏达大学，双城，MN）
针对科学文献中稀疏参考选择难题，提出深度强化学习框架模拟人类知识构建，在药物-基因关系发现中仅用标题和摘要即实现有效知识构建。
2025-09-07 cs.AI cs.IR cs.LG
Learning Rate-Free Reinforcement Learning: A Case for Model Selection with Non-Stationary Objectives
Boston University（波士顿大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛学院博德研究所）
本文提出一种仅依赖奖励反馈、与具体RL算法和优化器无关的无学习率模型选择框架，可动态选择最优学习率，并通过实验证明在非平稳目标下数据驱动模型选择优于标准老虎机算法。
2024-08-07 cs.AI cs.LG
Vehicular Cooperative Perception Through Action Branching and Federated Reinforcement Learning
University of Oulu（奥卢大学）；University of the Basque Country UPV/EHU（巴斯克大学）；Virginia Tech（弗吉尼亚理工大学）
协同感知在将车辆的感知范围扩展到视线之外方面起着至关重要的作用。然而，在有限的通信资源下交换原始传感数据是不可行的。为了实现有效的合作感知，车辆需要解决以下基本问题：需要共享哪些感知数据？分辨率是多少？用什么车？为了回答这个问题，在本文中，提出了一种新的框架，允许基于强化学习（RL）的车辆关联，资源块（RB）分配，并通过利用基于四叉树的点云压缩机制的合作感知消息（CPM）的内容选择。此外，为了加快跨车辆的训练过程，引入了联邦RL方法。仿真结果表明，RL代理的能力，有效地学习车辆的关联，RB分配，和消息内容的选择，同时最大限度地提高车辆的满意度方面收到的感官信息。结果还表明，联邦强化学习改进了训练过程，与非联邦方法相比，可以在相同的时间内实现更好的策略。
2021-11-18 cs.LG
Attractor Selection in Nonlinear Energy Harvesting Using Deep Reinforcement Learning
Dynamical Systems Research Laboratory（动态系统研究实验室）；Department of Mechanical Engineering & Materials Science（机械工程与材料科学系）；Duke University（杜克大学）
最近的研究工作表明，有意使用非线性增强能量收集系统的能力。在非线性收获器中出现的主要挑战之一是，非线性通常会导致具有可能共存的期望和不期望响应的多个吸引子。本文提出了一种基于永磁转磁传动的非线性能量采集器，该能量采集器具有不同水平的电功率输出，并具有共存的吸引子。此外，提出了一种利用深度强化学习的控制方法，实现了在具有约束驱动的共存吸引子之间的吸引子切换。
2020-10-03 cs.LG cs.SY eess.SY
Guiding Evolutionary Molecular Design: Adding Reinforcement Learning for Mutation Selection
Univ Angers, CNRS, MOLTECH-ANJOU, SFR MATRIX（昂西大学、法国国家科学研究中心、MOLTECH-ANJOU、SFR MATRIX）
针对化学空间探索中生成分子不稳定、难合成的问题，研究提出融合强化学习的进化算法EvoMol-RL，借助ECFPs学习上下文感知突变策略，显著提升分子生成有效性与真实性，表现优于基线。
2025-10-01 cs.LG
Coreset-Based Task Selection for Sample-Efficient Meta-Reinforcement Learning
Columbia University（哥伦比亚大学）
针对MAML-RL的任务冗余问题，提出基于Coreset的任务选择方法，通过梯度空间多样性选加权子集，理论上降低样本复杂度O(1/ε)倍，提升对未见任务的适应速度，并在MAML-LQR中验证有效性。
2026-09-29 cs.LG math.OC
