Selection as Power: Constrained Reinforcement for Bounded Decision Authority
AI Lab, Grupo Santander Madrid, Spain（Grupo Santander 马德里实验室）
本文提出了一种动态激励性选择治理框架，通过受约束的强化学习方法，在保持有限决策权的同时实现适应性改进。
2026-03-02 cs.AI cs.CE cs.LG
Reinforcement-based Simultaneous Algorithm and its Hyperparameters Selection
ITMO University（ITMO大学）
存在许多用于数据分析的算法，特别是用于分类问题。要解决数据分析问题，需要选择合适的算法，也需要选择其超参数。在本文中，我们提出了一个新的方法，同时选择一个算法和它的超参数。为了做到这一点，我们把这个问题简化为多臂强盗问题。我们把算法看作一个手臂，在一定时间内搜索算法超参数作为相应的手臂动作。我们还提出了一个特定问题的奖励功能。我们在10个真实数据集上进行了实验，并将所提出的方法与Auto-WEKA中实现的现有方法进行了比较。结果表明，我们的方法在大多数情况下都明显优于Auto-WEKA。
2016-11-07 cs.AI cs.LG stat.ML
Finite-Time Performance Bounds and Adaptive Learning Rate Selection for Two Time-Scale Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Arizona State University（亚利桑那州立大学）
我们研究了两种时间尺度线性随机近似算法，它们可以用来模拟著名的强化学习算法，如GTD，GTD 2和TDC。我们给出了学习率固定的情况下的有限时间性能界限。在获得这些界限的关键思想是使用李雅普诺夫函数的奇异摄动理论的线性微分方程。我们使用的界限设计一个自适应学习率计划，显着提高了收敛速度在我们的实验中已知的最佳多项式衰减规则，并可以用来潜在地提高性能的任何其他时间表，其中的学习率在预定的时刻改变。
2019-07-14 cs.AI cs.LG stat.ML
Robust Bayesian optimization with reinforcement learned acquisition functions
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Collaborative Innovation Center of Novel Software Technology and Industrialization（新型软件技术与产业化协同创新中心）；State Key Laboratory of Aerodynamics（空气动力学国家重点实验室）
在贝叶斯优化（BO）昂贵的黑盒优化任务，采集功能（AF）指导顺序采样，并发挥了关键作用，有效收敛到更好的最优。流行的AF通常依赖于人工经验，在探索或开发的偏好方面，这会带来计算浪费或陷入局部最优和由此产生的重新优化的风险。为了解决这个问题，提出了数据驱动的AF选择思想，并将顺序AF选择任务进一步形式化为马尔可夫决策过程（MDP），并采用强大的强化学习（RL）技术。该算法从优势BO轨迹中学习合适的AF选择策略，实时的在探测和利用之间取得平衡，称为基于学习辅助的贝叶斯优化（RLABO）。五个基准问题的竞争力和强大的BO评估表明RL的认可的隐式AF选择模式，并暗示该建议的潜在实用性，智能AF选择，以及在昂贵的黑箱问题的有效优化。
2022-10-02 cs.AI cs.LG math.OC
A reinforcement learning approach to resource allocation in genomic selection
Iowa State University（爱荷华州立大学）
基因组选择（GS）是植物育种者用来选择个体进行交配并产生新一代物种的技术。资源分配是全球服务的一个关键因素。在每个选择周期，育种者都面临着预算分配的选择，以进行杂交和生产下一代育种亲本。受人工智能问题强化学习最新进展的启发，我们开发了一种基于强化学习的算法，可以自动学习在不同的育种世代中分配有限的资源。我们在数学上制定的马尔可夫决策过程（MDP）的框架中的问题，通过定义状态和动作空间。为了避免状态空间的爆炸，提出了一个整数线性规划，量化资源和时间之间的权衡。最后，我们提出一个价值函数近似方法来估计行动价值函数，然后开发一个贪婪的策略改进技术，以找到最佳的资源。我们证明了所提出的方法在提高遗传增益与现实数据的案例研究的有效性。
2021-07-22 cs.AI cs.LG math.OC
Which Rewards Matter? Reward Selection for Reinforcement Learning under Limited Feedback
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对有限反馈下强化学习的奖励标注样本选择问题，本文形式化了RLLF问题框架，研究两类选择策略，发现关键奖励需引导最优轨迹与偏差恢复，仅用少量标签即可实现近最优策略，为反馈受限场景的强化学习规模化提供了新范式。
2025-09-30 cs.AI cs.LG
Reinforcement Learning based Dynamic Model Selection for Short-Term Load Forecasting
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
随着智能网格技术的日益普及，短期负荷预测（STLF）在电力系统运行中变得尤为重要。有大量的方法开发的STLF，但选择一个合适的方法在不同的条件下仍然是具有挑战性的。提出了一种基于强化学习的STLF动态模型选择方法。首先建立预测模型池，包括十个最先进的基于机器学习的预测模型。然后，Q学习代理根据模型性能学习为下一时间步选择最佳预测模型的最优策略。最优DMS策略被应用于在每个时间步选择最佳模型，并具有移动窗口。对两年负荷和气象数据的仿真结果表明，Q-学习算法收敛速度快，能有效地提高DMS的性能。与最先进的基于机器学习的STLF模型相比，开发的基于Q学习的DMS的STLF模型将预测精度提高了约50%。
2018-11-05 cs.AI cs.LG stat.ML
AutoFS: Automated Feature Selection via Diversity-aware Interactive Reinforcement Learning
University of Central Florida（中佛罗里达大学）；Baidu Research（百度研究院）；University of Arizona（亚利桑那大学）
本文研究了自动特征选择中有效性和效率的平衡问题。特征选择是机器学习和预测分析的基本智能。在探索了许多特征选择方法之后，我们观察到一个计算困境：1）传统的特征选择方法（例如，mRMR）大多是有效的，但难以识别最佳子集; 2）新兴的增强特征选择方法自动导航特征空间以探索最佳子集，但通常是低效的。自动化和效率总是相互分离的吗？我们能否在自动化下弥合有效性和效率之间的差距？基于这种计算困境，本研究旨在开发一种新的特征空间导航方法。为此，我们提出了一个交互式增强特征选择（IRFS）框架，指导代理不仅自我探索的经验，但也有不同的外部熟练的培训师，以加快学习的功能探索。具体来说，我们制定的特征选择问题到一个互动的强化学习框架。在这个框架中，我们首先建立了两个训练器的模型：（1）基于KBest的训练器;（2）基于决策树的训练器。然后，我们开发了两种策略：（1）识别断言和犹豫代理，以多样化代理培训，（2）使两个培训师在不同的阶段担任教学角色，融合培训师的经验，使教学过程多样化。这种混合教学策略可以帮助代理人学习更广泛的知识，并在此后更有效。最后，我们在真实世界的数据集上进行了大量的实验，以证明我们的方法的改进性能：比现有的增强选择更有效，比经典选择更有效。
2020-09-16 cs.AI cs.LG stat.ML
Learning to Transfer Learn: Reinforcement Learning-Based Selection for Adaptive Transfer Learning
Google Cloud AI（谷歌云AI）；University of Technology Sydney（悉尼科技大学）
我们提出了一种新的自适应迁移学习框架，学习迁移学习（L2TL），通过仔细提取源数据集的相关信息来提高目标数据集的性能。我们的框架考虑了源和目标任务模型之间的共享权重的合作优化，并自适应地调整组成损失权重。权重的自适应是基于强化学习（RL）选择策略，以目标验证集上的性能度量为指导。我们证明了L2TL在八个数据集上的性能优于微调基线和其他自适应迁移学习方法。在小规模目标数据集和源数据集和目标数据集之间的显著标签不匹配的情况下，L2TL显示出特别大的好处。
2020-07-16 cs.AI cs.LG
On the consistency of hyper-parameter selection in value-based deep reinforcement learning
Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Google DeepMind（谷歌DeepMind）
本文针对基于价值的深度强化学习中超参数选择常被算法进步掩盖的问题，通过广泛实证研究并引入新分数量化超参数一致性，明确了关键调优超参数及不同训练机制下的一致调优方向。
2024-11-29 cs.AI cs.LG
Dynamic feature selection in medical predictive monitoring by reinforcement learning
Tsinghua University（清华大学）；Institute for Precision Medicine, Tsinghua University（清华大学精准医学研究院）；Center for Big Data and Clinical Research（大数据与临床研究中心）
针对多变量时间序列医疗预测监测中静态特征选择方法无法有效利用时序信息的问题，提出基于强化学习的动态特征选择方法，在最大成本限制下优化策略生成合成数据更新模型，实验证明其在严格成本限制下优于基线方法。
2024-05-30 cs.AI cs.LG
Feature Selection Using Reinforcement Learning
University of Virginia（弗吉尼亚大学）
随着数据汇集成本的降低，可用于表征感兴趣的特定预测器的变量或特征的空间继续呈指数增长。因此，识别最具特征的特征，使方差最小化，而不损害我们模型的偏差，对于成功训练机器学习模型至关重要。此外，识别这些特征对于可解释性、预测准确性和最佳计算成本至关重要。虽然统计方法，如子集选择，收缩，降维已被应用在选择最佳的一组功能，在文献中的一些其他方法接近特征选择任务作为一个搜索问题，其中每个状态在搜索空间是一个可能的特征子集。在本文中，我们解决了使用强化学习特征选择问题。将状态空间表示为马尔可夫决策过程（MDP），使用时间差分（TD）算法选择最佳特征子集。使用鲁棒且低成本的分类器算法评估每个状态，该算法可以处理数据集中的任何非线性。
2021-01-23 cs.LG stat.ML
Reinforcement Learning Methods for Neighborhood Selection in Local Search
CETIC research center（CETIC研究中心）
本文研究了强化学习在局部搜索中用于邻域选择的效果，发现ε-贪心表现优异，而深度强化学习需更长运行时间才能竞争
2026-01-12 cs.AI cs.LG
Where to Intervene: Action Selection in Deep Reinforcement Learning
University of California, Irvine（加州大学欧文分校）
本文提出一种通用、无模型且计算友好的数据驱动动作选择方法，利用 knockoff 采样控制错误发现率，并在线集成到深度强化学习中，在变量选择性能和总体奖励上优于现有技术。
2025-07-05 cs.LG stat.ML
Graph Reinforcement Learning for Operator Selection in the ALNS Metaheuristic
University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）；The Alan Turing Institute（阿兰·图灵研究所）；University of Manchester（曼彻斯特大学）
ALNS是一种流行的元启发式算法，在解决组合优化问题方面具有很高的效率。然而，尽管对ALNS进行了16年的深入研究，但嵌入式自适应层是否可以有效地选择运营商以改善现任者仍然是一个悬而未决的问题。在这项工作中，我们将算子的选择公式化为马尔可夫决策过程，并提出了一种基于深度强化学习和图神经网络的实用方法。结果表明，我们提出的方法实现了更好的性能比经典的ALNS自适应层，由于运营商的选择是以当前的解决方案为条件。我们还讨论了重要的考虑因素，如运营商投资组合的规模和运营商规模的选择的影响。值得注意的是，我们的方法还可以节省大量的时间和劳动力成本，用于手工制作特定问题的运营商组合。
2023-02-28 cs.AI cs.LG math.OC
DORA The Explorer: Directed Outreaching Reinforcement Action-Selection
School of Computer Science and Engineering（计算机科学与工程学院）；Department of Cognitive Sciences（认知科学系）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；The Edmond and Lily Safra Center for Brain Sciences（埃德蒙与莉莉·萨夫拉脑科学中心）；Departments of Neurobiology and Cognitive Sciences（神经生物学与认知科学系）；the Federmann Center for the Study of Rationality（费德曼理性研究中心）
探索是强化学习的一个基本方面，通常使用随机动作选择来实现。然而，如果探索的目的是获得新的世界知识，那么它会更有效率。访问计数器已被证明是有用的，在实践中和理论上的直接勘探。然而，计数器的一个主要限制是它们的位置。虽然有一些基于模型的解决方案来解决这个缺点，但仍然缺少无模型的方法。我们提出了$E$ -值，计数器的泛化，可用于评估传播的探索性值的状态动作轨迹。我们将我们的方法与常用的RL技术进行比较，并表明使用$E$值可以提高传统计数器的学习和性能。我们还展示了如何使用函数逼近来实现我们的方法，以有效地学习连续的MDP。我们证明了这一点，表明我们的方法超越了高速公路雅达利2600游戏的最先进的性能。
2018-04-11 cs.AI cs.LG stat.ML
Learning Rate-Free Reinforcement Learning: A Case for Model Selection with Non-Stationary Objectives
Boston University（波士顿大学）；Broad Institute of MIT and Harvard（麻省理工学院与哈佛学院博德研究所）
本文提出一种仅依赖奖励反馈、与具体RL算法和优化器无关的无学习率模型选择框架，可动态选择最优学习率，并通过实验证明在非平稳目标下数据驱动模型选择优于标准老虎机算法。
2024-08-07 cs.AI cs.LG
Learning to Construct Knowledge through Sparse Reference Selection with Reinforcement Learning
Department of Electrical and Computer Engineering, University of Minnesota, Twin City, MN（电气与计算机工程系，明尼苏达大学，双城，MN）
针对科学文献中稀疏参考选择难题，提出深度强化学习框架模拟人类知识构建，在药物-基因关系发现中仅用标题和摘要即实现有效知识构建。
2025-09-07 cs.AI cs.IR cs.LG
Tournament selection in zeroth-level classifier systems based on average reward reinforcement learning
Hubei Key Laboratory of Intelligent Vision Based Monitoring for Hydroelectric Engineering, China Three Gorges University（三峡大学水电工程智能视觉监测湖北省重点实验室）；College of Computer and Information Technology, China Three Gorges University（三峡大学计算机与信息学院）
作为一种基于遗传学的机器学习技术，零级分类器系统（ZCS）是基于折扣奖励强化学习算法--桶旅算法（bucket-brigade algorithm）的，该算法优化了智能体获得的折扣总奖励，但并不适用于所有多步问题，尤其是大规模问题。有一些未打折的强化学习方法可用，例如R学习，它优化了每个时间步的平均奖励。本文采用R-学习作为ZCS的强化学习方法，以取代其折扣奖励强化学习方法，并采用锦标赛选择代替ZCS中的轮盘赌选择。修改的分类器系统，可以支持长的动作链，从而能够解决大型多步骤的问题。
2016-04-26 cs.AI cs.NE
Constrained Attractor Selection Using Deep Reinforcement Learning
Duke University（杜克大学）
本文描述了一种具有约束驱动的非线性动力系统的吸引子选择（或多稳定控制）方法。吸引子选择使用两种不同的深度强化学习方法获得：1）交叉熵方法（CEM）和2）深度确定性策略梯度（DDPG）方法。应用这些控制方法的框架和算法。Duffing振子是一个典型的具有多个吸引子的非线性动力系统，实验在该振子上进行.这两种方法实现了各种控制约束下的吸引子选择。虽然这些方法具有几乎相同的成功率，但DDPG方法具有高学习率，低性能方差和平滑控制方法的优点。这项研究证明了两种强化学习方法实现约束吸引子选择的能力。
2020-05-30 cs.LG cs.SY eess.SY
Coreset-Based Task Selection for Sample-Efficient Meta-Reinforcement Learning
Columbia University（哥伦比亚大学）
针对MAML-RL的任务冗余问题，提出基于Coreset的任务选择方法，通过梯度空间多样性选加权子集，理论上降低样本复杂度O(1/ε)倍，提升对未见任务的适应速度，并在MAML-LQR中验证有效性。
2026-09-29 cs.LG math.OC
A Multi-agent Reinforcement Learning Approach for Efficient Client Selection in Federated Learning
Harvard University（哈佛大学）；University of Toronto（多伦多大学）；Microsoft（微软）
联邦学习（FL）是一种训练技术，其使得客户端设备能够通过聚合本地计算的模型而不暴露其原始数据来共同学习共享模型。虽然大多数现有的工作集中在提高FL模型的准确性，在本文中，我们专注于提高训练效率，这往往是在现实世界中采用FL的一个障碍。具体而言，我们设计了一个有效的FL框架，共同优化模型的准确性，处理延迟和通信效率，所有这些都是主要的设计考虑因素，真正实现FL。最近成功的多智能体强化学习（MARL）在解决复杂的控制问题的启发，我们提出了\textit{FedMarl}，基于MARL的FL框架，执行高效的运行时客户端选择。实验结果表明，FedMarl可以显著提高模型的准确性，同时降低处理延迟和通信开销。
2022-01-09 cs.AI cs.LG
Reinforcement Learning-based Adaptive Path Selection for Programmable Networks
Institute of Informatics, University of Amsterdam（阿姆斯特丹大学信息学院）；Ericsson Research（爱立信研究）
本研究提出分布式网络内强化学习框架，结合随机学习自动机与带内网络遥测数据实现可编程网络自适应路径选择，经测试验证其可快速收敛并适应网络变化。
2025-08-31 cs.LG
Continuous-Time Mean-Variance Portfolio Selection: A Reinforcement Learning Framework
Columbia University（哥伦比亚大学）
本文利用强化学习方法研究了连续时间均值-方差投资组合问题。该问题是为了实现勘探和开采之间的最佳权衡，并制定为熵正则化，放松随机控制问题。我们证明了这个问题的最优反馈策略必须是高斯的，具有时间衰减方差。然后，我们建立熵正则MV和经典MV之间的连接，包括可解性等价性和收敛性的探索加权参数衰减到零。最后，我们证明了一个策略改进定理，在此基础上，我们设计了一个可实现的RL算法。我们发现，我们的算法优于基于自适应控制的方法和基于深度神经网络的算法在我们的模拟大幅度。
2019-05-05 cs.CE cs.LG math.OC
Automation and Feature Selection Enhancement with Reinforcement Learning (RL)
Portland State University（波特兰州立大学）
本文综述强化学习在自动化特征工程中的应用，涵盖单/多智能体、MCRFS、双智能体特征-实例选择及级联自优化框架，以提升高维数据预测性能与可解释性。
2025-03-15 cs.LG
Economic span selection of bridge based on deep reinforcement learning
Jiangsu College of Finance & Accounting（江苏财会职业学院）；Lianyungang Open University（连云港开放大学）；Wanshi Antecedence Digital Intelligence Traffic Technology Co., Ltd（万世先行数智交通科技有限公司）
针对桥梁跨径选择影响工程成本的问题，结合经济跨径理论，构建含对应观测、动作空间和奖励函数的仿真环境，采用基于卷积网络、ε贪心策略与经验回放的深度Q网络智能体学习最优策略，实现桥梁经济跨径选择，为桥梁设计提供决策工具。
2024-07-09 cs.AI cs.LG
Enhancing Classification Performance via Reinforcement Learning for Feature Selection
本研究针对分类模型性能提升问题，采用Q-learning、SARSA两种强化学习算法进行特征选择，在BCCDS数据集结合三种归一化方法测试，最高准确率达88%，验证了强化学习特征选择的有效性。
2024-03-09 cs.LG
Online Feature Selection for Activity Recognition using Reinforcement Learning with Multiple Feedback
University of Bristol（布里斯托大学）
机器学习和物联网的最新进展吸引了人们对自动活动识别的关注，其中用户佩戴具有传感器的设备，并且他们的输出被映射到预定义的活动集合。然而，很少有研究考虑可穿戴设备功耗和活动识别准确性之间的平衡。当计算负载的一部分发生在可穿戴设备上时，这是特别重要的。在本文中，我们提出了一种新的方法来执行特征选择的设备上的基础上强化学习（RL），找到功耗和准确性之间的最佳平衡。为了加快学习速度，我们扩展了RL算法来处理多个反馈源，并使用它们来调整策略，同时估计反馈精度。我们在SPHERE挑战数据集上评估了我们的系统，这是一个公开的研究数据集。结果表明，我们提出的方法实现了可穿戴功耗和活动识别精度之间的良好权衡。
2019-08-16 cs.LG stat.ML
An Optimal Online Method of Selecting Source Policies for Reinforcement Learning
迁移学习通过利用来自先前经验的相关知识来显著加速强化学习过程。在学习过程中如何选择最优的源策略是一个非常重要而又具有挑战性的问题。对这个问题的理论分析很少。在本文中，我们开发了一个最佳的在线方法来选择源策略的强化学习。该方法将在线源策略选择问题转化为多臂强盗问题，并通过策略重用增强Q学习。我们提供了理论保证的最优选择过程和收敛到最优策略。此外，我们进行实验，基于网格的机器人导航域，以证明其效率和鲁棒性，通过比较国家的最先进的迁移学习方法。
2017-09-24 cs.AI cs.LG stat.ML
Solving Continual Combinatorial Selection via Deep Reinforcement Learning
KAIST（韩国科学技术院）；King’s College London（伦敦国王学院）；Naver Corporation（Naver公司）
我们考虑马尔可夫决策过程（MDP）选择一个子集的项目在每一步，称为选择MDP（S-MDP）。S-MDP的大的状态和动作空间使得它们难以用典型的强化学习（RL）算法来解决，特别是当项目数量巨大时。在本文中，我们提出了一个深度RL算法来解决这个问题，采用以下关键思想。首先，我们将原始的S-MDP转换成迭代选择MDP（IS-MDP），这是等价于S-MDP的最优行动。IS-MDP将同时选择K个项目的联合动作分解为K个迭代选择，从而以指数级增加的状态为代价减少动作。其次，我们克服了这种状态空间爆炸，利用一种特殊的对称性IS-MDP与新的权重共享Q-网络，可证明保持足够的表达能力。各种实验表明，即使项目空间很大，我们的方法也能很好地工作，并且它可以扩展到项目空间与训练中使用的项目空间不同的环境。
2019-09-09 cs.AI cs.LG stat.ML
Accuracy-based Curriculum Learning in Deep Reinforcement Learning
Sorbonne Université（索邦大学）；INRIA（法国国家信息与自动化研究所）
在本文中，我们研究了一种新的形式的自动化课程学习的基础上自适应选择的准确性要求，称为基于准确性的课程学习。使用基于深度确定性策略梯度算法的强化学习代理并解决Reacher环境，我们首先表明，使用随机抽样的各种准确性要求训练的代理比要求始终非常准确时更有效地学习。然后，我们表明，自适应选择的准确性要求，根据当地的能力进步的措施，自动生成一个课程的难度逐步增加，从而导致更好的学习效率比随机抽样。
2018-09-21 cs.AI cs.LG stat.ML
Selection in Scale-Free Small World
在本文中，我们比较我们的选择为基础的学习算法的Web爬虫的性能特点与强化学习算法的特点。爬虫的任务是在网上寻找新的信息。选择算法称为weblog update，它根据包含新信息的URL来修改爬虫的起始URL列表。强化学习算法基于所接收的针对所提交文档的强化来修改爬虫的URL排序。我们根据从网上收集的数据进行了模拟。收集到的部分Web是典型的，并表现出无标度小世界（SFSW）结构。我们发现，在这个SFSW上，weblog更新算法的性能优于强化学习算法。它比强化学习算法更快地找到新信息，并且具有更好的新信息/所有提交的文档比率。我们认为，选择算法优于强化学习算法是由于Web的小世界属性。
2005-04-14 cs.IR cs.LG
Reinforcement Learning of Speech Recognition System Based on Policy Gradient and Hypothesis Selection
Tokyo Institute of Technology（东京工业大学）
语音识别系统已经实现了几个任务的高识别性能。然而，这种系统的性能取决于准备大量任务匹配的转录语音数据用于监督训练的非常昂贵的开发工作。这里的关键问题是转录语音数据的成本。为支持新的语言和新的任务，一再需要这笔费用。假设为许多用户转录语音数据的广泛网络服务，如果系统具有从来自用户的非常轻微的反馈中学习而不打扰用户的能力，则系统将变得更加自给自足和更加有用。本文提出了一种基于策略梯度方法的语音识别系统的通用强化学习框架。作为该框架的一个特例，我们还提出了一种基于假设选择的强化学习方法。建议的框架提供了一个新的观点，现有的几个培训和适应方法。实验结果表明，该方法提高了识别性能相比，无监督的适应。
2017-11-10 cs.CL cs.LG stat.ML
Cost-Sensitive Portfolio Selection via Deep Reinforcement Learning
South China University of Technology（华南理工大学）；Guangzhou Laboratory（广州实验室）；Tencent AI Lab（腾讯人工智能实验室）；Wuhan University（武汉大学）
投资组合选择是一个重要的现实世界的金融任务，并引起了广泛的关注，在人工智能社区。然而，这项任务有两个主要的困难：（i）非平稳的价格序列和复杂的资产相关性使得特征表示的学习非常困难;（ii）金融市场中的实用性原则要求控制交易成本和风险成本。大多数现有的方法采用手工特征和/或不考虑对成本的限制，这可能使它们在实践中表现得不令人满意并且不能控制这两种成本。本文提出了一种基于深度强化学习的投资组合选择方法。具体而言，一个新的双流投资组合策略网络的设计，以提取价格序列模式和资产的相关性，而一个新的成本敏感的奖励函数的开发，以最大限度地提高累计回报和约束成本通过强化学习。我们从理论上分析了建议的奖励的近最优性，这表明，该政策的增长率关于这个奖励函数可以接近理论最优。我们还在现实世界的数据集上对所提出的方法进行了经验评估。实验结果表明，该方法在盈利能力、成本敏感性和代表性等方面具有很好的效果和优越性。
2020-03-06 cs.LG stat.ML
Sequential Knockoffs for Variable Selection in Reinforcement Learning
London School of Economics and Political Science（伦敦政治经济学院）；University of California, Irvine（加州大学欧文分校）；George Washington University（乔治华盛顿大学）；Duke University（杜克大学）
提出SEEK算法估计MDP中的最小充分状态，实现选择一致性，提升变量选择精度与regret表现。
2024-07-30 cs.LG stat.ML
Robusta: Robust AutoML for Feature Selection via Reinforcement Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
已经提出了几种AutoML方法来自动化机器学习（ML）过程，例如搜索ML模型架构和超参数。然而，这些AutoML流水线只关注提高良性样本的学习精度，而忽略了ML模型在对抗攻击下的鲁棒性。随着ML系统越来越多地用于各种关键任务应用程序，提高ML系统的鲁棒性变得至关重要。在本文中，我们提出了第一个强大的AutoML框架Robusta-基于强化学习（RL）-执行特征选择，旨在选择导致准确和强大的ML系统的特征。我们表明，0-1鲁棒损失的变化可以直接优化通过基于RL的组合搜索的特征选择的情况下。此外，我们采用的特征评分指标，这是互信息分数，基于树的分类器的特征重要性分数，F分数，和综合梯度（IG）分数，以及它们的组合的基础上，加速搜索过程。我们进行了广泛的实验，并表明，该框架是能够提高模型的鲁棒性高达22%，同时保持竞争力的准确性良性样本相比，其他特征选择方法。
2021-01-15 cs.AI cs.LG
Optimizing Fantasy Sports Team Selection with Deep Reinforcement Learning
Dream11
本文针对梦幻板球组队优化问题，将队伍创建建模为序贯决策过程，利用历史球员数据训练强化学习算法预测表现并优化阵容，实验证明RL方法优于传统选秀策略。
2024-12-26 cs.AI cs.LG
Oracle Inequalities for Model Selection in Offline Reinforcement Learning
Stanford University（斯坦福大学）；Google Research（谷歌研究院）
在离线强化学习（RL）中，学习器利用先前记录的数据来学习好的策略，而无需与环境交互。在实践中应用这些方法的一个主要挑战是缺乏理论原则和实际工具来进行模式选择和评价。为了解决这个问题，我们研究了离线RL的模型选择问题与价值函数近似。学习者被赋予一个嵌套的模型类序列，以最小化平方贝尔曼误差，必须在这些模型类中进行选择，以实现类的近似和估计误差之间的平衡。我们提出了第一个离线RL模型选择算法，实现了极大极小速率最优的预言机不等式对数因子。该算法ModBE将候选模型类的集合和通用基础离线RL算法作为输入。通过使用一种新的单侧泛化测试连续消除模型类，ModBE返回一个具有遗憾缩放的策略，该策略具有最小完整模型类的复杂性。除了理论上的保证，它在概念上是简单的，计算效率高，相当于解决了一系列平方损失回归问题，然后比较类之间的相对平方损失。我们的结论与几个数值模拟表明，它是能够可靠地选择一个好的模型类。
2022-11-03 cs.AI cs.LG
The Evolution theory of Learning: From Natural Selection to Reinforcement Learning
本文探讨进化与强化学习两个领域的关联，指出二者联系比此前认知的更紧密，提出强化学习原理可助力理解进化及反馈在进化系统中的作用。
2023-06-16 cs.LG cs.NE nlin.AO
Auxiliary-task Based Deep Reinforcement Learning for Participant Selection Problem in Mobile Crowdsourcing
Baidu Inc.（百度公司）；IIIS, Tsinghua University（清华大学交叉信息研究院）；Lancaster University（兰卡斯特大学）；Nanjing University（南京大学）；Tencent Holdings Ltd.（腾讯控股有限公司）
在移动众包（MCS）中，平台选择参与者来完成来自招聘人员的位置感知任务，旨在实现多个目标（例如，利润最大化、能源效率和公平）。然而，不同的MCS系统具有不同的目标，并且即使在一个MCS系统中也可能存在冲突的目标。因此，设计一种适用于不同MCS系统的参与者选择算法以实现多个目标是至关重要的。为了解决这个问题，我们将参与者选择问题表示为强化学习问题，并提出了一种新的方法来解决这个问题，我们称之为基于任务的深度强化学习（ADRL）。我们使用Transformers从MCS系统的上下文中提取表示，并使用指针网络来处理组合优化问题。为了提高样本效率，我们采用了一个任务训练过程，训练网络预测招聘人员即将完成的任务，这有利于深度学习模型的嵌入式学习。此外，我们发布了一个模拟的环境中的一个特定的MCS任务，共乘任务，并在此环境中进行广泛的性能评估。实验结果表明，ADRL优于和提高样本效率比其他公认的基线在各种设置。
2020-08-26 cs.LG stat.ML
A Reinforcement-Learning-Based Multiple-Column Selection Strategy for Column Generation
Department of Automation, BNRist, Tsinghua University（清华大学自动化系、北京信息科学与技术国家研究中心）
针对列生成中从大量候选列选择多列的难题，提出首个基于强化学习的多列选择策略，并在下料与图着色问题上显著减少迭代次数和运行时间。
2023-12-29 cs.LG math.OC
Reinforcement Learning for Variable Selection in a Branch and Bound Algorithm
EDF R&D（法国电力研发中心）；CNAM Paris（巴黎国立工艺美术学院）；ENSTA Paris（巴黎高等先进技术学院）；Institut Polytechnique de Paris（巴黎理工学院）
混合整数线性规划问题通常采用分枝定界算法求解。最成功的商业求解器的效率的一个关键因素是它们的微调算法。在本文中，我们利用现实世界中的模式，从头开始学习一个新的分支策略，针对给定的问题进行优化，并将其与商业求解器进行比较。我们提出了FMSTS，一种新的强化学习方法，专门为这项任务而设计。我们的方法的优势在于局部价值函数和全局度量之间的一致性。此外，我们提供的见解适应已知的RL技术的分支和界限设置，并提出了一个新的神经网络架构的启发，从文献。据我们所知，这是第一次使用强化学习来完全优化分支策略。计算实验表明，我们的方法是适当的，能够很好地推广到新的情况。
2020-05-20 cs.LG stat.ML
Measuring Data Quality for Dataset Selection in Offline Reinforcement Learning
Siemens Technology（西门子技术）；Technical University of Munich（慕尼黑工业大学）
最近开发的离线强化学习算法使得直接从预先收集的数据集学习策略成为可能，这给从业者带来了一个新的困境：由于算法能够提供的性能在很大程度上取决于呈现给他们的数据集，从业者需要在可用的数据集中选择正确的数据集。这个问题迄今为止还没有在相应的文献中讨论过。我们讨论了如何选择有前途的数据集的想法，并提出了三个非常简单的指标：估计相对收益改善（ERI）和估计行动随机性（EAS），以及两者的组合（COI），并根据经验表明，尽管它们很简单，但它们可以非常有效地用于数据集选择。
2021-11-26 cs.LG
Interactive Reinforcement Learning for Feature Selection with Decision Tree in the Loop
Department of Computer Science, University of Central Florida（中佛罗里达大学计算机科学系）；Business Intelligence Lab, Baidu Research（百度研究院商业智能实验室）；Eller College of Management, University of Arizona（亚利桑那大学埃勒管理学院）；Rutgers University（罗格斯大学）
研究了自动特征选择中有效性和效率的平衡问题。在探索了许多特征选择方法之后，我们发现了一个计算困境：1）传统的特征选择大多数是有效的，但难以识别最佳子集; 2）新兴的增强特征选择自动导航到最佳子集，但通常效率低下。我们能否在自动化下弥合有效性和效率之间的差距？出于这种困境，我们的目标是开发一种新的特征空间导航方法。在我们的初步工作中，我们利用交互式强化学习通过外部训练器-代理交互来加速特征选择。在这个期刊版本中，我们提出了一种新的交互式和闭环架构，以同时建模交互式强化学习（IRL）和决策树反馈（DTF）。具体来说，IRL是创建一个交互式特征选择循环，DTF是将结构化特征知识反馈给循环。首先，利用决策树的树结构特征层次来改进状态表示。特别是，我们表示所选择的特征子集作为一个无向图的特征-特征的相关性和有向树的决策功能。我们提出了一种新的嵌入方法，能够授权图卷积网络，以共同学习状态表示的图和树。其次，利用树结构的特征层次来开发一种新的奖励方案。特别是，我们个性化的奖励分配代理的基础上决策树功能的重要性。此外，观察Agent的行为可以得到反馈，我们设计了另一种奖励方案，根据历史行为记录中的特征选择频率比来加权和分配奖励。最后，我们在现实世界的数据集上进行了广泛的实验，以显示改进的性能。
2020-10-02 cs.LG stat.ML
Model Selection in Reinforcement Learning with General Function Approximations
Halıcıoğlu Data Science Institute (HDSI), UC San Diego（加州大学圣地亚哥分校哈利奇奥卢数据科学研究所（HDSI））；Boston University（波士顿大学）
我们考虑在一般函数近似下经典强化学习（RL）环境--多臂强盗（MABs）和马尔可夫决策过程（MDP）--的模型选择。在模型选择框架中，我们不知道分别由$\mathcal{F}$和$\mathcal{M}$表示的函数类，其中真正的模型--MAB的奖励生成函数和MDP的转换内核--分别位于何处。相反，我们给出了$M$嵌套函数（假设）类，使得真实模型包含在至少一个这样的类中。在本文中，我们提出并分析了有效的模型选择算法的MAB和MDP，即\emph{adapt}到最小的功能类（嵌套的$M$类）包含真正的底层模型。在嵌套假设类的可分性假设下，我们证明了我们的自适应算法的累积遗憾与知道正确函数类（即，$\cF$和$\cM$）。此外，对于这两种设置，我们表明，模型选择的成本是一个附加项的遗憾有弱（对数）依赖于学习视野$T$。
2022-07-06 cs.IT cs.LG math.IT
Time Series Anomaly Detection via Reinforcement Learning-Based Model Selection
McGill University（麦吉尔大学）
时间序列异常检测对于真实世界系统的可靠和高效运行至关重要。基于对异常特征的各种假设，已经开发了许多异常检测方法。然而，由于真实世界数据的复杂性，时间序列内的不同异常通常具有不同的配置文件，支持不同的异常假设。这使得很难找到一个单一的异常检测器，可以始终优于其他模型。在这项工作中，利用不同的基础模型的好处，我们提出了一个基于强化学习的模型选择框架。具体来说，我们首先学习一个不同的异常检测模型池，然后利用强化学习从这些基本模型中动态选择候选模型。对真实数据的实验表明，所提出的策略确实可以在整体性能方面胜过所有基线模型。
2022-07-27 cs.LG
Model Selection for Generic Reinforcement Learning
UCSD（加州大学圣地亚哥分校）；Boston University（波士顿大学）；UC Berkeley（加州大学伯克利分校）
我们解决了有限时域情景强化学习（RL）问题的模型选择问题，其中过渡核$P^*$属于具有有限度量熵的模型族$\mathcal{P}^*$。在模型选择框架中，代替$\mathcal{P}^*$，我们给出了过渡核的$M$嵌套族$\cP_1 \subset \cP_2 \subset \ldots \subset \cP_M$。我们提出并分析了一种新的算法，即\emph{Adaptive Reinforcement Learning (General)}（\texttt{ARL-GEN}），适应最小的这样的家庭，真正的过渡内核$P^*$所在。\texttt{ARL-GEN}使用上置信度强化学习（\texttt{UCRL}）算法，将值目标回归作为黑盒，并在每个epoch的开始处放置模型选择模块。在一个温和的可分性假设下的模型类，我们表明，\texttt{ARL-GEN}获得遗憾的$\Tilde{\mathcal{O}}(d_{\mathcal{E}}^*H^2+\sqrt{d_{\mathcal{E}}^* \mathbb{M}^* H^2 T})$，具有很高的概率，其中$H$是地平线的长度，$T$是步骤的总数，$d_{\mathcal{E}}^*$是Eluder维数和$\mathbb{M}^*$是度量熵对应于$\mathcal{P}^*$。注意，该遗憾缩放与预先知道$\mathcal{P}…
2021-12-10 cs.IT cs.LG math.IT
Nonconvex Regularization for Feature Selection in Reinforcement Learning
Institute of Science Tokyo, Japan Department of Information
本文针对强化学习特征选择提出基于非凸PMC惩罚的批量算法，并给出FRBS算法的新收敛条件，在噪声特征多的场景下显著优于现有方法。
2025-09-19 cs.LG
An Application of Reinforcement Learning to Dialogue Strategy Selection in a Spoken Dialogue System for Email
AT&T Shannon Laboratory（AT&T Shannon实验室）
本文描述了一种新的方法，通过该方法，口语对话系统可以学习选择一个最佳的对话策略，从它的经验与人类用户交互。该方法基于强化学习和口语对话系统的性能建模的组合。强化学习组件应用Q学习（Watkins，1989），而性能建模组件应用PARADISE评估框架（Walker等人，1997）来学习强化学习中使用的性能函数（奖励）。我们用一个名为ELVIS（EmaiL语音交互系统）的口语对话系统来说明该方法，该系统支持通过电话访问电子邮件。我们进行了一组实验，训练的最佳对话策略的语料库中的219个对话，人类用户通过电话与ELVIS互动。然后，我们测试的18个对话语料库的策略。我们表明，ELVIS可以学习优化其策略选择代理的主动性，阅读消息，并总结电子邮件文件夹。
2011-06-01 cs.AI
StackFeat RL: Reinforcement Learning over Iterative Dual Criterion Feature Selection for Stable Biomarker Discovery
CEA List；Université Grenoble Alpes（格勒诺布尔大学）
本文提出StackFeat-RL框架，通过REINFORCE策略梯度优化迭代双准则特征选择算法的超参数，提升高维基因组数据中生物标志物发现的准确性、稀疏性和稳定性。
2026-04-24 cs.LG
Action Shapley: A Training Data Selection Metric for World Model in Reinforcement Learning
Nutanix Inc.（Nutanix公司）
本文提出动作夏普利度量，用于高效选择强化学习世界模型的训练数据，通过随机动态算法提升计算效率并改进数据选择性能。
2026-01-15 cs.LG stat.ME
Information-theoretic Task Selection for Meta-Reinforcement Learning
School of Computing（计算学院）；University of Leeds（利兹大学）
在Meta-强化学习（meta-RL）中，智能体在一组任务上进行训练，以便在新的、看不见的但相关的任务中更快地准备和学习。训练任务通常是手工制作的，以代表测试任务的预期分布，因此全部用于训练。我们表明，给定一组训练任务，如果训练任务选择得当，学习可以更快，更有效（导致测试任务中更好的性能）。我们提出了一个任务选择算法，信息理论任务选择（ITTS），基于信息论，优化用于元强化学习训练的任务集，而不管它们是如何产生的。该算法确定哪些训练任务既与测试任务充分相关，又彼此足够不同。我们再现了文献中不同的元RL实验，并表明ITTS提高了所有实验的最终性能。
2021-07-01 cs.LG
A Bandit Framework for Optimal Selection of Reinforcement Learning Agents
Zalando Research（Zalando研究）；OLX Berlin Hub（OLX柏林中心）
深度强化学习已经被证明在复杂的游戏中非常成功，例如Atari或Go。这些游戏有明确定义的规则，因此允许模拟。然而，在许多实际应用中，与环境的交互是昂贵的，并且没有良好的环境模拟器。此外，由于环境因应用而异，最佳归纳偏差（架构、超参数等）增强剂的量取决于应用。在这项工作中，我们提出了一个多臂强盗框架，从一组不同的强化学习代理选择一个最好的归纳偏见。为了缓解稀疏奖励的问题，强化学习代理增加了代理奖励。这有助于bandit框架尽早选择最佳代理，因为这些奖励比环境奖励更平滑且更稀疏。强盗有双重目标，最大化的奖励，而代理人学习和选择最好的代理后，有限数量的学习步骤。我们在标准环境中的实验结果表明，所提出的框架是能够始终如一地选择最佳代理有限的步骤后，同时收集更多的累积奖励相比，选择一个次优架构或均匀交替不同的代理。
2019-02-10 cs.LG stat.ML
Attractor Selection in Nonlinear Energy Harvesting Using Deep Reinforcement Learning
Dynamical Systems Research Laboratory（动态系统研究实验室）；Department of Mechanical Engineering & Materials Science（机械工程与材料科学系）；Duke University（杜克大学）
最近的研究工作表明，有意使用非线性增强能量收集系统的能力。在非线性收获器中出现的主要挑战之一是，非线性通常会导致具有可能共存的期望和不期望响应的多个吸引子。本文提出了一种基于永磁转磁传动的非线性能量采集器，该能量采集器具有不同水平的电功率输出，并具有共存的吸引子。此外，提出了一种利用深度强化学习的控制方法，实现了在具有约束驱动的共存吸引子之间的吸引子切换。
2020-10-03 cs.LG cs.SY eess.SY
