A unified uncertainty-aware exploration: Combining epistemic and aleatory uncertainty
University of Toronto（多伦多大学）；Defence Research and Development Canada (DRDC) Toronto Research Centre（加拿大国防研究与发展署多伦多研究中心）
本文提出一种统一算法，通过扩展分布式RL量化认知与偶然不确定性的综合效应，解决现有加性组合导致过度冒险的问题，实现了更优的风险敏感探索。
2024-01-05 cs.LG
EE-Grad: Exploration and Exploitation for Cost-Efficient Mini-Batch SGD
我们提出了一个通用的框架，用于权衡保真度和成本计算随机梯度时，获取不同质量的随机梯度的成本是不知道的先验。我们考虑一个小批量的甲骨文，分布在一些随机梯度有限的查询预算和聚合它们来估计真正的梯度。由于最佳的小批量大小取决于未知的成本保真度函数，我们提出了一种算法，{ \it EE-Grad}，依次探索的性能的小批量预言机和利用积累的知识来估计一个实现最佳性能的成本效率。我们提供的性能保证EE-Grad相对于最佳的小批量Oracle，并说明这些结果的情况下，强凸目标。我们还提供了一个简单的数值例子，证实了我们的理论研究结果。
2017-05-19 cs.LG stat.ML
PPO-UE: Proximal Policy Optimization via Uncertainty-Aware Exploration
Virginia Tech（弗吉尼亚理工大学）；University of Oslo（奥斯陆大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of the District of Columbia（哥伦比亚特区大学）
近端策略优化（PPO）是一种非常流行的基于策略的深度强化学习（DRL）方法。然而，我们观察到PPO中的同质探索过程可能会在训练阶段导致意想不到的稳定性问题。为了解决这个问题，我们提出了PPO-UE，一个PPO的变种配备了自适应的不确定性感知探索（UE）的基础上的比例不确定性水平。所提出的PPO-UE被设计为以优化的比率不确定性水平来提高收敛速度和性能。通过广泛的灵敏度分析，通过改变比例的不确定性水平，我们提出的PPO-UE在Roboschool连续控制任务中大大优于基线PPO。
2022-12-13 cs.AI cs.LG
Exploration Through Introspection: A Self-Aware Reward Model
本文提出一种基于反思的奖励模型，通过模拟疼痛信号探索自我意识对强化学习代理学习能力的影响，并展示了其在复杂行为复制中的优势。
2026-01-06 cs.AI cs.LG
A Symmetry-Aware Exploration of Bayesian Neural Network Posteriors
SATIE（SATIE实验室）；Université Paris-Saclay（巴黎萨克雷大学）；U2IS（U2IS实验室）；ENSTA Paris（巴黎高等先进技术学院）；Institut Polytechnique de Paris（巴黎理工学院）
本文首次大规模探索深度贝叶斯神经网络后验，研究近似方法、不确定性量化、模式影响及可视化，揭示权重空间对称性（排列与缩放）的关键作用，并计划发布大规模检查点数据集。
2023-10-12 cs.LG stat.ML
Cost-Aware Optimal Pairwise Pure Exploration
University of Virginia（弗吉尼亚大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出通用成对纯探索框架，考虑臂特定成本并推导性能下界，设计 CAET 算法渐近达到下界，并通过实验验证其有效性。
2025-03-10 cs.IT cs.LG math.IT
Offline Exploration-Aware Fine-Tuning for Long-Chain Mathematical Reasoning
NLP Lab, School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院自然语言处理实验室，中国沈阳）；Pattern Recognition Center, WeChat AI, Tencent Inc, China（腾讯公司微信人工智能部门模式识别中心，中国）
本文提出OXA微调方法，通过优化两个目标提升数学推理能力，实验显示在六个基准测试中OXA相比传统SFT在Pass@1和Pass@$k$上平均提升6和5分。
2026-03-17 cs.CL cs.LG
Intrinsic Benefits of Categorical Distributional Loss: Uncertainty-aware Regularized Exploration in Reinforcement Learning
University of Alberta, Canada（阿尔伯塔大学）；Harbin Engineering University, China（哈尔滨工程大学）；Xi’an Jiaotong University, China（西安交通大学）
本文提出了一种基于类别分布损失的不确定性感知正则化方法，通过增强奖励信号提升强化学习的探索效率。
2025-12-24 cs.LG
Connectivity-Aware Exploration of Robotic Grasp Spaces
本文研究机器人抓取空间中成功动作的连通性结构，提出连通性感知采样策略，通过优先探索结构桥梁与边界，显著提升抓取空间重建效率，并验证结构经验可迁移至新物体。
2026-09-22 cs.LG cs.RO
SHAPO: Sharpness-Aware Policy Optimization for Safe Exploration
Université de Montréal（蒙特利尔大学）；Mila - Québec AI Institute（蒙特利尔人工智能研究所）；Université Laval（拉瓦尔大学）；IID - Institut Intelligence et Données（智能与数据研究所）；LawZero；CIFAR AI Chair（CIFAR人工智能主席）
提出SHAPO算法，通过锐度感知策略更新隐式重加权梯度，放大罕见不安全动作的影响，抑制安全动作的贡献，从而在欠探索区域实现保守行为，提升安全性与任务性能。
2026-06-08 cs.AI cs.LG cs.RO
State-Aware Variational Thompson Sampling for Deep Q-Networks
National University of Singapore（新加坡国立大学）
汤普森采样是一种众所周知的方法，用于平衡强化学习中的探索和利用。它需要维护值-动作函数的后验分布;这对于具有高维状态-动作空间的任务来说通常是难以处理的。我们推导出DQNs的变分Thompson采样近似，它使用一个深度网络，其参数被学习到的变分噪声分布扰动。我们解释成功的NoisyNets方法\cite{fortunato2018noisy}作为一个近似的变分汤普森采样方法，我们得到的。此外，我们提出了状态感知噪声探索（SANE），它旨在通过允许非均匀扰动来改善NoisyNets，其中参数扰动的量取决于代理的状态。这是在辅助扰动模块的帮助下完成的，辅助扰动模块的输出是状态相关的，并且通过梯度下降来学习端到端。我们假设，这种状态感知的嘈杂的探索是特别有用的问题，在某些\textit{high risk}状态的探索可能会导致代理失败严重。我们证明了状态感知的探索方法的有效性，在关闭政策设置通过增加DQNs与辅助扰动模块。
2021-02-07 cs.AI cs.LG
A Study of Value-Aware Eigenoptions
本文研究了eigenoptions在无模型强化学习中能否加速信用分配，发现在表格和像素gridworlds中预设eigenoptions能同时促进探索与信用分配，而在线发现会阻碍学习，并提出了深度RL下学习option-values的方法。
2025-07-12 cs.LG stat.ML
Dual-Flow Reinforcement Learning with State-Aware Exploration
State Key Laboratory of Intelligent Green Vehicle and Mobility, Tsinghua University（智能绿色车辆与移动国家重点实验室，清华大学）；Tsinghua University-Toyota Joint Center（清华大学-丰田联合中心）；Tsinghua University–SAIC GM Wuling Joint Research Center（清华大学-上汽通用五菱联合研究中心）
提出Dual-Flow RL框架，利用条件流匹配联合建模回报分布和多模态策略，并引入熵-协方差探索调节器实现状态感知探索，在连续控制任务中达到最优性能。
2026-06-29 cs.AI cs.LG
SCaLE: Switching Cost aware Learning and Exploration
Georgia Institute of Technology（佐治亚理工学院）；California Institute of Technology（加州理工学院）
SCaLE算法通过考虑高维动态二次击中成本和ℓ2-范数切换成本，在噪声带轮反馈模型中实现了分布无关的亚线性动态遗憾。
2026-01-14 cs.DS cs.LG math.OC
QUIDAM: A Framework for Quantization-Aware DNN Accelerator and Model Co-Exploration
Carnegie Mellon University（卡内基梅隆大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
随着机器学习和系统社区努力通过自定义深度神经网络（DNN）加速器、不同的精度或量化级别以及模型压缩技术来实现更高的能效，需要设计空间探索框架，该框架将量化感知处理元件并入加速器设计空间中，同时具有准确和快速的功率、性能和面积模型。在这项工作中，我们提出了QUIDAM，一个高度参数化的量化感知DNN加速器和模型协同探索框架。我们的框架可以促进未来的研究DNN加速器的设计空间探索的各种设计选择，如位精度，处理元件类型，暂存器大小的处理元件，全局缓冲区大小，总处理元件的数量，和DNN配置。我们的研究结果表明，不同的位精度和处理元件类型导致显着差异的性能，单位面积和能量。具体来说，我们的框架确定了广泛的设计点，其中单位面积性能和能量分别变化超过5倍和35倍。通过所提出的框架，我们表明，与最好的基于INT 16的实现相比，轻量级处理元素实现了同等精度的结果，并且每面积性能和能量提高高达5.7倍。最后，由于预先表征的功率、性能和面积模型的效率，QUIDAM可以将设计探索过程加快3-4个数量级，因为它消除了对每个设计进行昂贵的综合和表征的需要。
2022-06-30 cs.AR cs.LG
AdaLinUCB: Opportunistic Learning for Contextual Bandits
University of California, Davis（加州大学戴维斯分校）
在本文中，我们提出并研究机会主义的背景土匪-一个特殊的情况下，背景土匪的勘探成本在不同的环境条件下，如网络负载或回报变化的建议。当探索成本低时，拉次优手臂的实际遗憾也低（例如，尝试次优推荐）。因此，直观地说，勘探成本相对较低时，我们可以多勘探，勘探成本相对较高时，我们可以多开采。受这种直觉的启发，对于具有线性收益的机会主义上下文强盗，我们提出了一种自适应置信上限算法（AdaLinUCB）来自适应地平衡机会主义学习的探索-利用权衡。我们证明了AdaLinUCB算法的问题相关后悔上界为O（（log T）^2），并且比传统的LinUCB算法具有更小的系数.此外，基于合成和真实世界的数据集，我们表明，AdaLinUCB显着优于其他上下文的强盗算法，在大的勘探成本波动。
2019-05-28 cs.AI cs.LG stat.ML
Learning Context-aware Task Reasoning for Efficient Meta-reinforcement Learning
ShanghaiTech University（上海科技大学）
尽管最近基于深度网络的强化学习（RL）取得了成功，但在学习新任务时仍然难以达到人类水平的效率。虽然以前的努力试图使用元学习策略来解决这一挑战，但它们通常会遭受策略上RL算法的采样效率低下或离策略学习的元过拟合。在这项工作中，我们提出了一种新的元RL策略来解决这些限制。特别是，我们将元RL问题分解为三个子任务，任务探索，任务推理和任务实现，实例化两个深度网络代理和一个任务编码器。在元训练期间，我们的方法学习用于任务实现的任务条件演员网络，具有鼓励任务探索中的任务信息体验的自我监督奖励塑造的探索者网络，以及用于任务推理的上下文感知的基于图的任务编码器。我们在几个公共基准上进行了大量的实验，结果表明，我们的算法有效地进行了任务推理的探索，提高了训练和测试过程中的样本效率，并减轻了元过拟合问题。
2022-05-02 cs.AI cs.LG stat.ML
Exploration in Online Advertising Systems with Deep Uncertainty-Aware Learning
Alibaba Group（阿里巴巴集团）
现代在线广告系统不可避免地依赖于个性化方法，例如点击率（CTR）预测。CTR预测的最新进展享受了深度学习丰富的表示能力，并在大规模工业应用中取得了巨大成功。然而，这些方法可能缺乏探索。另一条线的先前工作解决了与上下文强盗方法的探索-利用权衡问题，这是最近较少研究的行业，由于在扩展其灵活性与深度模型的困难。在本文中，我们提出了一种新的深度不确定性感知学习（DUAL）方法来学习基于高斯过程的CTR模型，该方法可以提供预测性不确定性估计，同时保持深度神经网络的灵活性。DUAL可以很容易地在现有模型上实现，并以最小的额外计算开销部署在实时系统中。通过将DUAL的预测不确定性估计能力与著名的强盗算法相结合，我们进一步提出了基于DUAL的广告排名策略，以提高广告系统中的长期效用，例如社会福利。在几个公共数据集上的实验结果证明了我们的方法的有效性。值得注意的是，在阿里巴巴展示广告平台中部署的在线A/B测试显示，社会福利改善了8.2%，收入增加了8.0%。
2021-06-15 cs.IR cs.LG
EnergyLens: Predictive Energy-Aware Exploration for Multi-GPU LLM Inference Optimization
Massachusetts Institute of Technology（麻省理工学院）；IBM Research（IBM研究院）
EnergyLens通过einsum接口和MoE建模优化多GPULLM推理能耗，实现9.25%-13.19%的能耗预测精度，揭示配置间能效差异并推动分布式服务。
2026-05-14 cs.LG
Cost-Aware Query Policies in Active Learning for Efficient Autonomous Robotic Exploration
针对资源受限下自主机器人高效探索需求，分析结合动作代价的高斯过程回归主动学习算法，实验发现带距离约束的传统不确定性指标在轨迹约束下降误差效果最优，为真实任务约束下的探索优化提供参考。
2024-10-31 cs.IR cs.LG cs.RO
Robust exploration in linear quadratic reinforcement learning
Uppsala University（乌普萨拉大学）；KTH（瑞典皇家理工学院）
研究了未知线性动力系统的学习控制策略问题，以最小化二次型费用函数。我们提出了一种基于凸优化的方法，该方法稳健地完成了这一任务：即，我们最小化最坏情况下的成本，考虑到系统的不确定性，给定的观测数据。该方法平衡开发和探索，以这样的方式激励系统，以减少最坏情况下的成本最敏感的模型参数的不确定性。数值模拟和应用程序的硬件在环伺服机构证明了这种方法，与替代方法中观察到的可观的性能和鲁棒性增益。
2019-06-04 cs.LG math.OC stat.ML
Off-Policy Safe Reinforcement Learning with Constrained Optimistic Exploration
Faculty of Mechanical Engineering（机械工程学院）；Delft University of Technology（代尔夫特理工大学）；Faculty of Electrical Engineering, Mathematics and Computer Science（电气工程、数学和计算机科学学院）
本文提出COX-Q算法，通过约束乐观探索和保守离线分布价值学习，解决非策略安全强化学习中的约束违反问题，实现在安全关键应用中的高效样本利用和可控数据收集成本。
2026-03-25 cs.LG cs.RO
Beyond High-Entropy Exploration: Correctness-Aware Low-Entropy Segment-Based Advantage Shaping for Reasoning LLMs
Beijing University of Posts and Telecommunications（北京邮电大学）；School of Artificial Intelligence and Data Science, University of International Business and Economics（国际经济贸易大学人工智能与数据科学学院）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院）
LESS通过正确性感知的低熵段优势调节，提升推理LLM的准确性和鲁棒性。
2025-11-30 cs.AI cs.LG
Latent State Marginalization as a Low-cost Approach for Improving Exploration
Mila（米拉研究所）；University de Montreal（蒙特利尔大学）；Meta AI (FAIR)（元人工智能（基础人工智能研究部））
虽然最大熵（MaxEnt）强化学习（RL）框架-通常因其探索和鲁棒性而受到吹捧-通常是从概率的角度出发的，但由于其固有的复杂性，深度概率模型的使用在实践中并没有获得太多的吸引力。在这项工作中，我们提出了采用潜在变量的MaxEnt框架内的政策，我们可以证明近似任何政策分布，此外，自然出现下使用的世界模型与潜在的信念状态。我们讨论了为什么潜在变量的政策是难以训练，如何天真的方法可能会失败，然后随后介绍了一系列的改进围绕低成本的边缘化的潜在状态，使我们能够充分利用的潜在状态在最小的额外成本。我们在演员-评论家框架下实例化我们的方法，边缘化演员和评论家。由此产生的算法，称为随机边际演员批评（SMAC），是简单而有效的。我们在连续控制任务上实验验证了我们的方法，表明有效的边缘化可以带来更好的探索和更强大的训练。我们的实现在https://github.com/zdhNarsil/Stochastic-Marginal-Actor-Critic上是开源的。
2023-02-10 cs.AI cs.LG stat.ML
TLDR: Unsupervised Goal-Conditioned RL via Temporal Distance-Aware Representations
Yonsei University（延世大学）
针对无监督目标条件强化学习探索不足、奖励稀疏有噪的问题，提出基于时序距离感知表征的TLDR方法，通过选远距目标、设两类时序距离相关奖励提升探索与目标达成能力，在6个模拟运动环境中表现优于现有方法。
2024-12-09 cs.AI cs.LG
VANDERER: Map-Free Exploration using Future-Aware and Visual-Curiosity-Guided Diffusion Policy
Control/Robotics Research Laboratory (CRRL), Department of Electrical and Computer Engineering, NYU Tandon School of Engineering（纽约大学坦登工程学院电气与计算机工程系控制/机器人研究实验室（CRRL））；New York University Abu Dhabi (NYUAD) Center for Artificial Intelligence and Robotics (CAIR)（纽约大学阿布扎比分校人工智能与机器人中心（CAIR））
提出VANDERER框架，利用视觉好奇心模块引导预训练扩散策略，仅依赖单目图像实现高效无地图探索，在多种模拟环境中平均探索面积比NoMaD多13.4%。
2026-06-16 cs.CV cs.LG cs.RO
Visual Exploration and Energy-aware Path Planning via Reinforcement Learning
Iowa State University（爱荷华州立大学）
通过自动驾驶汽车进行视觉探索和智能数据收集是各个学科中一个有吸引力的话题。风等干扰会显著影响飞行机器人的功耗和相机的性能。我们提出了一种强化学习方法，该方法结合了功耗和对象检测模块的影响，以制定一项在电池寿命有限的情况下进行大面积对象检测的政策。该学习模型能够基于飞行机器人相对于风场的运动所产生的阻力来动态学习每个动作的负奖励。该算法是在一个接近现实世界的仿真环境中实现的平面运动和飞行在不同的高度。经过训练的代理通常在以高精度检测对象和在其电池寿命内增加区域覆盖之间进行权衡。开发的探索政策优于完全覆盖算法，最小化的旅行路径，同时找到目标对象。在不同的风场下的算法的性能进行了评估，在平面和三维运动。在目标稀疏分布的探测任务中，在无人机的电池寿命内，与中等风场下的覆盖路径规划算法相比，所提出的架构可以检测到两倍以上的目标对象。在高风力强度下，与完全覆盖的算法相比，能量感知算法可以检测到4倍的目标对象。
2021-01-25 cs.AI cs.LG eess.SP
Cost-aware Multi-objective Bayesian optimisation
贝叶斯优化中的费用概念通常是指在整个搜索空间上函数求值的一致昂贵成本。然而，在某些情况下，黑盒目标函数的评估成本是不均匀的，因为来自搜索空间的不同输入可能导致函数评估的不同成本。通过定义搜索空间上的成本感知约束，我们引入了一个成本感知的多目标贝叶斯优化与非均匀评估成本的目标函数。成本感知约束是索引的排序元组，其基于用户关于其使用成本的先验知识来展示搜索空间的维度的排序。我们制定了一个新的多目标贝叶斯优化采集功能的收敛，结合这种成本意识的约束，同时优化的目标函数的详细分析。我们证明了我们的算法的基础上合成和现实世界中的超参数调整的神经网络和随机森林的问题。
2019-09-09 cs.LG math.OC stat.ML
SuS: Strategy-aware Surprise for Intrinsic Exploration
Higher School of Economics（俄罗斯高等经济学院）；AI Talent Hub（人工智能人才中心）；ITMO University（ITMO大学）
SuS通过结合策略稳定性与策略惊喜，提升强化学习中探索的准确性和多样性，实现显著性能提升。
2026-01-15 cs.AI cs.CL cs.GT
Topology-Aware Active Learning on Graphs
Department of Mathematics, University of California Los Angeles（加州大学洛杉矶分校数学系）
本文提出一种图拓扑方法用于主动学习，通过构造基于平衡Forman曲率的coreset算法，引导探索并实现从探索到利用的动态切换，提升半监督学习性能。
2026-04-15 cs.LG
Spark: Strategic Policy-Aware Exploration via Dynamic Branching for Long-Horizon Agentic Learning
Tsinghua University（清华大学）；Peking University（北京大学）；Zhejiang University（浙江大学）
提出Spark框架，通过关键状态动态分支实现资源高效探索，在长周期任务中以更少样本取得更高成功率和泛化能力。
2026-06-23 cs.CL cs.LG
Exploration vs Exploitation vs Safety: Risk-averse Multi-Armed Bandits
CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；LRI（计算机研究实验室）；Université Paris Sud（巴黎第十一大学）
受能源管理应用的启发，本文提出了多臂风险感知Bandit（MARAB）算法。为了限制风险武器的开发，MARAB将其条件风险值作为武器质量。当用户提供的风险水平为0时，手臂质量趋向于手臂分布密度的本质下确界，并且MARAB趋向于MIN多手臂强盗算法，针对具有最大最小值的手臂。作为第一个贡献，本文提出了一个理论分析的MIN算法在温和的假设下，建立其鲁棒性相比UCB。分析支持广泛的实验验证MIN和MARAB相比，UCB和国家的最先进的风险意识MAB算法对人工和现实世界的问题。
2014-01-06 cs.LG
Freshness-Aware Thompson Sampling
Orange Labs（奥兰治实验室）
为了跟踪用户内容的动态性，研究人员最近开始将用户与上下文感知推荐系统（CARS）之间的交互建模为系统需要处理探索和利用困境的强盗问题。在这个意义上，我们建议研究新鲜度的用户的内容在CARS通过强盗问题。本文介绍了一种新的算法FA-TS，该算法根据用户的风险情况来管理新鲜文档的推荐。对实验结果的深入评价和详细分析揭示了勘探/开采（exr/exp）行为的几个重要发现。
2014-09-29 cs.IR cs.LG
GUI-ReWalk: Massive Data Generation for GUI Agent via Stochastic Exploration and Intent-Aware Reasoning
ByteDance（字节跳动）；UCAS（北京大学）
GUI-ReWalk 提出一个结合随机探索与意图感知推理的多阶段框架，用于大规模合成多样且目标一致的 GUI 轨迹数据，训练后的智能体在多个基准上表现更优。
2025-09-19 cs.LG
MURAL: Meta-Learning Uncertainty-Aware Rewards for Outcome-Driven Reinforcement Learning
UC Berkeley（加州大学伯克利分校）
强化学习中的探索是一个具有挑战性的问题：在最坏的情况下，智能体必须搜索可能隐藏在状态空间中任何地方的高回报状态。我们能否定义一个更容易处理的RL问题，其中代理提供了成功结果的例子？在这个问题设置中，可以通过训练分类器将状态分类为成功或失败来自动获得奖励函数。如果训练得当，这样的分类器可以提供一个形状良好的客观景观，既可以促进向良好状态的进展，又可以提供校准的探索奖励。在这项工作中，我们表明，一个不确定性感知分类器可以解决具有挑战性的强化学习问题，既鼓励探索，并提供直接指导积极的结果。我们提出了一种新的机制来获得这些校准，不确定性感知分类器的基础上摊销技术计算归一化的最大似然（NML）分布。为了使这易于处理，我们提出了一种新的方法，通过使用元学习计算NML分布。我们表明，由此产生的算法有一些有趣的连接到基于计数的探索方法和先验算法学习奖励函数，同时也提供了更有效的指导目标。我们证明，我们的算法解决了一些具有挑战性的导航和机器人操作任务，证明困难或不可能的先前的方法。
2021-07-18 cs.LG cs.RO
HW-Aware Initialization of DNN Auto-Tuning to Improve Exploration Time and Robustness
Robert Bosch GmbH（罗伯特·博世有限公司）；University of Tübingen（图宾根大学）；Heidelberg University（海德堡大学）
使用ML模型和硬件在环优化DNN运算符的延迟的过程（称为自动调整）已经成为部署神经网络的普遍方法。从循环优化的搜索空间中，必须选择提供最佳性能的候选。通过硬件测量来评估各个配置的性能。可能配置的组合爆炸，以及硬件评估的成本使得在实践中对搜索空间的详尽探索是不可行的。随机森林或强化学习等机器学习方法用于帮助选择硬件评估的候选者。对于x86和GPGPU架构等通用硬件，与cuDNN等手动优化库相比，可以实现令人印象深刻的性能提升。该方法在硬件加速器的空间中也是有用的，其中高性能库并不总是可用的。然而，硬件加速器在其编程方面通常不太灵活，这导致运算符配置在硬件目标上不可执行。这项工作评估这些无效的配置如何影响自动调整过程及其底层的性能预测模型的VTA硬件。根据这些结果，开发了一种有效性驱动的AutoTVM初始化方法，仅需要41.6%的必要硬件测量来找到最佳解决方案，同时提高了搜索鲁棒性。
2022-05-31 cs.LG cs.PF
Controlling Underestimation Bias in Constrained Reinforcement Learning for Safe Exploration
Shanghai Jiao Tong University, Shanghai, China（上海交通大学）
本文提出MICE方法，通过引入内在成本和偏差校正策略，有效控制约束强化学习中的低估偏差，减少约束违反并保持策略性能。
2026-01-17 cs.LG
PropGuard: Safeguarding LLM-MAS via Propagation-Aware Exploration and Remediation
Beihang University（北航）；Beijing University of Posts and Telecommunications（北京邮电大学）；City University of Hong Kong（香港城市大学）
PropGuard通过构建双视角时空图，结合响应中心风险评估与全状态证据保存，实现对LLM-MAS中传播性攻击的检测与修复，有效降低攻击成功率并保持高任务防御效率。
2026-05-08 cs.AI cs.CR cs.LG
Fast Peer Adaptation with Context-aware Exploration
Academy for Advanced Interdisciplinary Studies, Peking University（北京大学前沿交叉学科研究院）；Center on Frontiers of Computing Studies, School of Computer Science, Peking University（北京大学计算机学院计算前沿研究中心）；School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；Inst. for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Nat’l Key Laboratory of General Artificial Intelligence, BIGAI&PKU（通用人工智能国家重点实验室（北京通用人工智能研究院与北京大学联合））；Nat’l Eng. Research Center of Visual Technology, Peking University（北京大学视觉技术国家工程研究中心）
针对多智能体博弈中未知同伴策略识别困难的问题，提出同伴识别奖励以学习上下文感知探索策略，在竞争、合作和混合环境中实现更快适应与更优表现。
2024-08-09 cs.AI cs.LG cs.MA
SELAUR: Self Evolving LLM Agent via Uncertainty-aware Rewards
Johns Hopkins University（约翰霍普金斯大学）；Arizona State University（亚利桑那州立大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Purdue University（普渡大学）
SELAUR通过将不确定性直接融入奖励设计，提升大语言模型在多步决策中的探索效率和学习稳定性。
2026-02-25 cs.CL cs.LG
Exploration Space Theory: Formal Foundations for Prerequisite-Aware Location-Based Recommendation
LIRIS, Université Claude Bernard Lyon 1, CNRS（LIRIS，Claude Bernard Lyon 1 大学，CNRS）
探索空间理论提出了一种基于格论的框架，用于解决基于位置的推荐中先决条件依赖关系的表示问题，并通过结构保证和动态规划方法实现推荐的结构性有效性。
2026-02-21 cs.AI cs.DS cs.IR
Towards Cardiac Intervention Assistance: Hardware-aware Neural Architecture Exploration for Real-Time 3D Cardiac Cine MRI Segmentation
University of Notre Dame（圣母大学）；Guangdong Cardiovascular Institute（广东省心血管病研究所）；Guangdong Provincial People’s Hospital（广东省人民医院）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）；University of Pittsburgh（匹兹堡大学）
实时心脏磁共振成像（MRI）在指导各种心脏介入治疗中发挥着越来越重要的作用。为了提供更好的视觉辅助，电影MRI帧需要实时分割，以避免明显的视觉滞后。此外，考虑到可靠性和患者数据隐私，计算优选地在本地硬件上完成。现有的MRI图像分割方法大多只关注图像的准确性，难以应用于实时或本地硬件。在这项工作中，我们提出了第一个硬件感知的多尺度神经架构搜索（NAS）的实时三维心脏电影MRI分割框架。所提出的框架将延迟正则化项纳入损失函数以处理实时约束，并考虑底层硬件。此外，配方是完全可微的架构参数，使随机梯度下降（SGD）可以用于优化，以减少计算成本，同时保持优化质量。在ACDC MICCAI 2017数据集上的实验结果表明，与最先进的NAS分割框架相比，我们的硬件感知多尺度NAS框架可以将延迟减少多达3.5倍，并满足实时约束，同时仍然实现具有竞争力的分割精度。
2020-12-14 cs.CV cs.LG eess.IV
R-UCB: a Contextual Bandit Algorithm for Risk-Aware Recommender Systems
Télécom SudParis（南巴黎电信学院）
移动上下文感知推荐系统可以自然地建模为探索/利用权衡（exr/exp）问题，其中系统必须在处理其当前知识（利用）和学习更多关于未知用户的偏好以改进其知识（探索）之间进行选择。强化学习社区已经解决了这个问题，但是他们没有考虑当前用户情况的风险水平，其中如果风险水平高，则推荐用户在其当前情况下可能不期望的项目可能是危险的。本文介绍了一种算法R-UCB，它考虑了用户的情况下的风险水平，自适应地平衡之间的exr和exp。对实验结果的详细分析揭示了exr/exp行为中的几个重要发现。
2014-08-10 cs.IR cs.LG
Flatness and Gradient Alignment Are Both Necessary: Spectral-Aware Gradient-Aligned Exploration for Multi-Distribution Learning
Department of Informatics and Telematics（信息与电信系）
本文提出SAGE方法，通过同时考虑损失景观的平坦性和梯度对齐性，改进多分布学习的泛化性能，实验表明其在DomainBed上达到新水平。
2026-07-16 cs.CV cs.LG
Uncertainty-Aware Reward-Free Exploration with General Function Approximation
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Indiana University Bloomington（印第安纳大学伯明顿分校）
本文提出无奖励强化学习算法 GFA-RFE，通过不确定性感知的内在奖励和不确定性加权学习提升样本效率，并在理论和 DeepMind Control Suite 实验中验证其优于现有方法。
2024-06-30 cs.AI cs.LG
Convolutional Neural Bandit for Visual-aware Recommendation
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在线推荐/广告在网络商业中无处不在。图像显示被认为是与客户交互的最常用的格式之一。上下文多臂强盗已经成功地应用广告来解决推荐过程中存在的探索-开发困境。受视觉感知推荐的启发，本文提出了一种上下文Bandit算法，其中卷积神经网络（CNN）用于学习奖励函数以及用于探索的置信上限（UCB）。我们还证明了一个接近最优的遗憾界$\tilde{\mathcal{O}}(\sqrt{T})$当网络是过参数化，并建立强连接卷积神经切线核（CNTK）。最后，我们评估了所提出的算法的经验性能，并表明它优于其他国家的最先进的基于UCB的强盗算法在现实世界的图像数据集。
2022-02-09 cs.CV cs.LG
Revisiting Safe Exploration in Safe Reinforcement learning
University of Freiburg（弗赖堡大学）
针对安全强化学习中现有安全度量无法区分代价累积方式的问题，提出期望最大连续代价步数（EMCC）度量，并在在线与离线策略算法中验证其安全探索评估能力，同时设计轻量级基准任务以加速算法评估。
2024-09-02 cs.AI cs.LG cs.RO
Incentive-Aware Synthetic Control: Accurate Counterfactual Estimation via Incentivized Exploration
J.P. Morgan Chase AI Research（J.P. Morgan Chase人工智能研究）；University of California, Berkeley（加州大学伯克利分校）；Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种激励合成控制方法，通过激励探索实现准确的反事实估计，无需先验重叠假设，并扩展至合成干预场景。
2026-02-24 cs.GT cs.LG econ.EM
Mixture-Greedy for Online Generative Model Selection: Is UCB Necessary in Diversity-Aware Multi-Armed Bandits?
Department of Computer Science and Engineering, Chinese University of Hong Kong（计算机科学与工程系，香港中文大学）
在生成模型选择中，混合贪婪策略无需UCB探索奖励即可实现更快收敛和更高样本效率，挑战了传统多臂老虎机中UCB的必要性。
2026-10-12 cs.AI cs.CV cs.LG
Modeling User Exploration Saturation: When Recommender Systems Should Stop Pushing Novelty
University of Massachusetts Boston（马萨诸塞大学波士顿分校）；Kansas State University（堪萨斯州立大学）
研究探讨了用户依赖的探索饱和现象，分析了增加探索对不同推荐模型用户的影响，发现公平性驱动的探索存在边际效益递减，需调整推荐系统以平衡公平与用户体验。
2026-04-02 cs.AI cs.IR cs.LG
