Navigate the Unknown: Enhancing LLM Reasoning with Intrinsic Motivation Guided Exploration
City University of Hong Kong（香港城市大学）；Hong Kong University of Science and Technology（香港科学与技术大学）
IMAGINE通过内在动机引导的探索增强大语言模型推理能力，提升复杂任务性能22.23%
2026-01-30 cs.LG
Sampling Efficient Deep Reinforcement Learning through Preference-Guided Stochastic Exploration
Nanyang Technological University（南洋理工大学）
由深度Q网络（DQN）算法解决的大量实际工作表明，随机策略尽管简单，但却是最常用的探索方法。然而，大多数现有的随机探索方法要么探索新的行动，无论Q值或不可避免地引入偏差到学习过程中耦合的采样与Q值。在本文中，我们提出了一种新的偏好引导的$ε$贪婪探索算法，可以有效地学习动作分布符合景观的Q值DQN，而不引入额外的偏见。具体来说，我们设计了一个双架构，由两个分支组成，其中一个是DQN的副本，即Q分支。另一个分支，我们称之为偏好分支，学习DQN隐式遵循的动作偏好。我们从理论上证明了政策改进定理适用于偏好引导的$ε$ -贪婪政策，并通过实验表明，推断出的动作偏好分布与相应的Q值的景观一致。因此，偏好引导的$ε$贪婪探索激励DQN代理采取不同的动作，即，具有较大Q值的动作可以被更频繁地采样，而具有较小Q值的动作仍然有机会被探索，从而鼓励探索。我们评估所提出的方法与四个著名的DQN变种在九个不同的环境。大量的结果证实了我们所提出的方法在性能和收敛速度方面的优越性。索引术语-偏好引导的探索，随机策略，数据效率，深度强化学习，深度Q学习。
2022-06-20 cs.AI cs.LG cs.RO
NonZero: Interaction-Guided Exploration for Multi-Agent Monte Carlo Tree Search
The George Washington University（乔治华盛顿大学）；Northeastern University（东北大学）
NonZero通过交互引导的提议规则，在低维非线性表示中进行代理引导选择，提升多智能体MCTS的可扩展性与探索效率。
2026-05-01 cs.LG
Swap-guided Preference Learning for Personalized Reinforcement Learning from Human Feedback
Yonsei University（延世大学）；Korea Institute of Science and Technology（韩国科学技术院）
本文提出Swap-guided Preference Learning (SPL)来解决变分偏好学习中后验崩溃的问题，通过引入交换引导基础正则化、偏好逆自回归流和自适应潜在条件化来提升个性化强化学习效果。
2026-03-13 cs.AI cs.LG
Expanding LLM Agent Boundaries with Strategy-Guided Exploration
Apple（苹果公司）
SGE通过引导策略探索提升LLM代理的学习效率和性能，使其能解决基础模型无法处理的任务。
2026-03-02 cs.LG
GEM-MPC: Balancing Exploration and Exploitation through Expert-Guided Planning
Leiden University（莱顿大学）
GEM-MPC提出一种基于MPPI的强化学习方法，通过结合克隆规划器的策略与KL正则化探索策略，并引入门控先验蒸馏，在较低计算预算下平衡探索与利用，显著提升连续控制基准性能。
2026-09-21 cs.LG
Preference-based Pure Exploration
Texas A&M University（德克萨斯农工大学）；Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；University of Michigan（密歇根大学）
针对带向量值奖励的赌博机基于偏好的纯探索问题，推导样本复杂度下界并分析其几何特性，设计PreTS算法，证明其样本复杂度渐近紧。
2025-01-16 cs.LG stat.ML
Decoupling Exploration and Policy Optimization: Uncertainty Guided Tree Search for Hard Exploration
Google Research, NYC（谷歌研究，纽约市）
本文提出一种解耦探索与策略优化的方法，通过树搜索策略和不确定性测量提升探索效率，在困难探索任务中取得显著成果。
2026-05-13 cs.LG
Reflective Preference Optimization (RPO): Enhancing On-Policy Alignment via Hint-Guided Reflection
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学）；Alibaba Group（阿里巴巴集团）
RPO通过提示引导的反思增强策略对齐，减少幻觉并提升多模态基准性能。
2025-12-15 cs.AI cs.LG
Scalable Exploration for High-Dimensional Continuous Control via Value-Guided Flow
Tsinghua University（清华大学）
Qflex通过价值引导流在高维动作空间中实现高效探索，优于现有方法并在复杂控制任务中表现出色。
2026-01-27 cs.LG cs.RO
Guided Exploration in Reinforcement Learning via Monte Carlo Critic Optimization
Independent Researcher Oxford, UK United Kingdom；Independent Researcher
针对深度确定性离策略算法中随机噪声探索需手动调参且缺乏训练中校准的问题，提出基于蒙特卡洛评论家集成的引导探索方法，动态校正探索动作，并用于同时修改策略与评论家，在DMControl多个任务上取得优于现代强化学习算法的性能。
2024-05-06 cs.AI cs.LG
Symbol Guided Hindsight Priors for Reward Learning from Human Preferences
Arizona State University（亚利桑那州立大学）；Apple（苹果公司）
强化学习（RL）代理的奖励是具有挑战性的。基于偏好的强化学习（PbRL）通过从轨迹集的反馈中推断奖励来减轻这些挑战。然而，PbRL的有效性受到可靠地恢复目标奖励结构所需的反馈量的限制。我们提出了优先于奖励（PRIOR）框架，它将奖励函数的结构和偏好反馈的先验知识纳入奖励学习过程。将这些先验知识作为奖励学习目标的软约束，可以减少一半所需的反馈量，并提高整体奖励恢复。此外，我们证明，使用抽象的状态空间的先验知识的计算进一步提高了奖励学习和代理的性能。
2022-10-19 cs.AI cs.CL cs.LG
ExTra: Transfer-guided Exploration
Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）；Google Research（谷歌研究院）
在这项工作中，我们提出了一种新的方法，用于强化学习中的转移引导探索，该方法的灵感来自人类在导航新任务时利用过去类似遭遇的经验的倾向。给定一个最优策略在相关的任务环境中，我们表明，它的互模拟距离从当前的任务环境给出了一个下界的最优优势的状态-动作对在当前的任务环境。Transfer-guided Exploration（ExTra）在这些下限上从Softmax分布中采样动作。通过这种方式，具有潜在更高最优优势的动作被更频繁地采样。在我们的实验网格世界环境中，我们证明，在相关的任务环境中，获得最佳的政策，ExTra可以优于流行的特定领域的探索策略，即贪婪，基于模型的区间估计-探索奖金（MBIE-EB），追求和玻尔兹曼的收敛速度。我们进一步表明，ExTra是强大的源任务的选择，并显示出一个优雅的性能退化的源任务的不同增加。我们还证明了ExTra，当与传统的探索算法一起使用时，提高了它们的收敛速度。因此，它是能够补充传统的勘探算法的功效。
2020-05-27 cs.LG stat.ML
Efficient Preference-Based Reinforcement Learning: Randomized Exploration Meets Experimental Design
SYCAMORE, EPFL（SYCAMORE，瑞士联邦理工学院）
本文提出了一种基于随机探索和最优实验设计的高效强化学习算法，通过减少偏好查询数量实现理论保证和实际应用的平衡。
2025-12-03 cs.AI cs.LG cs.RO
Sample Efficient Preference Alignment in LLMs via Active Exploration
TensorZero；Stanford（斯坦福大学）；CMU（卡内基梅隆大学）；Cornell（康奈尔大学）；UCL（伦敦大学学院）；USC（南加州大学）
针对大语言模型偏好对齐中人类反馈获取成本高的问题，将场景形式化为主动上下文对决式老虎机问题，提出带多项式最坏遗憾界的主动探索算法及在线、离线扩展，在有限偏好样本下性能优于基线。
2025-03-20 cs.AI cs.LG stat.ML
Embedding-perturbed Exploration Preference Optimization for Flow Models
Tsinghua University（清华大学）；AMAP, Alibaba Group（阿里集团AMAP）
本文提出E²PO框架，通过嵌入层面扰动维持优化稳定性，提升生成模型对人类偏好的对齐效果。
2026-05-15 cs.CV cs.LG
Accommodating Picky Customers: Regret Bound and Exploration Complexity for Multi-Objective Reinforcement Learning
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们考虑多目标强化学习的目标是平衡使用偏好。在实践中，偏好往往是以对抗的方式给出的，例如，客户在许多应用中可能是挑剔的。我们将这个问题形式化为马尔可夫决策过程上的情景学习问题，其中过渡是未知的，奖励函数是具有预先指定的多目标奖励函数的偏好向量的内积。我们考虑两种设置。在在线设置中，代理每集都会收到一个（对抗性）偏好，并提出与环境交互的策略。我们提供了一个基于模型的算法，实现了近极大极小最优遗憾界$\widetilde{\mathcal{O}}\bigl(\sqrt{\min\{d,S\}\cdot H^2 SAK}\bigr)$，其中$d$是目标的数量，$S$是状态的数量，$A$是行动的数量，$H$是地平线的长度，和$K$是情节的数量。此外，我们考虑无偏好探索，即，代理首先与环境交互而不指定任何偏好，然后能够适应任意偏好向量，直到$ε$错误。我们提出的算法是可证明的有效性与接近最优的轨迹复杂度$\widetilde{\mathcal{O}}\bigl({\min\{d,S\}\cdot H^3 SA}/{ε^2}\bigr)$。这一结果部分解决了\citet{jin2020reward}提出的一个公开问题。
2021-10-27 cs.LG stat.ML
Learning-Guided Sparsification of Dynamic Graphs in Robotic Exploration
Independent Researcher（独立研究者）；University of Tennessee, Knoxville（田纳西大学，基洛尼尔）；University of California, Riverside（加州大学河滨分校）
本文提出基于Transformer的框架，利用PPO算法在机器人探索中稀疏化动态图，减少冗余信息，提升性能，实验表明该方法能有效降低图规模并提高探索一致性。
2026-08-17 cs.LG cs.RO
Sharpe Ratio-Guided Active Learning for Preference Optimization in RLHF
Stanford University（斯坦福大学）；University of Southern California（南加州大学）；Gladstone Institutes（格拉德斯通研究所）
本文提出一种基于夏普比率的主动学习方法，通过梯度评估高效选择偏好数据，以降低RLHF中偏好标注成本，并在多个模型和数据集上将胜率提升最多5%。
2025-03-28 cs.AI cs.LG
POLO: Preference-Guided Multi-Turn Reinforcement Learning for Lead Optimization
Northwestern University（西北大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；AbbVie（阿比唯）
POLO提出偏好引导的多轮强化学习算法，通过轨迹级与轮次级双层学习充分利用oracle评估，在500次评估内实现单性质84%、多性质50%的成功率，显著提升样本效率。
2025-09-26 cs.AI cs.LG
Epistemically-guided forward-backward exploration
本文提出基于前向-后向表示的认识论引导探索策略，通过最小化后验方差降低不确定性，显著提升零样本强化学习的样本效率。
2025-07-07 cs.AI cs.LG
OPRIDE: Offline Preference-based Reinforcement Learning via In-Dataset Exploration
The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能重点实验室）；Tsinghua University（清华大学）；Moonshot AI（月之暗面）；Amazon（亚马逊）；University of Arizona（亚利桑那大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
本文提出OPRIDE算法，通过改进探索策略和折扣调度机制提升离线偏好驱动强化学习的查询效率，实验表明其在多种任务中表现优异。
2026-02-19 cs.AI cs.LG
Avoiding $\mathbf{exp(R_{max})}$ scaling in RLHF through Preference-based Exploration
Department of Electrical & Computer Engineering（电气与计算机工程系）；Boston University（波士顿大学）；Department of Computer Science（计算机科学系）；Cornell University（康奈尔大学）；Faculty of Computing & Data Sciences（计算与数据科学学院）
针对在线RLHF中样本复杂度随奖励规模指数增长的问题，提出SE-POPO算法，首次实现多项式复杂度，并在理论和实验上验证其样本效率优于现有基线。
2025-09-26 cs.AI cs.LG stat.ML
Human-guided Robot Behavior Learning: A GAN-assisted Preference-based Reinforcement Learning Approach
The Department of Electrical and Computer Engineering, The University of Texas, San Antonio（德克萨斯大学圣安东尼奥分校电气与计算机工程系）
人类示范可以提供可信的样本，以训练强化学习算法，使机器人能够在现实环境中学习复杂的行为。然而，获得足够的演示可能是不切实际的，因为许多行为对人类来说是难以演示的。一种更实用的方法是用人工查询代替人工演示，即，基于偏好的强化学习现有算法的一个关键限制是需要大量的人工查询，因为需要大量的标记数据来训练神经网络以近似连续的高维奖励函数。为了减少和最大限度地减少对人类查询的需求，我们提出了一种新的GAN辅助的基于人类偏好的强化学习方法，该方法使用生成对抗网络（GAN）来主动学习人类偏好，然后取代人类在分配偏好中的角色。对抗神经网络很简单，只有一个二进制输出，因此需要更少的人类查询来进行训练。此外，基于最大熵的强化学习算法被设计成朝向期望区域或远离不期望区域来塑造损失。为了表明所提出的方法的有效性，我们提出了一些研究复杂的机器人任务，没有访问的环境奖励在一个典型的MuJoCo机器人运动环境。结果表明，该方法可以在不牺牲性能的情况下减少约99.8%的人工时间。
2020-10-15 cs.LG cs.RO
Entropy-guided sequence weighting for efficient exploration in RL-based LLM fine-tuning
Huawei Türkiye R&D Center（华为土耳其研发中心）
提出熵引导序列加权方法EGSW，通过结合熵正则化与优势加权平衡策略更新，有效提升基于强化学习的LLM微调中的探索效率与样本效率。
2025-03-31 cs.AI cs.LG
Preference-Guided Learning for Sparse-Reward Multi-Agent Reinforcement Learning
School of Computing and Information Systems（计算与信息系统学院）；Singapore Management University（新加坡管理大学）；University of Oregon（俄勒冈大学）
本文提出将在线逆偏好学习与多智能体在线策略优化相结合的统一框架，通过基于偏好的价值分解网络生成全局与局部奖励信号并构建双重优势流，同时利用大语言模型提供偏好标签，在MAMuJoCo和SMACv2上显著提升了稀疏奖励在线MARL的性能。
2025-09-26 cs.LG cs.MA
TGPO: Tree-Guided Preference Optimization for Robust Web Agent Reinforcement Learning
East China Normal University（东华大学）；Alibaba Group（阿里巴巴集团）；University of Electronic Science and Technology of China（电子科技大学）；Wuhan University（武汉大学）；Sun Yat-sen University（中山大学）
本文提出树引导偏好优化（TGPO）框架，通过树结构轨迹表示、过程奖励模型和动态加权机制，解决 Web Agent 强化学习中的信用分配错位、标注成本高和奖励稀疏问题，并在两个数据集上取得更高成功率和更少冗余步骤。
2025-09-19 cs.AI cs.LG
Behavior-Guided Actor-Critic: Improving Exploration via Learning Policy Behavior Representation for Deep Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；Higher Institute for Applied Sciences and Technology（应用科学与技术高等学院）
在这项工作中，我们提出了行为指导的演员-评论家（BAC），一个非策略演员-评论家深度RL算法。BAC通过自动编码器精确估计每个状态-动作对的访问频率，同时考虑在确定策略产生的轨迹中起关键作用的状态动态，从而在数学上制定策略的行为。鼓励智能体不断地改变其行为，以减少访问的状态-动作对，同时通过最大化预期的奖励折扣总和来实现良好的性能，从而有效地探索环境并充分利用所有高奖励区域。我们方法的一个突出方面是，与最大熵深度强化学习算法相比，它适用于随机和确定性参与者。结果表明，BAC的性能比几个前沿的学习算法。
2021-04-09 cs.AI cs.LG
Optimal Control-Based Baseline for Guided Exploration in Policy Gradient Methods
School of Computing Science, Simon Fraser University（西蒙菲莎大学计算科学学院）；University of Melbourne（墨尔本大学）
本文提出一种基于最优控制值函数的基线，用于深度强化学习策略梯度方法，在策略学习中提供引导探索，并在机器人稀疏奖励任务中验证其有效性。
2024-11-06 cs.AI cs.LG cs.RO
From Broad Exploration to Stable Synthesis: Entropy-Guided Optimization for Autoregressive Image Generation
The Chinese University of Hong Kong（香港中文大学）；University of Macau（澳门大学）
本文提出基于熵的优化方法EG-GRPO，通过调整不确定性分配提升文本到图像生成的稳定性与质量，实验显示其在标准基准上达到最佳性能。
2026-03-12 cs.CV cs.LG
PNS: Population-Guided Novelty Search for Reinforcement Learning in Hard Exploration Environments
Johns Hopkins University（约翰斯·霍普金斯大学）；Shanghai Jiao Tong University（上海交通大学）
强化学习（RL）已经取得了显著的成就，但仍然存在探索策略不足、奖励信号稀疏、奖励函数具有欺骗性等问题。为了缓解这些问题，人口引导新奇搜索（PNS）的并行学习方法，本文提出。在PNS中，种群被划分为多个子种群，每个子种群有一个主智能体和多个探索智能体。主代理评估通过探索代理学习的策略，并与所有子种群共享最优策略。探索代理学习他们的政策与最优政策的指导，同时，上传他们的政策，以首席代理。为了平衡探索和利用，每个首席代理都采用了新奇搜索（NS），以鼓励具有高新奇性的政策，同时最大限度地提高每集的性能。我们将PNS应用于双延迟深度确定性（TD 3）策略梯度算法。PNS的有效性，以促进探索和提高连续控制域的性能证明在实验部分。值得注意的是，PNS-TD 3在具有稀疏或延迟奖励信号的环境中实现了远远超过SOTA方法的奖励。我们还证明了PNS使机器人代理能够直接从像素学习控制策略，以便在模拟和现实环境中进行稀疏奖励操作。
2021-10-10 cs.AI cs.LG
Demonstration-Guided Reinforcement Learning with Efficient Exploration for Task Automation of Surgical Robot
The Chinese University of Hong Kong（香港中文大学）
手术机器人的任务自动化具有提高手术效率的潜力。最近的基于强化学习（RL）的方法为手术自动化提供了可扩展的解决方案，但是如果没有给出先验知识，则通常需要广泛的数据汇集来解决任务。这个问题被称为探索挑战，可以通过向RL代理提供专家演示来缓解。然而，如何有效地利用示范数据，提高勘探效率仍然是一个开放的挑战。在这项工作中，我们引入演示引导探索（DEX），一个有效的强化学习算法，旨在克服探索问题的专家演示手术自动化。为了有效地利用演示，我们的方法估计具有更高值的专家行为，以促进富有成效的交互，并采用非参数回归，以实现在演示数据中未观察到的状态下的指导。广泛的实验$10$手术操作任务从SurRoL，一个全面的手术模拟平台，证明显着提高探索效率和任务成功率的方法。此外，我们还将学习到的策略部署到达芬奇研究工具包（dVRK）平台上，以显示在真实机器人上的有效性。代码可在https://github.com/med-air/DEX上获得。
2023-02-20 cs.AI cs.LG cs.RO
Intrinsic Language-Guided Exploration for Complex Long-Horizon Robotic Manipulation Tasks
School of Informatics, The University of Edinburgh（爱丁堡大学信息学院）；University College London（伦敦大学学院）
针对稀疏奖励下复杂长周期机器人操作任务的强化学习探索难题，提出IGE-LLMs框架，用大语言模型作内在奖励引导探索，实验证明其性能更优、模块化强、参数鲁棒性好。
2024-03-07 cs.CL cs.LG cs.RO
Exploration in Interactive Personalized Music Recommendation: A Reinforcement Learning Approach
National University of Singapore（新加坡国立大学）；Institute of High Performance Computing, A*STAR（新加坡科技研究局高性能计算研究所）
当前的音乐推荐系统通常通过推荐具有最高用户评级的歌曲来以贪婪的方式起作用。然而，贪婪的推荐从长远来看是次优的：它不会主动收集用户偏好的信息，也不会推荐可能感兴趣的新颖歌曲。一个成功的推荐系统必须平衡探索用户偏好和利用这些信息进行推荐的需求。本文提出了一种新的音乐推荐方法，将这种探索-利用权衡公式化为一种称为多臂强盗的强化学习任务。为了学习用户偏好，它使用贝叶斯模型，该模型考虑了音频内容和推荐的新颖性。采用分段线性近似模型和变分推理算法来加快贝叶斯推理。我们的方法的另一个好处是音乐推荐和播放列表生成的单一统一模型。模拟结果和用户研究表明，新方法的强大潜力。
2013-11-06 cs.IR cs.LG cs.MM
Towards Efficient Online Exploration for Reinforcement Learning with Human Feedback
Department of Statistics and Data Science, The Chinese University of Hong Kong（统计与数据科学系，香港中文大学）；Department of Statistics, University of Wisconsin-Madison（统计系，威斯康星大学麦迪逊分校）
针对在线 RLHF 中乐观探索采样低效、可致线性遗憾的问题，提出面向策略相关奖励差异不确定性的查询方案，并在多臂赌博机模型下获得多项式缩放的遗憾界。
2025-09-26 cs.AI cs.CL cs.LG
Hybrid Preference Optimization for Alignment: Provably Faster Convergence Rates by Combining Offline Preferences with Online Exploration
University of Washington（华盛顿大学）；Apple（苹果公司）
本文提出混合偏好优化（HPO），结合在线探索与离线偏好，放宽集中性条件并提高样本效率，首次给出混合RLHF的可证明最优理论界，证明其优于纯离线或纯在线方法。
2024-12-13 cs.LG
BOPO: Neural Combinatorial Optimization via Best-anchored and Objective-guided Preference Optimization
Sun Yat-sen University（中山大学）
本文提出BOPO训练范式，通过最佳锚定偏好对构建和目标引导的成对损失函数，利用解的目标值差异提升神经组合优化的样本效率与推理性能，在JSP、TSP和FJSP上显著缩小最优性差距。
2025-06-02 cs.LG
Online Preference Alignment for Language Models via Count-based Exploration
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（金山大学）
本文针对在线RLHF中LLM如何探索的问题，提出基于计数的在线偏好优化算法COPO，通过抛硬币计数估计伪计数并将UCB项转化为探索奖励，在Zephyr和Llama-3上显著提升指令遵循与学术基准性能。
2025-02-07 cs.LG
Preference Exploration for Efficient Bayesian Optimization with Multiple Outcomes
Meta；Cornell University（康奈尔大学）
我们考虑贝叶斯优化昂贵的评估实验，产生向量值的结果，决策者（DM）的偏好。这些偏好由效用函数编码，该效用函数以封闭形式未知，但可以通过要求DM表达对结果向量的偏好来估计。为了解决这个问题，我们开发了贝叶斯优化与偏好探索，一个新的框架，交互式实时偏好学习与DM通过成对比较的结果之间的交替，贝叶斯优化与学习的DM效用和结果的组合模型。在这个框架内，我们提出了专门为这项任务设计的偏好探索策略，并通过广泛的模拟研究证明了它们的性能。
2022-03-21 cs.LG math.OC stat.ML
FERERO: A Flexible Framework for Preference-Guided Multi-Objective Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of California, Irvine（加利福尼亚大学欧文分校）
FERERO提出一种灵活框架，将偏好引导的多目标学习转化为约束向量优化，支持相对和绝对偏好，并开发首个单循环原始算法，在多个基准上有效找到偏好引导的最优解。
2024-12-02 cs.LG math.OC
Human-inspired, Task-Dimension-Guided Exploration for Efficient Learning in High Dimensions
Beijing Institute for Brain Research, Chinese Academy of Medical Sciences & Peking Union Medical College（北京脑科学与类脑研究所，中国医学科学院 & 北京协和医学院）；Chinese Institute for Brain Research, Beijing（北京脑科学与类脑研究中心）；Beijing Key Laboratory of Brain Science and Brain-Machine Interface（北京市脑科学与脑机接口重点实验室）；State Key Laboratory of Cognitive Neuroscience and Learning, Beijing Normal University（北京师范大学认知神经科学与学习国家重点实验室）
受人类降维探索机制启发，提出模型无关的TDGE算法，通过任务维度-特征-物品层级自上而下探索，在多个推荐数据集上显著提升探索效率与冷启动适应能力。
2026-11-03 cs.LG
Regularized GLISp for sensor-guided human-in-the-loop optimization
IDSIA Dalle Molle Institute for Artificial Intelligence Research - SUPSI（IDSIA达摩斯人工智能研究所-瑞士SUPSI）
提出传感器引导的正则化GLISp方法，通过物理信息假设函数和最小二乘正则化将传感器测量集成到偏好学习回路中，在基准和车辆悬架调校任务上实现更快收敛和更优解。
2025-11-06 cs.LG
TreeHCA: Hindsight-Guided Exploration and Credit Assignment for Multi-Turn LLM Agents
Texas A&M University（德克萨斯农工大学）
TreeHCA 将后见之明引导探索与信用分配结合，通过树结构优化多轮 LLM 智能体训练，在 7 个问答基准和 3 个 Qwen 主干上的总体精确匹配优于所有基线。
2026-10-12 cs.LG
Pure Exploration with Structured Preference Feedback
Indian Institute of Science, Bangalore（印度科学理工学院，班加罗尔）；Amazon, Palo Alto, CA（亚马逊，帕洛阿尔托）
我们考虑的问题，纯粹的探索与子集明智的偏好反馈，其中包含$N$武器的功能。允许学习者查询大小为$K$的子集，并以嘈杂的获胜者的形式接收反馈。学习器的目标是使用尽可能少的查询来有效地识别最佳手臂。这种设置在涉及人工反馈的各种在线决策场景中是相关的，例如在线零售、流媒体服务、新闻馈送和在线广告;因为人们从子集中选择首选项目比单独为项目分配喜爱度评分更容易和更可靠。据我们所知，这是第一个工作，认为子集明智的偏好反馈模型在一个结构化的设置，它允许潜在的无限集的武器。我们提出了两种算法，保证最好的手臂在$\tilde{O} (\frac{d^2}{K Δ^2})$样本的检测概率至少为$1 - δ$，其中$d$是手臂的功能和$Δ$之间的效用差距的适当的概念。我们还推导出了一个依赖于实例的$Ω(\frac{d}{Δ^2} \log \frac{1}δ)$的下限，它与我们在最坏情况下的上限相匹配。最后，我们进行了大量的实验来证实我们的理论发现，并观察到我们的自适应算法停止，需要的样本比非自适应算法少12倍。
2021-04-12 cs.LG
PrefPI: Preference-Guided Steering into Out-of-Distribution Behaviors
Georgia Institute of Technology（佐治亚理工学院）
PrefPI利用相对偏好通过偏好条件生成建模和无分类器引导迭代优化预训练机器人策略，实现分布外行为转向，在真实硬件上以150条偏好轨迹将运输高度提升至19.8厘米。
2026-10-01 cs.AI cs.LG cs.RO
Direct Preference Optimization-Enhanced Multi-Guided Diffusion Model for Traffic Scenario Generation
Pohang University of Science and Technology（浦项科技大学）；School of Electrical Engineering, Pohang University of Science and Technology（浦项科技大学电气工程学院）；NAVER LABS（NAVER实验室）
针对多引导扩散采样易偏离真实交通先验的问题，提出多任务学习框架并用DPO基于引导分数微调，在nuScenes上实现真实性、多样性与可控性的平衡。
2025-02-14 cs.LG cs.MA
Efficient Exploration for Iterative Nash Preference Optimization
Columbia University（哥伦比亚大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对通用偏好模型下的迭代NLHF，提出显式探索算法，结合SFT正则化与对抗性策略探索，实现O(√T)遗憾界，避免对KL正则化参数的指数依赖。
2026-10-26 cs.AI cs.LG
Mol-MoE: Training Preference-Guided Routers for Molecule Generation
Mila Quebec AI Institute（米拉魁北克人工智能研究所）
针对分子生成中多目标优化需昂贵重训练的问题，提出Mol-MoE混合专家架构，通过偏好引导路由器训练，实现无需重训练的测试时生成引导，提升样本质量与可引导性。
2025-02-08 cs.LG
Preference Guided Iterated Pareto Referent Optimisation for Accessible Route Planning
Gemeente Amsterdam（阿姆斯特丹市政府）
本文提出PG-IPRO算法，通过用户反馈优化路线规划，提高交互直观性并提升计算效率
2026-04-01 cs.AI cs.LG
UGCE: User-Guided Incremental Counterfactual Exploration
University of Ioannina（伊奥安妮亚大学）；Archimedes, Athena Research Center（阿提卡研究中心）
针对现有反事实解释方法无法适应动态约束且需从头计算的缺陷，提出基于遗传算法的增量框架UGCE，在保持高质量解的同时显著提升计算效率并支持稳定迭代。
2025-05-27 cs.LG
Clear Preferences Leave Traces: Reference Model-Guided Sampling for Preference Learning
LG AI Research（LG AI研究院）
发现参考模型概率空间可检测高质量训练样本，提出参考模型引导采样策略，使用不到一半数据在MT-Bench上持续提升，并在编程、数学和推理等技术任务上获得显著改善。
2025-01-25 cs.AI cs.LG
Preference-Guided Diffusion for Multi-Objective Offline Optimization
TU Munich（慕尼黑技术大学）；Stanford University（斯坦福大学）；Helmholtz AI（海德堡人工智能研究所）；Gladstone Institutes（加利福尼亚大学旧金山分校格拉德石研究所）
本文提出基于偏好的扩散模型，用于生成多目标离线优化中的帕累托最优解，通过引入多样性感知的偏好引导，提升生成解的质量与分布性。
2025-12-17 cs.AI cs.LG
Loss-Guided Auxiliary Agents for Overcoming Mode Collapse in GFlowNets
本文提出损失引导GFlowNets（LGGFN），利用辅助GFlowNet依据主模型训练损失进行定向探索，以克服模式坍缩，并在多个基准上显著提升探索效率与样本多样性。
2025-11-10 cs.LG
Balancing User Preferences by Social Networks: A Condition-Guided Social Recommendation Model for Mitigating Popularity Bias
Jilin University（吉林大学）；The Hong Kong Polytechnic University（香港理工大学）；Griffith University（格里菲斯大学）
本文提出CGSoRec模型，通过去噪社交网络和调整用户偏好权重，缓解推荐中的流行偏见。模型包含条件引导的社交去噪和扩散推荐模块，在三个真实数据集上验证了有效性。
2026-04-10 cs.LG cs.SI
