Robust Exploration in Directed Controller Synthesis via Reinforcement Learning with Soft Mixture-of-Experts
Waseda University（早稻田大学）；Osaka University（大阪大学）；Southwest University（西南大学）；Institute of Science Tokyo（东京科学研究所）
本文提出软混合专家框架，通过强化学习提升方向控制器合成的鲁棒性和泛化能力。
2026-02-22 cs.AI cs.LG
Uncertainty-Aware and Temporally Regulated Expert Advice in Reinforcement Learning for Autonomous Driving
FZI Research Center for Information Technology（弗劳恩霍夫信息技术研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
提出一种不确定性感知框架，通过自适应阈值触发专家建议并采用承诺-冷却策略调控指导时长，结合离线策略隐式分位数网络实现安全高效的探索，在CARLA中成功率提升5-7%。
2026-05-28 cs.AI
Mixture of Autoencoder Experts Guidance using Unlabeled and Incomplete Data for Exploration in Reinforcement Learning
本文提出利用自编码器专家混合将不完整专家演示转化为可塑内在奖励，以引导强化学习智能体在稀疏和密集奖励环境中进行稳健且有针对性的探索。
2025-07-21 cs.AI cs.LG
Model Merging to Evolution: Parameter Space Exploration for Expert Models
School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）；School of Computer Science, University of Birmingham（英国伯明翰大学计算机科学学院）；Department of Computer Science and Engineering, Southern University of Science and Technology（南方科技大学计算机科学与工程系）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学东城人工智能学院）；School of Computing and Artificial Intelligence, Jiangxi University of Finance and Economics（江西财经大学计算机与人工智能学院）；School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机学院）
提出MERGEvolve框架，将模型合并与进化策略统一，通过将合并模型作为初始点，利用随机噪声探索参数空间，突破凸组合空间限制，在单任务和多任务基准上取得竞争性能。
2026-06-17 cs.AI cs.NE
Towards Responsible AI: A Design Space Exploration of Human-Centered Artificial Intelligence User Interfaces to Investigate Fairness
City, University of London（伦敦城市大学）；Fujitsu Laboratories of Europe（富士通欧洲实验室）；Intesa Sanpaolo S.p.A.（意大利联合圣保罗银行）
随着人工智能（AI）帮助或自动化决策的快速发展，一个特别值得关注的问题是它的公平性。为了通过以人为中心的人工智能（HCAI）设计来创建可靠、安全和值得信赖的系统，最近的努力已经产生了供AI专家调查AI模型的公平性的用户界面（UI）。在这项工作中，我们提供了一个设计空间探索，不仅支持数据科学家，也支持领域专家调查AI公平性。以贷款申请为例，我们与信贷人员和数据科学家举行了一系列研讨会，以了解他们的需求。我们将这些需求实例化到FairHIL中，FairHIL是一个支持人在环公平性调查的UI，并描述了如何将此UI推广到其他用例。我们通过有声思维用户研究评估了FairHIL。我们的工作有助于更好的设计，以调查AI模型的公平性，并向负责任的AI迈进。
2022-06-01 cs.AI cs.HC
EAPO: Enhancing Policy Optimization with On-Demand Expert Assistance
ByteDance BandAI（字节跳动BandAI）
提出专家辅助策略优化（EAPO）框架，通过训练中与外部专家的多轮交互增强探索，解决强化学习中的稀疏奖励和低效探索问题，在多个基准上平均提升5个点。
2026-05-28 cs.AI
Path-level Hindsight Instructions for Semantic Exploration in Vision-Language Navigation
Korea University（高丽大学）；University of Michigan（密歇根大学）
提出Phi-Nav框架，通过事后推理将指令与智能体实际探索轨迹对齐，利用三阶段双监督循环将语义未标记的运动转化为密集训练信号，在R2R-CE和RxR-CE基准上以少量专家演示取得竞争性能。
2026-07-03 cs.AI
Safe Driving via Expert Guided Policy Optimization
SenseTime Research（商汤科技研究院）；The Chinese University of Hong Kong（香港中文大学）；Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）
在学习驾驶等常见技能时，初学者通常会有领域专家支持，以确保学习过程的安全。我们制定这样的学习计划下专家在回路强化学习，其中监护人被引入，以保障探索的学习代理。监护人在不确定的环境中进行充分探索的同时，在危险的情况下进行干预，并展示正确的行动，以避免潜在的事故。因此，ERL使探索和专家的部分演示作为两个训练源。在此基础上，提出了一种新的专家引导策略优化（EGPO）方法，该方法将监护人集成到强化学习的循环中。监护人是由一个专家的政策，以产生示范和开关功能，以决定何时进行干预。特别是，约束优化技术被用来解决琐碎的解决方案，代理人故意表现得危险，欺骗专家接管。离线RL技术进一步用于从专家生成的部分演示中学习。安全驾驶实验表明，我们的方法实现了优越的训练和测试时的安全性，优于基线的样本效率有很大的利润，并保留了在测试时看不见的环境的推广。演示视频和源代码可在https://decisionforce.github.io/EGPO/上获得
2021-10-30 cs.AI cs.RO
Directive Explanations for Monitoring the Risk of Diabetes Onset: Introducing Directive Data-Centric Explanations and Combinations to Support What-If Explorations
KU Leuven（鲁汶大学）；University of Maribor（马里博尔大学）
可解释的人工智能越来越多地用于医疗保健中基于机器学习（ML）的决策系统。然而，很少有研究比较了不同的解释方法在指导医疗保健专家为病人护理的效用。此外，目前还不清楚这些方法对医疗保健专家的有用性、可理解性、可操作性和可信赖性，因为它们通常需要技术ML知识。本文提出了一个解释仪表板，预测糖尿病发病的风险，并解释这些预测与数据为中心，功能的重要性，并基于示例的解释。我们设计了一个交互式仪表板，以帮助医疗保健专家，如护士和医生，监测糖尿病发病的风险，并建议采取措施，以尽量减少风险。我们对11名医疗保健专家进行了定性研究，并对45名医疗保健专家和51名糖尿病患者进行了混合方法研究，以比较仪表板中不同解释方法的可理解性，有用性，可操作性和信任度。结果表明，我们的参与者更喜欢我们的代表数据为中心的解释，提供本地的解释与其他方法的全球概述。因此，本文强调了以数据为中心的视觉指导解释方法的重要性，以帮助医疗专家从患者的健康记录中获得可操作的见解。此外，我们分享我们的设计意义，为医疗保健专家定制不同解释方法的视觉表示。
2023-02-21 cs.AI cs.HC cs.LG
Reinforced Imitation Learning by Free Energy Principle
The University of Tokyo（东京大学）
强化学习（RL）需要大量的探索，尤其是在稀疏奖励环境中。模仿学习（Imitation Learning，IL）可以从专家的演示中学习而无需探索，但它永远不会超过专家的表现，而且也容易受到演示和执行之间的分布转移的影响。本文从自由能原理出发，从根本上统一了强化学习和交互学习。FEP是一种统一的大脑贝叶斯理论，它通过一个共同的基本原理来解释感知，行动和模型学习。我们提出了一个理论上的扩展FEP和推导出一个算法，在该算法中，代理学习的世界模型，内化专家演示，并在同一时间使用该模型来推断当前和未来的状态和行动，最大限度地提高回报。因此，该算法通过部分模仿专家以及以无缝的方式最大化其回报来降低探索成本，从而获得比次优专家更高的性能。我们的实验结果表明，这种方法是有前途的视觉控制任务，特别是在稀疏奖励环境。
2021-07-25 cs.AI cs.LG
Demonstration-Guided Reinforcement Learning with Efficient Exploration for Task Automation of Surgical Robot
The Chinese University of Hong Kong（香港中文大学）
手术机器人的任务自动化具有提高手术效率的潜力。最近的基于强化学习（RL）的方法为手术自动化提供了可扩展的解决方案，但是如果没有给出先验知识，则通常需要广泛的数据汇集来解决任务。这个问题被称为探索挑战，可以通过向RL代理提供专家演示来缓解。然而，如何有效地利用示范数据，提高勘探效率仍然是一个开放的挑战。在这项工作中，我们引入演示引导探索（DEX），一个有效的强化学习算法，旨在克服探索问题的专家演示手术自动化。为了有效地利用演示，我们的方法估计具有更高值的专家行为，以促进富有成效的交互，并采用非参数回归，以实现在演示数据中未观察到的状态下的指导。广泛的实验$10$手术操作任务从SurRoL，一个全面的手术模拟平台，证明显着提高探索效率和任务成功率的方法。此外，我们还将学习到的策略部署到达芬奇研究工具包（dVRK）平台上，以显示在真实机器人上的有效性。代码可在https://github.com/med-air/DEX上获得。
2023-02-20 cs.AI cs.LG cs.RO
Learning from Guided Play: Improving Exploration for Adversarial Imitation Learning with Simple Auxiliary Tasks
University of Toronto Institute for Aerospace Studies（多伦多大学航空航天研究所）；University of Alberta（阿尔伯塔大学）
针对对抗性模仿学习因探索不足陷入局部最优的问题，提出LfGP框架，通过引入辅助任务专家演示强制探索，在多任务机器人操作中显著优于AIL和行为克隆，且专家样本效率更高。
2023-10-12 cs.AI cs.LG cs.RO
Active Exploration for Inverse Reinforcement Learning
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
针对现有逆强化学习算法依赖环境模型或生成模型的局限，提出无需生成模型的主动探索算法AceIRL，具备样本复杂度界且性能优于朴素探索策略。
2023-08-22 cs.AI cs.LG stat.ML
Towards Collaborative Conceptual Exploration
University of Kassel（卡塞尔大学）；University of Passau（帕绍大学）
在高知识分布的领域中，自然的目标是为协作交互式学习环境创建原则基础。我们提出了第一个数学表征的协作学习组，财团，封闭系统的属性集和著名的属性探索算法从形式概念分析的基础上。为此，我们引入（弱）本地专家的一个给定的知识领域的子域。这些实体能够反驳并可能接受某个闭包系统的给定（隐含）查询，该闭包系统是整个域的限制。在这一点上，我们建立了一个财团的专家，并显示第一次的见解，这样的专家回答查询的能力。此外，我们描述了如何处理错误接受的影响，并结合反例的技术。使用组合设计理论的概念，我们进一步扩大这些见解，只要提供第一个结果的可判定性问题，如果一个给定的财团能够探索一些目标域。在概念知识获取以及协作交互式本体学习的应用。
2018-03-23 cs.AI cs.LO
Infographics Wizard: Flexible Infographics Authoring and Design Exploration
Stony Brook University（石溪大学）；University of Waterloo（滑铁卢大学）；Indian Institute of Information Technology Vadodara（印度瓦多达拉信息技术学院）
信息图形是一种美学的视觉信息表示遵循特定的设计原则的人类感知。设计信息图表对于非专业人士来说可能是一个繁琐而耗时的过程，即使对于专业设计师来说也是如此。在设计师的帮助下，我们提出了一个半自动化的信息图框架一般结构化和基于流的信息图设计生成。对于新手设计师，我们的框架自动创建和排名信息图设计的用户提供的文本，没有设计输入的要求。然而，专业设计师仍然可以提供定制设计输入来定制信息图。我们还将贡献一个单独的视觉组（VG）设计数据集（SVG），以及一个1k完整的信息图图像数据集，其中包含分割的VG。评估结果证实，通过使用我们的框架，设计师从所有的专业知识水平可以生成通用的信息图形设计速度比现有的方法，同时保持相同的质量，手工设计的信息图形模板。
2022-05-08 cs.AI cs.CV cs.HC
Application of LLMs to Multi-Robot Path Planning and Task Allocation
Ashish Kumar（独立研究者）
针对多智能体强化学习中因算法复杂性导致的高效探索难题，本研究提出将大型语言模型作为专家规划器，应用于多智能体规划任务以实现高效探索。
2025-07-09 cs.AI cs.RO
Beyond Conservatism: Recoverability-Conditioned Exploration for Model-Based Imitation Learning
Nanjing University（南京大学）
提出RECON方法，通过分离主策略与探索器，基于可恢复性条件的不确定性引导探索，提升基于模型模仿学习在运动、导航和操作任务中的交互效率与性能。
2026-09-29 cs.AI cs.LG
Learning from Guided Play: A Scheduled Hierarchical Approach for Improving Exploration in Adversarial Imitation Learning
University of Toronto（多伦多大学）
有效的探索仍然是一个重大的挑战，阻碍了强化学习在许多物理系统中的部署。这对于具有连续和高维状态和动作空间的系统尤其如此，例如机器人操纵器。在稀疏奖励设置中，密集奖励设计所需的低级状态信息不可用，这一挑战更加突出。对抗性模仿学习（AIL）可以部分克服这一障碍，它利用专家生成的最佳行为演示，并从本质上替代密集的奖励信息。不幸的是，专家演示的可用性并不一定提高代理的能力，有效地探索，正如我们的经验表明，可能会导致效率低下或停滞的学习。我们提出了从引导式游戏（LfGP），一个框架，在这个框架中，我们利用专家演示，除了一个主要任务，多个辅助任务。随后，一个分层模型是用来学习每个任务的奖励和政策，通过修改后的AIL程序，其中所有任务的探索是通过一个调度器组成不同的任务在一起。这提供了许多好处：对于具有挑战性瓶颈转换的主要任务，学习效率得到提高，专家数据在任务之间变得可重复使用，并且通过重复使用学习的辅助任务模型来进行迁移学习成为可能。我们在一个具有挑战性的多任务机器人操作域的实验结果表明，我们的方法相比有利的监督模仿学习和一个国家的最先进的AIL方法。代码可在https://github.com/utiasSTARS/lfgp上获得。
2022-07-19 cs.AI cs.LG cs.RO
Trust at Your Own Peril: A Mixed Methods Exploration of the Ability of Large Language Models to Generate Expert-Like Systems Engineering Artifacts and a Characterization of Failure Modes
Virginia Tech（弗吉尼亚理工大学）；Scale AI（Scale AI公司）；Virginia Tech National Security Institute（弗吉尼亚理工大学国家安全研究所）
本文以专家级SE制品为基准，通过定量NLP比较与定性分析评估多用途LLM的生成能力，发现其产物虽难被先进算法识别，却存在过早定义需求、无依据估计和过度规格化等隐蔽失效模式。
2025-02-13 cs.AI cs.CL
Controllable Exploration in Hybrid-Policy RLVR for Multi-Modal Reasoning
Aberystwyth University（阿伯里斯特维斯大学）；Institute of Artificial Intelligence (TeleAl)（人工智能研究所）；China Telecom（中国电信）；Tsinghua University（清华大学）
本文提出CalibRL框架，通过分布感知优势加权和非对称激活函数实现可控探索，提升多模态推理模型的探索与利用平衡。
2026-03-12 cs.AI cs.LG
Diluted Near-Optimal Expert Demonstrations for Guiding Dialogue Stochastic Policy Optimisation
University of Avignon（阿维尼翁大学）；Orange Labs（奥兰奇实验室）
学习对话代理可以从与用户的交互中推断其行为。这些交互可以从人与人或人机对话中获取。然而，人类的互动是稀缺和昂贵的，使得学习从少数互动必不可少。加速学习过程的一个解决方案是在专家的帮助下指导代理的探索。在本文中，我们提出了几个模仿学习策略的对话政策的指导专家是一个接近最优的手工制作的政策。我们将这些策略与最先进的强化学习方法的基础上Q学习和演员评论。我们特别提出了一个随机的探索政策，允许无缝杂交的学习政策和专家。我们的实验表明，我们的杂交策略优于几个基线，它可以加速学习时，面对真正的人。
2020-11-25 cs.AI cs.CL cs.LG
On-Policy RL Meets Off-Policy Experts: Harmonizing Supervised Fine-Tuning and Reinforcement Learning via Dynamic Weighting
Alibaba Group（阿里巴巴集团）
本文提出CHORD框架，通过动态加权将监督微调与强化学习统一，解决传统方法在整合时可能破坏响应模式和过拟合专家数据的问题，实验表明其在多个任务中具有稳定高效的性能。
2026-03-17 cs.AI cs.LG
Policy Gradient from Demonstration and Curiosity
Tencent（腾讯）；Pengcheng Laboratory（鹏城实验室）
通过强化学习，智能体可以从任务的高级抽象中学习复杂的行为。然而，探索和奖励塑造对于现有方法仍然具有挑战性，特别是在外部反馈稀疏的情况下。专家演示已被调查，以解决这些困难，但大量的高质量的演示通常需要。在这项工作中，提出了一个集成的策略梯度算法，以促进探索和促进内在奖励学习，只有有限的演示。我们实现了这一点，重新制定了原来的奖励函数与两个额外的条款，其中第一项测量当前政策和专家之间的詹森-香农分歧，第二项估计代理的不确定性环境。在一系列具有稀疏外部奖励信号的模拟任务上对所提出的算法进行了评估，其中每个任务只提供一个演示轨迹，在所有任务中均表现出优越的探索效率和高的平均回报。此外，研究发现，代理人可以模仿专家的行为，同时维持高回报。
2020-06-09 cs.AI cs.LG
Reinforcement Learning from Imperfect Demonstrations under Soft Expert Guidance
Tsinghua University（清华大学）
在本文中，我们研究的强化学习从演示（RLfD），提高了探索效率的强化学习（RL），通过提供专家演示。大多数现有的RLfD方法要求演示是完美和充分的，这在实践中是不现实的。为了进行不完美的演示，我们首先以正式的方式定义了RLfD的不完美专家设置，然后指出以前的方法分别在最优性和收敛性方面存在两个问题。在我们已经得出的理论研究结果，我们解决这两个问题，把专家的指导作为一个软约束，规范的代理人的政策探索，这最终导致一个约束优化问题。我们进一步证明，这样的问题是能够有效地解决通过执行其对偶形式的局部线性搜索。相当多的经验评估的一个全面收集的基准表明，我们的方法实现了一致的改善，比其他RLfD同行。
2019-11-23 cs.AI cs.LG cs.RO
Bayesian Q-learning With Imperfect Expert Demonstrations
University of Alberta（阿尔伯塔大学）；McGill University（麦吉尔大学）；MILA（蒙特利尔学习算法研究所）；DeepMind（深度思维）；Samsung（三星电子）
通过专家演示进行引导探索可以提高强化学习的数据效率，但目前的算法往往过度使用专家信息。我们提出了一种新的算法，以加快Q学习的帮助下，数量有限的不完美的专家演示。该算法通过放松最优专家假设和逐步减少无信息专家数据的使用，避免了对专家数据的过度依赖。在实验中，我们评估我们的方法在稀疏奖励链环境和六个更复杂的Atari游戏延迟奖励。利用所提出的方法，我们可以实现比从演示中进行深度Q-示教学习更好的结果（Hester等人，2017年，在大多数环境中。
2022-10-01 cs.AI cs.LG
Provably Efficient Exploration in Inverse Constrained Reinforcement Learning
School of Data Science, The Chinese University of Hong Kong, Shenzhen（数据科学学院，香港中文大学（深圳））；Stony Brook University, New York（石溪大学）
针对逆约束强化学习现有采样策略效率不明的问题，提出带效率保证的策略探索框架，基于误差分析设计两种算法，兼具理论样本复杂度保障与多环境实验验证。
2025-05-16 cs.AI cs.LG
Zero-Shot Reinforcement Learning on Graphs for Autonomous Exploration Under Uncertainty
Stevens Institute of Technology（斯蒂文斯理工学院）；Massachusetts Institute of Technology（麻省理工学院）；Wing, Alphabet Inc.（Alphabet公司Wing部门）
研究了具有三维距离感知的移动机器人在定位不确定条件下的自主探测问题。我们提出了一个框架，用于在单个仿真环境中自学习高性能的探索策略，并将其转移到其他环境中，这些环境可以是物理的或虚拟的。最近的工作在迁移学习取得了令人鼓舞的性能领域自适应和域随机化暴露代理的情况下，填补了固有的差距，在sim2sim和sim2real的方法。然而，它是低效的训练代理在环境中的随机条件下学习其当前状态的重要特征。智能体可以使用人类专家提供的领域知识来有效地学习。我们提出了一种新的方法，使用图神经网络结合深度强化学习，使决策的图形包含相关的探索信息提供的人类专家来预测机器人的最佳感知动作的信念空间。该策略仅在单个仿真环境中训练，提供了一种实时、可扩展和可转移的决策策略，导致zero-shot转移到其他仿真环境甚至真实世界环境。
2021-05-11 cs.AI cs.LG cs.RO
E3-TIR: Enhanced Experience Exploitation for Tool-Integrated Reasoning
Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳））；Huawei Technologies Co., Ltd.（华为技术有限公司）；Hong Kong University of Science and Technology（香港科技大学）
本文提出E3-TIR方法，通过整合专家前缀、专家引导和自探索三种经验类型，提升工具集成推理的效率与性能，实验显示在工具使用任务中性能提升6%，数据成本降低。
2026-04-10 cs.AI
Trial and Error: Exploration-Based Trajectory Optimization for LLM Agents
Allen Institute for AI（艾伦人工智能研究所）；School of Computer Science, Peking University（北京大学计算机学院）；UCLA（加利福尼亚大学洛杉矶分校）；Ohio State University（俄亥俄州立大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
该研究提出基于探索的轨迹优化方法ETO，让LLM智能体从探索失败中构建对比轨迹对，结合DPO等对比学习迭代更新策略，在三项复杂任务上性能大幅优于基线，且在无专家轨迹场景下具备潜力。
2024-07-10 cs.AI cs.CL cs.LG
The Rise of Sparse Mixture-of-Experts: A Survey from Algorithmic Foundations to Decentralized Architectures and Vertical Domain Applications
FEDIMOSS TECH HK LIMITED（FEDIMOSS科技（香港）有限公司）；Ormi Labs, Inc.（Ormi实验室有限公司）
本文综述了稀疏混合专家模型从算法基础到去中心化架构及垂直领域应用的发展，系统探讨了其核心原理、去中心化范式和关键挑战，为研究者和实践者提供全面的参考。
2026-02-08 cs.AI cs.LG
SkillS: Adaptive Skill Sequencing for Efficient Temporally-Extended Exploration
DeepMind（深度思维）
有效重用先验知识的能力是构建通用和灵活的强化学习（RL）代理时的关键要求。技能重用是最常用的方法之一，但现有方法存在相当大的局限性，例如，对现有策略进行微调经常失败，因为策略在训练早期可能会迅速降级。类似地，当给定次优专家时，专家行为的蒸馏可能导致较差的结果。我们比较了几种常见的方法在多个领域的技能转移，包括在任务和系统动力学的变化。我们确定现有的方法可能会失败，并引入一种替代方法来减轻这些问题。我们的方法学习对现有的临时扩展技能进行排序，但直接从原始经验中学习最终策略。这种概念上的分裂，使快速适应，从而有效的数据汇集，但没有约束的最终solution.It显着优于许多经典的方法在一套评估任务，我们使用了广泛的消融，突出我们的方法的重要性differtc组件。
2023-01-11 cs.AI cs.LG cs.RO
Monte Carlo Tree Diffusion with Multiple Experts for Protein Design
University of Chicago（芝加哥大学）；Data Science Institute（数据科学研究所）；Department of Biochemistry and Molecular Biology（生物化学与分子生物学系）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Argonne National Laboratory（阿贡国家实验室）；Princeton University（普林斯顿大学）
MCTD-ME通过结合多专家的蒙特卡洛树扩散方法，提升蛋白质设计任务的性能，特别是在反向折叠、折叠和条件设计挑战中表现优异。
2026-02-23 cs.AI cs.LG q-bio.BM
A Semantic Approach for Big Data Exploration in Industry 4.0
University of the Basque Country UPV/EHU（巴斯克大学）
针对工业4.0中领域专家难以自主探索制造数据的问题，本文提出基于本体语义标注与机器二维表示联动的可视化查询系统，支持高层查询、定制可视化和富化数据下载。
2024-01-18 cs.AI cs.DB
MicroVerse: A Preliminary Exploration Toward a Micro-World Simulation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Peking Union Medical College Hospital（北京协和医学院附属医院）；Shenzhen Loop Area Institute（深圳河套学院）
MicroVerse通过构建MicroWorldBench和MicroSim-10K数据集，首次提出微观世界模拟概念，展示其在生物机制教育中的潜力。
2026-02-28 cs.AI cs.CV
Spectral Rewiring for Exploration, Purification, and Model Merging
SIA-Lab of Tsinghua AIR（清华-字节跳动联合研究中心SIA实验室）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）
研究强化学习中参数更新瓶颈，提出子空间对齐重布线方法，保留频谱核心去除正交分量，可提纯训练更新、实现模型合并，提升推理和跨域性能，是无训练机制提升性能。
2026-07-07 cs.AI cs.LG
Active Policy Improvement from Multiple Black-box Oracles
University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
针对多黑盒次优专家选择难题，提出MAPS与MAPS-SE算法，通过主动选择模仿预言机并探索状态，显著提升了策略优化的样本效率。
2025-08-11 cs.AI cs.LG stat.ML
Dexterous In-hand Manipulation by Guiding Exploration with Simple Sub-skill Controllers
Columbia University（哥伦比亚大学）
针对灵巧手内操作强化学习样本效率低的问题，本文提出利用领域知识构建简单子技能控制器，并通过其动作引导探索相关状态空间，首次无需探索性重置分布即学会手指步态技能。
2023-09-26 cs.AI cs.RO cs.SY
